mmaldec: be more tolerant against MMAL not returning decoded output
[ffmpeg.git] / libavcodec / 8bps.c
1 /*
2  * Quicktime Planar RGB (8BPS) Video Decoder
3  * Copyright (C) 2003 Roberto Togni
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * QT 8BPS Video Decoder by Roberto Togni
25  * For more information about the 8BPS format, visit:
26  *   http://www.pcisys.net/~melanson/codecs/
27  *
28  * Supports: PAL8 (RGB 8bpp, paletted)
29  *         : BGR24 (RGB 24bpp) (can also output it as RGB32)
30  *         : RGB32 (RGB 32bpp, 4th plane is probably alpha and it's ignored)
31  *
32  */
33
34 #include <stdio.h>
35 #include <stdlib.h>
36 #include <string.h>
37
38 #include "libavutil/internal.h"
39 #include "libavutil/intreadwrite.h"
40 #include "avcodec.h"
41 #include "internal.h"
42
43
44 static const enum AVPixelFormat pixfmt_rgb24[] = {
45     AV_PIX_FMT_BGR24, AV_PIX_FMT_RGB32, AV_PIX_FMT_NONE };
46
47 typedef struct EightBpsContext {
48     AVCodecContext *avctx;
49
50     unsigned char planes;
51     unsigned char planemap[4];
52
53     uint32_t pal[256];
54 } EightBpsContext;
55
56 static int decode_frame(AVCodecContext *avctx, void *data,
57                         int *got_frame, AVPacket *avpkt)
58 {
59     AVFrame *frame = data;
60     const uint8_t *buf = avpkt->data;
61     int buf_size       = avpkt->size;
62     EightBpsContext * const c = avctx->priv_data;
63     const unsigned char *encoded = buf;
64     unsigned char *pixptr, *pixptr_end;
65     unsigned int height = avctx->height; // Real image height
66     unsigned int dlen, p, row;
67     const unsigned char *lp, *dp, *ep;
68     unsigned char count;
69     unsigned int px_inc;
70     unsigned int planes     = c->planes;
71     unsigned char *planemap = c->planemap;
72     int ret;
73
74     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0) {
75         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
76         return ret;
77     }
78
79     ep = encoded + buf_size;
80
81     /* Set data pointer after line lengths */
82     dp = encoded + planes * (height << 1);
83
84     /* Ignore alpha plane, don't know what to do with it */
85     if (planes == 4)
86         planes--;
87
88     px_inc = planes + (avctx->pix_fmt == AV_PIX_FMT_RGB32);
89
90     for (p = 0; p < planes; p++) {
91         /* Lines length pointer for this plane */
92         lp = encoded + p * (height << 1);
93
94         /* Decode a plane */
95         for (row = 0; row < height; row++) {
96             pixptr = frame->data[0] + row * frame->linesize[0] + planemap[p];
97             pixptr_end = pixptr + frame->linesize[0];
98             if (ep - lp < row * 2 + 2)
99                 return AVERROR_INVALIDDATA;
100             dlen = av_be2ne16(*(const unsigned short *)(lp + row * 2));
101             /* Decode a row of this plane */
102             while (dlen > 0) {
103                 if (ep - dp <= 1)
104                     return AVERROR_INVALIDDATA;
105                 if ((count = *dp++) <= 127) {
106                     count++;
107                     dlen -= count + 1;
108                     if (pixptr_end - pixptr < count * px_inc)
109                         break;
110                     if (ep - dp < count)
111                         return AVERROR_INVALIDDATA;
112                     while (count--) {
113                         *pixptr = *dp++;
114                         pixptr += px_inc;
115                     }
116                 } else {
117                     count = 257 - count;
118                     if (pixptr_end - pixptr < count * px_inc)
119                         break;
120                     while (count--) {
121                         *pixptr = *dp;
122                         pixptr += px_inc;
123                     }
124                     dp++;
125                     dlen -= 2;
126                 }
127             }
128         }
129     }
130
131     if (avctx->bits_per_coded_sample <= 8) {
132         const uint8_t *pal = av_packet_get_side_data(avpkt,
133                                                      AV_PKT_DATA_PALETTE,
134                                                      NULL);
135         if (pal) {
136             frame->palette_has_changed = 1;
137             memcpy(c->pal, pal, AVPALETTE_SIZE);
138         }
139
140         memcpy (frame->data[1], c->pal, AVPALETTE_SIZE);
141     }
142
143     *got_frame = 1;
144
145     /* always report that the buffer was completely consumed */
146     return buf_size;
147 }
148
149 static av_cold int decode_init(AVCodecContext *avctx)
150 {
151     EightBpsContext * const c = avctx->priv_data;
152
153     c->avctx       = avctx;
154
155     switch (avctx->bits_per_coded_sample) {
156     case 8:
157         avctx->pix_fmt = AV_PIX_FMT_PAL8;
158         c->planes      = 1;
159         c->planemap[0] = 0; // 1st plane is palette indexes
160         break;
161     case 24:
162         avctx->pix_fmt = ff_get_format(avctx, pixfmt_rgb24);
163         c->planes      = 3;
164         c->planemap[0] = 2; // 1st plane is red
165         c->planemap[1] = 1; // 2nd plane is green
166         c->planemap[2] = 0; // 3rd plane is blue
167         break;
168     case 32:
169         avctx->pix_fmt = AV_PIX_FMT_RGB32;
170         c->planes      = 4;
171         /* handle planemap setup later for decoding rgb24 data as rbg32 */
172         break;
173     default:
174         av_log(avctx, AV_LOG_ERROR, "Error: Unsupported color depth: %u.\n",
175                avctx->bits_per_coded_sample);
176         return AVERROR_INVALIDDATA;
177     }
178
179     if (avctx->pix_fmt == AV_PIX_FMT_RGB32) {
180         c->planemap[0] = HAVE_BIGENDIAN ? 1 : 2; // 1st plane is red
181         c->planemap[1] = HAVE_BIGENDIAN ? 2 : 1; // 2nd plane is green
182         c->planemap[2] = HAVE_BIGENDIAN ? 3 : 0; // 3rd plane is blue
183         c->planemap[3] = HAVE_BIGENDIAN ? 0 : 3; // 4th plane is alpha???
184     }
185     return 0;
186 }
187
188 AVCodec ff_eightbps_decoder = {
189     .name           = "8bps",
190     .long_name      = NULL_IF_CONFIG_SMALL("QuickTime 8BPS video"),
191     .type           = AVMEDIA_TYPE_VIDEO,
192     .id             = AV_CODEC_ID_8BPS,
193     .priv_data_size = sizeof(EightBpsContext),
194     .init           = decode_init,
195     .decode         = decode_frame,
196     .capabilities   = AV_CODEC_CAP_DR1,
197 };