qpeg: fix overreads.
[ffmpeg.git] / libavcodec / qpeg.c
1 /*
2  * QPEG codec
3  * Copyright (c) 2004 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * QPEG codec.
25  */
26
27 #include "avcodec.h"
28
29 typedef struct QpegContext{
30     AVCodecContext *avctx;
31     AVFrame pic, ref;
32     uint32_t pal[256];
33 } QpegContext;
34
35 static int qpeg_decode_intra(const uint8_t *src, uint8_t *dst, int size,
36                             int stride, int width, int height)
37 {
38     int i;
39     int code;
40     int c0, c1;
41     int run, copy;
42     int filled = 0;
43     int rows_to_go;
44
45     rows_to_go = height;
46     height--;
47     dst = dst + height * stride;
48
49     while((size > 0) && (rows_to_go > 0)) {
50         code = *src++;
51         size--;
52         run = copy = 0;
53         if(code == 0xFC) /* end-of-picture code */
54             break;
55         if(code >= 0xF8) { /* very long run */
56             c0 = *src++;
57             c1 = *src++;
58             size -= 2;
59             run = ((code & 0x7) << 16) + (c0 << 8) + c1 + 2;
60         } else if (code >= 0xF0) { /* long run */
61             c0 = *src++;
62             size--;
63             run = ((code & 0xF) << 8) + c0 + 2;
64         } else if (code >= 0xE0) { /* short run */
65             run = (code & 0x1F) + 2;
66         } else if (code >= 0xC0) { /* very long copy */
67             c0 = *src++;
68             c1 = *src++;
69             size -= 2;
70             copy = ((code & 0x3F) << 16) + (c0 << 8) + c1 + 1;
71         } else if (code >= 0x80) { /* long copy */
72             c0 = *src++;
73             size--;
74             copy = ((code & 0x7F) << 8) + c0 + 1;
75         } else { /* short copy */
76             copy = code + 1;
77         }
78
79         /* perform actual run or copy */
80         if(run) {
81             int p;
82
83             p = *src++;
84             size--;
85             for(i = 0; i < run; i++) {
86                 dst[filled++] = p;
87                 if (filled >= width) {
88                     filled = 0;
89                     dst -= stride;
90                     rows_to_go--;
91                     if(rows_to_go <= 0)
92                         break;
93                 }
94             }
95         } else {
96             size -= copy;
97             if (size<0)
98                 return AVERROR_INVALIDDATA;
99             for(i = 0; i < copy; i++) {
100                 dst[filled++] = *src++;
101                 if (filled >= width) {
102                     filled = 0;
103                     dst -= stride;
104                     rows_to_go--;
105                     if(rows_to_go <= 0)
106                         break;
107                 }
108             }
109         }
110     }
111     return 0;
112 }
113
114 static const int qpeg_table_h[16] =
115  { 0x00, 0x20, 0x20, 0x20, 0x18, 0x10, 0x10, 0x20, 0x10, 0x08, 0x18, 0x08, 0x08, 0x18, 0x10, 0x04};
116 static const int qpeg_table_w[16] =
117  { 0x00, 0x20, 0x18, 0x08, 0x18, 0x10, 0x20, 0x10, 0x08, 0x10, 0x20, 0x20, 0x08, 0x10, 0x18, 0x04};
118
119 /* Decodes delta frames */
120 static void qpeg_decode_inter(const uint8_t *src, uint8_t *dst, int size,
121                             int stride, int width, int height,
122                             int delta, const uint8_t *ctable, uint8_t *refdata)
123 {
124     int i, j;
125     int code;
126     int filled = 0;
127     int orig_height;
128
129     if(!refdata)
130         refdata= dst;
131
132     /* copy prev frame */
133     for(i = 0; i < height; i++)
134         memcpy(dst + (i * stride), refdata + (i * stride), width);
135
136     orig_height = height;
137     height--;
138     dst = dst + height * stride;
139
140     while((size > 0) && (height >= 0)) {
141         code = *src++;
142         size--;
143
144         if(delta) {
145             /* motion compensation */
146             while(size > 0 && (code & 0xF0) == 0xF0) {
147                 if(delta == 1) {
148                     int me_idx;
149                     int me_w, me_h, me_x, me_y;
150                     uint8_t *me_plane;
151                     int corr, val;
152
153                     /* get block size by index */
154                     me_idx = code & 0xF;
155                     me_w = qpeg_table_w[me_idx];
156                     me_h = qpeg_table_h[me_idx];
157
158                     /* extract motion vector */
159                     corr = *src++;
160                     size--;
161
162                     val = corr >> 4;
163                     if(val > 7)
164                         val -= 16;
165                     me_x = val;
166
167                     val = corr & 0xF;
168                     if(val > 7)
169                         val -= 16;
170                     me_y = val;
171
172                     /* check motion vector */
173                     if ((me_x + filled < 0) || (me_x + me_w + filled > width) ||
174                        (height - me_y - me_h < 0) || (height - me_y > orig_height) ||
175                        (filled + me_w > width) || (height - me_h < 0))
176                         av_log(NULL, AV_LOG_ERROR, "Bogus motion vector (%i,%i), block size %ix%i at %i,%i\n",
177                                me_x, me_y, me_w, me_h, filled, height);
178                     else {
179                         /* do motion compensation */
180                         me_plane = refdata + (filled + me_x) + (height - me_y) * stride;
181                         for(j = 0; j < me_h; j++) {
182                             for(i = 0; i < me_w; i++)
183                                 dst[filled + i - (j * stride)] = me_plane[i - (j * stride)];
184                         }
185                     }
186                 }
187                 code = *src++;
188                 size--;
189             }
190         }
191
192         if(code == 0xE0) /* end-of-picture code */
193             break;
194         if(code > 0xE0) { /* run code: 0xE1..0xFF */
195             int p;
196
197             code &= 0x1F;
198             p = *src++;
199             size--;
200             for(i = 0; i <= code; i++) {
201                 dst[filled++] = p;
202                 if(filled >= width) {
203                     filled = 0;
204                     dst -= stride;
205                     height--;
206                     if(height < 0)
207                         break;
208                 }
209             }
210         } else if(code >= 0xC0) { /* copy code: 0xC0..0xDF */
211             code &= 0x1F;
212
213             if(code + 1 > size)
214                 break;
215
216             for(i = 0; i <= code; i++) {
217                 dst[filled++] = *src++;
218                 if(filled >= width) {
219                     filled = 0;
220                     dst -= stride;
221                     height--;
222                     if(height < 0)
223                         break;
224                 }
225             }
226             size -= code + 1;
227         } else if(code >= 0x80) { /* skip code: 0x80..0xBF */
228             int skip;
229
230             code &= 0x3F;
231             /* codes 0x80 and 0x81 are actually escape codes,
232                skip value minus constant is in the next byte */
233             if(!code) {
234                 skip = (*src++) + 64; size--;
235             } else if(code == 1) {
236                 skip = (*src++) + 320; size--;
237             } else
238                 skip = code;
239             filled += skip;
240             while( filled >= width) {
241                 filled -= width;
242                 dst -= stride;
243                 height--;
244                 if(height < 0)
245                     break;
246             }
247         } else {
248             /* zero code treated as one-pixel skip */
249             if(code)
250                 dst[filled++] = ctable[code & 0x7F];
251             else
252                 filled++;
253             if(filled >= width) {
254                 filled = 0;
255                 dst -= stride;
256                 height--;
257             }
258         }
259     }
260 }
261
262 static int decode_frame(AVCodecContext *avctx,
263                         void *data, int *data_size,
264                         AVPacket *avpkt)
265 {
266     const uint8_t *buf = avpkt->data;
267     int buf_size = avpkt->size;
268     QpegContext * const a = avctx->priv_data;
269     AVFrame *  p = &a->pic;
270     AVFrame * ref= &a->ref;
271     uint8_t* outdata;
272     int delta, ret = 0;
273     const uint8_t *pal = av_packet_get_side_data(avpkt, AV_PKT_DATA_PALETTE, NULL);
274
275     if(ref->data[0])
276         avctx->release_buffer(avctx, ref);
277     FFSWAP(AVFrame, *ref, *p);
278
279     p->reference= 3;
280     if(avctx->get_buffer(avctx, p) < 0){
281         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
282         return -1;
283     }
284     outdata = a->pic.data[0];
285     if(buf[0x85] == 0x10) {
286         ret = qpeg_decode_intra(buf+0x86, outdata, buf_size - 0x86, a->pic.linesize[0], avctx->width, avctx->height);
287     } else {
288         delta = buf[0x85];
289         qpeg_decode_inter(buf+0x86, outdata, buf_size - 0x86, a->pic.linesize[0], avctx->width, avctx->height, delta, buf + 4, a->ref.data[0]);
290     }
291
292     if (ret<0)
293         return ret;
294
295     /* make the palette available on the way out */
296     if (pal) {
297         a->pic.palette_has_changed = 1;
298         memcpy(a->pal, pal, AVPALETTE_SIZE);
299     }
300     memcpy(a->pic.data[1], a->pal, AVPALETTE_SIZE);
301
302     *data_size = sizeof(AVFrame);
303     *(AVFrame*)data = a->pic;
304
305     return buf_size;
306 }
307
308 static av_cold int decode_init(AVCodecContext *avctx){
309     QpegContext * const a = avctx->priv_data;
310
311     avcodec_get_frame_defaults(&a->pic);
312     avcodec_get_frame_defaults(&a->ref);
313     a->avctx = avctx;
314     avctx->pix_fmt= PIX_FMT_PAL8;
315
316     return 0;
317 }
318
319 static av_cold int decode_end(AVCodecContext *avctx){
320     QpegContext * const a = avctx->priv_data;
321     AVFrame * const p = &a->pic;
322     AVFrame * const ref= &a->ref;
323
324     if(p->data[0])
325         avctx->release_buffer(avctx, p);
326     if(ref->data[0])
327         avctx->release_buffer(avctx, ref);
328
329     return 0;
330 }
331
332 AVCodec ff_qpeg_decoder = {
333     .name           = "qpeg",
334     .type           = AVMEDIA_TYPE_VIDEO,
335     .id             = CODEC_ID_QPEG,
336     .priv_data_size = sizeof(QpegContext),
337     .init           = decode_init,
338     .close          = decode_end,
339     .decode         = decode_frame,
340     .capabilities   = CODEC_CAP_DR1,
341     .long_name = NULL_IF_CONFIG_SMALL("Q-team QPEG"),
342 };