gifdec: check that w,h is not zero
[ffmpeg.git] / libavcodec / gifdec.c
1 /*
2  * GIF decoder
3  * Copyright (c) 2003 Fabrice Bellard
4  * Copyright (c) 2006 Baptiste Coudurier
5  * Copyright (c) 2012 Vitaliy E Sugrobov
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 //#define DEBUG
25
26 #include "libavutil/imgutils.h"
27 #include "libavutil/opt.h"
28 #include "avcodec.h"
29 #include "bytestream.h"
30 #include "internal.h"
31 #include "lzw.h"
32 #include "gif.h"
33
34 /* This value is intentionally set to "transparent white" color.
35  * It is much better to have white background instead of black
36  * when gif image converted to format which not support transparency.
37  */
38 #define GIF_TRANSPARENT_COLOR    0x00ffffff
39
40 typedef struct GifState {
41     const AVClass *class;
42     AVFrame picture;
43     int screen_width;
44     int screen_height;
45     int has_global_palette;
46     int bits_per_pixel;
47     uint32_t bg_color;
48     int background_color_index;
49     int transparent_color_index;
50     int color_resolution;
51     /* intermediate buffer for storing color indices
52      * obtained from lzw-encoded data stream */
53     uint8_t *idx_line;
54     int idx_line_size;
55
56     /* after the frame is displayed, the disposal method is used */
57     int gce_prev_disposal;
58     int gce_disposal;
59     /* rectangle describing area that must be disposed */
60     int gce_l, gce_t, gce_w, gce_h;
61     /* depending on disposal method we store either part of the image
62      * drawn on the canvas or background color that
63      * should be used upon disposal */
64     uint32_t * stored_img;
65     int stored_img_size;
66     int stored_bg_color;
67
68     GetByteContext gb;
69     /* LZW compatible decoder */
70     LZWState *lzw;
71
72     /* aux buffers */
73     uint32_t global_palette[256];
74     uint32_t local_palette[256];
75
76     AVCodecContext *avctx;
77     int keyframe;
78     int keyframe_ok;
79     int trans_color;    /**< color value that is used instead of transparent color */
80 } GifState;
81
82 static void gif_read_palette(GifState *s, uint32_t *pal, int nb)
83 {
84     int i;
85
86     for (i = 0; i < nb; i++, pal++)
87         *pal = (0xffu << 24) | bytestream2_get_be24u(&s->gb);
88 }
89
90 static void gif_fill(AVFrame *picture, uint32_t color)
91 {
92     uint32_t *p = (uint32_t *)picture->data[0];
93     uint32_t *p_end = p + (picture->linesize[0] / sizeof(uint32_t)) * picture->height;
94
95     for (; p < p_end; p++)
96         *p = color;
97 }
98
99 static void gif_fill_rect(AVFrame *picture, uint32_t color, int l, int t, int w, int h)
100 {
101     const int linesize = picture->linesize[0] / sizeof(uint32_t);
102     const uint32_t *py = (uint32_t *)picture->data[0] + t * linesize;
103     const uint32_t *pr, *pb = py + h * linesize;
104     uint32_t *px;
105
106     for (; py < pb; py += linesize) {
107         px = (uint32_t *)py + l;
108         pr = px + w;
109
110         for (; px < pr; px++)
111             *px = color;
112     }
113 }
114
115 static void gif_copy_img_rect(const uint32_t *src, uint32_t *dst,
116                               int linesize, int l, int t, int w, int h)
117 {
118     const int y_start = t * linesize;
119     const uint32_t *src_px, *src_pr,
120                    *src_py = src + y_start,
121                    *dst_py = dst + y_start;
122     const uint32_t *src_pb = src_py + h * linesize;
123     uint32_t *dst_px;
124
125     for (; src_py < src_pb; src_py += linesize, dst_py += linesize) {
126         src_px = src_py + l;
127         dst_px = (uint32_t *)dst_py + l;
128         src_pr = src_px + w;
129
130         for (; src_px < src_pr; src_px++, dst_px++)
131             *dst_px = *src_px;
132     }
133 }
134
135 static int gif_read_image(GifState *s)
136 {
137     int left, top, width, height, bits_per_pixel, code_size, flags;
138     int is_interleaved, has_local_palette, y, pass, y1, linesize, pal_size;
139     uint32_t *ptr, *pal, *px, *pr, *ptr1;
140     int ret;
141     uint8_t *idx;
142
143     /* At least 9 bytes of Image Descriptor. */
144     if (bytestream2_get_bytes_left(&s->gb) < 9)
145         return AVERROR_INVALIDDATA;
146
147     left = bytestream2_get_le16u(&s->gb);
148     top = bytestream2_get_le16u(&s->gb);
149     width = bytestream2_get_le16u(&s->gb);
150     height = bytestream2_get_le16u(&s->gb);
151     flags = bytestream2_get_byteu(&s->gb);
152     is_interleaved = flags & 0x40;
153     has_local_palette = flags & 0x80;
154     bits_per_pixel = (flags & 0x07) + 1;
155
156     av_dlog(s->avctx, "image x=%d y=%d w=%d h=%d\n", left, top, width, height);
157
158     if (has_local_palette) {
159         pal_size = 1 << bits_per_pixel;
160
161         if (bytestream2_get_bytes_left(&s->gb) < pal_size * 3)
162             return AVERROR_INVALIDDATA;
163
164         gif_read_palette(s, s->local_palette, pal_size);
165         pal = s->local_palette;
166     } else {
167         if (!s->has_global_palette) {
168             av_log(s->avctx, AV_LOG_ERROR, "picture doesn't have either global or local palette.\n");
169             return AVERROR_INVALIDDATA;
170         }
171
172         pal = s->global_palette;
173     }
174
175     if (s->keyframe) {
176         if (s->transparent_color_index == -1 && s->has_global_palette) {
177             /* transparency wasn't set before the first frame, fill with background color */
178             gif_fill(&s->picture, s->bg_color);
179         } else {
180             /* otherwise fill with transparent color.
181              * this is necessary since by default picture filled with 0x80808080. */
182             gif_fill(&s->picture, s->trans_color);
183         }
184     }
185
186     /* verify that all the image is inside the screen dimensions */
187     if (left + width > s->screen_width ||
188         top + height > s->screen_height)
189         return AVERROR_INVALIDDATA;
190     if (width <= 0 || height <= 0)
191         return AVERROR_INVALIDDATA;
192
193     /* process disposal method */
194     if (s->gce_prev_disposal == GCE_DISPOSAL_BACKGROUND) {
195         gif_fill_rect(&s->picture, s->stored_bg_color, s->gce_l, s->gce_t, s->gce_w, s->gce_h);
196     } else if (s->gce_prev_disposal == GCE_DISPOSAL_RESTORE) {
197         gif_copy_img_rect(s->stored_img, (uint32_t *)s->picture.data[0],
198             s->picture.linesize[0] / sizeof(uint32_t), s->gce_l, s->gce_t, s->gce_w, s->gce_h);
199     }
200
201     s->gce_prev_disposal = s->gce_disposal;
202
203     if (s->gce_disposal != GCE_DISPOSAL_NONE) {
204         s->gce_l = left;  s->gce_t = top;
205         s->gce_w = width; s->gce_h = height;
206
207         if (s->gce_disposal == GCE_DISPOSAL_BACKGROUND) {
208             if (s->transparent_color_index >= 0)
209                 s->stored_bg_color = s->trans_color;
210             else
211                 s->stored_bg_color = s->bg_color;
212         } else if (s->gce_disposal == GCE_DISPOSAL_RESTORE) {
213             av_fast_malloc(&s->stored_img, &s->stored_img_size, s->picture.linesize[0] * s->picture.height);
214             if (!s->stored_img)
215                 return AVERROR(ENOMEM);
216
217             gif_copy_img_rect((uint32_t *)s->picture.data[0], s->stored_img,
218                 s->picture.linesize[0] / sizeof(uint32_t), left, top, width, height);
219         }
220     }
221
222     /* Expect at least 2 bytes: 1 for lzw code size and 1 for block size. */
223     if (bytestream2_get_bytes_left(&s->gb) < 2)
224         return AVERROR_INVALIDDATA;
225
226     /* now get the image data */
227     code_size = bytestream2_get_byteu(&s->gb);
228     if ((ret = ff_lzw_decode_init(s->lzw, code_size, s->gb.buffer,
229                                   bytestream2_get_bytes_left(&s->gb), FF_LZW_GIF)) < 0) {
230         av_log(s->avctx, AV_LOG_ERROR, "LZW init failed\n");
231         return ret;
232     }
233
234     /* read all the image */
235     linesize = s->picture.linesize[0] / sizeof(uint32_t);
236     ptr1 = (uint32_t *)s->picture.data[0] + top * linesize + left;
237     ptr = ptr1;
238     pass = 0;
239     y1 = 0;
240     for (y = 0; y < height; y++) {
241         if (ff_lzw_decode(s->lzw, s->idx_line, width) == 0)
242             goto decode_tail;
243
244         pr = ptr + width;
245
246         for (px = ptr, idx = s->idx_line; px < pr; px++, idx++) {
247             if (*idx != s->transparent_color_index)
248                 *px = pal[*idx];
249         }
250
251         if (is_interleaved) {
252             switch(pass) {
253             default:
254             case 0:
255             case 1:
256                 y1 += 8;
257                 ptr += linesize * 8;
258                 if (y1 >= height) {
259                     y1 = pass ? 2 : 4;
260                     ptr = ptr1 + linesize * y1;
261                     pass++;
262                 }
263                 break;
264             case 2:
265                 y1 += 4;
266                 ptr += linesize * 4;
267                 if (y1 >= height) {
268                     y1 = 1;
269                     ptr = ptr1 + linesize;
270                     pass++;
271                 }
272                 break;
273             case 3:
274                 y1 += 2;
275                 ptr += linesize * 2;
276                 break;
277             }
278         } else {
279             ptr += linesize;
280         }
281     }
282
283  decode_tail:
284     /* read the garbage data until end marker is found */
285     ff_lzw_decode_tail(s->lzw);
286
287     /* Graphic Control Extension's scope is single frame.
288      * Remove its influence. */
289     s->transparent_color_index = -1;
290     s->gce_disposal = GCE_DISPOSAL_NONE;
291
292     return 0;
293 }
294
295 static int gif_read_extension(GifState *s)
296 {
297     int ext_code, ext_len, gce_flags, gce_transparent_index;
298
299     /* There must be at least 2 bytes:
300      * 1 for extension label and 1 for extension length. */
301     if (bytestream2_get_bytes_left(&s->gb) < 2)
302         return AVERROR_INVALIDDATA;
303
304     ext_code = bytestream2_get_byteu(&s->gb);
305     ext_len = bytestream2_get_byteu(&s->gb);
306
307     av_dlog(s->avctx, "ext_code=0x%x len=%d\n", ext_code, ext_len);
308
309     switch(ext_code) {
310     case GIF_GCE_EXT_LABEL:
311         if (ext_len != 4)
312             goto discard_ext;
313
314         /* We need at least 5 bytes more: 4 is for extension body
315          * and 1 for next block size. */
316         if (bytestream2_get_bytes_left(&s->gb) < 5)
317             return AVERROR_INVALIDDATA;
318
319         gce_flags = bytestream2_get_byteu(&s->gb);
320         bytestream2_skipu(&s->gb, 2);    // delay during which the frame is shown
321         gce_transparent_index = bytestream2_get_byteu(&s->gb);
322         if (gce_flags & 0x01)
323             s->transparent_color_index = gce_transparent_index;
324         else
325             s->transparent_color_index = -1;
326         s->gce_disposal = (gce_flags >> 2) & 0x7;
327
328         av_dlog(s->avctx, "gce_flags=%x tcolor=%d disposal=%d\n",
329                gce_flags,
330                s->transparent_color_index, s->gce_disposal);
331
332         if (s->gce_disposal > 3) {
333             s->gce_disposal = GCE_DISPOSAL_NONE;
334             av_dlog(s->avctx, "invalid value in gce_disposal (%d). Using default value of 0.\n", ext_len);
335         }
336
337         ext_len = bytestream2_get_byteu(&s->gb);
338         break;
339     }
340
341     /* NOTE: many extension blocks can come after */
342  discard_ext:
343     while (ext_len != 0) {
344         /* There must be at least ext_len bytes and 1 for next block size byte. */
345         if (bytestream2_get_bytes_left(&s->gb) < ext_len + 1)
346             return AVERROR_INVALIDDATA;
347
348         bytestream2_skipu(&s->gb, ext_len);
349         ext_len = bytestream2_get_byteu(&s->gb);
350
351         av_dlog(s->avctx, "ext_len1=%d\n", ext_len);
352     }
353     return 0;
354 }
355
356 static int gif_read_header1(GifState *s)
357 {
358     uint8_t sig[6];
359     int v, n;
360     int background_color_index;
361
362     if (bytestream2_get_bytes_left(&s->gb) < 13)
363         return AVERROR_INVALIDDATA;
364
365     /* read gif signature */
366     bytestream2_get_bufferu(&s->gb, sig, 6);
367     if (memcmp(sig, gif87a_sig, 6) != 0 &&
368         memcmp(sig, gif89a_sig, 6) != 0)
369         return AVERROR_INVALIDDATA;
370
371     /* read screen header */
372     s->transparent_color_index = -1;
373     s->screen_width = bytestream2_get_le16u(&s->gb);
374     s->screen_height = bytestream2_get_le16u(&s->gb);
375     if(   (unsigned)s->screen_width  > 32767
376        || (unsigned)s->screen_height > 32767){
377         av_log(s->avctx, AV_LOG_ERROR, "picture size too large\n");
378         return AVERROR_INVALIDDATA;
379     }
380
381     av_fast_malloc(&s->idx_line, &s->idx_line_size, s->screen_width);
382     if (!s->idx_line)
383         return AVERROR(ENOMEM);
384
385     v = bytestream2_get_byteu(&s->gb);
386     s->color_resolution = ((v & 0x70) >> 4) + 1;
387     s->has_global_palette = (v & 0x80);
388     s->bits_per_pixel = (v & 0x07) + 1;
389     background_color_index = bytestream2_get_byteu(&s->gb);
390     n = bytestream2_get_byteu(&s->gb);
391     if (n) {
392         s->avctx->sample_aspect_ratio.num = n + 15;
393         s->avctx->sample_aspect_ratio.den = 64;
394     }
395
396     av_dlog(s->avctx, "screen_w=%d screen_h=%d bpp=%d global_palette=%d\n",
397            s->screen_width, s->screen_height, s->bits_per_pixel,
398            s->has_global_palette);
399
400     if (s->has_global_palette) {
401         s->background_color_index = background_color_index;
402         n = 1 << s->bits_per_pixel;
403         if (bytestream2_get_bytes_left(&s->gb) < n * 3)
404             return AVERROR_INVALIDDATA;
405
406         gif_read_palette(s, s->global_palette, n);
407         s->bg_color = s->global_palette[s->background_color_index];
408     } else
409         s->background_color_index = -1;
410
411     return 0;
412 }
413
414 static int gif_parse_next_image(GifState *s, int *got_picture)
415 {
416
417     *got_picture = 1;
418     while (bytestream2_get_bytes_left(&s->gb)) {
419         int code = bytestream2_get_byte(&s->gb);
420         int ret;
421
422         av_dlog(s->avctx, "code=%02x '%c'\n", code, code);
423
424         switch (code) {
425         case GIF_IMAGE_SEPARATOR:
426             return gif_read_image(s);
427         case GIF_EXTENSION_INTRODUCER:
428             if ((ret = gif_read_extension(s)) < 0)
429                 return ret;
430             break;
431         case GIF_TRAILER:
432             /* end of image */
433             *got_picture = 0;
434             return 0;
435         default:
436             /* erroneous block label */
437             return AVERROR_INVALIDDATA;
438         }
439     }
440     return AVERROR_EOF;
441 }
442
443 static av_cold int gif_decode_init(AVCodecContext *avctx)
444 {
445     GifState *s = avctx->priv_data;
446
447     s->avctx = avctx;
448
449     avctx->pix_fmt = AV_PIX_FMT_RGB32;
450     avcodec_get_frame_defaults(&s->picture);
451     avctx->coded_frame= &s->picture;
452     s->picture.data[0] = NULL;
453     ff_lzw_decode_open(&s->lzw);
454     return 0;
455 }
456
457 static int gif_decode_frame(AVCodecContext *avctx, void *data, int *got_frame, AVPacket *avpkt)
458 {
459     GifState *s = avctx->priv_data;
460     AVFrame *picture = data;
461     int ret;
462
463     bytestream2_init(&s->gb, avpkt->data, avpkt->size);
464
465     s->picture.pts          = avpkt->pts;
466     s->picture.pkt_pts      = avpkt->pts;
467     s->picture.pkt_dts      = avpkt->dts;
468     s->picture.pkt_duration = avpkt->duration;
469
470     if (avpkt->size >= 6) {
471         s->keyframe = memcmp(avpkt->data, gif87a_sig, 6) == 0 ||
472                       memcmp(avpkt->data, gif89a_sig, 6) == 0;
473     } else {
474         s->keyframe = 0;
475     }
476
477     if (s->keyframe) {
478         s->keyframe_ok = 0;
479         if ((ret = gif_read_header1(s)) < 0)
480             return ret;
481
482         if ((ret = av_image_check_size(s->screen_width, s->screen_height, 0, avctx)) < 0)
483             return ret;
484         avcodec_set_dimensions(avctx, s->screen_width, s->screen_height);
485
486         if (s->picture.data[0])
487             avctx->release_buffer(avctx, &s->picture);
488
489         if ((ret = ff_get_buffer(avctx, &s->picture)) < 0) {
490             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
491             return ret;
492         }
493
494         s->picture.pict_type = AV_PICTURE_TYPE_I;
495         s->picture.key_frame = 1;
496         s->keyframe_ok = 1;
497     } else {
498         if (!s->keyframe_ok) {
499             av_log(avctx, AV_LOG_ERROR, "cannot decode frame without keyframe\n");
500             return AVERROR_INVALIDDATA;
501         }
502
503         if ((ret = avctx->reget_buffer(avctx, &s->picture)) < 0) {
504             av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
505             return ret;
506         }
507
508         s->picture.pict_type = AV_PICTURE_TYPE_P;
509         s->picture.key_frame = 0;
510     }
511
512     ret = gif_parse_next_image(s, got_frame);
513     if (ret < 0)
514         return ret;
515     else if (*got_frame)
516         *picture = s->picture;
517
518     return avpkt->size;
519 }
520
521 static av_cold int gif_decode_close(AVCodecContext *avctx)
522 {
523     GifState *s = avctx->priv_data;
524
525     ff_lzw_decode_close(&s->lzw);
526     if(s->picture.data[0])
527         avctx->release_buffer(avctx, &s->picture);
528
529     av_freep(&s->idx_line);
530     av_freep(&s->stored_img);
531
532     return 0;
533 }
534
535 static const AVOption options[] = {
536     { "trans_color", "color value (ARGB) that is used instead of transparent color",
537       offsetof(GifState, trans_color), AV_OPT_TYPE_INT,
538       {.i64 = GIF_TRANSPARENT_COLOR}, 0, 0xffffffff,
539       AV_OPT_FLAG_DECODING_PARAM|AV_OPT_FLAG_VIDEO_PARAM },
540     { NULL },
541 };
542
543 static const AVClass decoder_class = {
544     .class_name = "gif decoder",
545     .item_name  = av_default_item_name,
546     .option     = options,
547     .version    = LIBAVUTIL_VERSION_INT,
548     .category   = AV_CLASS_CATEGORY_DECODER,
549 };
550
551 AVCodec ff_gif_decoder = {
552     .name           = "gif",
553     .type           = AVMEDIA_TYPE_VIDEO,
554     .id             = AV_CODEC_ID_GIF,
555     .priv_data_size = sizeof(GifState),
556     .init           = gif_decode_init,
557     .close          = gif_decode_close,
558     .decode         = gif_decode_frame,
559     .capabilities   = CODEC_CAP_DR1,
560     .long_name      = NULL_IF_CONFIG_SMALL("GIF (Graphics Interchange Format)"),
561     .priv_class     = &decoder_class,
562 };