avcodec/anm: Check input size for a frame with just a stop code
[ffmpeg.git] / libavcodec / anm.c
1 /*
2  * Deluxe Paint Animation decoder
3  * Copyright (c) 2009 Peter Ross
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Deluxe Paint Animation decoder
25  */
26
27 #include "avcodec.h"
28 #include "bytestream.h"
29 #include "internal.h"
30
31 typedef struct AnmContext {
32     AVFrame *frame;
33     int palette[AVPALETTE_COUNT];
34     GetByteContext gb;
35     int x;  ///< x coordinate position
36 } AnmContext;
37
38 static av_cold int decode_init(AVCodecContext *avctx)
39 {
40     AnmContext *s = avctx->priv_data;
41     int i;
42
43     avctx->pix_fmt = AV_PIX_FMT_PAL8;
44
45     s->frame = av_frame_alloc();
46     if (!s->frame)
47         return AVERROR(ENOMEM);
48
49     bytestream2_init(&s->gb, avctx->extradata, avctx->extradata_size);
50     if (bytestream2_get_bytes_left(&s->gb) < 16 * 8 + 4 * 256) {
51         av_frame_free(&s->frame);
52         return AVERROR_INVALIDDATA;
53     }
54
55     bytestream2_skipu(&s->gb, 16 * 8);
56     for (i = 0; i < 256; i++)
57         s->palette[i] = (0xFFU << 24) | bytestream2_get_le32u(&s->gb);
58
59     return 0;
60 }
61
62 /**
63  * Perform decode operation
64  * @param dst     pointer to destination image buffer
65  * @param dst_end pointer to end of destination image buffer
66  * @param gb GetByteContext (optional, see below)
67  * @param pixel Fill color (optional, see below)
68  * @param count Pixel count
69  * @param x Pointer to x-axis counter
70  * @param width Image width
71  * @param linesize Destination image buffer linesize
72  * @return non-zero if destination buffer is exhausted
73  *
74  * a copy operation is achieved when 'gb' is set
75  * a fill operation is achieved when 'gb' is null and pixel is >= 0
76  * a skip operation is achieved when 'gb' is null and pixel is < 0
77  */
78 static inline int op(uint8_t **dst, const uint8_t *dst_end,
79                      GetByteContext *gb,
80                      int pixel, int count,
81                      int *x, int width, int linesize)
82 {
83     int remaining = width - *x;
84     while(count > 0) {
85         int striplen = FFMIN(count, remaining);
86         if (gb) {
87             if (bytestream2_get_bytes_left(gb) < striplen)
88                 goto exhausted;
89             bytestream2_get_bufferu(gb, *dst, striplen);
90         } else if (pixel >= 0)
91             memset(*dst, pixel, striplen);
92         *dst      += striplen;
93         remaining -= striplen;
94         count     -= striplen;
95         if (remaining <= 0) {
96             *dst      += linesize - width;
97             remaining  = width;
98         }
99         if (linesize > 0) {
100             if (*dst >= dst_end) goto exhausted;
101         } else {
102             if (*dst <= dst_end) goto exhausted;
103         }
104     }
105     *x = width - remaining;
106     return 0;
107
108 exhausted:
109     *x = width - remaining;
110     return 1;
111 }
112
113 static int decode_frame(AVCodecContext *avctx,
114                         void *data, int *got_frame,
115                         AVPacket *avpkt)
116 {
117     AnmContext *s = avctx->priv_data;
118     const int buf_size = avpkt->size;
119     uint8_t *dst, *dst_end;
120     int count, ret;
121
122     if (buf_size < 7)
123         return AVERROR_INVALIDDATA;
124
125     if ((ret = ff_reget_buffer(avctx, s->frame)) < 0)
126         return ret;
127     dst     = s->frame->data[0];
128     dst_end = s->frame->data[0] + s->frame->linesize[0]*avctx->height;
129
130     bytestream2_init(&s->gb, avpkt->data, buf_size);
131
132     if (bytestream2_get_byte(&s->gb) != 0x42) {
133         avpriv_request_sample(avctx, "Unknown record type");
134         return AVERROR_INVALIDDATA;
135     }
136     if (bytestream2_get_byte(&s->gb)) {
137         avpriv_request_sample(avctx, "Padding bytes");
138         return AVERROR_PATCHWELCOME;
139     }
140     bytestream2_skip(&s->gb, 2);
141
142     s->x = 0;
143     do {
144         /* if statements are ordered by probability */
145 #define OP(gb, pixel, count) \
146     op(&dst, dst_end, (gb), (pixel), (count), &s->x, avctx->width, s->frame->linesize[0])
147
148         int type = bytestream2_get_byte(&s->gb);
149         count = type & 0x7F;
150         type >>= 7;
151         if (count) {
152             if (OP(type ? NULL : &s->gb, -1, count)) break;
153         } else if (!type) {
154             int pixel;
155             count = bytestream2_get_byte(&s->gb);  /* count==0 gives nop */
156             pixel = bytestream2_get_byte(&s->gb);
157             if (OP(NULL, pixel, count)) break;
158         } else {
159             int pixel;
160             type = bytestream2_get_le16(&s->gb);
161             count = type & 0x3FFF;
162             type >>= 14;
163             if (!count) {
164                 if (type == 0)
165                     break; // stop
166                 if (type == 2) {
167                     avpriv_request_sample(avctx, "Unknown opcode");
168                     return AVERROR_PATCHWELCOME;
169                 }
170                 continue;
171             }
172             pixel = type == 3 ? bytestream2_get_byte(&s->gb) : -1;
173             if (type == 1) count += 0x4000;
174             if (OP(type == 2 ? &s->gb : NULL, pixel, count)) break;
175         }
176     } while (bytestream2_get_bytes_left(&s->gb) > 0);
177
178     memcpy(s->frame->data[1], s->palette, AVPALETTE_SIZE);
179
180     *got_frame = 1;
181     if ((ret = av_frame_ref(data, s->frame)) < 0)
182         return ret;
183
184     return buf_size;
185 }
186
187 static av_cold int decode_end(AVCodecContext *avctx)
188 {
189     AnmContext *s = avctx->priv_data;
190
191     av_frame_free(&s->frame);
192     return 0;
193 }
194
195 AVCodec ff_anm_decoder = {
196     .name           = "anm",
197     .long_name      = NULL_IF_CONFIG_SMALL("Deluxe Paint Animation"),
198     .type           = AVMEDIA_TYPE_VIDEO,
199     .id             = AV_CODEC_ID_ANM,
200     .priv_data_size = sizeof(AnmContext),
201     .init           = decode_init,
202     .close          = decode_end,
203     .decode         = decode_frame,
204     .capabilities   = AV_CODEC_CAP_DR1,
205     .caps_internal  = FF_CODEC_CAP_INIT_THREADSAFE,
206 };