Check for out of bound reads in the QuickDraw decoder.
[ffmpeg.git] / libavcodec / qdrw.c
1 /*
2  * QuickDraw (qdrw) codec
3  * Copyright (c) 2004 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Apple QuickDraw codec.
25  */
26
27 #include "libavutil/intreadwrite.h"
28 #include "avcodec.h"
29
30 typedef struct QdrawContext{
31     AVCodecContext *avctx;
32     AVFrame pic;
33 } QdrawContext;
34
35 static int decode_frame(AVCodecContext *avctx,
36                         void *data, int *data_size,
37                         AVPacket *avpkt)
38 {
39     const uint8_t *buf = avpkt->data;
40     const uint8_t *buf_end = avpkt->data + avpkt->size;
41     int buf_size = avpkt->size;
42     QdrawContext * const a = avctx->priv_data;
43     AVFrame * const p= (AVFrame*)&a->pic;
44     uint8_t* outdata;
45     int colors;
46     int i;
47     uint32_t *pal;
48     int r, g, b;
49
50     if(p->data[0])
51         avctx->release_buffer(avctx, p);
52
53     p->reference= 0;
54     if(avctx->get_buffer(avctx, p) < 0){
55         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
56         return -1;
57     }
58     p->pict_type= AV_PICTURE_TYPE_I;
59     p->key_frame= 1;
60
61     outdata = a->pic.data[0];
62
63     if (buf_end - buf < 0x68 + 4)
64         return AVERROR_INVALIDDATA;
65     buf += 0x68; /* jump to palette */
66     colors = AV_RB32(buf);
67     buf += 4;
68
69     if(colors < 0 || colors > 256) {
70         av_log(avctx, AV_LOG_ERROR, "Error color count - %i(0x%X)\n", colors, colors);
71         return -1;
72     }
73     if (buf_end - buf < (colors + 1) * 8)
74         return AVERROR_INVALIDDATA;
75
76     pal = (uint32_t*)p->data[1];
77     for (i = 0; i <= colors; i++) {
78         unsigned int idx;
79         idx = AV_RB16(buf); /* color index */
80         buf += 2;
81
82         if (idx > 255) {
83             av_log(avctx, AV_LOG_ERROR, "Palette index out of range: %u\n", idx);
84             buf += 6;
85             continue;
86         }
87         r = *buf++;
88         buf++;
89         g = *buf++;
90         buf++;
91         b = *buf++;
92         buf++;
93         pal[idx] = (r << 16) | (g << 8) | b;
94     }
95     p->palette_has_changed = 1;
96
97     if (buf_end - buf < 18)
98         return AVERROR_INVALIDDATA;
99     buf += 18; /* skip unneeded data */
100     for (i = 0; i < avctx->height; i++) {
101         int size, left, code, pix;
102         const uint8_t *next;
103         uint8_t *out;
104         int tsize = 0;
105
106         /* decode line */
107         out = outdata;
108         size = AV_RB16(buf); /* size of packed line */
109         buf += 2;
110         if (buf_end - buf < size)
111             return AVERROR_INVALIDDATA;
112
113         left = size;
114         next = buf + size;
115         while (left > 0) {
116             code = *buf++;
117             if (code & 0x80 ) { /* run */
118                 pix = *buf++;
119                 if ((out + (257 - code)) > (outdata +  a->pic.linesize[0]))
120                     break;
121                 memset(out, pix, 257 - code);
122                 out += 257 - code;
123                 tsize += 257 - code;
124                 left -= 2;
125             } else { /* copy */
126                 if ((out + code) > (outdata +  a->pic.linesize[0]))
127                     break;
128                 if (buf_end - buf < code + 1)
129                     return AVERROR_INVALIDDATA;
130                 memcpy(out, buf, code + 1);
131                 out += code + 1;
132                 buf += code + 1;
133                 left -= 2 + code;
134                 tsize += code + 1;
135             }
136         }
137         buf = next;
138         outdata += a->pic.linesize[0];
139     }
140
141     *data_size = sizeof(AVFrame);
142     *(AVFrame*)data = a->pic;
143
144     return buf_size;
145 }
146
147 static av_cold int decode_init(AVCodecContext *avctx){
148     QdrawContext * const a = avctx->priv_data;
149
150     avcodec_get_frame_defaults(&a->pic);
151     avctx->pix_fmt= PIX_FMT_PAL8;
152
153     return 0;
154 }
155
156 static av_cold int decode_end(AVCodecContext *avctx){
157     QdrawContext * const a = avctx->priv_data;
158     AVFrame *pic = &a->pic;
159
160     if (pic->data[0])
161         avctx->release_buffer(avctx, pic);
162
163     return 0;
164 }
165
166 AVCodec ff_qdraw_decoder = {
167     .name           = "qdraw",
168     .type           = AVMEDIA_TYPE_VIDEO,
169     .id             = CODEC_ID_QDRAW,
170     .priv_data_size = sizeof(QdrawContext),
171     .init           = decode_init,
172     .close          = decode_end,
173     .decode         = decode_frame,
174     .capabilities   = CODEC_CAP_DR1,
175     .long_name = NULL_IF_CONFIG_SMALL("Apple QuickDraw"),
176 };