avcodec/hevc_mp4toannexb_bsf: check that nalu size doesnt overflow
[ffmpeg.git] / libavcodec / indeo2.c
1 /*
2  * Intel Indeo 2 codec
3  * Copyright (c) 2005 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Intel Indeo 2 decoder.
25  */
26
27 #include "libavutil/attributes.h"
28
29 #define BITSTREAM_READER_LE
30 #include "avcodec.h"
31 #include "get_bits.h"
32 #include "indeo2data.h"
33 #include "internal.h"
34 #include "mathops.h"
35
36 typedef struct Ir2Context{
37     AVCodecContext *avctx;
38     AVFrame *picture;
39     GetBitContext gb;
40     int decode_delta;
41 } Ir2Context;
42
43 #define CODE_VLC_BITS 14
44 static VLC ir2_vlc;
45
46 /* Indeo 2 codes are in range 0x01..0x7F and 0x81..0x90 */
47 static inline int ir2_get_code(GetBitContext *gb)
48 {
49     return get_vlc2(gb, ir2_vlc.table, CODE_VLC_BITS, 1) + 1;
50 }
51
52 static int ir2_decode_plane(Ir2Context *ctx, int width, int height, uint8_t *dst,
53                             int pitch, const uint8_t *table)
54 {
55     int i;
56     int j;
57     int out = 0;
58
59     if ((width & 1) || width * height / (2*(IR2_CODES - 0x7F)) > get_bits_left(&ctx->gb))
60         return AVERROR_INVALIDDATA;
61
62     /* first line contain absolute values, other lines contain deltas */
63     while (out < width) {
64         int c = ir2_get_code(&ctx->gb);
65         if (c >= 0x80) { /* we have a run */
66             c -= 0x7F;
67             if (out + c*2 > width)
68                 return AVERROR_INVALIDDATA;
69             for (i = 0; i < c * 2; i++)
70                 dst[out++] = 0x80;
71         } else { /* copy two values from table */
72             if (c <= 0)
73                 return AVERROR_INVALIDDATA;
74             dst[out++] = table[c * 2];
75             dst[out++] = table[(c * 2) + 1];
76         }
77     }
78     dst += pitch;
79
80     for (j = 1; j < height; j++) {
81         out = 0;
82         while (out < width) {
83             int c;
84             if (get_bits_left(&ctx->gb) <= 0)
85                 return AVERROR_INVALIDDATA;
86             c = ir2_get_code(&ctx->gb);
87             if (c >= 0x80) { /* we have a skip */
88                 c -= 0x7F;
89                 if (out + c*2 > width)
90                     return AVERROR_INVALIDDATA;
91                 for (i = 0; i < c * 2; i++) {
92                     dst[out] = dst[out - pitch];
93                     out++;
94                 }
95             } else { /* add two deltas from table */
96                 int t;
97                 if (c <= 0)
98                     return AVERROR_INVALIDDATA;
99                 t        = dst[out - pitch] + (table[c * 2] - 128);
100                 t        = av_clip_uint8(t);
101                 dst[out] = t;
102                 out++;
103                 t        = dst[out - pitch] + (table[(c * 2) + 1] - 128);
104                 t        = av_clip_uint8(t);
105                 dst[out] = t;
106                 out++;
107             }
108         }
109         dst += pitch;
110     }
111     return 0;
112 }
113
114 static int ir2_decode_plane_inter(Ir2Context *ctx, int width, int height, uint8_t *dst,
115                                   int pitch, const uint8_t *table)
116 {
117     int j;
118     int out = 0;
119     int c;
120     int t;
121
122     if (width & 1)
123         return AVERROR_INVALIDDATA;
124
125     for (j = 0; j < height; j++) {
126         out = 0;
127         while (out < width) {
128             if (get_bits_left(&ctx->gb) <= 0)
129                 return AVERROR_INVALIDDATA;
130             c = ir2_get_code(&ctx->gb);
131             if (c >= 0x80) { /* we have a skip */
132                 c   -= 0x7F;
133                 out += c * 2;
134             } else { /* add two deltas from table */
135                 if (c <= 0)
136                     return AVERROR_INVALIDDATA;
137                 t        = dst[out] + (((table[c * 2] - 128)*3) >> 2);
138                 t        = av_clip_uint8(t);
139                 dst[out] = t;
140                 out++;
141                 t        = dst[out] + (((table[(c * 2) + 1] - 128)*3) >> 2);
142                 t        = av_clip_uint8(t);
143                 dst[out] = t;
144                 out++;
145             }
146         }
147         dst += pitch;
148     }
149     return 0;
150 }
151
152 static int ir2_decode_frame(AVCodecContext *avctx,
153                         void *data, int *got_frame,
154                         AVPacket *avpkt)
155 {
156     Ir2Context * const s = avctx->priv_data;
157     const uint8_t *buf   = avpkt->data;
158     int buf_size         = avpkt->size;
159     AVFrame *picture     = data;
160     AVFrame * const p    = s->picture;
161     int start, ret;
162     int ltab, ctab;
163
164     if ((ret = ff_reget_buffer(avctx, p, 0)) < 0)
165         return ret;
166
167     start = 48; /* hardcoded for now */
168
169     if (start >= buf_size) {
170         av_log(s->avctx, AV_LOG_ERROR, "input buffer size too small (%d)\n", buf_size);
171         return AVERROR_INVALIDDATA;
172     }
173
174     s->decode_delta = buf[18];
175
176     /* decide whether frame uses deltas or not */
177 #ifndef BITSTREAM_READER_LE
178     for (i = 0; i < buf_size; i++)
179         buf[i] = ff_reverse[buf[i]];
180 #endif
181
182     if ((ret = init_get_bits8(&s->gb, buf + start, buf_size - start)) < 0)
183         return ret;
184
185     ltab = buf[0x22] & 3;
186     ctab = buf[0x22] >> 2;
187
188     if (ctab > 3) {
189         av_log(avctx, AV_LOG_ERROR, "ctab %d is invalid\n", ctab);
190         return AVERROR_INVALIDDATA;
191     }
192
193     if (s->decode_delta) { /* intraframe */
194         if ((ret = ir2_decode_plane(s, avctx->width, avctx->height,
195                                     p->data[0], p->linesize[0],
196                                     ir2_delta_table[ltab])) < 0)
197             return ret;
198
199         /* swapped U and V */
200         if ((ret = ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
201                                     p->data[2], p->linesize[2],
202                                     ir2_delta_table[ctab])) < 0)
203             return ret;
204         if ((ret = ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
205                                     p->data[1], p->linesize[1],
206                                     ir2_delta_table[ctab])) < 0)
207             return ret;
208     } else { /* interframe */
209         if ((ret = ir2_decode_plane_inter(s, avctx->width, avctx->height,
210                                           p->data[0], p->linesize[0],
211                                           ir2_delta_table[ltab])) < 0)
212             return ret;
213         /* swapped U and V */
214         if ((ret = ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
215                                           p->data[2], p->linesize[2],
216                                           ir2_delta_table[ctab])) < 0)
217             return ret;
218         if ((ret = ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
219                                           p->data[1], p->linesize[1],
220                                           ir2_delta_table[ctab])) < 0)
221             return ret;
222     }
223
224     if ((ret = av_frame_ref(picture, p)) < 0)
225         return ret;
226
227     *got_frame = 1;
228
229     return buf_size;
230 }
231
232 static av_cold int ir2_decode_init(AVCodecContext *avctx)
233 {
234     Ir2Context * const ic = avctx->priv_data;
235     static VLC_TYPE vlc_tables[1 << CODE_VLC_BITS][2];
236
237     ic->avctx = avctx;
238
239     avctx->pix_fmt= AV_PIX_FMT_YUV410P;
240
241     ic->picture = av_frame_alloc();
242     if (!ic->picture)
243         return AVERROR(ENOMEM);
244
245     ir2_vlc.table = vlc_tables;
246     ir2_vlc.table_allocated = 1 << CODE_VLC_BITS;
247 #ifdef BITSTREAM_READER_LE
248         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
249                  &ir2_codes[0][1], 4, 2,
250                  &ir2_codes[0][0], 4, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
251 #else
252         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
253                  &ir2_codes[0][1], 4, 2,
254                  &ir2_codes[0][0], 4, 2, INIT_VLC_USE_NEW_STATIC);
255 #endif
256
257     return 0;
258 }
259
260 static av_cold int ir2_decode_end(AVCodecContext *avctx)
261 {
262     Ir2Context * const ic = avctx->priv_data;
263
264     av_frame_free(&ic->picture);
265
266     return 0;
267 }
268
269 AVCodec ff_indeo2_decoder = {
270     .name           = "indeo2",
271     .long_name      = NULL_IF_CONFIG_SMALL("Intel Indeo 2"),
272     .type           = AVMEDIA_TYPE_VIDEO,
273     .id             = AV_CODEC_ID_INDEO2,
274     .priv_data_size = sizeof(Ir2Context),
275     .init           = ir2_decode_init,
276     .close          = ir2_decode_end,
277     .decode         = ir2_decode_frame,
278     .capabilities   = AV_CODEC_CAP_DR1,
279 };