libopenh264enc: Return a more sensible error code in some init failure paths
[ffmpeg.git] / libavcodec / indeo2.c
1 /*
2  * Intel Indeo 2 codec
3  * Copyright (c) 2005 Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Intel Indeo 2 decoder.
25  */
26
27 #include "libavutil/attributes.h"
28
29 #define BITSTREAM_READER_LE
30 #include "avcodec.h"
31 #include "get_bits.h"
32 #include "indeo2data.h"
33 #include "internal.h"
34 #include "mathops.h"
35
36 typedef struct Ir2Context{
37     AVCodecContext *avctx;
38     AVFrame *picture;
39     GetBitContext gb;
40     int decode_delta;
41 } Ir2Context;
42
43 #define CODE_VLC_BITS 14
44 static VLC ir2_vlc;
45
46 /* Indeo 2 codes are in range 0x01..0x7F and 0x81..0x90 */
47 static inline int ir2_get_code(GetBitContext *gb)
48 {
49     return get_vlc2(gb, ir2_vlc.table, CODE_VLC_BITS, 1) + 1;
50 }
51
52 static int ir2_decode_plane(Ir2Context *ctx, int width, int height, uint8_t *dst,
53                             int pitch, const uint8_t *table)
54 {
55     int i;
56     int j;
57     int out = 0;
58     int c;
59     int t;
60
61     if (width & 1)
62         return AVERROR_INVALIDDATA;
63
64     /* first line contain absolute values, other lines contain deltas */
65     while (out < width) {
66         c = ir2_get_code(&ctx->gb);
67         if (c >= 0x80) { /* we have a run */
68             c -= 0x7F;
69             if (out + c*2 > width)
70                 return AVERROR_INVALIDDATA;
71             for (i = 0; i < c * 2; i++)
72                 dst[out++] = 0x80;
73         } else { /* copy two values from table */
74             dst[out++] = table[c * 2];
75             dst[out++] = table[(c * 2) + 1];
76         }
77     }
78     dst += pitch;
79
80     for (j = 1; j < height; j++) {
81         out = 0;
82         while (out < width) {
83             c = ir2_get_code(&ctx->gb);
84             if (c >= 0x80) { /* we have a skip */
85                 c -= 0x7F;
86                 if (out + c*2 > width)
87                     return AVERROR_INVALIDDATA;
88                 for (i = 0; i < c * 2; i++) {
89                     dst[out] = dst[out - pitch];
90                     out++;
91                 }
92             } else { /* add two deltas from table */
93                 t        = dst[out - pitch] + (table[c * 2] - 128);
94                 t        = av_clip_uint8(t);
95                 dst[out] = t;
96                 out++;
97                 t        = dst[out - pitch] + (table[(c * 2) + 1] - 128);
98                 t        = av_clip_uint8(t);
99                 dst[out] = t;
100                 out++;
101             }
102         }
103         dst += pitch;
104     }
105     return 0;
106 }
107
108 static int ir2_decode_plane_inter(Ir2Context *ctx, int width, int height, uint8_t *dst,
109                                   int pitch, const uint8_t *table)
110 {
111     int j;
112     int out = 0;
113     int c;
114     int t;
115
116     if (width & 1)
117         return AVERROR_INVALIDDATA;
118
119     for (j = 0; j < height; j++) {
120         out = 0;
121         while (out < width) {
122             c = ir2_get_code(&ctx->gb);
123             if (c >= 0x80) { /* we have a skip */
124                 c   -= 0x7F;
125                 out += c * 2;
126             } else { /* add two deltas from table */
127                 t        = dst[out] + (((table[c * 2] - 128)*3) >> 2);
128                 t        = av_clip_uint8(t);
129                 dst[out] = t;
130                 out++;
131                 t        = dst[out] + (((table[(c * 2) + 1] - 128)*3) >> 2);
132                 t        = av_clip_uint8(t);
133                 dst[out] = t;
134                 out++;
135             }
136         }
137         dst += pitch;
138     }
139     return 0;
140 }
141
142 static int ir2_decode_frame(AVCodecContext *avctx,
143                         void *data, int *got_frame,
144                         AVPacket *avpkt)
145 {
146     Ir2Context * const s = avctx->priv_data;
147     const uint8_t *buf   = avpkt->data;
148     int buf_size         = avpkt->size;
149     AVFrame *picture     = data;
150     AVFrame * const p    = s->picture;
151     int start, ret;
152     int ltab, ctab;
153
154     if ((ret = ff_reget_buffer(avctx, p)) < 0) {
155         av_log(s->avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
156         return ret;
157     }
158
159     start = 48; /* hardcoded for now */
160
161     if (start >= buf_size) {
162         av_log(s->avctx, AV_LOG_ERROR, "input buffer size too small (%d)\n", buf_size);
163         return AVERROR_INVALIDDATA;
164     }
165
166     s->decode_delta = buf[18];
167
168     /* decide whether frame uses deltas or not */
169 #ifndef BITSTREAM_READER_LE
170     for (i = 0; i < buf_size; i++)
171         buf[i] = ff_reverse[buf[i]];
172 #endif
173
174     init_get_bits(&s->gb, buf + start, (buf_size - start) * 8);
175
176     ltab = buf[0x22] & 3;
177     ctab = buf[0x22] >> 2;
178     if (s->decode_delta) { /* intraframe */
179         if ((ret = ir2_decode_plane(s, avctx->width, avctx->height,
180                                     p->data[0], p->linesize[0],
181                                     ir2_delta_table[ltab])) < 0)
182             return ret;
183
184         /* swapped U and V */
185         if ((ret = ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
186                                     p->data[2], p->linesize[2],
187                                     ir2_delta_table[ctab])) < 0)
188             return ret;
189         if ((ret = ir2_decode_plane(s, avctx->width >> 2, avctx->height >> 2,
190                                     p->data[1], p->linesize[1],
191                                     ir2_delta_table[ctab])) < 0)
192             return ret;
193     } else { /* interframe */
194         if ((ret = ir2_decode_plane_inter(s, avctx->width, avctx->height,
195                                           p->data[0], p->linesize[0],
196                                           ir2_delta_table[ltab])) < 0)
197             return ret;
198         /* swapped U and V */
199         if ((ret = ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
200                                           p->data[2], p->linesize[2],
201                                           ir2_delta_table[ctab])) < 0)
202             return ret;
203         if ((ret = ir2_decode_plane_inter(s, avctx->width >> 2, avctx->height >> 2,
204                                           p->data[1], p->linesize[1],
205                                           ir2_delta_table[ctab])) < 0)
206             return ret;
207     }
208
209     if ((ret = av_frame_ref(picture, p)) < 0)
210         return ret;
211
212     *got_frame = 1;
213
214     return buf_size;
215 }
216
217 static av_cold int ir2_decode_init(AVCodecContext *avctx)
218 {
219     Ir2Context * const ic = avctx->priv_data;
220     static VLC_TYPE vlc_tables[1 << CODE_VLC_BITS][2];
221
222     ic->avctx = avctx;
223
224     avctx->pix_fmt= AV_PIX_FMT_YUV410P;
225
226     ic->picture = av_frame_alloc();
227     if (!ic->picture)
228         return AVERROR(ENOMEM);
229
230     ir2_vlc.table = vlc_tables;
231     ir2_vlc.table_allocated = 1 << CODE_VLC_BITS;
232 #ifdef BITSTREAM_READER_LE
233         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
234                  &ir2_codes[0][1], 4, 2,
235                  &ir2_codes[0][0], 4, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
236 #else
237         init_vlc(&ir2_vlc, CODE_VLC_BITS, IR2_CODES,
238                  &ir2_codes[0][1], 4, 2,
239                  &ir2_codes[0][0], 4, 2, INIT_VLC_USE_NEW_STATIC);
240 #endif
241
242     return 0;
243 }
244
245 static av_cold int ir2_decode_end(AVCodecContext *avctx)
246 {
247     Ir2Context * const ic = avctx->priv_data;
248
249     av_frame_free(&ic->picture);
250
251     return 0;
252 }
253
254 AVCodec ff_indeo2_decoder = {
255     .name           = "indeo2",
256     .long_name      = NULL_IF_CONFIG_SMALL("Intel Indeo 2"),
257     .type           = AVMEDIA_TYPE_VIDEO,
258     .id             = AV_CODEC_ID_INDEO2,
259     .priv_data_size = sizeof(Ir2Context),
260     .init           = ir2_decode_init,
261     .close          = ir2_decode_end,
262     .decode         = ir2_decode_frame,
263     .capabilities   = AV_CODEC_CAP_DR1,
264 };