Merge commit '86bfcfcf2364bc837b7bb582c66a8a15a332414f'
[ffmpeg.git] / libavcodec / 4xm.c
1 /*
2  * 4XM codec
3  * Copyright (c) 2003 Michael Niedermayer
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * 4XM codec.
25  */
26
27 #include "libavutil/intreadwrite.h"
28 #include "avcodec.h"
29 #include "bytestream.h"
30 #include "dsputil.h"
31 #include "get_bits.h"
32 #include "internal.h"
33
34 #include "libavutil/avassert.h"
35
36 #define BLOCK_TYPE_VLC_BITS 5
37 #define ACDC_VLC_BITS 9
38
39 #define CFRAME_BUFFER_COUNT 100
40
41 static const uint8_t block_type_tab[2][4][8][2] = {
42     {
43         {    // { 8, 4, 2 } x { 8, 4, 2}
44             { 0, 1 }, { 2, 2 }, { 6, 3 }, { 14, 4 }, { 30, 5 }, { 31, 5 }, { 0, 0 }
45         }, { // { 8, 4 } x 1
46             { 0, 1 }, { 0, 0 }, { 2, 2 }, { 6, 3 }, { 14, 4 }, { 15, 4 }, { 0, 0 }
47         }, { // 1 x { 8, 4 }
48             { 0, 1 }, { 2, 2 }, { 0, 0 }, { 6, 3 }, { 14, 4 }, { 15, 4 }, { 0, 0 }
49         }, { // 1 x 2, 2 x 1
50             { 0, 1 }, { 0, 0 }, { 0, 0 }, { 2, 2 }, { 6, 3 }, { 14, 4 }, { 15, 4 }
51         }
52     }, {
53         {   // { 8, 4, 2 } x { 8, 4, 2}
54             { 1, 2 }, { 4, 3 }, { 5, 3 }, { 0, 2 }, { 6, 3 }, { 7, 3 }, { 0, 0 }
55         }, {// { 8, 4 } x 1
56             { 1, 2 }, { 0, 0 }, { 2, 2 }, { 0, 2 }, { 6, 3 }, { 7, 3 }, { 0, 0 }
57         }, {// 1 x { 8, 4 }
58             { 1, 2 }, { 2, 2 }, { 0, 0 }, { 0, 2 }, { 6, 3 }, { 7, 3 }, { 0, 0 }
59         }, {// 1 x 2, 2 x 1
60             { 1, 2 }, { 0, 0 }, { 0, 0 }, { 0, 2 }, { 2, 2 }, { 6, 3 }, { 7, 3 }
61       }
62     }
63 };
64
65 static const uint8_t size2index[4][4] = {
66     { -1, 3, 1, 1 },
67     {  3, 0, 0, 0 },
68     {  2, 0, 0, 0 },
69     {  2, 0, 0, 0 },
70 };
71
72 static const int8_t mv[256][2] = {
73     {   0,   0 }, {   0,  -1 }, {  -1,   0 }, {   1,   0 }, {   0,   1 }, {  -1,  -1 }, {   1,  -1 }, {  -1,   1 },
74     {   1,   1 }, {   0,  -2 }, {  -2,   0 }, {   2,   0 }, {   0,   2 }, {  -1,  -2 }, {   1,  -2 }, {  -2,  -1 },
75     {   2,  -1 }, {  -2,   1 }, {   2,   1 }, {  -1,   2 }, {   1,   2 }, {  -2,  -2 }, {   2,  -2 }, {  -2,   2 },
76     {   2,   2 }, {   0,  -3 }, {  -3,   0 }, {   3,   0 }, {   0,   3 }, {  -1,  -3 }, {   1,  -3 }, {  -3,  -1 },
77     {   3,  -1 }, {  -3,   1 }, {   3,   1 }, {  -1,   3 }, {   1,   3 }, {  -2,  -3 }, {   2,  -3 }, {  -3,  -2 },
78     {   3,  -2 }, {  -3,   2 }, {   3,   2 }, {  -2,   3 }, {   2,   3 }, {   0,  -4 }, {  -4,   0 }, {   4,   0 },
79     {   0,   4 }, {  -1,  -4 }, {   1,  -4 }, {  -4,  -1 }, {   4,  -1 }, {   4,   1 }, {  -1,   4 }, {   1,   4 },
80     {  -3,  -3 }, {  -3,   3 }, {   3,   3 }, {  -2,  -4 }, {  -4,  -2 }, {   4,  -2 }, {  -4,   2 }, {  -2,   4 },
81     {   2,   4 }, {  -3,  -4 }, {   3,  -4 }, {   4,  -3 }, {  -5,   0 }, {  -4,   3 }, {  -3,   4 }, {   3,   4 },
82     {  -1,  -5 }, {  -5,  -1 }, {  -5,   1 }, {  -1,   5 }, {  -2,  -5 }, {   2,  -5 }, {   5,  -2 }, {   5,   2 },
83     {  -4,  -4 }, {  -4,   4 }, {  -3,  -5 }, {  -5,  -3 }, {  -5,   3 }, {   3,   5 }, {  -6,   0 }, {   0,   6 },
84     {  -6,  -1 }, {  -6,   1 }, {   1,   6 }, {   2,  -6 }, {  -6,   2 }, {   2,   6 }, {  -5,  -4 }, {   5,   4 },
85     {   4,   5 }, {  -6,  -3 }, {   6,   3 }, {  -7,   0 }, {  -1,  -7 }, {   5,  -5 }, {  -7,   1 }, {  -1,   7 },
86     {   4,  -6 }, {   6,   4 }, {  -2,  -7 }, {  -7,   2 }, {  -3,  -7 }, {   7,  -3 }, {   3,   7 }, {   6,  -5 },
87     {   0,  -8 }, {  -1,  -8 }, {  -7,  -4 }, {  -8,   1 }, {   4,   7 }, {   2,  -8 }, {  -2,   8 }, {   6,   6 },
88     {  -8,   3 }, {   5,  -7 }, {  -5,   7 }, {   8,  -4 }, {   0,  -9 }, {  -9,  -1 }, {   1,   9 }, {   7,  -6 },
89     {  -7,   6 }, {  -5,  -8 }, {  -5,   8 }, {  -9,   3 }, {   9,  -4 }, {   7,  -7 }, {   8,  -6 }, {   6,   8 },
90     {  10,   1 }, { -10,   2 }, {   9,  -5 }, {  10,  -3 }, {  -8,  -7 }, { -10,  -4 }, {   6,  -9 }, { -11,   0 },
91     {  11,   1 }, { -11,  -2 }, {  -2,  11 }, {   7,  -9 }, {  -7,   9 }, {  10,   6 }, {  -4,  11 }, {   8,  -9 },
92     {   8,   9 }, {   5,  11 }, {   7, -10 }, {  12,  -3 }, {  11,   6 }, {  -9,  -9 }, {   8,  10 }, {   5,  12 },
93     { -11,   7 }, {  13,   2 }, {   6, -12 }, {  10,   9 }, { -11,   8 }, {  -7,  12 }, {   0,  14 }, {  14,  -2 },
94     {  -9,  11 }, {  -6,  13 }, { -14,  -4 }, {  -5, -14 }, {   5,  14 }, { -15,  -1 }, { -14,  -6 }, {   3, -15 },
95     {  11, -11 }, {  -7,  14 }, {  -5,  15 }, {   8, -14 }, {  15,   6 }, {   3,  16 }, {   7, -15 }, { -16,   5 },
96     {   0,  17 }, { -16,  -6 }, { -10,  14 }, { -16,   7 }, {  12,  13 }, { -16,   8 }, { -17,   6 }, { -18,   3 },
97     {  -7,  17 }, {  15,  11 }, {  16,  10 }, {   2, -19 }, {   3, -19 }, { -11, -16 }, { -18,   8 }, { -19,  -6 },
98     {   2, -20 }, { -17, -11 }, { -10, -18 }, {   8,  19 }, { -21,  -1 }, { -20,   7 }, {  -4,  21 }, {  21,   5 },
99     {  15,  16 }, {   2, -22 }, { -10, -20 }, { -22,   5 }, {  20, -11 }, {  -7, -22 }, { -12,  20 }, {  23,  -5 },
100     {  13, -20 }, {  24,  -2 }, { -15,  19 }, { -11,  22 }, {  16,  19 }, {  23, -10 }, { -18, -18 }, {  -9, -24 },
101     {  24, -10 }, {  -3,  26 }, { -23,  13 }, { -18, -20 }, {  17,  21 }, {  -4,  27 }, {  27,   6 }, {   1, -28 },
102     { -11,  26 }, { -17, -23 }, {   7,  28 }, {  11, -27 }, {  29,   5 }, { -23, -19 }, { -28, -11 }, { -21,  22 },
103     { -30,   7 }, { -17,  26 }, { -27,  16 }, {  13,  29 }, {  19, -26 }, {  10, -31 }, { -14, -30 }, {  20, -27 },
104     { -29,  18 }, { -16, -31 }, { -28, -22 }, {  21, -30 }, { -25,  28 }, {  26, -29 }, {  25, -32 }, { -32, -32 }
105 };
106
107 /* This is simply the scaled down elementwise product of the standard JPEG
108  * quantizer table and the AAN premul table. */
109 static const uint8_t dequant_table[64] = {
110     16, 15, 13, 19, 24, 31, 28, 17,
111     17, 23, 25, 31, 36, 63, 45, 21,
112     18, 24, 27, 37, 52, 59, 49, 20,
113     16, 28, 34, 40, 60, 80, 51, 20,
114     18, 31, 48, 66, 68, 86, 56, 21,
115     19, 38, 56, 59, 64, 64, 48, 20,
116     27, 48, 55, 55, 56, 51, 35, 15,
117     20, 35, 34, 32, 31, 22, 15,  8,
118 };
119
120 static VLC block_type_vlc[2][4];
121
122
123 typedef struct CFrameBuffer {
124     unsigned int allocated_size;
125     unsigned int size;
126     int id;
127     uint8_t *data;
128 } CFrameBuffer;
129
130 typedef struct FourXContext {
131     AVCodecContext *avctx;
132     DSPContext dsp;
133     AVFrame *current_picture, *last_picture;
134     GetBitContext pre_gb;          ///< ac/dc prefix
135     GetBitContext gb;
136     GetByteContext g;
137     GetByteContext g2;
138     int mv[256];
139     VLC pre_vlc;
140     int last_dc;
141     DECLARE_ALIGNED(16, int16_t, block)[6][64];
142     void *bitstream_buffer;
143     unsigned int bitstream_buffer_size;
144     int version;
145     CFrameBuffer cfrm[CFRAME_BUFFER_COUNT];
146 } FourXContext;
147
148
149 #define FIX_1_082392200  70936
150 #define FIX_1_414213562  92682
151 #define FIX_1_847759065 121095
152 #define FIX_2_613125930 171254
153
154 #define MULTIPLY(var, const) (((var) * (const)) >> 16)
155
156 static void idct(int16_t block[64])
157 {
158     int tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
159     int tmp10, tmp11, tmp12, tmp13;
160     int z5, z10, z11, z12, z13;
161     int i;
162     int temp[64];
163
164     for (i = 0; i < 8; i++) {
165         tmp10 = block[8 * 0 + i] + block[8 * 4 + i];
166         tmp11 = block[8 * 0 + i] - block[8 * 4 + i];
167
168         tmp13 = block[8 * 2 + i] + block[8 * 6 + i];
169         tmp12 = MULTIPLY(block[8 * 2 + i] - block[8 * 6 + i], FIX_1_414213562) - tmp13;
170
171         tmp0 = tmp10 + tmp13;
172         tmp3 = tmp10 - tmp13;
173         tmp1 = tmp11 + tmp12;
174         tmp2 = tmp11 - tmp12;
175
176         z13 = block[8 * 5 + i] + block[8 * 3 + i];
177         z10 = block[8 * 5 + i] - block[8 * 3 + i];
178         z11 = block[8 * 1 + i] + block[8 * 7 + i];
179         z12 = block[8 * 1 + i] - block[8 * 7 + i];
180
181         tmp7  =          z11 + z13;
182         tmp11 = MULTIPLY(z11 - z13, FIX_1_414213562);
183
184         z5    = MULTIPLY(z10 + z12, FIX_1_847759065);
185         tmp10 = MULTIPLY(z12,  FIX_1_082392200) - z5;
186         tmp12 = MULTIPLY(z10, -FIX_2_613125930) + z5;
187
188         tmp6 = tmp12 - tmp7;
189         tmp5 = tmp11 - tmp6;
190         tmp4 = tmp10 + tmp5;
191
192         temp[8 * 0 + i] = tmp0 + tmp7;
193         temp[8 * 7 + i] = tmp0 - tmp7;
194         temp[8 * 1 + i] = tmp1 + tmp6;
195         temp[8 * 6 + i] = tmp1 - tmp6;
196         temp[8 * 2 + i] = tmp2 + tmp5;
197         temp[8 * 5 + i] = tmp2 - tmp5;
198         temp[8 * 4 + i] = tmp3 + tmp4;
199         temp[8 * 3 + i] = tmp3 - tmp4;
200     }
201
202     for (i = 0; i < 8 * 8; i += 8) {
203         tmp10 = temp[0 + i] + temp[4 + i];
204         tmp11 = temp[0 + i] - temp[4 + i];
205
206         tmp13 = temp[2 + i] + temp[6 + i];
207         tmp12 = MULTIPLY(temp[2 + i] - temp[6 + i], FIX_1_414213562) - tmp13;
208
209         tmp0 = tmp10 + tmp13;
210         tmp3 = tmp10 - tmp13;
211         tmp1 = tmp11 + tmp12;
212         tmp2 = tmp11 - tmp12;
213
214         z13 = temp[5 + i] + temp[3 + i];
215         z10 = temp[5 + i] - temp[3 + i];
216         z11 = temp[1 + i] + temp[7 + i];
217         z12 = temp[1 + i] - temp[7 + i];
218
219         tmp7  = z11 + z13;
220         tmp11 = MULTIPLY(z11 - z13, FIX_1_414213562);
221
222         z5    = MULTIPLY(z10 + z12, FIX_1_847759065);
223         tmp10 = MULTIPLY(z12,  FIX_1_082392200) - z5;
224         tmp12 = MULTIPLY(z10, -FIX_2_613125930) + z5;
225
226         tmp6 = tmp12 - tmp7;
227         tmp5 = tmp11 - tmp6;
228         tmp4 = tmp10 + tmp5;
229
230         block[0 + i] = (tmp0 + tmp7) >> 6;
231         block[7 + i] = (tmp0 - tmp7) >> 6;
232         block[1 + i] = (tmp1 + tmp6) >> 6;
233         block[6 + i] = (tmp1 - tmp6) >> 6;
234         block[2 + i] = (tmp2 + tmp5) >> 6;
235         block[5 + i] = (tmp2 - tmp5) >> 6;
236         block[4 + i] = (tmp3 + tmp4) >> 6;
237         block[3 + i] = (tmp3 - tmp4) >> 6;
238     }
239 }
240
241 static av_cold void init_vlcs(FourXContext *f)
242 {
243     static VLC_TYPE table[2][4][32][2];
244     int i, j;
245
246     for (i = 0; i < 2; i++) {
247         for (j = 0; j < 4; j++) {
248             block_type_vlc[i][j].table           = table[i][j];
249             block_type_vlc[i][j].table_allocated = 32;
250             init_vlc(&block_type_vlc[i][j], BLOCK_TYPE_VLC_BITS, 7,
251                      &block_type_tab[i][j][0][1], 2, 1,
252                      &block_type_tab[i][j][0][0], 2, 1,
253                      INIT_VLC_USE_NEW_STATIC);
254         }
255     }
256 }
257
258 static void init_mv(FourXContext *f)
259 {
260     int i;
261
262     for (i = 0; i < 256; i++) {
263         if (f->version > 1)
264             f->mv[i] = mv[i][0] + mv[i][1] * f->current_picture->linesize[0] / 2;
265         else
266             f->mv[i] = (i & 15) - 8 + ((i >> 4) - 8) * f->current_picture->linesize[0] / 2;
267     }
268 }
269
270 #if HAVE_BIGENDIAN
271 #define LE_CENTRIC_MUL(dst, src, scale, dc)             \
272     {                                                   \
273         unsigned tmpval = AV_RN32(src);                 \
274         tmpval = (tmpval << 16) | (tmpval >> 16);       \
275         tmpval = tmpval * (scale) + (dc);               \
276         tmpval = (tmpval << 16) | (tmpval >> 16);       \
277         AV_WN32A(dst, tmpval);                          \
278     }
279 #else
280 #define LE_CENTRIC_MUL(dst, src, scale, dc)              \
281     {                                                    \
282         unsigned tmpval = AV_RN32(src) * (scale) + (dc); \
283         AV_WN32A(dst, tmpval);                           \
284     }
285 #endif
286
287 static inline void mcdc(uint16_t *dst, const uint16_t *src, int log2w,
288                         int h, int stride, int scale, unsigned dc)
289 {
290     int i;
291     dc *= 0x10001;
292
293     switch (log2w) {
294     case 0:
295         for (i = 0; i < h; i++) {
296             dst[0] = scale * src[0] + dc;
297             if (scale)
298                 src += stride;
299             dst += stride;
300         }
301         break;
302     case 1:
303         for (i = 0; i < h; i++) {
304             LE_CENTRIC_MUL(dst, src, scale, dc);
305             if (scale)
306                 src += stride;
307             dst += stride;
308         }
309         break;
310     case 2:
311         for (i = 0; i < h; i++) {
312             LE_CENTRIC_MUL(dst, src, scale, dc);
313             LE_CENTRIC_MUL(dst + 2, src + 2, scale, dc);
314             if (scale)
315                 src += stride;
316             dst += stride;
317         }
318         break;
319     case 3:
320         for (i = 0; i < h; i++) {
321             LE_CENTRIC_MUL(dst,     src,     scale, dc);
322             LE_CENTRIC_MUL(dst + 2, src + 2, scale, dc);
323             LE_CENTRIC_MUL(dst + 4, src + 4, scale, dc);
324             LE_CENTRIC_MUL(dst + 6, src + 6, scale, dc);
325             if (scale)
326                 src += stride;
327             dst += stride;
328         }
329         break;
330     default:
331         av_assert2(0);
332     }
333 }
334
335 static void decode_p_block(FourXContext *f, uint16_t *dst, uint16_t *src,
336                            int log2w, int log2h, int stride)
337 {
338     const int index = size2index[log2h][log2w];
339     const int h     = 1 << log2h;
340     int code        = get_vlc2(&f->gb,
341                                block_type_vlc[1 - (f->version > 1)][index].table,
342                                BLOCK_TYPE_VLC_BITS, 1);
343     uint16_t *start = (uint16_t *)f->last_picture->data[0];
344     uint16_t *end   = start + stride * (f->avctx->height - h + 1) - (1 << log2w);
345
346     av_assert2(code >= 0 && code <= 6);
347
348     if (code == 0) {
349         if (bytestream2_get_bytes_left(&f->g) < 1) {
350             av_log(f->avctx, AV_LOG_ERROR, "bytestream overread\n");
351             return;
352         }
353         src += f->mv[bytestream2_get_byteu(&f->g)];
354         if (start > src || src > end) {
355             av_log(f->avctx, AV_LOG_ERROR, "mv out of pic\n");
356             return;
357         }
358         mcdc(dst, src, log2w, h, stride, 1, 0);
359     } else if (code == 1) {
360         log2h--;
361         decode_p_block(f, dst, src, log2w, log2h, stride);
362         decode_p_block(f, dst + (stride << log2h),
363                           src + (stride << log2h), log2w, log2h, stride);
364     } else if (code == 2) {
365         log2w--;
366         decode_p_block(f, dst , src, log2w, log2h, stride);
367         decode_p_block(f, dst + (1 << log2w),
368                           src + (1 << log2w), log2w, log2h, stride);
369     } else if (code == 3 && f->version < 2) {
370         mcdc(dst, src, log2w, h, stride, 1, 0);
371     } else if (code == 4) {
372         if (bytestream2_get_bytes_left(&f->g) < 1) {
373             av_log(f->avctx, AV_LOG_ERROR, "bytestream overread\n");
374             return;
375         }
376         src += f->mv[bytestream2_get_byteu(&f->g)];
377         if (start > src || src > end) {
378             av_log(f->avctx, AV_LOG_ERROR, "mv out of pic\n");
379             return;
380         }
381         if (bytestream2_get_bytes_left(&f->g2) < 2){
382             av_log(f->avctx, AV_LOG_ERROR, "wordstream overread\n");
383             return;
384         }
385         mcdc(dst, src, log2w, h, stride, 1, bytestream2_get_le16u(&f->g2));
386     } else if (code == 5) {
387         if (bytestream2_get_bytes_left(&f->g2) < 2) {
388             av_log(f->avctx, AV_LOG_ERROR, "wordstream overread\n");
389             return;
390         }
391         mcdc(dst, src, log2w, h, stride, 0, bytestream2_get_le16u(&f->g2));
392     } else if (code == 6) {
393         if (bytestream2_get_bytes_left(&f->g2) < 4) {
394             av_log(f->avctx, AV_LOG_ERROR, "wordstream overread\n");
395             return;
396         }
397         if (log2w) {
398             dst[0]      = bytestream2_get_le16u(&f->g2);
399             dst[1]      = bytestream2_get_le16u(&f->g2);
400         } else {
401             dst[0]      = bytestream2_get_le16u(&f->g2);
402             dst[stride] = bytestream2_get_le16u(&f->g2);
403         }
404     }
405 }
406
407 static int decode_p_frame(FourXContext *f, const uint8_t *buf, int length)
408 {
409     int x, y;
410     const int width  = f->avctx->width;
411     const int height = f->avctx->height;
412     uint16_t *src    = (uint16_t *)f->last_picture->data[0];
413     uint16_t *dst    = (uint16_t *)f->current_picture->data[0];
414     const int stride =             f->current_picture->linesize[0] >> 1;
415     unsigned int bitstream_size, bytestream_size, wordstream_size, extra,
416                  bytestream_offset, wordstream_offset;
417
418     if (f->version > 1) {
419         extra           = 20;
420         if (length < extra)
421             return -1;
422         bitstream_size  = AV_RL32(buf + 8);
423         wordstream_size = AV_RL32(buf + 12);
424         bytestream_size = AV_RL32(buf + 16);
425     } else {
426         extra           = 0;
427         bitstream_size  = AV_RL16(buf - 4);
428         wordstream_size = AV_RL16(buf - 2);
429         bytestream_size = FFMAX(length - bitstream_size - wordstream_size, 0);
430     }
431
432     if (bitstream_size > length || bitstream_size >= INT_MAX/8 ||
433         bytestream_size > length - bitstream_size ||
434         wordstream_size > length - bytestream_size - bitstream_size ||
435         extra > length - bytestream_size - bitstream_size - wordstream_size) {
436         av_log(f->avctx, AV_LOG_ERROR, "lengths %d %d %d %d\n", bitstream_size, bytestream_size, wordstream_size,
437         bitstream_size+ bytestream_size+ wordstream_size - length);
438         return AVERROR_INVALIDDATA;
439     }
440
441     av_fast_malloc(&f->bitstream_buffer, &f->bitstream_buffer_size,
442                    bitstream_size + FF_INPUT_BUFFER_PADDING_SIZE);
443     if (!f->bitstream_buffer)
444         return AVERROR(ENOMEM);
445     f->dsp.bswap_buf(f->bitstream_buffer, (const uint32_t*)(buf + extra),
446                      bitstream_size / 4);
447     memset((uint8_t*)f->bitstream_buffer + bitstream_size,
448            0, FF_INPUT_BUFFER_PADDING_SIZE);
449     init_get_bits(&f->gb, f->bitstream_buffer, 8 * bitstream_size);
450
451     wordstream_offset = extra + bitstream_size;
452     bytestream_offset = extra + bitstream_size + wordstream_size;
453     bytestream2_init(&f->g2, buf + wordstream_offset,
454                      length - wordstream_offset);
455     bytestream2_init(&f->g, buf + bytestream_offset,
456                      length - bytestream_offset);
457
458     init_mv(f);
459
460     for (y = 0; y < height; y += 8) {
461         for (x = 0; x < width; x += 8)
462             decode_p_block(f, dst + x, src + x, 3, 3, stride);
463         src += 8 * stride;
464         dst += 8 * stride;
465     }
466
467     return 0;
468 }
469
470 /**
471  * decode block and dequantize.
472  * Note this is almost identical to MJPEG.
473  */
474 static int decode_i_block(FourXContext *f, int16_t *block)
475 {
476     int code, i, j, level, val;
477
478     if (get_bits_left(&f->gb) < 2){
479         av_log(f->avctx, AV_LOG_ERROR, "%d bits left before decode_i_block()\n", get_bits_left(&f->gb));
480         return -1;
481     }
482
483     /* DC coef */
484     val = get_vlc2(&f->pre_gb, f->pre_vlc.table, ACDC_VLC_BITS, 3);
485     if (val >> 4)
486         av_log(f->avctx, AV_LOG_ERROR, "error dc run != 0\n");
487
488     if (val)
489         val = get_xbits(&f->gb, val);
490
491     val        = val * dequant_table[0] + f->last_dc;
492     f->last_dc = block[0] = val;
493     /* AC coefs */
494     i = 1;
495     for (;;) {
496         code = get_vlc2(&f->pre_gb, f->pre_vlc.table, ACDC_VLC_BITS, 3);
497
498         /* EOB */
499         if (code == 0)
500             break;
501         if (code == 0xf0) {
502             i += 16;
503         } else {
504             level = get_xbits(&f->gb, code & 0xf);
505             i    += code >> 4;
506             if (i >= 64) {
507                 av_log(f->avctx, AV_LOG_ERROR, "run %d oveflow\n", i);
508                 return 0;
509             }
510
511             j = ff_zigzag_direct[i];
512             block[j] = level * dequant_table[j];
513             i++;
514             if (i >= 64)
515                 break;
516         }
517     }
518
519     return 0;
520 }
521
522 static inline void idct_put(FourXContext *f, int x, int y)
523 {
524     int16_t (*block)[64] = f->block;
525     int stride           = f->current_picture->linesize[0] >> 1;
526     int i;
527     uint16_t *dst = ((uint16_t*)f->current_picture->data[0]) + y * stride + x;
528
529     for (i = 0; i < 4; i++) {
530         block[i][0] += 0x80 * 8 * 8;
531         idct(block[i]);
532     }
533
534     if (!(f->avctx->flags & CODEC_FLAG_GRAY)) {
535         for (i = 4; i < 6; i++)
536             idct(block[i]);
537     }
538
539     /* Note transform is:
540      * y  = ( 1b + 4g + 2r) / 14
541      * cb = ( 3b - 2g - 1r) / 14
542      * cr = (-1b - 4g + 5r) / 14 */
543     for (y = 0; y < 8; y++) {
544         for (x = 0; x < 8; x++) {
545             int16_t *temp = block[(x >> 2) + 2 * (y >> 2)] +
546                             2 * (x & 3) + 2 * 8 * (y & 3); // FIXME optimize
547             int cb = block[4][x + 8 * y];
548             int cr = block[5][x + 8 * y];
549             int cg = (cb + cr) >> 1;
550             int y;
551
552             cb += cb;
553
554             y               = temp[0];
555             dst[0]          = ((y + cb) >> 3) + (((y - cg) & 0xFC) << 3) + (((y + cr) & 0xF8) << 8);
556             y               = temp[1];
557             dst[1]          = ((y + cb) >> 3) + (((y - cg) & 0xFC) << 3) + (((y + cr) & 0xF8) << 8);
558             y               = temp[8];
559             dst[stride]     = ((y + cb) >> 3) + (((y - cg) & 0xFC) << 3) + (((y + cr) & 0xF8) << 8);
560             y               = temp[9];
561             dst[1 + stride] = ((y + cb) >> 3) + (((y - cg) & 0xFC) << 3) + (((y + cr) & 0xF8) << 8);
562             dst            += 2;
563         }
564         dst += 2 * stride - 2 * 8;
565     }
566 }
567
568 static int decode_i_mb(FourXContext *f)
569 {
570     int ret;
571     int i;
572
573     f->dsp.clear_blocks(f->block[0]);
574
575     for (i = 0; i < 6; i++)
576         if ((ret = decode_i_block(f, f->block[i])) < 0)
577             return ret;
578
579     return 0;
580 }
581
582 static const uint8_t *read_huffman_tables(FourXContext *f,
583                                           const uint8_t * const buf, int buf_size)
584 {
585     int frequency[512] = { 0 };
586     uint8_t flag[512];
587     int up[512];
588     uint8_t len_tab[257];
589     int bits_tab[257];
590     int start, end;
591     const uint8_t *ptr = buf;
592     const uint8_t *ptr_end = buf + buf_size;
593     int j;
594
595     memset(up, -1, sizeof(up));
596
597     start = *ptr++;
598     end   = *ptr++;
599     for (;;) {
600         int i;
601
602         if (ptr_end - ptr < FFMAX(end - start + 1, 0) + 1) {
603             av_log(f->avctx, AV_LOG_ERROR, "invalid data in read_huffman_tables\n");
604             return NULL;
605         }
606         for (i = start; i <= end; i++)
607             frequency[i] = *ptr++;
608         start = *ptr++;
609         if (start == 0)
610             break;
611
612         end = *ptr++;
613     }
614     frequency[256] = 1;
615
616     while ((ptr - buf) & 3)
617         ptr++; // 4byte align
618
619     if (ptr > ptr_end) {
620         av_log(f->avctx, AV_LOG_ERROR, "ptr overflow in read_huffman_tables\n");
621         return NULL;
622     }
623
624     for (j = 257; j < 512; j++) {
625         int min_freq[2] = { 256 * 256, 256 * 256 };
626         int smallest[2] = { 0, 0 };
627         int i;
628         for (i = 0; i < j; i++) {
629             if (frequency[i] == 0)
630                 continue;
631             if (frequency[i] < min_freq[1]) {
632                 if (frequency[i] < min_freq[0]) {
633                     min_freq[1] = min_freq[0];
634                     smallest[1] = smallest[0];
635                     min_freq[0] = frequency[i];
636                     smallest[0] = i;
637                 } else {
638                     min_freq[1] = frequency[i];
639                     smallest[1] = i;
640                 }
641             }
642         }
643         if (min_freq[1] == 256 * 256)
644             break;
645
646         frequency[j]           = min_freq[0] + min_freq[1];
647         flag[smallest[0]]      = 0;
648         flag[smallest[1]]      = 1;
649         up[smallest[0]]        =
650         up[smallest[1]]        = j;
651         frequency[smallest[0]] = frequency[smallest[1]] = 0;
652     }
653
654     for (j = 0; j < 257; j++) {
655         int node, len = 0, bits = 0;
656
657         for (node = j; up[node] != -1; node = up[node]) {
658             bits += flag[node] << len;
659             len++;
660             if (len > 31)
661                 // can this happen at all ?
662                 av_log(f->avctx, AV_LOG_ERROR,
663                        "vlc length overflow\n");
664         }
665
666         bits_tab[j] = bits;
667         len_tab[j]  = len;
668     }
669
670     if (init_vlc(&f->pre_vlc, ACDC_VLC_BITS, 257, len_tab, 1, 1,
671                  bits_tab, 4, 4, 0))
672         return NULL;
673
674     return ptr;
675 }
676
677 static int mix(int c0, int c1)
678 {
679     int blue  =  2 * (c0 & 0x001F) + (c1 & 0x001F);
680     int green = (2 * (c0 & 0x03E0) + (c1 & 0x03E0)) >> 5;
681     int red   =  2 * (c0 >> 10)    + (c1 >> 10);
682     return red / 3 * 1024 + green / 3 * 32 + blue / 3;
683 }
684
685 static int decode_i2_frame(FourXContext *f, const uint8_t *buf, int length)
686 {
687     int x, y, x2, y2;
688     const int width  = f->avctx->width;
689     const int height = f->avctx->height;
690     const int mbs    = (FFALIGN(width, 16) >> 4) * (FFALIGN(height, 16) >> 4);
691     uint16_t *dst    = (uint16_t*)f->current_picture->data[0];
692     const int stride =            f->current_picture->linesize[0]>>1;
693     const uint8_t *buf_end = buf + length;
694     GetByteContext g3;
695
696     if (length < mbs * 8) {
697         av_log(f->avctx, AV_LOG_ERROR, "packet size too small\n");
698         return AVERROR_INVALIDDATA;
699     }
700     bytestream2_init(&g3, buf, length);
701
702     for (y = 0; y < height; y += 16) {
703         for (x = 0; x < width; x += 16) {
704             unsigned int color[4] = { 0 }, bits;
705             if (buf_end - buf < 8)
706                 return -1;
707             // warning following is purely guessed ...
708             color[0] = bytestream2_get_le16u(&g3);
709             color[1] = bytestream2_get_le16u(&g3);
710
711             if (color[0] & 0x8000)
712                 av_log(NULL, AV_LOG_ERROR, "unk bit 1\n");
713             if (color[1] & 0x8000)
714                 av_log(NULL, AV_LOG_ERROR, "unk bit 2\n");
715
716             color[2] = mix(color[0], color[1]);
717             color[3] = mix(color[1], color[0]);
718
719             bits = bytestream2_get_le32u(&g3);
720             for (y2 = 0; y2 < 16; y2++) {
721                 for (x2 = 0; x2 < 16; x2++) {
722                     int index = 2 * (x2 >> 2) + 8 * (y2 >> 2);
723                     dst[y2 * stride + x2] = color[(bits >> index) & 3];
724                 }
725             }
726             dst += 16;
727         }
728         dst += 16 * stride - x;
729     }
730
731     return 0;
732 }
733
734 static int decode_i_frame(FourXContext *f, const uint8_t *buf, int length)
735 {
736     int x, y, ret;
737     const int width  = f->avctx->width;
738     const int height = f->avctx->height;
739     const unsigned int bitstream_size = AV_RL32(buf);
740     unsigned int prestream_size;
741     const uint8_t *prestream;
742
743     if (bitstream_size > (1<<26) || length < bitstream_size + 12) {
744         av_log(f->avctx, AV_LOG_ERROR, "packet size too small\n");
745         return AVERROR_INVALIDDATA;
746     }
747
748     prestream_size = 4 * AV_RL32(buf + bitstream_size + 4);
749     prestream      =             buf + bitstream_size + 12;
750
751     if (prestream_size + bitstream_size + 12 != length
752         || bitstream_size > (1 << 26)
753         || prestream_size > (1 << 26)) {
754         av_log(f->avctx, AV_LOG_ERROR, "size mismatch %d %d %d\n",
755                prestream_size, bitstream_size, length);
756         return AVERROR_INVALIDDATA;
757     }
758
759     prestream = read_huffman_tables(f, prestream, buf + length - prestream);
760     if (!prestream)
761         return -1;
762
763     av_assert0(prestream <= buf + length);
764
765     init_get_bits(&f->gb, buf + 4, 8 * bitstream_size);
766
767     prestream_size = length + buf - prestream;
768
769     av_fast_malloc(&f->bitstream_buffer, &f->bitstream_buffer_size,
770                    prestream_size + FF_INPUT_BUFFER_PADDING_SIZE);
771     if (!f->bitstream_buffer)
772         return AVERROR(ENOMEM);
773     f->dsp.bswap_buf(f->bitstream_buffer, (const uint32_t*)prestream,
774                      prestream_size / 4);
775     memset((uint8_t*)f->bitstream_buffer + prestream_size,
776            0, FF_INPUT_BUFFER_PADDING_SIZE);
777     init_get_bits(&f->pre_gb, f->bitstream_buffer, 8 * prestream_size);
778
779     f->last_dc = 0 * 128 * 8 * 8;
780
781     for (y = 0; y < height; y += 16) {
782         for (x = 0; x < width; x += 16) {
783             if ((ret = decode_i_mb(f)) < 0)
784                 return ret;
785
786             idct_put(f, x, y);
787         }
788     }
789
790     if (get_vlc2(&f->pre_gb, f->pre_vlc.table, ACDC_VLC_BITS, 3) != 256)
791         av_log(f->avctx, AV_LOG_ERROR, "end mismatch\n");
792
793     return 0;
794 }
795
796 static int decode_frame(AVCodecContext *avctx, void *data,
797                         int *got_frame, AVPacket *avpkt)
798 {
799     const uint8_t *buf    = avpkt->data;
800     int buf_size          = avpkt->size;
801     FourXContext *const f = avctx->priv_data;
802     AVFrame *picture      = data;
803     AVFrame *p;
804     int i, frame_4cc, frame_size, ret;
805
806     if (buf_size < 12)
807         return AVERROR_INVALIDDATA;
808     frame_4cc = AV_RL32(buf);
809     if (buf_size != AV_RL32(buf + 4) + 8 || buf_size < 20)
810         av_log(f->avctx, AV_LOG_ERROR, "size mismatch %d %d\n",
811                buf_size, AV_RL32(buf + 4));
812
813     if (frame_4cc == AV_RL32("cfrm")) {
814         int free_index       = -1;
815         const int data_size  = buf_size - 20;
816         const int id         = AV_RL32(buf + 12);
817         const int whole_size = AV_RL32(buf + 16);
818         CFrameBuffer *cfrm;
819
820         if (data_size < 0 || whole_size < 0) {
821             av_log(f->avctx, AV_LOG_ERROR, "sizes invalid\n");
822             return AVERROR_INVALIDDATA;
823         }
824
825         if (f->version <= 1) {
826             av_log(f->avctx, AV_LOG_ERROR, "cfrm in version %d\n", f->version);
827             return AVERROR_INVALIDDATA;
828         }
829
830         for (i = 0; i < CFRAME_BUFFER_COUNT; i++)
831             if (f->cfrm[i].id && f->cfrm[i].id < avctx->frame_number)
832                 av_log(f->avctx, AV_LOG_ERROR, "lost c frame %d\n",
833                        f->cfrm[i].id);
834
835         for (i = 0; i < CFRAME_BUFFER_COUNT; i++) {
836             if (f->cfrm[i].id == id)
837                 break;
838             if (f->cfrm[i].size == 0)
839                 free_index = i;
840         }
841
842         if (i >= CFRAME_BUFFER_COUNT) {
843             i             = free_index;
844             f->cfrm[i].id = id;
845         }
846         cfrm = &f->cfrm[i];
847
848         if (data_size > UINT_MAX -  cfrm->size - FF_INPUT_BUFFER_PADDING_SIZE)
849             return AVERROR_INVALIDDATA;
850
851         cfrm->data = av_fast_realloc(cfrm->data, &cfrm->allocated_size,
852                                      cfrm->size + data_size + FF_INPUT_BUFFER_PADDING_SIZE);
853         // explicit check needed as memcpy below might not catch a NULL
854         if (!cfrm->data) {
855             av_log(f->avctx, AV_LOG_ERROR, "realloc failure\n");
856             return AVERROR(ENOMEM);
857         }
858
859         memcpy(cfrm->data + cfrm->size, buf + 20, data_size);
860         cfrm->size += data_size;
861
862         if (cfrm->size >= whole_size) {
863             buf        = cfrm->data;
864             frame_size = cfrm->size;
865
866             if (id != avctx->frame_number)
867                 av_log(f->avctx, AV_LOG_ERROR, "cframe id mismatch %d %d\n",
868                        id, avctx->frame_number);
869
870             cfrm->size = cfrm->id = 0;
871             frame_4cc  = AV_RL32("pfrm");
872         } else
873             return buf_size;
874     } else {
875         buf        = buf      + 12;
876         frame_size = buf_size - 12;
877     }
878
879     FFSWAP(AVFrame*, f->current_picture, f->last_picture);
880
881     p                  = f->current_picture;
882     avctx->coded_frame = p;
883
884     // alternatively we would have to use our own buffer management
885     avctx->flags |= CODEC_FLAG_EMU_EDGE;
886
887     p->reference= 3;
888     if ((ret = avctx->reget_buffer(avctx, p)) < 0) {
889         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
890         return ret;
891     }
892
893     if (frame_4cc == AV_RL32("ifr2")) {
894         p->pict_type= AV_PICTURE_TYPE_I;
895         if ((ret = decode_i2_frame(f, buf - 4, frame_size + 4)) < 0) {
896             av_log(f->avctx, AV_LOG_ERROR, "decode i2 frame failed\n");
897             return ret;
898         }
899     } else if (frame_4cc == AV_RL32("ifrm")) {
900         p->pict_type= AV_PICTURE_TYPE_I;
901         if ((ret = decode_i_frame(f, buf, frame_size)) < 0) {
902             av_log(f->avctx, AV_LOG_ERROR, "decode i frame failed\n");
903             return ret;
904         }
905     } else if (frame_4cc == AV_RL32("pfrm") || frame_4cc == AV_RL32("pfr2")) {
906         if (!f->last_picture->data[0]) {
907             f->last_picture->reference = 3;
908             if ((ret = ff_get_buffer(avctx, f->last_picture)) < 0) {
909                 av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
910                 return ret;
911             }
912             for (i=0; i<avctx->height; i++)
913                 memset(f->last_picture->data[0] + i*f->last_picture->linesize[0], 0, 2*avctx->width);
914         }
915
916         p->pict_type = AV_PICTURE_TYPE_P;
917         if ((ret = decode_p_frame(f, buf, frame_size)) < 0) {
918             av_log(f->avctx, AV_LOG_ERROR, "decode p frame failed\n");
919             return ret;
920         }
921     } else if (frame_4cc == AV_RL32("snd_")) {
922         av_log(avctx, AV_LOG_ERROR, "ignoring snd_ chunk length:%d\n",
923                buf_size);
924     } else {
925         av_log(avctx, AV_LOG_ERROR, "ignoring unknown chunk length:%d\n",
926                buf_size);
927     }
928
929     p->key_frame = p->pict_type == AV_PICTURE_TYPE_I;
930
931     *picture   = *p;
932     *got_frame = 1;
933
934     emms_c();
935
936     return buf_size;
937 }
938
939 static av_cold int decode_init(AVCodecContext *avctx)
940 {
941     FourXContext * const f = avctx->priv_data;
942
943     if (avctx->extradata_size != 4 || !avctx->extradata) {
944         av_log(avctx, AV_LOG_ERROR, "extradata wrong or missing\n");
945         return AVERROR_INVALIDDATA;
946     }
947     if((avctx->width % 16) || (avctx->height % 16)) {
948         av_log(avctx, AV_LOG_ERROR, "unsupported width/height\n");
949         return AVERROR_INVALIDDATA;
950     }
951
952     f->version = AV_RL32(avctx->extradata) >> 16;
953     ff_dsputil_init(&f->dsp, avctx);
954     f->avctx = avctx;
955     init_vlcs(f);
956
957     if (f->version > 2)
958         avctx->pix_fmt = AV_PIX_FMT_RGB565;
959     else
960         avctx->pix_fmt = AV_PIX_FMT_BGR555;
961
962     f->current_picture = avcodec_alloc_frame();
963     f->last_picture    = avcodec_alloc_frame();
964     if (!f->current_picture || !f->last_picture) {
965         avcodec_free_frame(&f->current_picture);
966         avcodec_free_frame(&f->last_picture);
967         return AVERROR(ENOMEM);
968     }
969
970     return 0;
971 }
972
973
974 static av_cold int decode_end(AVCodecContext *avctx)
975 {
976     FourXContext * const f = avctx->priv_data;
977     int i;
978
979     av_freep(&f->bitstream_buffer);
980     f->bitstream_buffer_size = 0;
981     for (i = 0; i < CFRAME_BUFFER_COUNT; i++) {
982         av_freep(&f->cfrm[i].data);
983         f->cfrm[i].allocated_size = 0;
984     }
985     ff_free_vlc(&f->pre_vlc);
986     if (f->current_picture->data[0])
987         avctx->release_buffer(avctx, f->current_picture);
988     if (f->last_picture->data[0])
989         avctx->release_buffer(avctx, f->last_picture);
990     avcodec_free_frame(&f->current_picture);
991     avcodec_free_frame(&f->last_picture);
992
993     return 0;
994 }
995
996 AVCodec ff_fourxm_decoder = {
997     .name           = "4xm",
998     .type           = AVMEDIA_TYPE_VIDEO,
999     .id             = AV_CODEC_ID_4XM,
1000     .priv_data_size = sizeof(FourXContext),
1001     .init           = decode_init,
1002     .close          = decode_end,
1003     .decode         = decode_frame,
1004     .capabilities   = CODEC_CAP_DR1,
1005     .long_name      = NULL_IF_CONFIG_SMALL("4X Movie"),
1006 };