indeo4: Dont leave tables in random state on errors.
[ffmpeg.git] / libavcodec / indeo4.c
1 /*
2  * Indeo Video Interactive v4 compatible decoder
3  * Copyright (c) 2009-2011 Maxim Poliakovski
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Indeo Video Interactive version 4 decoder
25  *
26  * Indeo 4 data is usually transported within .avi or .mov files.
27  * Known FOURCCs: 'IV41'
28  */
29
30 #define BITSTREAM_READER_LE
31 #include "avcodec.h"
32 #include "get_bits.h"
33 #include "dsputil.h"
34 #include "ivi_dsp.h"
35 #include "ivi_common.h"
36 #include "indeo4data.h"
37
38 #define IVI4_STREAM_ANALYSER    0
39 #define IVI4_DEBUG_CHECKSUM     0
40
41 /**
42  *  Indeo 4 frame types.
43  */
44 enum {
45     FRAMETYPE_INTRA       = 0,
46     FRAMETYPE_BIDIR1      = 1,  ///< bidirectional frame
47     FRAMETYPE_INTER       = 2,  ///< non-droppable P-frame
48     FRAMETYPE_BIDIR       = 3,  ///< bidirectional frame
49     FRAMETYPE_INTER_NOREF = 4,  ///< droppable P-frame
50     FRAMETYPE_NULL_FIRST  = 5,  ///< empty frame with no data
51     FRAMETYPE_NULL_LAST   = 6   ///< empty frame with no data
52 };
53
54 #define IVI4_PIC_SIZE_ESC   7
55
56
57 typedef struct {
58     GetBitContext   gb;
59     AVFrame         frame;
60     RVMapDesc       rvmap_tabs[9];   ///< local corrected copy of the static rvmap tables
61
62     uint32_t        frame_num;
63     int             frame_type;
64     int             prev_frame_type; ///< frame type of the previous frame
65     uint32_t        data_size;       ///< size of the frame data in bytes from picture header
66     int             is_scalable;
67     int             transp_status;   ///< transparency mode status: 1 - enabled
68
69     IVIPicConfig    pic_conf;
70     IVIPlaneDesc    planes[3];       ///< color planes
71
72     int             buf_switch;      ///< used to switch between three buffers
73     int             dst_buf;         ///< buffer index for the currently decoded frame
74     int             ref_buf;         ///< inter frame reference buffer index
75
76     IVIHuffTab      mb_vlc;          ///< current macroblock table descriptor
77     IVIHuffTab      blk_vlc;         ///< current block table descriptor
78
79     uint16_t        checksum;        ///< frame checksum
80
81     uint8_t         rvmap_sel;
82     uint8_t         in_imf;
83     uint8_t         in_q;            ///< flag for explicitly stored quantiser delta
84     uint8_t         pic_glob_quant;
85     uint8_t         unknown1;
86
87 #if IVI4_STREAM_ANALYSER
88     uint8_t         has_b_frames;
89     uint8_t         has_transp;
90     uint8_t         uses_tiling;
91     uint8_t         uses_haar;
92     uint8_t         uses_fullpel;
93 #endif
94 } IVI4DecContext;
95
96
97 static const struct {
98     InvTransformPtr *inv_trans;
99     DCTransformPtr  *dc_trans;
100     int             is_2d_trans;
101 } transforms[18] = {
102     { ff_ivi_inverse_haar_8x8,  ff_ivi_dc_haar_2d,       1 },
103     { NULL, NULL, 0 }, /* inverse Haar 8x1 */
104     { NULL, NULL, 0 }, /* inverse Haar 1x8 */
105     { ff_ivi_put_pixels_8x8,    ff_ivi_put_dc_pixel_8x8, 1 },
106     { ff_ivi_inverse_slant_8x8, ff_ivi_dc_slant_2d,      1 },
107     { ff_ivi_row_slant8,        ff_ivi_dc_row_slant,     1 },
108     { ff_ivi_col_slant8,        ff_ivi_dc_col_slant,     1 },
109     { NULL, NULL, 0 }, /* inverse DCT 8x8 */
110     { NULL, NULL, 0 }, /* inverse DCT 8x1 */
111     { NULL, NULL, 0 }, /* inverse DCT 1x8 */
112     { NULL, NULL, 0 }, /* inverse Haar 4x4 */
113     { ff_ivi_inverse_slant_4x4, ff_ivi_dc_slant_2d,      1 },
114     { NULL, NULL, 0 }, /* no transform 4x4 */
115     { NULL, NULL, 0 }, /* inverse Haar 1x4 */
116     { NULL, NULL, 0 }, /* inverse Haar 4x1 */
117     { NULL, NULL, 0 }, /* inverse slant 1x4 */
118     { NULL, NULL, 0 }, /* inverse slant 4x1 */
119     { NULL, NULL, 0 }, /* inverse DCT 4x4 */
120 };
121
122 /**
123  *  Decode subdivision of a plane.
124  *  This is a simplified version that checks for two supported subdivisions:
125  *  - 1 wavelet band  per plane, size factor 1:1, code pattern: 3
126  *  - 4 wavelet bands per plane, size factor 1:4, code pattern: 2,3,3,3,3
127  *  Anything else is either unsupported or corrupt.
128  *
129  *  @param[in,out] gb    the GetBit context
130  *  @return        number of wavelet bands or 0 on error
131  */
132 static int decode_plane_subdivision(GetBitContext *gb)
133 {
134     int i;
135
136     switch (get_bits(gb, 2)) {
137     case 3:
138         return 1;
139     case 2:
140         for (i = 0; i < 4; i++)
141             if (get_bits(gb, 2) != 3)
142                 return 0;
143         return 4;
144     default:
145         return 0;
146     }
147 }
148
149 static inline int scale_tile_size(int def_size, int size_factor)
150 {
151     return size_factor == 15 ? def_size : (size_factor + 1) << 5;
152 }
153
154 /**
155  *  Decode Indeo 4 picture header.
156  *
157  *  @param[in,out] ctx       pointer to the decoder context
158  *  @param[in]     avctx     pointer to the AVCodecContext
159  *  @return        result code: 0 = OK, negative number = error
160  */
161 static int decode_pic_hdr(IVI4DecContext *ctx, AVCodecContext *avctx)
162 {
163     int             pic_size_indx, i, p;
164     IVIPicConfig    pic_conf;
165
166     if (get_bits(&ctx->gb, 18) != 0x3FFF8) {
167         av_log(avctx, AV_LOG_ERROR, "Invalid picture start code!\n");
168         return AVERROR_INVALIDDATA;
169     }
170
171     ctx->prev_frame_type = ctx->frame_type;
172     ctx->frame_type      = get_bits(&ctx->gb, 3);
173     if (ctx->frame_type == 7) {
174         av_log(avctx, AV_LOG_ERROR, "Invalid frame type: %d\n", ctx->frame_type);
175         return AVERROR_INVALIDDATA;
176     }
177
178 #if IVI4_STREAM_ANALYSER
179     if (   ctx->frame_type == FRAMETYPE_BIDIR1
180         || ctx->frame_type == FRAMETYPE_BIDIR)
181         ctx->has_b_frames = 1;
182 #endif
183
184     ctx->transp_status = get_bits1(&ctx->gb);
185 #if IVI4_STREAM_ANALYSER
186     if (ctx->transp_status) {
187         ctx->has_transp = 1;
188     }
189 #endif
190
191     /* unknown bit: Mac decoder ignores this bit, XANIM returns error */
192     if (get_bits1(&ctx->gb)) {
193         av_log(avctx, AV_LOG_ERROR, "Sync bit is set!\n");
194         return AVERROR_INVALIDDATA;
195     }
196
197     ctx->data_size = get_bits1(&ctx->gb) ? get_bits(&ctx->gb, 24) : 0;
198
199     /* null frames don't contain anything else so we just return */
200     if (ctx->frame_type >= FRAMETYPE_NULL_FIRST) {
201         av_dlog(avctx, "Null frame encountered!\n");
202         return 0;
203     }
204
205     /* Check key lock status. If enabled - ignore lock word.         */
206     /* Usually we have to prompt the user for the password, but      */
207     /* we don't do that because Indeo 4 videos can be decoded anyway */
208     if (get_bits1(&ctx->gb)) {
209         skip_bits_long(&ctx->gb, 32);
210         av_dlog(avctx, "Password-protected clip!\n");
211     }
212
213     pic_size_indx = get_bits(&ctx->gb, 3);
214     if (pic_size_indx == IVI4_PIC_SIZE_ESC) {
215         pic_conf.pic_height = get_bits(&ctx->gb, 16);
216         pic_conf.pic_width  = get_bits(&ctx->gb, 16);
217     } else {
218         pic_conf.pic_height = ivi4_common_pic_sizes[pic_size_indx * 2 + 1];
219         pic_conf.pic_width  = ivi4_common_pic_sizes[pic_size_indx * 2    ];
220     }
221
222     /* Decode tile dimensions. */
223     if (get_bits1(&ctx->gb)) {
224         pic_conf.tile_height = scale_tile_size(pic_conf.pic_height, get_bits(&ctx->gb, 4));
225         pic_conf.tile_width  = scale_tile_size(pic_conf.pic_width,  get_bits(&ctx->gb, 4));
226 #if IVI4_STREAM_ANALYSER
227         ctx->uses_tiling = 1;
228 #endif
229     } else {
230         pic_conf.tile_height = pic_conf.pic_height;
231         pic_conf.tile_width  = pic_conf.pic_width;
232     }
233
234     /* Decode chroma subsampling. We support only 4:4 aka YVU9. */
235     if (get_bits(&ctx->gb, 2)) {
236         av_log(avctx, AV_LOG_ERROR, "Only YVU9 picture format is supported!\n");
237         return AVERROR_INVALIDDATA;
238     }
239     pic_conf.chroma_height = (pic_conf.pic_height + 3) >> 2;
240     pic_conf.chroma_width  = (pic_conf.pic_width  + 3) >> 2;
241
242     /* decode subdivision of the planes */
243     pic_conf.luma_bands = decode_plane_subdivision(&ctx->gb);
244     if (pic_conf.luma_bands)
245         pic_conf.chroma_bands = decode_plane_subdivision(&ctx->gb);
246     ctx->is_scalable = pic_conf.luma_bands != 1 || pic_conf.chroma_bands != 1;
247     if (ctx->is_scalable && (pic_conf.luma_bands != 4 || pic_conf.chroma_bands != 1)) {
248         av_log(avctx, AV_LOG_ERROR, "Scalability: unsupported subdivision! Luma bands: %d, chroma bands: %d\n",
249                pic_conf.luma_bands, pic_conf.chroma_bands);
250         return AVERROR_INVALIDDATA;
251     }
252
253     /* check if picture layout was changed and reallocate buffers */
254     if (ivi_pic_config_cmp(&pic_conf, &ctx->pic_conf)) {
255         if (ff_ivi_init_planes(ctx->planes, &pic_conf)) {
256             av_log(avctx, AV_LOG_ERROR, "Couldn't reallocate color planes!\n");
257             return AVERROR(ENOMEM);
258         }
259
260         ctx->pic_conf = pic_conf;
261
262         /* set default macroblock/block dimensions */
263         for (p = 0; p <= 2; p++) {
264             for (i = 0; i < (!p ? pic_conf.luma_bands : pic_conf.chroma_bands); i++) {
265                 ctx->planes[p].bands[i].mb_size  = !p ? (!ctx->is_scalable ? 16 : 8) : 4;
266                 ctx->planes[p].bands[i].blk_size = !p ? 8 : 4;
267             }
268         }
269
270         if (ff_ivi_init_tiles(ctx->planes, ctx->pic_conf.tile_width,
271                               ctx->pic_conf.tile_height)) {
272             av_log(avctx, AV_LOG_ERROR,
273                    "Couldn't reallocate internal structures!\n");
274             return AVERROR(ENOMEM);
275         }
276     }
277
278     ctx->frame_num = get_bits1(&ctx->gb) ? get_bits(&ctx->gb, 20) : 0;
279
280     /* skip decTimeEst field if present */
281     if (get_bits1(&ctx->gb))
282         skip_bits(&ctx->gb, 8);
283
284     /* decode macroblock and block huffman codebooks */
285     if (ff_ivi_dec_huff_desc(&ctx->gb, get_bits1(&ctx->gb), IVI_MB_HUFF,  &ctx->mb_vlc,  avctx) ||
286         ff_ivi_dec_huff_desc(&ctx->gb, get_bits1(&ctx->gb), IVI_BLK_HUFF, &ctx->blk_vlc, avctx))
287         return AVERROR_INVALIDDATA;
288
289     ctx->rvmap_sel = get_bits1(&ctx->gb) ? get_bits(&ctx->gb, 3) : 8;
290
291     ctx->in_imf = get_bits1(&ctx->gb);
292     ctx->in_q   = get_bits1(&ctx->gb);
293
294     ctx->pic_glob_quant = get_bits(&ctx->gb, 5);
295
296     /* TODO: ignore this parameter if unused */
297     ctx->unknown1 = get_bits1(&ctx->gb) ? get_bits(&ctx->gb, 3) : 0;
298
299     ctx->checksum = get_bits1(&ctx->gb) ? get_bits(&ctx->gb, 16) : 0;
300
301     /* skip picture header extension if any */
302     while (get_bits1(&ctx->gb)) {
303         av_dlog(avctx, "Pic hdr extension encountered!\n");
304         skip_bits(&ctx->gb, 8);
305     }
306
307     if (get_bits1(&ctx->gb)) {
308         av_log(avctx, AV_LOG_ERROR, "Bad blocks bits encountered!\n");
309     }
310
311     align_get_bits(&ctx->gb);
312
313     return 0;
314 }
315
316
317 /**
318  *  Decode Indeo 4 band header.
319  *
320  *  @param[in,out] ctx       pointer to the decoder context
321  *  @param[in,out] band      pointer to the band descriptor
322  *  @param[in]     avctx     pointer to the AVCodecContext
323  *  @return        result code: 0 = OK, negative number = error
324  */
325 static int decode_band_hdr(IVI4DecContext *ctx, IVIBandDesc *band,
326                            AVCodecContext *avctx)
327 {
328     int plane, band_num, indx, transform_id, scan_indx;
329     int i;
330
331     plane    = get_bits(&ctx->gb, 2);
332     band_num = get_bits(&ctx->gb, 4);
333     if (band->plane != plane || band->band_num != band_num) {
334         av_log(avctx, AV_LOG_ERROR, "Invalid band header sequence!\n");
335         return AVERROR_INVALIDDATA;
336     }
337
338     band->is_empty = get_bits1(&ctx->gb);
339     if (!band->is_empty) {
340         /* skip header size
341          * If header size is not given, header size is 4 bytes. */
342         if (get_bits1(&ctx->gb))
343             skip_bits(&ctx->gb, 16);
344
345         band->is_halfpel = get_bits(&ctx->gb, 2);
346         if (band->is_halfpel >= 2) {
347             av_log(avctx, AV_LOG_ERROR, "Invalid/unsupported mv resolution: %d!\n",
348                    band->is_halfpel);
349             return AVERROR_INVALIDDATA;
350         }
351 #if IVI4_STREAM_ANALYSER
352         if (!band->is_halfpel)
353             ctx->uses_fullpel = 1;
354 #endif
355
356         band->checksum_present = get_bits1(&ctx->gb);
357         if (band->checksum_present)
358             band->checksum = get_bits(&ctx->gb, 16);
359
360         indx = get_bits(&ctx->gb, 2);
361         if (indx == 3) {
362             av_log(avctx, AV_LOG_ERROR, "Invalid block size!\n");
363             return AVERROR_INVALIDDATA;
364         }
365         band->mb_size  = 16 >> indx;
366         band->blk_size = 8 >> (indx >> 1);
367
368         band->inherit_mv     = get_bits1(&ctx->gb);
369         band->inherit_qdelta = get_bits1(&ctx->gb);
370
371         band->glob_quant = get_bits(&ctx->gb, 5);
372
373         if (!get_bits1(&ctx->gb) || ctx->frame_type == FRAMETYPE_INTRA) {
374             transform_id = get_bits(&ctx->gb, 5);
375             if (transform_id >= FF_ARRAY_ELEMS(transforms) ||
376                 !transforms[transform_id].inv_trans) {
377                 av_log_ask_for_sample(avctx, "Unimplemented transform: %d!\n", transform_id);
378                 return AVERROR_PATCHWELCOME;
379             }
380             if ((transform_id >= 7 && transform_id <= 9) ||
381                  transform_id == 17) {
382                 av_log_ask_for_sample(avctx, "DCT transform not supported yet!\n");
383                 return AVERROR_PATCHWELCOME;
384             }
385
386 #if IVI4_STREAM_ANALYSER
387             if ((transform_id >= 0 && transform_id <= 2) || transform_id == 10)
388                 ctx->uses_haar = 1;
389 #endif
390
391             band->inv_transform = transforms[transform_id].inv_trans;
392             band->dc_transform  = transforms[transform_id].dc_trans;
393             band->is_2d_trans   = transforms[transform_id].is_2d_trans;
394
395             scan_indx = get_bits(&ctx->gb, 4);
396             if ((scan_indx>4 && scan_indx<10) != (band->blk_size==4)) {
397                 av_log(avctx, AV_LOG_ERROR, "mismatching scan table!\n");
398                 return AVERROR_INVALIDDATA;
399             }
400             if (scan_indx == 15) {
401                 av_log(avctx, AV_LOG_ERROR, "Custom scan pattern encountered!\n");
402                 return AVERROR_INVALIDDATA;
403             }
404             band->scan = scan_index_to_tab[scan_indx];
405
406             band->quant_mat = get_bits(&ctx->gb, 5);
407             if (band->quant_mat == 31) {
408                 av_log(avctx, AV_LOG_ERROR, "Custom quant matrix encountered!\n");
409                 return AVERROR_INVALIDDATA;
410             }
411             if (band->quant_mat > 21) {
412                 av_log(avctx, AV_LOG_ERROR, "Invalid quant matrix encountered!\n");
413                 return AVERROR_INVALIDDATA;
414             }
415         }
416
417         /* decode block huffman codebook */
418         if (ff_ivi_dec_huff_desc(&ctx->gb, get_bits1(&ctx->gb), IVI_BLK_HUFF,
419                                  &band->blk_vlc, avctx))
420             return AVERROR_INVALIDDATA;
421
422         /* select appropriate rvmap table for this band */
423         band->rvmap_sel = get_bits1(&ctx->gb) ? get_bits(&ctx->gb, 3) : 8;
424
425         /* decode rvmap probability corrections if any */
426         band->num_corr = 0; /* there is no corrections */
427         if (get_bits1(&ctx->gb)) {
428             band->num_corr = get_bits(&ctx->gb, 8); /* get number of correction pairs */
429             if (band->num_corr > 61) {
430                 av_log(avctx, AV_LOG_ERROR, "Too many corrections: %d\n",
431                        band->num_corr);
432                 return AVERROR_INVALIDDATA;
433             }
434
435             /* read correction pairs */
436             for (i = 0; i < band->num_corr * 2; i++)
437                 band->corr[i] = get_bits(&ctx->gb, 8);
438         }
439     }
440
441     if (band->blk_size == 8) {
442         band->intra_base = &ivi4_quant_8x8_intra[quant_index_to_tab[band->quant_mat]][0];
443         band->inter_base = &ivi4_quant_8x8_inter[quant_index_to_tab[band->quant_mat]][0];
444     } else {
445         band->intra_base = &ivi4_quant_4x4_intra[quant_index_to_tab[band->quant_mat]][0];
446         band->inter_base = &ivi4_quant_4x4_inter[quant_index_to_tab[band->quant_mat]][0];
447     }
448
449     /* Indeo 4 doesn't use scale tables */
450     band->intra_scale = NULL;
451     band->inter_scale = NULL;
452
453     align_get_bits(&ctx->gb);
454
455     if (!band->scan) {
456         av_log(avctx, AV_LOG_ERROR, "band->scan not set\n");
457         return AVERROR_INVALIDDATA;
458     }
459
460     return 0;
461 }
462
463
464 /**
465  *  Decode information (block type, cbp, quant delta, motion vector)
466  *  for all macroblocks in the current tile.
467  *
468  *  @param[in,out] ctx       pointer to the decoder context
469  *  @param[in,out] band      pointer to the band descriptor
470  *  @param[in,out] tile      pointer to the tile descriptor
471  *  @param[in]     avctx     pointer to the AVCodecContext
472  *  @return        result code: 0 = OK, negative number = error
473  */
474 static int decode_mb_info(IVI4DecContext *ctx, IVIBandDesc *band,
475                           IVITile *tile, AVCodecContext *avctx)
476 {
477     int         x, y, mv_x, mv_y, mv_delta, offs, mb_offset, blks_per_mb,
478                 mv_scale, mb_type_bits, s;
479     IVIMbInfo   *mb, *ref_mb;
480     int         row_offset = band->mb_size * band->pitch;
481
482     mb     = tile->mbs;
483     ref_mb = tile->ref_mbs;
484     offs   = tile->ypos * band->pitch + tile->xpos;
485
486     blks_per_mb  = band->mb_size   != band->blk_size  ? 4 : 1;
487     mb_type_bits = ctx->frame_type == FRAMETYPE_BIDIR ? 2 : 1;
488
489     /* scale factor for motion vectors */
490     mv_scale = (ctx->planes[0].bands[0].mb_size >> 3) - (band->mb_size >> 3);
491     mv_x = mv_y = 0;
492
493     for (y = tile->ypos; y < tile->ypos + tile->height; y += band->mb_size) {
494         mb_offset = offs;
495
496         for (x = tile->xpos; x < tile->xpos + tile->width; x += band->mb_size) {
497             mb->xpos     = x;
498             mb->ypos     = y;
499             mb->buf_offs = mb_offset;
500
501             if (get_bits1(&ctx->gb)) {
502                 if (ctx->frame_type == FRAMETYPE_INTRA) {
503                     av_log(avctx, AV_LOG_ERROR, "Empty macroblock in an INTRA picture!\n");
504                     return AVERROR_INVALIDDATA;
505                 }
506                 mb->type = 1; /* empty macroblocks are always INTER */
507                 mb->cbp  = 0; /* all blocks are empty */
508
509                 mb->q_delta = 0;
510                 if (!band->plane && !band->band_num && ctx->in_q) {
511                     mb->q_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
512                                            IVI_VLC_BITS, 1);
513                     mb->q_delta = IVI_TOSIGNED(mb->q_delta);
514                 }
515
516                 mb->mv_x = mb->mv_y = 0; /* no motion vector coded */
517                 if (band->inherit_mv) {
518                     /* motion vector inheritance */
519                     if (mv_scale) {
520                         mb->mv_x = ivi_scale_mv(ref_mb->mv_x, mv_scale);
521                         mb->mv_y = ivi_scale_mv(ref_mb->mv_y, mv_scale);
522                     } else {
523                         mb->mv_x = ref_mb->mv_x;
524                         mb->mv_y = ref_mb->mv_y;
525                     }
526                 }
527             } else {
528                 if (band->inherit_mv && ref_mb) {
529                     mb->type = ref_mb->type; /* copy mb_type from corresponding reference mb */
530                 } else if (ctx->frame_type == FRAMETYPE_INTRA) {
531                     mb->type = 0; /* mb_type is always INTRA for intra-frames */
532                 } else {
533                     mb->type = get_bits(&ctx->gb, mb_type_bits);
534                 }
535
536                 mb->cbp = get_bits(&ctx->gb, blks_per_mb);
537
538                 mb->q_delta = 0;
539                 if (band->inherit_qdelta) {
540                     if (ref_mb) mb->q_delta = ref_mb->q_delta;
541                 } else if (mb->cbp || (!band->plane && !band->band_num &&
542                            ctx->in_q)) {
543                     mb->q_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
544                                            IVI_VLC_BITS, 1);
545                     mb->q_delta = IVI_TOSIGNED(mb->q_delta);
546                 }
547
548                 if (!mb->type) {
549                     mb->mv_x = mb->mv_y = 0; /* there is no motion vector in intra-macroblocks */
550                 } else {
551                     if (band->inherit_mv) {
552                         /* motion vector inheritance */
553                         if (mv_scale) {
554                             mb->mv_x = ivi_scale_mv(ref_mb->mv_x, mv_scale);
555                             mb->mv_y = ivi_scale_mv(ref_mb->mv_y, mv_scale);
556                         } else {
557                             mb->mv_x = ref_mb->mv_x;
558                             mb->mv_y = ref_mb->mv_y;
559                         }
560                     } else {
561                         /* decode motion vector deltas */
562                         mv_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
563                                             IVI_VLC_BITS, 1);
564                         mv_y += IVI_TOSIGNED(mv_delta);
565                         mv_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
566                                             IVI_VLC_BITS, 1);
567                         mv_x += IVI_TOSIGNED(mv_delta);
568                         mb->mv_x = mv_x;
569                         mb->mv_y = mv_y;
570                     }
571                 }
572             }
573
574             s= band->is_halfpel;
575             if (mb->type)
576             if ( x +  (mb->mv_x   >>s) +                 (y+               (mb->mv_y   >>s))*band->pitch < 0 ||
577                  x + ((mb->mv_x+s)>>s) + band->mb_size - 1
578                    + (y+band->mb_size - 1 +((mb->mv_y+s)>>s))*band->pitch > band->bufsize -1) {
579                 av_log(avctx, AV_LOG_ERROR, "motion vector %d %d outside reference\n", x*s + mb->mv_x, y*s + mb->mv_y);
580                 return AVERROR_INVALIDDATA;
581             }
582
583             mb++;
584             if (ref_mb)
585                 ref_mb++;
586             mb_offset += band->mb_size;
587         }
588
589         offs += row_offset;
590     }
591
592     align_get_bits(&ctx->gb);
593
594     return 0;
595 }
596
597
598 /**
599  *  Decode an Indeo 4 band.
600  *
601  *  @param[in,out] ctx       pointer to the decoder context
602  *  @param[in,out] band      pointer to the band descriptor
603  *  @param[in]     avctx     pointer to the AVCodecContext
604  *  @return        result code: 0 = OK, negative number = error
605  */
606 static int decode_band(IVI4DecContext *ctx, int plane_num,
607                        IVIBandDesc *band, AVCodecContext *avctx)
608 {
609     int         result, i, t, pos, idx1, idx2;
610     IVITile     *tile;
611     int         ret = 0;
612
613     band->buf     = band->bufs[ctx->dst_buf];
614     band->ref_buf = band->bufs[ctx->ref_buf];
615
616     result = decode_band_hdr(ctx, band, avctx);
617     if (result) {
618         av_log(avctx, AV_LOG_ERROR, "Error decoding band header\n");
619         return result;
620     }
621
622     if (band->is_empty) {
623         av_log(avctx, AV_LOG_ERROR, "Empty band encountered!\n");
624         return AVERROR_INVALIDDATA;
625     }
626
627     band->rv_map = &ctx->rvmap_tabs[band->rvmap_sel];
628
629     /* apply corrections to the selected rvmap table if present */
630     for (i = 0; i < band->num_corr; i++) {
631         idx1 = band->corr[i * 2];
632         idx2 = band->corr[i * 2 + 1];
633         FFSWAP(uint8_t, band->rv_map->runtab[idx1], band->rv_map->runtab[idx2]);
634         FFSWAP(int16_t, band->rv_map->valtab[idx1], band->rv_map->valtab[idx2]);
635         if (idx1 == band->rv_map->eob_sym || idx2 == band->rv_map->eob_sym)
636             band->rv_map->eob_sym ^= idx1 ^ idx2;
637         if (idx1 == band->rv_map->esc_sym || idx2 == band->rv_map->esc_sym)
638             band->rv_map->esc_sym ^= idx1 ^ idx2;
639     }
640
641     pos = get_bits_count(&ctx->gb);
642
643     for (t = 0; t < band->num_tiles; t++) {
644         tile = &band->tiles[t];
645
646         tile->is_empty = get_bits1(&ctx->gb);
647         if (tile->is_empty) {
648             ff_ivi_process_empty_tile(avctx, band, tile,
649                                       (ctx->planes[0].bands[0].mb_size >> 3) - (band->mb_size >> 3));
650             av_dlog(avctx, "Empty tile encountered!\n");
651         } else {
652             tile->data_size = ff_ivi_dec_tile_data_size(&ctx->gb);
653             if (!tile->data_size) {
654                 av_log(avctx, AV_LOG_ERROR, "Tile data size is zero!\n");
655                 ret = AVERROR_INVALIDDATA;
656                 break;
657             }
658
659             result = decode_mb_info(ctx, band, tile, avctx);
660             if (result < 0)
661                 break;
662
663             result = ff_ivi_decode_blocks(&ctx->gb, band, tile);
664             if (result < 0 || ((get_bits_count(&ctx->gb) - pos) >> 3) != tile->data_size) {
665                 av_log(avctx, AV_LOG_ERROR, "Corrupted tile data encountered!\n");
666                 break;
667             }
668
669             pos += tile->data_size << 3; // skip to next tile
670         }
671     }
672
673     /* restore the selected rvmap table by applying its corrections in reverse order */
674     for (i = band->num_corr - 1; i >= 0; i--) {
675         idx1 = band->corr[i * 2];
676         idx2 = band->corr[i * 2 + 1];
677         FFSWAP(uint8_t, band->rv_map->runtab[idx1], band->rv_map->runtab[idx2]);
678         FFSWAP(int16_t, band->rv_map->valtab[idx1], band->rv_map->valtab[idx2]);
679         if (idx1 == band->rv_map->eob_sym || idx2 == band->rv_map->eob_sym)
680             band->rv_map->eob_sym ^= idx1 ^ idx2;
681         if (idx1 == band->rv_map->esc_sym || idx2 == band->rv_map->esc_sym)
682             band->rv_map->esc_sym ^= idx1 ^ idx2;
683     }
684
685 #if defined(DEBUG) && IVI4_DEBUG_CHECKSUM
686     if (band->checksum_present) {
687         uint16_t chksum = ivi_calc_band_checksum(band);
688         if (chksum != band->checksum) {
689             av_log(avctx, AV_LOG_ERROR,
690                    "Band checksum mismatch! Plane %d, band %d, received: %x, calculated: %x\n",
691                    band->plane, band->band_num, band->checksum, chksum);
692         }
693     }
694 #endif
695
696     align_get_bits(&ctx->gb);
697
698     return ret;
699 }
700
701
702 static av_cold int decode_init(AVCodecContext *avctx)
703 {
704     IVI4DecContext *ctx = avctx->priv_data;
705
706     ff_ivi_init_static_vlc();
707
708     /* copy rvmap tables in our context so we can apply changes to them */
709     memcpy(ctx->rvmap_tabs, ff_ivi_rvmap_tabs, sizeof(ff_ivi_rvmap_tabs));
710
711     /* Force allocation of the internal buffers */
712     /* during picture header decoding.          */
713     ctx->pic_conf.pic_width  = 0;
714     ctx->pic_conf.pic_height = 0;
715
716     avctx->pix_fmt = PIX_FMT_YUV410P;
717
718     return 0;
719 }
720
721
722 /**
723  *  Rearrange decoding and reference buffers.
724  *
725  *  @param[in,out] ctx       pointer to the decoder context
726  */
727 static void switch_buffers(IVI4DecContext *ctx)
728 {
729     switch (ctx->prev_frame_type) {
730     case FRAMETYPE_INTRA:
731     case FRAMETYPE_INTER:
732         ctx->buf_switch ^= 1;
733         ctx->dst_buf     = ctx->buf_switch;
734         ctx->ref_buf     = ctx->buf_switch ^ 1;
735         break;
736     case FRAMETYPE_INTER_NOREF:
737         break;
738     }
739
740     switch (ctx->frame_type) {
741     case FRAMETYPE_INTRA:
742         ctx->buf_switch = 0;
743         /* FALLTHROUGH */
744     case FRAMETYPE_INTER:
745         ctx->dst_buf = ctx->buf_switch;
746         ctx->ref_buf = ctx->buf_switch ^ 1;
747         break;
748     case FRAMETYPE_INTER_NOREF:
749     case FRAMETYPE_NULL_FIRST:
750     case FRAMETYPE_NULL_LAST:
751         break;
752     }
753 }
754
755
756 static int decode_frame(AVCodecContext *avctx, void *data, int *data_size,
757                         AVPacket *avpkt)
758 {
759     IVI4DecContext  *ctx = avctx->priv_data;
760     const uint8_t   *buf = avpkt->data;
761     int             buf_size = avpkt->size;
762     int             result, p, b;
763
764     init_get_bits(&ctx->gb, buf, buf_size * 8);
765
766     result = decode_pic_hdr(ctx, avctx);
767     if (result) {
768         av_log(avctx, AV_LOG_ERROR, "Error decoding picture header\n");
769         return result;
770     }
771
772     switch_buffers(ctx);
773
774     if (ctx->frame_type < FRAMETYPE_NULL_FIRST) {
775         for (p = 0; p < 3; p++) {
776             for (b = 0; b < ctx->planes[p].num_bands; b++) {
777                 result = decode_band(ctx, p, &ctx->planes[p].bands[b], avctx);
778                 if (result) {
779                     av_log(avctx, AV_LOG_ERROR,
780                            "Error decoding band: %d, plane: %d\n", b, p);
781                     return result;
782                 }
783             }
784         }
785     }
786
787     /* If the bidirectional mode is enabled, next I and the following P frame will */
788     /* be sent together. Unfortunately the approach below seems to be the only way */
789     /* to handle the B-frames mode. That's exactly the same Intel decoders do.     */
790     if (ctx->frame_type == FRAMETYPE_INTRA) {
791         while (get_bits(&ctx->gb, 8)); // skip version string
792         skip_bits_long(&ctx->gb, 64);  // skip padding, TODO: implement correct 8-bytes alignment
793         if (get_bits_left(&ctx->gb) > 18 && show_bits(&ctx->gb, 18) == 0x3FFF8)
794             av_log(avctx, AV_LOG_ERROR, "Buffer contains IP frames!\n");
795     }
796
797     if (ctx->frame_type >= FRAMETYPE_NULL_FIRST)
798         return buf_size;
799
800     if (ctx->frame.data[0])
801         avctx->release_buffer(avctx, &ctx->frame);
802
803     ctx->frame.reference = 0;
804     if ((result = avctx->get_buffer(avctx, &ctx->frame)) < 0) {
805         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
806         return result;
807     }
808
809     if (ctx->is_scalable) {
810         ff_ivi_recompose_haar(&ctx->planes[0], ctx->frame.data[0], ctx->frame.linesize[0], 4);
811     } else {
812         ff_ivi_output_plane(&ctx->planes[0], ctx->frame.data[0], ctx->frame.linesize[0]);
813     }
814
815     ff_ivi_output_plane(&ctx->planes[2], ctx->frame.data[1], ctx->frame.linesize[1]);
816     ff_ivi_output_plane(&ctx->planes[1], ctx->frame.data[2], ctx->frame.linesize[2]);
817
818     *data_size = sizeof(AVFrame);
819     *(AVFrame*)data = ctx->frame;
820
821     return buf_size;
822 }
823
824
825 static av_cold int decode_close(AVCodecContext *avctx)
826 {
827     IVI4DecContext *ctx = avctx->priv_data;
828
829     ff_ivi_free_buffers(&ctx->planes[0]);
830
831     if (ctx->frame.data[0])
832         avctx->release_buffer(avctx, &ctx->frame);
833
834 #if IVI4_STREAM_ANALYSER
835     if (ctx->is_scalable)
836         av_log(avctx, AV_LOG_ERROR, "This video uses scalability mode!\n");
837     if (ctx->uses_tiling)
838         av_log(avctx, AV_LOG_ERROR, "This video uses local decoding!\n");
839     if (ctx->has_b_frames)
840         av_log(avctx, AV_LOG_ERROR, "This video contains B-frames!\n");
841     if (ctx->has_transp)
842         av_log(avctx, AV_LOG_ERROR, "Transparency mode is enabled!\n");
843     if (ctx->uses_haar)
844         av_log(avctx, AV_LOG_ERROR, "This video uses Haar transform!\n");
845     if (ctx->uses_fullpel)
846         av_log(avctx, AV_LOG_ERROR, "This video uses fullpel motion vectors!\n");
847 #endif
848
849     return 0;
850 }
851
852
853 AVCodec ff_indeo4_decoder = {
854     .name           = "indeo4",
855     .type           = AVMEDIA_TYPE_VIDEO,
856     .id             = CODEC_ID_INDEO4,
857     .priv_data_size = sizeof(IVI4DecContext),
858     .init           = decode_init,
859     .close          = decode_close,
860     .decode         = decode_frame,
861     .long_name      = NULL_IF_CONFIG_SMALL("Intel Indeo Video Interactive 4"),
862 };