indeo5: set transform_size like indeo4 does to prevent useage of too large transforms.
[ffmpeg.git] / libavcodec / indeo5.c
1 /*
2  * Indeo Video Interactive v5 compatible decoder
3  * Copyright (c) 2009 Maxim Poliakovski
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Indeo Video Interactive version 5 decoder
25  *
26  * Indeo5 data is usually transported within .avi or .mov files.
27  * Known FOURCCs: 'IV50'
28  */
29
30 #define BITSTREAM_READER_LE
31 #include "avcodec.h"
32 #include "get_bits.h"
33 #include "dsputil.h"
34 #include "ivi_dsp.h"
35 #include "ivi_common.h"
36 #include "indeo5data.h"
37
38 /**
39  *  Indeo5 frame types.
40  */
41 enum {
42     FRAMETYPE_INTRA       = 0,
43     FRAMETYPE_INTER       = 1,  ///< non-droppable P-frame
44     FRAMETYPE_INTER_SCAL  = 2,  ///< droppable P-frame used in the scalability mode
45     FRAMETYPE_INTER_NOREF = 3,  ///< droppable P-frame
46     FRAMETYPE_NULL        = 4   ///< empty frame with no data
47 };
48
49 #define IVI5_PIC_SIZE_ESC       15
50
51 #define IVI5_IS_PROTECTED       0x20
52
53 typedef struct {
54     GetBitContext   gb;
55     AVFrame         frame;
56     RVMapDesc       rvmap_tabs[9];   ///< local corrected copy of the static rvmap tables
57     IVIPlaneDesc    planes[3];       ///< color planes
58     const uint8_t   *frame_data;     ///< input frame data pointer
59     int             buf_switch;      ///< used to switch between three buffers
60     int             inter_scal;      ///< signals a sequence of scalable inter frames
61     int             dst_buf;         ///< buffer index for the currently decoded frame
62     int             ref_buf;         ///< inter frame reference buffer index
63     int             ref2_buf;        ///< temporal storage for switching buffers
64     uint32_t        frame_size;      ///< frame size in bytes
65     int             frame_type;
66     int             prev_frame_type; ///< frame type of the previous frame
67     int             frame_num;
68     uint32_t        pic_hdr_size;    ///< picture header size in bytes
69     uint8_t         frame_flags;
70     uint16_t        checksum;        ///< frame checksum
71
72     IVIHuffTab      mb_vlc;          ///< vlc table for decoding macroblock data
73
74     uint16_t        gop_hdr_size;
75     uint8_t         gop_flags;
76     int             is_scalable;
77     uint32_t        lock_word;
78     IVIPicConfig    pic_conf;
79
80     int gop_invalid;
81 } IVI5DecContext;
82
83
84 /**
85  *  Decode Indeo5 GOP (Group of pictures) header.
86  *  This header is present in key frames only.
87  *  It defines parameters for all frames in a GOP.
88  *
89  *  @param[in,out] ctx    ptr to the decoder context
90  *  @param[in]     avctx  ptr to the AVCodecContext
91  *  @return         result code: 0 = OK, -1 = error
92  */
93 static int decode_gop_header(IVI5DecContext *ctx, AVCodecContext *avctx)
94 {
95     int             result, i, p, tile_size, pic_size_indx, mb_size, blk_size, is_scalable;
96     int             quant_mat, blk_size_changed = 0;
97     IVIBandDesc     *band, *band1, *band2;
98     IVIPicConfig    pic_conf;
99
100     ctx->gop_flags = get_bits(&ctx->gb, 8);
101
102     ctx->gop_hdr_size = (ctx->gop_flags & 1) ? get_bits(&ctx->gb, 16) : 0;
103
104     if (ctx->gop_flags & IVI5_IS_PROTECTED)
105         ctx->lock_word = get_bits_long(&ctx->gb, 32);
106
107     tile_size = (ctx->gop_flags & 0x40) ? 64 << get_bits(&ctx->gb, 2) : 0;
108     if (tile_size > 256) {
109         av_log(avctx, AV_LOG_ERROR, "Invalid tile size: %d\n", tile_size);
110         return -1;
111     }
112
113     /* decode number of wavelet bands */
114     /* num_levels * 3 + 1 */
115     pic_conf.luma_bands   = get_bits(&ctx->gb, 2) * 3 + 1;
116     pic_conf.chroma_bands = get_bits1(&ctx->gb)   * 3 + 1;
117     is_scalable = pic_conf.luma_bands != 1 || pic_conf.chroma_bands != 1;
118     if (is_scalable && (pic_conf.luma_bands != 4 || pic_conf.chroma_bands != 1)) {
119         av_log(avctx, AV_LOG_ERROR, "Scalability: unsupported subdivision! Luma bands: %d, chroma bands: %d\n",
120                pic_conf.luma_bands, pic_conf.chroma_bands);
121         return -1;
122     }
123
124     pic_size_indx = get_bits(&ctx->gb, 4);
125     if (pic_size_indx == IVI5_PIC_SIZE_ESC) {
126         pic_conf.pic_height = get_bits(&ctx->gb, 13);
127         pic_conf.pic_width  = get_bits(&ctx->gb, 13);
128     } else {
129         pic_conf.pic_height = ivi5_common_pic_sizes[pic_size_indx * 2 + 1] << 2;
130         pic_conf.pic_width  = ivi5_common_pic_sizes[pic_size_indx * 2    ] << 2;
131     }
132
133     if (ctx->gop_flags & 2) {
134         av_log(avctx, AV_LOG_ERROR, "YV12 picture format not supported!\n");
135         return -1;
136     }
137
138     pic_conf.chroma_height = (pic_conf.pic_height + 3) >> 2;
139     pic_conf.chroma_width  = (pic_conf.pic_width  + 3) >> 2;
140
141     if (!tile_size) {
142         pic_conf.tile_height = pic_conf.pic_height;
143         pic_conf.tile_width  = pic_conf.pic_width;
144     } else {
145         pic_conf.tile_height = pic_conf.tile_width = tile_size;
146     }
147
148     /* check if picture layout was changed and reallocate buffers */
149     if (ivi_pic_config_cmp(&pic_conf, &ctx->pic_conf)) {
150         result = ff_ivi_init_planes(ctx->planes, &pic_conf);
151         if (result) {
152             av_log(avctx, AV_LOG_ERROR, "Couldn't reallocate color planes!\n");
153             return -1;
154         }
155         ctx->pic_conf = pic_conf;
156         ctx->is_scalable = is_scalable;
157         blk_size_changed = 1; /* force reallocation of the internal structures */
158     }
159
160     for (p = 0; p <= 1; p++) {
161         for (i = 0; i < (!p ? pic_conf.luma_bands : pic_conf.chroma_bands); i++) {
162             band = &ctx->planes[p].bands[i];
163
164             band->is_halfpel = get_bits1(&ctx->gb);
165
166             mb_size  = get_bits1(&ctx->gb);
167             blk_size = 8 >> get_bits1(&ctx->gb);
168             mb_size  = blk_size << !mb_size;
169
170             blk_size_changed = mb_size != band->mb_size || blk_size != band->blk_size;
171             if (blk_size_changed) {
172                 band->mb_size  = mb_size;
173                 band->blk_size = blk_size;
174             }
175
176             if (get_bits1(&ctx->gb)) {
177                 av_log(avctx, AV_LOG_ERROR, "Extended transform info encountered!\n");
178                 return -1;
179             }
180
181             /* select transform function and scan pattern according to plane and band number */
182             switch ((p << 2) + i) {
183             case 0:
184                 band->inv_transform = ff_ivi_inverse_slant_8x8;
185                 band->dc_transform  = ff_ivi_dc_slant_2d;
186                 band->scan          = ff_zigzag_direct;
187                 band->transform_size= 8;
188                 break;
189
190             case 1:
191                 band->inv_transform = ff_ivi_row_slant8;
192                 band->dc_transform  = ff_ivi_dc_row_slant;
193                 band->scan          = ff_ivi_vertical_scan_8x8;
194                 band->transform_size= 8;
195                 break;
196
197             case 2:
198                 band->inv_transform = ff_ivi_col_slant8;
199                 band->dc_transform  = ff_ivi_dc_col_slant;
200                 band->scan          = ff_ivi_horizontal_scan_8x8;
201                 band->transform_size= 8;
202                 break;
203
204             case 3:
205                 band->inv_transform = ff_ivi_put_pixels_8x8;
206                 band->dc_transform  = ff_ivi_put_dc_pixel_8x8;
207                 band->scan          = ff_ivi_horizontal_scan_8x8;
208                 band->transform_size= 8;
209                 break;
210
211             case 4:
212                 band->inv_transform = ff_ivi_inverse_slant_4x4;
213                 band->dc_transform  = ff_ivi_dc_slant_2d;
214                 band->scan          = ff_ivi_direct_scan_4x4;
215                 band->transform_size= 4;
216                 break;
217             }
218
219             band->is_2d_trans = band->inv_transform == ff_ivi_inverse_slant_8x8 ||
220                                 band->inv_transform == ff_ivi_inverse_slant_4x4;
221
222             /* select dequant matrix according to plane and band number */
223             if (!p) {
224                 quant_mat = (pic_conf.luma_bands > 1) ? i+1 : 0;
225             } else {
226                 quant_mat = 5;
227             }
228
229             if (band->blk_size == 8) {
230                 band->intra_base  = &ivi5_base_quant_8x8_intra[quant_mat][0];
231                 band->inter_base  = &ivi5_base_quant_8x8_inter[quant_mat][0];
232                 band->intra_scale = &ivi5_scale_quant_8x8_intra[quant_mat][0];
233                 band->inter_scale = &ivi5_scale_quant_8x8_inter[quant_mat][0];
234             } else {
235                 band->intra_base  = ivi5_base_quant_4x4_intra;
236                 band->inter_base  = ivi5_base_quant_4x4_inter;
237                 band->intra_scale = ivi5_scale_quant_4x4_intra;
238                 band->inter_scale = ivi5_scale_quant_4x4_inter;
239             }
240
241             if (get_bits(&ctx->gb, 2)) {
242                 av_log(avctx, AV_LOG_ERROR, "End marker missing!\n");
243                 return -1;
244             }
245         }
246     }
247
248     /* copy chroma parameters into the 2nd chroma plane */
249     for (i = 0; i < pic_conf.chroma_bands; i++) {
250         band1 = &ctx->planes[1].bands[i];
251         band2 = &ctx->planes[2].bands[i];
252
253         band2->width         = band1->width;
254         band2->height        = band1->height;
255         band2->mb_size       = band1->mb_size;
256         band2->blk_size      = band1->blk_size;
257         band2->is_halfpel    = band1->is_halfpel;
258         band2->intra_base    = band1->intra_base;
259         band2->inter_base    = band1->inter_base;
260         band2->intra_scale   = band1->intra_scale;
261         band2->inter_scale   = band1->inter_scale;
262         band2->scan          = band1->scan;
263         band2->inv_transform = band1->inv_transform;
264         band2->dc_transform  = band1->dc_transform;
265         band2->is_2d_trans   = band1->is_2d_trans;
266         band2->transform_size= band1->transform_size;
267     }
268
269     /* reallocate internal structures if needed */
270     if (blk_size_changed) {
271         result = ff_ivi_init_tiles(ctx->planes, pic_conf.tile_width,
272                                    pic_conf.tile_height);
273         if (result) {
274             av_log(avctx, AV_LOG_ERROR,
275                    "Couldn't reallocate internal structures!\n");
276             return -1;
277         }
278     }
279
280     if (ctx->gop_flags & 8) {
281         if (get_bits(&ctx->gb, 3)) {
282             av_log(avctx, AV_LOG_ERROR, "Alignment bits are not zero!\n");
283             return -1;
284         }
285
286         if (get_bits1(&ctx->gb))
287             skip_bits_long(&ctx->gb, 24); /* skip transparency fill color */
288     }
289
290     align_get_bits(&ctx->gb);
291
292     skip_bits(&ctx->gb, 23); /* FIXME: unknown meaning */
293
294     /* skip GOP extension if any */
295     if (get_bits1(&ctx->gb)) {
296         do {
297             i = get_bits(&ctx->gb, 16);
298         } while (i & 0x8000);
299     }
300
301     align_get_bits(&ctx->gb);
302
303     return 0;
304 }
305
306
307 /**
308  *  Skip a header extension.
309  *
310  *  @param[in,out]  gb  the GetBit context
311  */
312 static inline void skip_hdr_extension(GetBitContext *gb)
313 {
314     int i, len;
315
316     do {
317         len = get_bits(gb, 8);
318         for (i = 0; i < len; i++) skip_bits(gb, 8);
319     } while(len);
320 }
321
322
323 /**
324  *  Decode Indeo5 picture header.
325  *
326  *  @param[in,out]  ctx    ptr to the decoder context
327  *  @param[in]      avctx  ptr to the AVCodecContext
328  *  @return         result code: 0 = OK, -1 = error
329  */
330 static int decode_pic_hdr(IVI5DecContext *ctx, AVCodecContext *avctx)
331 {
332     if (get_bits(&ctx->gb, 5) != 0x1F) {
333         av_log(avctx, AV_LOG_ERROR, "Invalid picture start code!\n");
334         return -1;
335     }
336
337     ctx->prev_frame_type = ctx->frame_type;
338     ctx->frame_type      = get_bits(&ctx->gb, 3);
339     if (ctx->frame_type >= 5) {
340         av_log(avctx, AV_LOG_ERROR, "Invalid frame type: %d \n", ctx->frame_type);
341         return -1;
342     }
343
344     ctx->frame_num = get_bits(&ctx->gb, 8);
345
346     if (ctx->frame_type == FRAMETYPE_INTRA) {
347         ctx->gop_invalid = 1;
348         if (decode_gop_header(ctx, avctx))
349             return -1;
350         ctx->gop_invalid = 0;
351     }
352
353     if (ctx->frame_type != FRAMETYPE_NULL) {
354         ctx->frame_flags = get_bits(&ctx->gb, 8);
355
356         ctx->pic_hdr_size = (ctx->frame_flags & 1) ? get_bits_long(&ctx->gb, 24) : 0;
357
358         ctx->checksum = (ctx->frame_flags & 0x10) ? get_bits(&ctx->gb, 16) : 0;
359
360         /* skip unknown extension if any */
361         if (ctx->frame_flags & 0x20)
362             skip_hdr_extension(&ctx->gb); /* XXX: untested */
363
364         /* decode macroblock huffman codebook */
365         if (ff_ivi_dec_huff_desc(&ctx->gb, ctx->frame_flags & 0x40, IVI_MB_HUFF, &ctx->mb_vlc, avctx))
366             return -1;
367
368         skip_bits(&ctx->gb, 3); /* FIXME: unknown meaning! */
369     }
370
371     align_get_bits(&ctx->gb);
372
373     return 0;
374 }
375
376
377 /**
378  *  Decode Indeo5 band header.
379  *
380  *  @param[in,out]  ctx    ptr to the decoder context
381  *  @param[in,out]  band   ptr to the band descriptor
382  *  @param[in]      avctx  ptr to the AVCodecContext
383  *  @return         result code: 0 = OK, -1 = error
384  */
385 static int decode_band_hdr(IVI5DecContext *ctx, IVIBandDesc *band,
386                            AVCodecContext *avctx)
387 {
388     int         i;
389     uint8_t     band_flags;
390
391     band_flags = get_bits(&ctx->gb, 8);
392
393     if (band_flags & 1) {
394         band->is_empty = 1;
395         return 0;
396     }
397
398     band->data_size = (ctx->frame_flags & 0x80) ? get_bits_long(&ctx->gb, 24) : 0;
399
400     band->inherit_mv     = band_flags & 2;
401     band->inherit_qdelta = band_flags & 8;
402     band->qdelta_present = band_flags & 4;
403     if (!band->qdelta_present) band->inherit_qdelta = 1;
404
405     /* decode rvmap probability corrections if any */
406     band->num_corr = 0; /* there are no corrections */
407     if (band_flags & 0x10) {
408         band->num_corr = get_bits(&ctx->gb, 8); /* get number of correction pairs */
409         if (band->num_corr > 61) {
410             av_log(avctx, AV_LOG_ERROR, "Too many corrections: %d\n",
411                    band->num_corr);
412             return -1;
413         }
414
415         /* read correction pairs */
416         for (i = 0; i < band->num_corr * 2; i++)
417             band->corr[i] = get_bits(&ctx->gb, 8);
418     }
419
420     /* select appropriate rvmap table for this band */
421     band->rvmap_sel = (band_flags & 0x40) ? get_bits(&ctx->gb, 3) : 8;
422
423     /* decode block huffman codebook */
424     if (ff_ivi_dec_huff_desc(&ctx->gb, band_flags & 0x80, IVI_BLK_HUFF, &band->blk_vlc, avctx))
425         return -1;
426
427     band->checksum_present = get_bits1(&ctx->gb);
428     if (band->checksum_present)
429         band->checksum = get_bits(&ctx->gb, 16);
430
431     band->glob_quant = get_bits(&ctx->gb, 5);
432
433     /* skip unknown extension if any */
434     if (band_flags & 0x20) { /* XXX: untested */
435         align_get_bits(&ctx->gb);
436         skip_hdr_extension(&ctx->gb);
437     }
438
439     align_get_bits(&ctx->gb);
440
441     return 0;
442 }
443
444
445 /**
446  *  Decode info (block type, cbp, quant delta, motion vector)
447  *  for all macroblocks in the current tile.
448  *
449  *  @param[in,out]  ctx    ptr to the decoder context
450  *  @param[in,out]  band   ptr to the band descriptor
451  *  @param[in,out]  tile   ptr to the tile descriptor
452  *  @param[in]      avctx  ptr to the AVCodecContext
453  *  @return         result code: 0 = OK, -1 = error
454  */
455 static int decode_mb_info(IVI5DecContext *ctx, IVIBandDesc *band,
456                           IVITile *tile, AVCodecContext *avctx)
457 {
458     int         x, y, mv_x, mv_y, mv_delta, offs, mb_offset,
459                 mv_scale, blks_per_mb, s;
460     IVIMbInfo   *mb, *ref_mb;
461     int         row_offset = band->mb_size * band->pitch;
462
463     mb     = tile->mbs;
464     ref_mb = tile->ref_mbs;
465     offs   = tile->ypos * band->pitch + tile->xpos;
466
467     if (!ref_mb &&
468         ((band->qdelta_present && band->inherit_qdelta) || band->inherit_mv))
469         return AVERROR_INVALIDDATA;
470
471     /* scale factor for motion vectors */
472     mv_scale = (ctx->planes[0].bands[0].mb_size >> 3) - (band->mb_size >> 3);
473     mv_x = mv_y = 0;
474
475     for (y = tile->ypos; y < (tile->ypos + tile->height); y += band->mb_size) {
476         mb_offset = offs;
477
478         for (x = tile->xpos; x < (tile->xpos + tile->width); x += band->mb_size) {
479             mb->xpos     = x;
480             mb->ypos     = y;
481             mb->buf_offs = mb_offset;
482
483             if (get_bits1(&ctx->gb)) {
484                 if (ctx->frame_type == FRAMETYPE_INTRA) {
485                     av_log(avctx, AV_LOG_ERROR, "Empty macroblock in an INTRA picture!\n");
486                     return -1;
487                 }
488                 mb->type = 1; /* empty macroblocks are always INTER */
489                 mb->cbp  = 0; /* all blocks are empty */
490
491                 mb->q_delta = 0;
492                 if (!band->plane && !band->band_num && (ctx->frame_flags & 8)) {
493                     mb->q_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
494                                            IVI_VLC_BITS, 1);
495                     mb->q_delta = IVI_TOSIGNED(mb->q_delta);
496                 }
497
498                 mb->mv_x = mb->mv_y = 0; /* no motion vector coded */
499                 if (band->inherit_mv && ref_mb){
500                     /* motion vector inheritance */
501                     if (mv_scale) {
502                         mb->mv_x = ivi_scale_mv(ref_mb->mv_x, mv_scale);
503                         mb->mv_y = ivi_scale_mv(ref_mb->mv_y, mv_scale);
504                     } else {
505                         mb->mv_x = ref_mb->mv_x;
506                         mb->mv_y = ref_mb->mv_y;
507                     }
508                 }
509             } else {
510                 if (band->inherit_mv && ref_mb) {
511                     mb->type = ref_mb->type; /* copy mb_type from corresponding reference mb */
512                 } else if (ctx->frame_type == FRAMETYPE_INTRA) {
513                     mb->type = 0; /* mb_type is always INTRA for intra-frames */
514                 } else {
515                     mb->type = get_bits1(&ctx->gb);
516                 }
517
518                 blks_per_mb = band->mb_size != band->blk_size ? 4 : 1;
519                 mb->cbp = get_bits(&ctx->gb, blks_per_mb);
520
521                 mb->q_delta = 0;
522                 if (band->qdelta_present) {
523                     if (band->inherit_qdelta) {
524                         if (ref_mb) mb->q_delta = ref_mb->q_delta;
525                     } else if (mb->cbp || (!band->plane && !band->band_num &&
526                                            (ctx->frame_flags & 8))) {
527                         mb->q_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
528                                                IVI_VLC_BITS, 1);
529                         mb->q_delta = IVI_TOSIGNED(mb->q_delta);
530                     }
531                 }
532
533                 if (!mb->type) {
534                     mb->mv_x = mb->mv_y = 0; /* there is no motion vector in intra-macroblocks */
535                 } else {
536                     if (band->inherit_mv && ref_mb){
537                         /* motion vector inheritance */
538                         if (mv_scale) {
539                             mb->mv_x = ivi_scale_mv(ref_mb->mv_x, mv_scale);
540                             mb->mv_y = ivi_scale_mv(ref_mb->mv_y, mv_scale);
541                         } else {
542                             mb->mv_x = ref_mb->mv_x;
543                             mb->mv_y = ref_mb->mv_y;
544                         }
545                     } else {
546                         /* decode motion vector deltas */
547                         mv_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
548                                             IVI_VLC_BITS, 1);
549                         mv_y += IVI_TOSIGNED(mv_delta);
550                         mv_delta = get_vlc2(&ctx->gb, ctx->mb_vlc.tab->table,
551                                             IVI_VLC_BITS, 1);
552                         mv_x += IVI_TOSIGNED(mv_delta);
553                         mb->mv_x = mv_x;
554                         mb->mv_y = mv_y;
555                     }
556                 }
557             }
558
559             s= band->is_halfpel;
560             if (mb->type)
561             if ( x +  (mb->mv_x   >>s) +                 (y+               (mb->mv_y   >>s))*band->pitch < 0 ||
562                  x + ((mb->mv_x+s)>>s) + band->mb_size - 1
563                    + (y+band->mb_size - 1 +((mb->mv_y+s)>>s))*band->pitch > band->bufsize - 1) {
564                 av_log(avctx, AV_LOG_ERROR, "motion vector %d %d outside reference\n", x*s + mb->mv_x, y*s + mb->mv_y);
565                 return AVERROR_INVALIDDATA;
566             }
567
568             mb++;
569             if (ref_mb)
570                 ref_mb++;
571             mb_offset += band->mb_size;
572         }
573
574         offs += row_offset;
575     }
576
577     align_get_bits(&ctx->gb);
578
579     return 0;
580 }
581
582
583 /**
584  *  Decode an Indeo5 band.
585  *
586  *  @param[in,out]  ctx    ptr to the decoder context
587  *  @param[in,out]  band   ptr to the band descriptor
588  *  @param[in]      avctx  ptr to the AVCodecContext
589  *  @return         result code: 0 = OK, -1 = error
590  */
591 static int decode_band(IVI5DecContext *ctx, int plane_num,
592                        IVIBandDesc *band, AVCodecContext *avctx)
593 {
594     int         result, i, t, idx1, idx2, pos;
595     IVITile     *tile;
596
597     band->buf     = band->bufs[ctx->dst_buf];
598     band->ref_buf = band->bufs[ctx->ref_buf];
599     band->data_ptr = ctx->frame_data + (get_bits_count(&ctx->gb) >> 3);
600
601     result = decode_band_hdr(ctx, band, avctx);
602     if (result) {
603         av_log(avctx, AV_LOG_ERROR, "Error while decoding band header: %d\n",
604                result);
605         return -1;
606     }
607
608     if (band->is_empty) {
609         av_log(avctx, AV_LOG_ERROR, "Empty band encountered!\n");
610         return -1;
611     }
612
613     band->rv_map = &ctx->rvmap_tabs[band->rvmap_sel];
614
615     /* apply corrections to the selected rvmap table if present */
616     for (i = 0; i < band->num_corr; i++) {
617         idx1 = band->corr[i*2];
618         idx2 = band->corr[i*2+1];
619         FFSWAP(uint8_t, band->rv_map->runtab[idx1], band->rv_map->runtab[idx2]);
620         FFSWAP(int16_t, band->rv_map->valtab[idx1], band->rv_map->valtab[idx2]);
621     }
622
623     pos = get_bits_count(&ctx->gb);
624
625     for (t = 0; t < band->num_tiles; t++) {
626         tile = &band->tiles[t];
627
628         tile->is_empty = get_bits1(&ctx->gb);
629         if (tile->is_empty) {
630             ff_ivi_process_empty_tile(avctx, band, tile,
631                                       (ctx->planes[0].bands[0].mb_size >> 3) - (band->mb_size >> 3));
632         } else {
633             tile->data_size = ff_ivi_dec_tile_data_size(&ctx->gb);
634
635             result = decode_mb_info(ctx, band, tile, avctx);
636             if (result < 0)
637                 break;
638
639             result = ff_ivi_decode_blocks(&ctx->gb, band, tile);
640             if (result < 0 || (get_bits_count(&ctx->gb) - pos) >> 3 != tile->data_size) {
641                 av_log(avctx, AV_LOG_ERROR, "Corrupted tile data encountered!\n");
642                 break;
643             }
644             pos += tile->data_size << 3; // skip to next tile
645         }
646     }
647
648     /* restore the selected rvmap table by applying its corrections in reverse order */
649     for (i = band->num_corr-1; i >= 0; i--) {
650         idx1 = band->corr[i*2];
651         idx2 = band->corr[i*2+1];
652         FFSWAP(uint8_t, band->rv_map->runtab[idx1], band->rv_map->runtab[idx2]);
653         FFSWAP(int16_t, band->rv_map->valtab[idx1], band->rv_map->valtab[idx2]);
654     }
655
656 #ifdef DEBUG
657     if (band->checksum_present) {
658         uint16_t chksum = ivi_calc_band_checksum(band);
659         if (chksum != band->checksum) {
660             av_log(avctx, AV_LOG_ERROR,
661                    "Band checksum mismatch! Plane %d, band %d, received: %x, calculated: %x\n",
662                    band->plane, band->band_num, band->checksum, chksum);
663         }
664     }
665 #endif
666
667     align_get_bits(&ctx->gb);
668
669     return result;
670 }
671
672
673 /**
674  *  Switch buffers.
675  *
676  *  @param[in,out] ctx  ptr to the decoder context
677  */
678 static void switch_buffers(IVI5DecContext *ctx)
679 {
680     switch (ctx->prev_frame_type) {
681     case FRAMETYPE_INTRA:
682     case FRAMETYPE_INTER:
683         ctx->buf_switch ^= 1;
684         ctx->dst_buf = ctx->buf_switch;
685         ctx->ref_buf = ctx->buf_switch ^ 1;
686         break;
687     case FRAMETYPE_INTER_SCAL:
688         if (!ctx->inter_scal) {
689             ctx->ref2_buf   = 2;
690             ctx->inter_scal = 1;
691         }
692         FFSWAP(int, ctx->dst_buf, ctx->ref2_buf);
693         ctx->ref_buf = ctx->ref2_buf;
694         break;
695     case FRAMETYPE_INTER_NOREF:
696         break;
697     }
698
699     switch (ctx->frame_type) {
700     case FRAMETYPE_INTRA:
701         ctx->buf_switch = 0;
702         /* FALLTHROUGH */
703     case FRAMETYPE_INTER:
704         ctx->inter_scal = 0;
705         ctx->dst_buf = ctx->buf_switch;
706         ctx->ref_buf = ctx->buf_switch ^ 1;
707         break;
708     case FRAMETYPE_INTER_SCAL:
709     case FRAMETYPE_INTER_NOREF:
710     case FRAMETYPE_NULL:
711         break;
712     }
713 }
714
715
716 /**
717  *  Initialize Indeo5 decoder.
718  */
719 static av_cold int decode_init(AVCodecContext *avctx)
720 {
721     IVI5DecContext  *ctx = avctx->priv_data;
722     int             result;
723
724     ff_ivi_init_static_vlc();
725
726     /* copy rvmap tables in our context so we can apply changes to them */
727     memcpy(ctx->rvmap_tabs, ff_ivi_rvmap_tabs, sizeof(ff_ivi_rvmap_tabs));
728
729     /* set the initial picture layout according to the basic profile:
730        there is only one band per plane (no scalability), only one tile (no local decoding)
731        and picture format = YVU9 */
732     ctx->pic_conf.pic_width     = avctx->width;
733     ctx->pic_conf.pic_height    = avctx->height;
734     ctx->pic_conf.chroma_width  = (avctx->width  + 3) >> 2;
735     ctx->pic_conf.chroma_height = (avctx->height + 3) >> 2;
736     ctx->pic_conf.tile_width    = avctx->width;
737     ctx->pic_conf.tile_height   = avctx->height;
738     ctx->pic_conf.luma_bands    = ctx->pic_conf.chroma_bands = 1;
739
740     avcodec_get_frame_defaults(&ctx->frame);
741
742     result = ff_ivi_init_planes(ctx->planes, &ctx->pic_conf);
743     if (result) {
744         av_log(avctx, AV_LOG_ERROR, "Couldn't allocate color planes!\n");
745         return -1;
746     }
747
748     ctx->buf_switch = 0;
749     ctx->inter_scal = 0;
750
751     avctx->pix_fmt = PIX_FMT_YUV410P;
752
753     return 0;
754 }
755
756
757 /**
758  *  main decoder function
759  */
760 static int decode_frame(AVCodecContext *avctx, void *data, int *data_size,
761                         AVPacket *avpkt)
762 {
763     IVI5DecContext  *ctx = avctx->priv_data;
764     const uint8_t   *buf = avpkt->data;
765     int             buf_size = avpkt->size;
766     int             result, p, b;
767
768     init_get_bits(&ctx->gb, buf, buf_size * 8);
769     ctx->frame_data = buf;
770     ctx->frame_size = buf_size;
771
772     result = decode_pic_hdr(ctx, avctx);
773     if (result || ctx->gop_invalid) {
774         av_log(avctx, AV_LOG_ERROR,
775                "Error while decoding picture header: %d\n", result);
776         return -1;
777     }
778
779     if (ctx->gop_flags & IVI5_IS_PROTECTED) {
780         av_log(avctx, AV_LOG_ERROR, "Password-protected clip!\n");
781         return -1;
782     }
783
784     switch_buffers(ctx);
785
786     //{ START_TIMER;
787
788     if (ctx->frame_type != FRAMETYPE_NULL) {
789         for (p = 0; p < 3; p++) {
790             for (b = 0; b < ctx->planes[p].num_bands; b++) {
791                 result = decode_band(ctx, p, &ctx->planes[p].bands[b], avctx);
792                 if (result) {
793                     av_log(avctx, AV_LOG_ERROR,
794                            "Error while decoding band: %d, plane: %d\n", b, p);
795                     return -1;
796                 }
797             }
798         }
799     }
800
801     //STOP_TIMER("decode_planes"); }
802
803     if (ctx->frame.data[0])
804         avctx->release_buffer(avctx, &ctx->frame);
805
806     if(   avctx->width  != ctx->planes[0].width
807        || avctx->height != ctx->planes[0].height)
808         avcodec_set_dimensions(avctx, ctx->planes[0].width, ctx->planes[0].height);
809
810     ctx->frame.reference = 0;
811     if (avctx->get_buffer(avctx, &ctx->frame) < 0) {
812         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
813         return -1;
814     }
815
816     if (ctx->is_scalable) {
817         ff_ivi_recompose53 (&ctx->planes[0], ctx->frame.data[0], ctx->frame.linesize[0], 4);
818     } else {
819         ff_ivi_output_plane(&ctx->planes[0], ctx->frame.data[0], ctx->frame.linesize[0]);
820     }
821
822     ff_ivi_output_plane(&ctx->planes[2], ctx->frame.data[1], ctx->frame.linesize[1]);
823     ff_ivi_output_plane(&ctx->planes[1], ctx->frame.data[2], ctx->frame.linesize[2]);
824
825     *data_size = sizeof(AVFrame);
826     *(AVFrame*)data = ctx->frame;
827
828     return buf_size;
829 }
830
831
832 /**
833  *  Close Indeo5 decoder and clean up its context.
834  */
835 static av_cold int decode_close(AVCodecContext *avctx)
836 {
837     IVI5DecContext *ctx = avctx->priv_data;
838
839     ff_ivi_free_buffers(&ctx->planes[0]);
840
841     if (ctx->mb_vlc.cust_tab.table)
842         ff_free_vlc(&ctx->mb_vlc.cust_tab);
843
844     if (ctx->frame.data[0])
845         avctx->release_buffer(avctx, &ctx->frame);
846
847     return 0;
848 }
849
850
851 AVCodec ff_indeo5_decoder = {
852     .name           = "indeo5",
853     .type           = AVMEDIA_TYPE_VIDEO,
854     .id             = CODEC_ID_INDEO5,
855     .priv_data_size = sizeof(IVI5DecContext),
856     .init           = decode_init,
857     .close          = decode_close,
858     .decode         = decode_frame,
859     .long_name      = NULL_IF_CONFIG_SMALL("Intel Indeo Video Interactive 5"),
860 };