factor out common decoding code for Indeo 4 and Indeo 5
[ffmpeg.git] / libavcodec / ivi_common.h
1 /*
2  * common functions for Indeo Video Interactive codecs (Indeo4 and Indeo5)
3  *
4  * Copyright (c) 2009 Maxim Poliakovski
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * This file contains structures and macros shared by both Indeo4 and
26  * Indeo5 decoders.
27  */
28
29 #ifndef AVCODEC_IVI_COMMON_H
30 #define AVCODEC_IVI_COMMON_H
31
32 #include "avcodec.h"
33 #include "get_bits.h"
34 #include <stdint.h>
35
36 #define IVI_VLC_BITS 13 ///< max number of bits of the ivi's huffman codes
37 #define IVI4_STREAM_ANALYSER    0
38 #define IVI5_IS_PROTECTED       0x20
39
40 /**
41  *  huffman codebook descriptor
42  */
43 typedef struct {
44     int32_t     num_rows;
45     uint8_t     xbits[16];
46 } IVIHuffDesc;
47
48 /**
49  *  macroblock/block huffman table descriptor
50  */
51 typedef struct {
52     int32_t     tab_sel;    /// index of one of the predefined tables
53                             /// or "7" for custom one
54     VLC         *tab;       /// pointer to the table associated with tab_sel
55
56     /// the following are used only when tab_sel == 7
57     IVIHuffDesc cust_desc;  /// custom Huffman codebook descriptor
58     VLC         cust_tab;   /// vlc table for custom codebook
59 } IVIHuffTab;
60
61 enum {
62     IVI_MB_HUFF   = 0,      /// Huffman table is used for coding macroblocks
63     IVI_BLK_HUFF  = 1       /// Huffman table is used for coding blocks
64 };
65
66 extern VLC ff_ivi_mb_vlc_tabs [8]; ///< static macroblock Huffman tables
67 extern VLC ff_ivi_blk_vlc_tabs[8]; ///< static block Huffman tables
68
69
70 /**
71  *  Common scan patterns (defined in ivi_common.c)
72  */
73 extern const uint8_t ff_ivi_vertical_scan_8x8[64];
74 extern const uint8_t ff_ivi_horizontal_scan_8x8[64];
75 extern const uint8_t ff_ivi_direct_scan_4x4[16];
76
77
78 /**
79  *  Declare inverse transform function types
80  */
81 typedef void (InvTransformPtr)(const int32_t *in, int16_t *out, uint32_t pitch, const uint8_t *flags);
82 typedef void (DCTransformPtr) (const int32_t *in, int16_t *out, uint32_t pitch, int blk_size);
83
84
85 /**
86  *  run-value (RLE) table descriptor
87  */
88 typedef struct {
89     uint8_t     eob_sym; ///< end of block symbol
90     uint8_t     esc_sym; ///< escape symbol
91     uint8_t     runtab[256];
92     int8_t      valtab[256];
93 } RVMapDesc;
94
95 extern const RVMapDesc ff_ivi_rvmap_tabs[9];
96
97
98 /**
99  *  information for Indeo macroblock (16x16, 8x8 or 4x4)
100  */
101 typedef struct {
102     int16_t     xpos;
103     int16_t     ypos;
104     uint32_t    buf_offs; ///< address in the output buffer for this mb
105     uint8_t     type;     ///< macroblock type: 0 - INTRA, 1 - INTER
106     uint8_t     cbp;      ///< coded block pattern
107     int8_t      q_delta;  ///< quant delta
108     int8_t      mv_x;     ///< motion vector (x component)
109     int8_t      mv_y;     ///< motion vector (y component)
110 } IVIMbInfo;
111
112
113 /**
114  *  information for Indeo tile
115  */
116 typedef struct {
117     int         xpos;
118     int         ypos;
119     int         width;
120     int         height;
121     int         is_empty;  ///< = 1 if this tile doesn't contain any data
122     int         data_size; ///< size of the data in bytes
123     int         num_MBs;   ///< number of macroblocks in this tile
124     IVIMbInfo   *mbs;      ///< array of macroblock descriptors
125     IVIMbInfo   *ref_mbs;  ///< ptr to the macroblock descriptors of the reference tile
126 } IVITile;
127
128
129 /**
130  *  information for Indeo wavelet band
131  */
132 typedef struct {
133     int             plane;          ///< plane number this band belongs to
134     int             band_num;       ///< band number
135     int             width;
136     int             height;
137     const uint8_t   *data_ptr;      ///< ptr to the first byte of the band data
138     int             data_size;      ///< size of the band data
139     int16_t         *buf;           ///< pointer to the output buffer for this band
140     int16_t         *ref_buf;       ///< pointer to the reference frame buffer (for motion compensation)
141     int16_t         *bufs[3];       ///< array of pointers to the band buffers
142     int             pitch;          ///< pitch associated with the buffers above
143     int             is_empty;       ///< = 1 if this band doesn't contain any data
144     int             mb_size;        ///< macroblock size
145     int             blk_size;       ///< block size
146     int             is_halfpel;     ///< precision of the motion compensation: 0 - fullpel, 1 - halfpel
147     int             inherit_mv;     ///< tells if motion vector is inherited from reference macroblock
148     int             inherit_qdelta; ///< tells if quantiser delta is inherited from reference macroblock
149     int             qdelta_present; ///< tells if Qdelta signal is present in the bitstream (Indeo5 only)
150     int             quant_mat;      ///< dequant matrix index
151     int             glob_quant;     ///< quant base for this band
152     const uint8_t   *scan;          ///< ptr to the scan pattern
153
154     IVIHuffTab      blk_vlc;        ///< vlc table for decoding block data
155
156     int             num_corr;       ///< number of correction entries
157     uint8_t         corr[61*2];     ///< rvmap correction pairs
158     int             rvmap_sel;      ///< rvmap table selector
159     RVMapDesc       *rv_map;        ///< ptr to the RLE table for this band
160     int             num_tiles;      ///< number of tiles in this band
161     IVITile         *tiles;         ///< array of tile descriptors
162     InvTransformPtr *inv_transform;
163     DCTransformPtr  *dc_transform;
164     int             is_2d_trans;    ///< 1 indicates that the two-dimensional inverse transform is used
165     int32_t         checksum;       ///< for debug purposes
166     int             checksum_present;
167     int             bufsize;        ///< band buffer size in bytes
168     const uint16_t  *intra_base;    ///< quantization matrix for intra blocks
169     const uint16_t  *inter_base;    ///< quantization matrix for inter blocks
170     const uint8_t   *intra_scale;   ///< quantization coefficient for intra blocks
171     const uint8_t   *inter_scale;   ///< quantization coefficient for inter blocks
172 } IVIBandDesc;
173
174
175 /**
176  *  color plane (luma or chroma) information
177  */
178 typedef struct {
179     uint16_t    width;
180     uint16_t    height;
181     uint8_t     num_bands;  ///< number of bands this plane subdivided into
182     IVIBandDesc *bands;     ///< array of band descriptors
183 } IVIPlaneDesc;
184
185
186 typedef struct {
187     uint16_t    pic_width;
188     uint16_t    pic_height;
189     uint16_t    chroma_width;
190     uint16_t    chroma_height;
191     uint16_t    tile_width;
192     uint16_t    tile_height;
193     uint8_t     luma_bands;
194     uint8_t     chroma_bands;
195 } IVIPicConfig;
196
197 typedef struct IVI45DecContext {
198     GetBitContext   gb;
199     AVFrame         frame;
200     RVMapDesc       rvmap_tabs[9];   ///< local corrected copy of the static rvmap tables
201
202     uint32_t        frame_num;
203     int             frame_type;
204     int             prev_frame_type; ///< frame type of the previous frame
205     uint32_t        data_size;       ///< size of the frame data in bytes from picture header
206     int             is_scalable;
207     int             transp_status;   ///< transparency mode status: 1 - enabled
208     const uint8_t   *frame_data;     ///< input frame data pointer
209     int             inter_scal;      ///< signals a sequence of scalable inter frames
210     uint32_t        frame_size;      ///< frame size in bytes
211     uint32_t        pic_hdr_size;    ///< picture header size in bytes
212     uint8_t         frame_flags;
213     uint16_t        checksum;        ///< frame checksum
214
215     IVIPicConfig    pic_conf;
216     IVIPlaneDesc    planes[3];       ///< color planes
217
218     int             buf_switch;      ///< used to switch between three buffers
219     int             dst_buf;         ///< buffer index for the currently decoded frame
220     int             ref_buf;         ///< inter frame reference buffer index
221     int             ref2_buf;        ///< temporal storage for switching buffers
222
223     IVIHuffTab      mb_vlc;          ///< current macroblock table descriptor
224     IVIHuffTab      blk_vlc;         ///< current block table descriptor
225
226     uint8_t         rvmap_sel;
227     uint8_t         in_imf;
228     uint8_t         in_q;            ///< flag for explicitly stored quantiser delta
229     uint8_t         pic_glob_quant;
230     uint8_t         unknown1;
231
232     uint16_t        gop_hdr_size;
233     uint8_t         gop_flags;
234     uint32_t        lock_word;
235
236 #if IVI4_STREAM_ANALYSER
237     uint8_t         has_b_frames;
238     uint8_t         has_transp;
239     uint8_t         uses_tiling;
240     uint8_t         uses_haar;
241     uint8_t         uses_fullpel;
242 #endif
243
244     int             (*decode_pic_hdr)  (struct IVI45DecContext *ctx, AVCodecContext *avctx);
245     int             (*decode_band_hdr) (struct IVI45DecContext *ctx, IVIBandDesc *band, AVCodecContext *avctx);
246     int             (*decode_mb_info)  (struct IVI45DecContext *ctx, IVIBandDesc *band, IVITile *tile, AVCodecContext *avctx);
247     void            (*switch_buffers)  (struct IVI45DecContext *ctx);
248     int             (*is_nonnull_frame)(struct IVI45DecContext *ctx);
249 } IVI45DecContext;
250
251 /** compare some properties of two pictures */
252 static inline int ivi_pic_config_cmp(IVIPicConfig *str1, IVIPicConfig *str2)
253 {
254     return str1->pic_width    != str2->pic_width    || str1->pic_height    != str2->pic_height    ||
255            str1->chroma_width != str2->chroma_width || str1->chroma_height != str2->chroma_height ||
256            str1->tile_width   != str2->tile_width   || str1->tile_height   != str2->tile_height   ||
257            str1->luma_bands   != str2->luma_bands   || str1->chroma_bands  != str2->chroma_bands;
258 }
259
260 /** calculate number of tiles in a stride */
261 #define IVI_NUM_TILES(stride, tile_size) (((stride) + (tile_size) - 1) / (tile_size))
262
263 /** calculate number of macroblocks in a tile */
264 #define IVI_MBs_PER_TILE(tile_width, tile_height, mb_size) \
265     ((((tile_width) + (mb_size) - 1) / (mb_size)) * (((tile_height) + (mb_size) - 1) / (mb_size)))
266
267 /** convert unsigned values into signed ones (the sign is in the LSB) */
268 #define IVI_TOSIGNED(val) (-(((val) >> 1) ^ -((val) & 1)))
269
270 /** scale motion vector */
271 static inline int ivi_scale_mv(int mv, int mv_scale)
272 {
273     return (mv + (mv > 0) + (mv_scale - 1)) >> mv_scale;
274 }
275
276 /**
277  *  Generate a huffman codebook from the given descriptor
278  *  and convert it into the Libav VLC table.
279  *
280  *  @param[in]   cb    pointer to codebook descriptor
281  *  @param[out]  vlc   where to place the generated VLC table
282  *  @param[in]   flag  flag: 1 - for static or 0 for dynamic tables
283  *  @return     result code: 0 - OK, -1 = error (invalid codebook descriptor)
284  */
285 int  ff_ivi_create_huff_from_desc(const IVIHuffDesc *cb, VLC *vlc, int flag);
286
287 /**
288  * Initialize static codes used for macroblock and block decoding.
289  */
290 void ff_ivi_init_static_vlc(void);
291
292 /**
293  *  Decode a huffman codebook descriptor from the bitstream
294  *  and select specified huffman table.
295  *
296  *  @param[in,out]  gb          the GetBit context
297  *  @param[in]      desc_coded  flag signalling if table descriptor was coded
298  *  @param[in]      which_tab   codebook purpose (IVI_MB_HUFF or IVI_BLK_HUFF)
299  *  @param[out]     huff_tab    pointer to the descriptor of the selected table
300  *  @param[in]      avctx       AVCodecContext pointer
301  *  @return             zero on success, negative value otherwise
302  */
303 int  ff_ivi_dec_huff_desc(GetBitContext *gb, int desc_coded, int which_tab,
304                           IVIHuffTab *huff_tab, AVCodecContext *avctx);
305
306 /**
307  *  Compare two huffman codebook descriptors.
308  *
309  *  @param[in]  desc1  ptr to the 1st descriptor to compare
310  *  @param[in]  desc2  ptr to the 2nd descriptor to compare
311  *  @return         comparison result: 0 - equal, 1 - not equal
312  */
313 int  ff_ivi_huff_desc_cmp(const IVIHuffDesc *desc1, const IVIHuffDesc *desc2);
314
315 /**
316  *  Copy huffman codebook descriptors.
317  *
318  *  @param[out]  dst  ptr to the destination descriptor
319  *  @param[in]   src  ptr to the source descriptor
320  */
321 void ff_ivi_huff_desc_copy(IVIHuffDesc *dst, const IVIHuffDesc *src);
322
323 /**
324  *  Initialize planes (prepares descriptors, allocates buffers etc).
325  *
326  *  @param[in,out]  planes  pointer to the array of the plane descriptors
327  *  @param[in]      cfg     pointer to the ivi_pic_config structure describing picture layout
328  *  @return             result code: 0 - OK
329  */
330 int  ff_ivi_init_planes(IVIPlaneDesc *planes, const IVIPicConfig *cfg);
331
332 /**
333  *  Free planes, bands and macroblocks buffers.
334  *
335  *  @param[in]  planes  pointer to the array of the plane descriptors
336  */
337 void ff_ivi_free_buffers(IVIPlaneDesc *planes);
338
339 /**
340  *  Initialize tile and macroblock descriptors.
341  *
342  *  @param[in,out]  planes       pointer to the array of the plane descriptors
343  *  @param[in]      tile_width   tile width
344  *  @param[in]      tile_height  tile height
345  *  @return             result code: 0 - OK
346  */
347 int  ff_ivi_init_tiles(IVIPlaneDesc *planes, int tile_width, int tile_height);
348
349 /**
350  *  Decode size of the tile data.
351  *  The size is stored as a variable-length field having the following format:
352  *  if (tile_data_size < 255) than this field is only one byte long
353  *  if (tile_data_size >= 255) than this field four is byte long: 0xFF X1 X2 X3
354  *  where X1-X3 is size of the tile data
355  *
356  *  @param[in,out]  gb  the GetBit context
357  *  @return     size of the tile data in bytes
358  */
359 int  ff_ivi_dec_tile_data_size(GetBitContext *gb);
360
361 /**
362  *  Decode block data:
363  *  extract huffman-coded transform coefficients from the bitstream,
364  *  dequantize them, apply inverse transform and motion compensation
365  *  in order to reconstruct the picture.
366  *
367  *  @param[in,out]  gb    the GetBit context
368  *  @param[in]      band  pointer to the band descriptor
369  *  @param[in]      tile  pointer to the tile descriptor
370  *  @return     result code: 0 - OK, -1 = error (corrupted blocks data)
371  */
372 int  ff_ivi_decode_blocks(GetBitContext *gb, IVIBandDesc *band, IVITile *tile);
373
374 /**
375  *  Handle empty tiles by performing data copying and motion
376  *  compensation respectively.
377  *
378  *  @param[in]  avctx     ptr to the AVCodecContext
379  *  @param[in]  band      pointer to the band descriptor
380  *  @param[in]  tile      pointer to the tile descriptor
381  *  @param[in]  mv_scale  scaling factor for motion vectors
382  */
383 void ff_ivi_process_empty_tile(AVCodecContext *avctx, IVIBandDesc *band,
384                                IVITile *tile, int32_t mv_scale);
385
386 /**
387  *  Convert and output the current plane.
388  *  This conversion is done by adding back the bias value of 128
389  *  (subtracted in the encoder) and clipping the result.
390  *
391  *  @param[in]   plane      pointer to the descriptor of the plane being processed
392  *  @param[out]  dst        pointer to the buffer receiving converted pixels
393  *  @param[in]   dst_pitch  pitch for moving to the next y line
394  */
395 void ff_ivi_output_plane(IVIPlaneDesc *plane, uint8_t *dst, int dst_pitch);
396
397 /**
398  *  Calculate band checksum from band data.
399  */
400 uint16_t ivi_calc_band_checksum (IVIBandDesc *band);
401
402 /**
403  *  Verify that band data lies in range.
404  */
405 int ivi_check_band (IVIBandDesc *band, const uint8_t *ref, int pitch);
406
407 int ff_ivi_decode_frame(AVCodecContext *avctx, void *data, int *data_size,
408                         AVPacket *avpkt);
409 av_cold int ff_ivi_decode_close(AVCodecContext *avctx);
410
411 #endif /* AVCODEC_IVI_COMMON_H */