h264: 4:2:2 intra decoding support
[ffmpeg.git] / libavcodec / h264.h
1 /*
2  * H.26L/H.264/AVC/JVT/14496-10/... encoder/decoder
3  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * H.264 / AVC / MPEG4 part10 codec.
25  * @author Michael Niedermayer <michaelni@gmx.at>
26  */
27
28 #ifndef AVCODEC_H264_H
29 #define AVCODEC_H264_H
30
31 #include "libavutil/intreadwrite.h"
32 #include "dsputil.h"
33 #include "cabac.h"
34 #include "mpegvideo.h"
35 #include "h264dsp.h"
36 #include "h264pred.h"
37 #include "rectangle.h"
38
39 #define interlaced_dct interlaced_dct_is_a_bad_name
40 #define mb_intra mb_intra_is_not_initialized_see_mb_type
41
42 #define MAX_SPS_COUNT 32
43 #define MAX_PPS_COUNT 256
44
45 #define MAX_MMCO_COUNT 66
46
47 #define MAX_DELAYED_PIC_COUNT 16
48
49 /* Compiling in interlaced support reduces the speed
50  * of progressive decoding by about 2%. */
51 #define ALLOW_INTERLACE
52
53 #define FMO 0
54
55 /**
56  * The maximum number of slices supported by the decoder.
57  * must be a power of 2
58  */
59 #define MAX_SLICES 16
60
61 #ifdef ALLOW_INTERLACE
62 #define MB_MBAFF h->mb_mbaff
63 #define MB_FIELD h->mb_field_decoding_flag
64 #define FRAME_MBAFF h->mb_aff_frame
65 #define FIELD_PICTURE (s->picture_structure != PICT_FRAME)
66 #define LEFT_MBS 2
67 #define LTOP 0
68 #define LBOT 1
69 #define LEFT(i) (i)
70 #else
71 #define MB_MBAFF 0
72 #define MB_FIELD 0
73 #define FRAME_MBAFF 0
74 #define FIELD_PICTURE 0
75 #undef  IS_INTERLACED
76 #define IS_INTERLACED(mb_type) 0
77 #define LEFT_MBS 1
78 #define LTOP 0
79 #define LBOT 0
80 #define LEFT(i) 0
81 #endif
82 #define FIELD_OR_MBAFF_PICTURE (FRAME_MBAFF || FIELD_PICTURE)
83
84 #ifndef CABAC
85 #define CABAC h->pps.cabac
86 #endif
87
88 #define CHROMA422 (h->sps.chroma_format_idc == 2)
89 #define CHROMA444 (h->sps.chroma_format_idc == 3)
90
91 #define EXTENDED_SAR          255
92
93 #define MB_TYPE_REF0       MB_TYPE_ACPRED //dirty but it fits in 16 bit
94 #define MB_TYPE_8x8DCT     0x01000000
95 #define IS_REF0(a)         ((a) & MB_TYPE_REF0)
96 #define IS_8x8DCT(a)       ((a) & MB_TYPE_8x8DCT)
97
98 /**
99  * Value of Picture.reference when Picture is not a reference picture, but
100  * is held for delayed output.
101  */
102 #define DELAYED_PIC_REF 4
103
104 #define QP_MAX_NUM (51 + 2*6)           // The maximum supported qp
105
106 /* NAL unit types */
107 enum {
108     NAL_SLICE=1,
109     NAL_DPA,
110     NAL_DPB,
111     NAL_DPC,
112     NAL_IDR_SLICE,
113     NAL_SEI,
114     NAL_SPS,
115     NAL_PPS,
116     NAL_AUD,
117     NAL_END_SEQUENCE,
118     NAL_END_STREAM,
119     NAL_FILLER_DATA,
120     NAL_SPS_EXT,
121     NAL_AUXILIARY_SLICE=19
122 };
123
124 /**
125  * SEI message types
126  */
127 typedef enum {
128     SEI_BUFFERING_PERIOD             =  0, ///< buffering period (H.264, D.1.1)
129     SEI_TYPE_PIC_TIMING              =  1, ///< picture timing
130     SEI_TYPE_USER_DATA_UNREGISTERED  =  5, ///< unregistered user data
131     SEI_TYPE_RECOVERY_POINT          =  6  ///< recovery point (frame # to decoder sync)
132 } SEI_Type;
133
134 /**
135  * pic_struct in picture timing SEI message
136  */
137 typedef enum {
138     SEI_PIC_STRUCT_FRAME             = 0, ///<  0: %frame
139     SEI_PIC_STRUCT_TOP_FIELD         = 1, ///<  1: top field
140     SEI_PIC_STRUCT_BOTTOM_FIELD      = 2, ///<  2: bottom field
141     SEI_PIC_STRUCT_TOP_BOTTOM        = 3, ///<  3: top field, bottom field, in that order
142     SEI_PIC_STRUCT_BOTTOM_TOP        = 4, ///<  4: bottom field, top field, in that order
143     SEI_PIC_STRUCT_TOP_BOTTOM_TOP    = 5, ///<  5: top field, bottom field, top field repeated, in that order
144     SEI_PIC_STRUCT_BOTTOM_TOP_BOTTOM = 6, ///<  6: bottom field, top field, bottom field repeated, in that order
145     SEI_PIC_STRUCT_FRAME_DOUBLING    = 7, ///<  7: %frame doubling
146     SEI_PIC_STRUCT_FRAME_TRIPLING    = 8  ///<  8: %frame tripling
147 } SEI_PicStructType;
148
149 /**
150  * Sequence parameter set
151  */
152 typedef struct SPS{
153
154     int profile_idc;
155     int level_idc;
156     int chroma_format_idc;
157     int transform_bypass;              ///< qpprime_y_zero_transform_bypass_flag
158     int log2_max_frame_num;            ///< log2_max_frame_num_minus4 + 4
159     int poc_type;                      ///< pic_order_cnt_type
160     int log2_max_poc_lsb;              ///< log2_max_pic_order_cnt_lsb_minus4
161     int delta_pic_order_always_zero_flag;
162     int offset_for_non_ref_pic;
163     int offset_for_top_to_bottom_field;
164     int poc_cycle_length;              ///< num_ref_frames_in_pic_order_cnt_cycle
165     int ref_frame_count;               ///< num_ref_frames
166     int gaps_in_frame_num_allowed_flag;
167     int mb_width;                      ///< pic_width_in_mbs_minus1 + 1
168     int mb_height;                     ///< pic_height_in_map_units_minus1 + 1
169     int frame_mbs_only_flag;
170     int mb_aff;                        ///<mb_adaptive_frame_field_flag
171     int direct_8x8_inference_flag;
172     int crop;                   ///< frame_cropping_flag
173     unsigned int crop_left;            ///< frame_cropping_rect_left_offset
174     unsigned int crop_right;           ///< frame_cropping_rect_right_offset
175     unsigned int crop_top;             ///< frame_cropping_rect_top_offset
176     unsigned int crop_bottom;          ///< frame_cropping_rect_bottom_offset
177     int vui_parameters_present_flag;
178     AVRational sar;
179     int video_signal_type_present_flag;
180     int full_range;
181     int colour_description_present_flag;
182     enum AVColorPrimaries color_primaries;
183     enum AVColorTransferCharacteristic color_trc;
184     enum AVColorSpace colorspace;
185     int timing_info_present_flag;
186     uint32_t num_units_in_tick;
187     uint32_t time_scale;
188     int fixed_frame_rate_flag;
189     short offset_for_ref_frame[256]; //FIXME dyn aloc?
190     int bitstream_restriction_flag;
191     int num_reorder_frames;
192     int scaling_matrix_present;
193     uint8_t scaling_matrix4[6][16];
194     uint8_t scaling_matrix8[6][64];
195     int nal_hrd_parameters_present_flag;
196     int vcl_hrd_parameters_present_flag;
197     int pic_struct_present_flag;
198     int time_offset_length;
199     int cpb_cnt;                       ///< See H.264 E.1.2
200     int initial_cpb_removal_delay_length; ///< initial_cpb_removal_delay_length_minus1 +1
201     int cpb_removal_delay_length;      ///< cpb_removal_delay_length_minus1 + 1
202     int dpb_output_delay_length;       ///< dpb_output_delay_length_minus1 + 1
203     int bit_depth_luma;                ///< bit_depth_luma_minus8 + 8
204     int bit_depth_chroma;              ///< bit_depth_chroma_minus8 + 8
205     int residual_color_transform_flag; ///< residual_colour_transform_flag
206     int constraint_set_flags;          ///< constraint_set[0-3]_flag
207 }SPS;
208
209 /**
210  * Picture parameter set
211  */
212 typedef struct PPS{
213     unsigned int sps_id;
214     int cabac;                  ///< entropy_coding_mode_flag
215     int pic_order_present;      ///< pic_order_present_flag
216     int slice_group_count;      ///< num_slice_groups_minus1 + 1
217     int mb_slice_group_map_type;
218     unsigned int ref_count[2];  ///< num_ref_idx_l0/1_active_minus1 + 1
219     int weighted_pred;          ///< weighted_pred_flag
220     int weighted_bipred_idc;
221     int init_qp;                ///< pic_init_qp_minus26 + 26
222     int init_qs;                ///< pic_init_qs_minus26 + 26
223     int chroma_qp_index_offset[2];
224     int deblocking_filter_parameters_present; ///< deblocking_filter_parameters_present_flag
225     int constrained_intra_pred; ///< constrained_intra_pred_flag
226     int redundant_pic_cnt_present; ///< redundant_pic_cnt_present_flag
227     int transform_8x8_mode;     ///< transform_8x8_mode_flag
228     uint8_t scaling_matrix4[6][16];
229     uint8_t scaling_matrix8[6][64];
230     uint8_t chroma_qp_table[2][64];  ///< pre-scaled (with chroma_qp_index_offset) version of qp_table
231     int chroma_qp_diff;
232 }PPS;
233
234 /**
235  * Memory management control operation opcode.
236  */
237 typedef enum MMCOOpcode{
238     MMCO_END=0,
239     MMCO_SHORT2UNUSED,
240     MMCO_LONG2UNUSED,
241     MMCO_SHORT2LONG,
242     MMCO_SET_MAX_LONG,
243     MMCO_RESET,
244     MMCO_LONG,
245 } MMCOOpcode;
246
247 /**
248  * Memory management control operation.
249  */
250 typedef struct MMCO{
251     MMCOOpcode opcode;
252     int short_pic_num;  ///< pic_num without wrapping (pic_num & max_pic_num)
253     int long_arg;       ///< index, pic_num, or num long refs depending on opcode
254 } MMCO;
255
256 /**
257  * H264Context
258  */
259 typedef struct H264Context{
260     MpegEncContext s;
261     H264DSPContext h264dsp;
262     int pixel_shift;    ///< 0 for 8-bit H264, 1 for high-bit-depth H264
263     int chroma_qp[2]; //QPc
264
265     int qp_thresh;      ///< QP threshold to skip loopfilter
266
267     int prev_mb_skipped;
268     int next_mb_skipped;
269
270     //prediction stuff
271     int chroma_pred_mode;
272     int intra16x16_pred_mode;
273
274     int topleft_mb_xy;
275     int top_mb_xy;
276     int topright_mb_xy;
277     int left_mb_xy[LEFT_MBS];
278
279     int topleft_type;
280     int top_type;
281     int topright_type;
282     int left_type[LEFT_MBS];
283
284     const uint8_t * left_block;
285     int topleft_partition;
286
287     int8_t intra4x4_pred_mode_cache[5*8];
288     int8_t (*intra4x4_pred_mode);
289     H264PredContext hpc;
290     unsigned int topleft_samples_available;
291     unsigned int top_samples_available;
292     unsigned int topright_samples_available;
293     unsigned int left_samples_available;
294     uint8_t (*top_borders[2])[(16*3)*2];
295
296     /**
297      * non zero coeff count cache.
298      * is 64 if not available.
299      */
300     DECLARE_ALIGNED(8, uint8_t, non_zero_count_cache)[15*8];
301
302     uint8_t (*non_zero_count)[48];
303
304     /**
305      * Motion vector cache.
306      */
307     DECLARE_ALIGNED(16, int16_t, mv_cache)[2][5*8][2];
308     DECLARE_ALIGNED(8, int8_t, ref_cache)[2][5*8];
309 #define LIST_NOT_USED -1 //FIXME rename?
310 #define PART_NOT_AVAILABLE -2
311
312     /**
313      * number of neighbors (top and/or left) that used 8x8 dct
314      */
315     int neighbor_transform_size;
316
317     /**
318      * block_offset[ 0..23] for frame macroblocks
319      * block_offset[24..47] for field macroblocks
320      */
321     int block_offset[2*(16*3)];
322
323     uint32_t *mb2b_xy; //FIXME are these 4 a good idea?
324     uint32_t *mb2br_xy;
325     int b_stride; //FIXME use s->b4_stride
326
327     int mb_linesize;   ///< may be equal to s->linesize or s->linesize*2, for mbaff
328     int mb_uvlinesize;
329
330     int emu_edge_width;
331     int emu_edge_height;
332
333     SPS sps; ///< current sps
334
335     /**
336      * current pps
337      */
338     PPS pps; //FIXME move to Picture perhaps? (->no) do we need that?
339
340     uint32_t dequant4_buffer[6][QP_MAX_NUM+1][16]; //FIXME should these be moved down?
341     uint32_t dequant8_buffer[6][QP_MAX_NUM+1][64];
342     uint32_t (*dequant4_coeff[6])[16];
343     uint32_t (*dequant8_coeff[6])[64];
344
345     int slice_num;
346     uint16_t *slice_table;     ///< slice_table_base + 2*mb_stride + 1
347     int slice_type;
348     int slice_type_nos;        ///< S free slice type (SI/SP are remapped to I/P)
349     int slice_type_fixed;
350
351     //interlacing specific flags
352     int mb_aff_frame;
353     int mb_field_decoding_flag;
354     int mb_mbaff;              ///< mb_aff_frame && mb_field_decoding_flag
355
356     DECLARE_ALIGNED(8, uint16_t, sub_mb_type)[4];
357
358     //Weighted pred stuff
359     int use_weight;
360     int use_weight_chroma;
361     int luma_log2_weight_denom;
362     int chroma_log2_weight_denom;
363     //The following 2 can be changed to int8_t but that causes 10cpu cycles speedloss
364     int luma_weight[48][2][2];
365     int chroma_weight[48][2][2][2];
366     int implicit_weight[48][48][2];
367
368     int direct_spatial_mv_pred;
369     int col_parity;
370     int col_fieldoff;
371     int dist_scale_factor[16];
372     int dist_scale_factor_field[2][32];
373     int map_col_to_list0[2][16+32];
374     int map_col_to_list0_field[2][2][16+32];
375
376     /**
377      * num_ref_idx_l0/1_active_minus1 + 1
378      */
379     unsigned int ref_count[2];   ///< counts frames or fields, depending on current mb mode
380     unsigned int list_count;
381     uint8_t *list_counts;            ///< Array of list_count per MB specifying the slice type
382     Picture ref_list[2][48];         /**< 0..15: frame refs, 16..47: mbaff field refs.
383                                           Reordered version of default_ref_list
384                                           according to picture reordering in slice header */
385     int ref2frm[MAX_SLICES][2][64];  ///< reference to frame number lists, used in the loop filter, the first 2 are for -2,-1
386
387     //data partitioning
388     GetBitContext intra_gb;
389     GetBitContext inter_gb;
390     GetBitContext *intra_gb_ptr;
391     GetBitContext *inter_gb_ptr;
392
393     DECLARE_ALIGNED(16, DCTELEM, mb)[16*48*2]; ///< as a dct coeffecient is int32_t in high depth, we need to reserve twice the space.
394     DECLARE_ALIGNED(16, DCTELEM, mb_luma_dc)[3][16*2];
395     DCTELEM mb_padding[256*2];        ///< as mb is addressed by scantable[i] and scantable is uint8_t we can either check that i is not too large or ensure that there is some unused stuff after mb
396
397     /**
398      * Cabac
399      */
400     CABACContext cabac;
401     uint8_t      cabac_state[1024];
402
403     /* 0x100 -> non null luma_dc, 0x80/0x40 -> non null chroma_dc (cb/cr), 0x?0 -> chroma_cbp(0,1,2), 0x0? luma_cbp */
404     uint16_t     *cbp_table;
405     int cbp;
406     int top_cbp;
407     int left_cbp;
408     /* chroma_pred_mode for i4x4 or i16x16, else 0 */
409     uint8_t     *chroma_pred_mode_table;
410     int         last_qscale_diff;
411     uint8_t     (*mvd_table[2])[2];
412     DECLARE_ALIGNED(16, uint8_t, mvd_cache)[2][5*8][2];
413     uint8_t     *direct_table;
414     uint8_t     direct_cache[5*8];
415
416     uint8_t zigzag_scan[16];
417     uint8_t zigzag_scan8x8[64];
418     uint8_t zigzag_scan8x8_cavlc[64];
419     uint8_t field_scan[16];
420     uint8_t field_scan8x8[64];
421     uint8_t field_scan8x8_cavlc[64];
422     const uint8_t *zigzag_scan_q0;
423     const uint8_t *zigzag_scan8x8_q0;
424     const uint8_t *zigzag_scan8x8_cavlc_q0;
425     const uint8_t *field_scan_q0;
426     const uint8_t *field_scan8x8_q0;
427     const uint8_t *field_scan8x8_cavlc_q0;
428
429     int x264_build;
430
431     int mb_xy;
432
433     int is_complex;
434
435     //deblock
436     int deblocking_filter;         ///< disable_deblocking_filter_idc with 1<->0
437     int slice_alpha_c0_offset;
438     int slice_beta_offset;
439
440 //=============================================================
441     //Things below are not used in the MB or more inner code
442
443     int nal_ref_idc;
444     int nal_unit_type;
445     uint8_t *rbsp_buffer[2];
446     unsigned int rbsp_buffer_size[2];
447
448     /**
449      * Used to parse AVC variant of h264
450      */
451     int is_avc; ///< this flag is != 0 if codec is avc1
452     int nal_length_size; ///< Number of bytes used for nal length (1, 2 or 4)
453     int got_first; ///< this flag is != 0 if we've parsed a frame
454
455     SPS *sps_buffers[MAX_SPS_COUNT];
456     PPS *pps_buffers[MAX_PPS_COUNT];
457
458     int dequant_coeff_pps;     ///< reinit tables when pps changes
459
460     uint16_t *slice_table_base;
461
462
463     //POC stuff
464     int poc_lsb;
465     int poc_msb;
466     int delta_poc_bottom;
467     int delta_poc[2];
468     int frame_num;
469     int prev_poc_msb;             ///< poc_msb of the last reference pic for POC type 0
470     int prev_poc_lsb;             ///< poc_lsb of the last reference pic for POC type 0
471     int frame_num_offset;         ///< for POC type 2
472     int prev_frame_num_offset;    ///< for POC type 2
473     int prev_frame_num;           ///< frame_num of the last pic for POC type 1/2
474
475     /**
476      * frame_num for frames or 2*frame_num+1 for field pics.
477      */
478     int curr_pic_num;
479
480     /**
481      * max_frame_num or 2*max_frame_num for field pics.
482      */
483     int max_pic_num;
484
485     int redundant_pic_count;
486
487     Picture *short_ref[32];
488     Picture *long_ref[32];
489     Picture default_ref_list[2][32]; ///< base reference list for all slices of a coded picture
490     Picture *delayed_pic[MAX_DELAYED_PIC_COUNT+2]; //FIXME size?
491     Picture *next_output_pic;
492     int outputed_poc;
493     int next_outputed_poc;
494
495     /**
496      * memory management control operations buffer.
497      */
498     MMCO mmco[MAX_MMCO_COUNT];
499     int mmco_index;
500
501     int long_ref_count;  ///< number of actual long term references
502     int short_ref_count; ///< number of actual short term references
503
504     int          cabac_init_idc;
505
506     /**
507      * @name Members for slice based multithreading
508      * @{
509      */
510     struct H264Context *thread_context[MAX_THREADS];
511
512     /**
513      * current slice number, used to initalize slice_num of each thread/context
514      */
515     int current_slice;
516
517     /**
518      * Max number of threads / contexts.
519      * This is equal to AVCodecContext.thread_count unless
520      * multithreaded decoding is impossible, in which case it is
521      * reduced to 1.
522      */
523     int max_contexts;
524
525     /**
526      *  1 if the single thread fallback warning has already been
527      *  displayed, 0 otherwise.
528      */
529     int single_decode_warning;
530
531     int last_slice_type;
532     /** @} */
533
534     /**
535      * pic_struct in picture timing SEI message
536      */
537     SEI_PicStructType sei_pic_struct;
538
539     /**
540      * Complement sei_pic_struct
541      * SEI_PIC_STRUCT_TOP_BOTTOM and SEI_PIC_STRUCT_BOTTOM_TOP indicate interlaced frames.
542      * However, soft telecined frames may have these values.
543      * This is used in an attempt to flag soft telecine progressive.
544      */
545     int prev_interlaced_frame;
546
547     /**
548      * Bit set of clock types for fields/frames in picture timing SEI message.
549      * For each found ct_type, appropriate bit is set (e.g., bit 1 for
550      * interlaced).
551      */
552     int sei_ct_type;
553
554     /**
555      * dpb_output_delay in picture timing SEI message, see H.264 C.2.2
556      */
557     int sei_dpb_output_delay;
558
559     /**
560      * cpb_removal_delay in picture timing SEI message, see H.264 C.1.2
561      */
562     int sei_cpb_removal_delay;
563
564     /**
565      * recovery_frame_cnt from SEI message
566      *
567      * Set to -1 if no recovery point SEI message found or to number of frames
568      * before playback synchronizes. Frames having recovery point are key
569      * frames.
570      */
571     int sei_recovery_frame_cnt;
572
573     int luma_weight_flag[2];   ///< 7.4.3.2 luma_weight_lX_flag
574     int chroma_weight_flag[2]; ///< 7.4.3.2 chroma_weight_lX_flag
575
576     // Timestamp stuff
577     int sei_buffering_period_present;  ///< Buffering period SEI flag
578     int initial_cpb_removal_delay[32]; ///< Initial timestamps for CPBs
579
580     int cur_chroma_format_idc;
581 }H264Context;
582
583
584 extern const uint8_t ff_h264_chroma_qp[3][QP_MAX_NUM+1]; ///< One chroma qp table for each supported bit depth (8, 9, 10).
585
586 /**
587  * Decode SEI
588  */
589 int ff_h264_decode_sei(H264Context *h);
590
591 /**
592  * Decode SPS
593  */
594 int ff_h264_decode_seq_parameter_set(H264Context *h);
595
596 /**
597  * compute profile from sps
598  */
599 int ff_h264_get_profile(SPS *sps);
600
601 /**
602  * Decode PPS
603  */
604 int ff_h264_decode_picture_parameter_set(H264Context *h, int bit_length);
605
606 /**
607  * Decode a network abstraction layer unit.
608  * @param consumed is the number of bytes used as input
609  * @param length is the length of the array
610  * @param dst_length is the number of decoded bytes FIXME here or a decode rbsp tailing?
611  * @return decoded bytes, might be src+1 if no escapes
612  */
613 const uint8_t *ff_h264_decode_nal(H264Context *h, const uint8_t *src, int *dst_length, int *consumed, int length);
614
615 /**
616  * Free any data that may have been allocated in the H264 context like SPS, PPS etc.
617  */
618 av_cold void ff_h264_free_context(H264Context *h);
619
620 /**
621  * Reconstruct bitstream slice_type.
622  */
623 int ff_h264_get_slice_type(const H264Context *h);
624
625 /**
626  * Allocate tables.
627  * needs width/height
628  */
629 int ff_h264_alloc_tables(H264Context *h);
630
631 /**
632  * Fill the default_ref_list.
633  */
634 int ff_h264_fill_default_ref_list(H264Context *h);
635
636 int ff_h264_decode_ref_pic_list_reordering(H264Context *h);
637 void ff_h264_fill_mbaff_ref_list(H264Context *h);
638 void ff_h264_remove_all_refs(H264Context *h);
639
640 /**
641  * Execute the reference picture marking (memory management control operations).
642  */
643 int ff_h264_execute_ref_pic_marking(H264Context *h, MMCO *mmco, int mmco_count);
644
645 int ff_h264_decode_ref_pic_marking(H264Context *h, GetBitContext *gb);
646
647 void ff_generate_sliding_window_mmcos(H264Context *h);
648
649
650 /**
651  * Check if the top & left blocks are available if needed & change the dc mode so it only uses the available blocks.
652  */
653 int ff_h264_check_intra4x4_pred_mode(H264Context *h);
654
655 /**
656  * Check if the top & left blocks are available if needed & change the dc mode so it only uses the available blocks.
657  */
658 int ff_h264_check_intra_pred_mode(H264Context *h, int mode);
659
660 void ff_h264_hl_decode_mb(H264Context *h);
661 int ff_h264_frame_start(H264Context *h);
662 int ff_h264_decode_extradata(H264Context *h);
663 av_cold int ff_h264_decode_init(AVCodecContext *avctx);
664 av_cold int ff_h264_decode_end(AVCodecContext *avctx);
665 av_cold void ff_h264_decode_init_vlc(void);
666
667 /**
668  * Decode a macroblock
669  * @return 0 if OK, AC_ERROR / DC_ERROR / MV_ERROR if an error is noticed
670  */
671 int ff_h264_decode_mb_cavlc(H264Context *h);
672
673 /**
674  * Decode a CABAC coded macroblock
675  * @return 0 if OK, AC_ERROR / DC_ERROR / MV_ERROR if an error is noticed
676  */
677 int ff_h264_decode_mb_cabac(H264Context *h);
678
679 void ff_h264_init_cabac_states(H264Context *h);
680
681 void ff_h264_direct_dist_scale_factor(H264Context * const h);
682 void ff_h264_direct_ref_list_init(H264Context * const h);
683 void ff_h264_pred_direct_motion(H264Context * const h, int *mb_type);
684
685 void ff_h264_filter_mb_fast( H264Context *h, int mb_x, int mb_y, uint8_t *img_y, uint8_t *img_cb, uint8_t *img_cr, unsigned int linesize, unsigned int uvlinesize);
686 void ff_h264_filter_mb( H264Context *h, int mb_x, int mb_y, uint8_t *img_y, uint8_t *img_cb, uint8_t *img_cr, unsigned int linesize, unsigned int uvlinesize);
687
688 /**
689  * Reset SEI values at the beginning of the frame.
690  *
691  * @param h H.264 context.
692  */
693 void ff_h264_reset_sei(H264Context *h);
694
695
696 /*
697 o-o o-o
698  / / /
699 o-o o-o
700  ,---'
701 o-o o-o
702  / / /
703 o-o o-o
704 */
705
706 /* Scan8 organization:
707  *    0 1 2 3 4 5 6 7
708  * 0  DY    y y y y y
709  * 1        y Y Y Y Y
710  * 2        y Y Y Y Y
711  * 3        y Y Y Y Y
712  * 4        y Y Y Y Y
713  * 5  DU    u u u u u
714  * 6        u U U U U
715  * 7        u U U U U
716  * 8        u U U U U
717  * 9        u U U U U
718  * 10 DV    v v v v v
719  * 11       v V V V V
720  * 12       v V V V V
721  * 13       v V V V V
722  * 14       v V V V V
723  * DY/DU/DV are for luma/chroma DC.
724  */
725
726 #define LUMA_DC_BLOCK_INDEX   48
727 #define CHROMA_DC_BLOCK_INDEX 49
728
729 //This table must be here because scan8[constant] must be known at compiletime
730 static const uint8_t scan8[16*3 + 3]={
731  4+ 1*8, 5+ 1*8, 4+ 2*8, 5+ 2*8,
732  6+ 1*8, 7+ 1*8, 6+ 2*8, 7+ 2*8,
733  4+ 3*8, 5+ 3*8, 4+ 4*8, 5+ 4*8,
734  6+ 3*8, 7+ 3*8, 6+ 4*8, 7+ 4*8,
735  4+ 6*8, 5+ 6*8, 4+ 7*8, 5+ 7*8,
736  6+ 6*8, 7+ 6*8, 6+ 7*8, 7+ 7*8,
737  4+ 8*8, 5+ 8*8, 4+ 9*8, 5+ 9*8,
738  6+ 8*8, 7+ 8*8, 6+ 9*8, 7+ 9*8,
739  4+11*8, 5+11*8, 4+12*8, 5+12*8,
740  6+11*8, 7+11*8, 6+12*8, 7+12*8,
741  4+13*8, 5+13*8, 4+14*8, 5+14*8,
742  6+13*8, 7+13*8, 6+14*8, 7+14*8,
743  0+ 0*8, 0+ 5*8, 0+10*8
744 };
745
746 static av_always_inline uint32_t pack16to32(int a, int b){
747 #if HAVE_BIGENDIAN
748    return (b&0xFFFF) + (a<<16);
749 #else
750    return (a&0xFFFF) + (b<<16);
751 #endif
752 }
753
754 static av_always_inline uint16_t pack8to16(int a, int b){
755 #if HAVE_BIGENDIAN
756    return (b&0xFF) + (a<<8);
757 #else
758    return (a&0xFF) + (b<<8);
759 #endif
760 }
761
762 /**
763  * gets the chroma qp.
764  */
765 static av_always_inline int get_chroma_qp(H264Context *h, int t, int qscale){
766     return h->pps.chroma_qp_table[t][qscale];
767 }
768
769 /**
770  * gets the predicted intra4x4 prediction mode.
771  */
772 static av_always_inline int pred_intra_mode(H264Context *h, int n){
773     const int index8= scan8[n];
774     const int left= h->intra4x4_pred_mode_cache[index8 - 1];
775     const int top = h->intra4x4_pred_mode_cache[index8 - 8];
776     const int min= FFMIN(left, top);
777
778     tprintf(h->s.avctx, "mode:%d %d min:%d\n", left ,top, min);
779
780     if(min<0) return DC_PRED;
781     else      return min;
782 }
783
784 static av_always_inline void write_back_intra_pred_mode(H264Context *h){
785     int8_t *i4x4= h->intra4x4_pred_mode + h->mb2br_xy[h->mb_xy];
786     int8_t *i4x4_cache= h->intra4x4_pred_mode_cache;
787
788     AV_COPY32(i4x4, i4x4_cache + 4 + 8*4);
789     i4x4[4]= i4x4_cache[7+8*3];
790     i4x4[5]= i4x4_cache[7+8*2];
791     i4x4[6]= i4x4_cache[7+8*1];
792 }
793
794 static av_always_inline void write_back_non_zero_count(H264Context *h){
795     const int mb_xy= h->mb_xy;
796     uint8_t *nnz = h->non_zero_count[mb_xy];
797     uint8_t *nnz_cache = h->non_zero_count_cache;
798
799     AV_COPY32(&nnz[ 0], &nnz_cache[4+8* 1]);
800     AV_COPY32(&nnz[ 4], &nnz_cache[4+8* 2]);
801     AV_COPY32(&nnz[ 8], &nnz_cache[4+8* 3]);
802     AV_COPY32(&nnz[12], &nnz_cache[4+8* 4]);
803     AV_COPY32(&nnz[16], &nnz_cache[4+8* 6]);
804     AV_COPY32(&nnz[20], &nnz_cache[4+8* 7]);
805     AV_COPY32(&nnz[32], &nnz_cache[4+8*11]);
806     AV_COPY32(&nnz[36], &nnz_cache[4+8*12]);
807
808     if(!h->s.chroma_y_shift){
809         AV_COPY32(&nnz[24], &nnz_cache[4+8* 8]);
810         AV_COPY32(&nnz[28], &nnz_cache[4+8* 9]);
811         AV_COPY32(&nnz[40], &nnz_cache[4+8*13]);
812         AV_COPY32(&nnz[44], &nnz_cache[4+8*14]);
813     }
814 }
815
816 static av_always_inline void write_back_motion_list(H264Context *h, MpegEncContext * const s, int b_stride,
817                                                     int b_xy, int b8_xy, int mb_type, int list )
818 {
819     int16_t (*mv_dst)[2] = &s->current_picture.f.motion_val[list][b_xy];
820     int16_t (*mv_src)[2] = &h->mv_cache[list][scan8[0]];
821     AV_COPY128(mv_dst + 0*b_stride, mv_src + 8*0);
822     AV_COPY128(mv_dst + 1*b_stride, mv_src + 8*1);
823     AV_COPY128(mv_dst + 2*b_stride, mv_src + 8*2);
824     AV_COPY128(mv_dst + 3*b_stride, mv_src + 8*3);
825     if( CABAC ) {
826         uint8_t (*mvd_dst)[2] = &h->mvd_table[list][FMO ? 8*h->mb_xy : h->mb2br_xy[h->mb_xy]];
827         uint8_t (*mvd_src)[2] = &h->mvd_cache[list][scan8[0]];
828         if(IS_SKIP(mb_type))
829             AV_ZERO128(mvd_dst);
830         else{
831             AV_COPY64(mvd_dst, mvd_src + 8*3);
832             AV_COPY16(mvd_dst + 3 + 3, mvd_src + 3 + 8*0);
833             AV_COPY16(mvd_dst + 3 + 2, mvd_src + 3 + 8*1);
834             AV_COPY16(mvd_dst + 3 + 1, mvd_src + 3 + 8*2);
835         }
836     }
837
838     {
839         int8_t *ref_index = &s->current_picture.f.ref_index[list][b8_xy];
840         int8_t *ref_cache = h->ref_cache[list];
841         ref_index[0+0*2]= ref_cache[scan8[0]];
842         ref_index[1+0*2]= ref_cache[scan8[4]];
843         ref_index[0+1*2]= ref_cache[scan8[8]];
844         ref_index[1+1*2]= ref_cache[scan8[12]];
845     }
846 }
847
848 static av_always_inline void write_back_motion(H264Context *h, int mb_type){
849     MpegEncContext * const s = &h->s;
850     const int b_stride = h->b_stride;
851     const int b_xy = 4*s->mb_x + 4*s->mb_y*h->b_stride; //try mb2b(8)_xy
852     const int b8_xy= 4*h->mb_xy;
853
854     if(USES_LIST(mb_type, 0)){
855         write_back_motion_list(h, s, b_stride, b_xy, b8_xy, mb_type, 0);
856     }else{
857         fill_rectangle(&s->current_picture.f.ref_index[0][b8_xy],
858                        2, 2, 2, (uint8_t)LIST_NOT_USED, 1);
859     }
860     if(USES_LIST(mb_type, 1)){
861         write_back_motion_list(h, s, b_stride, b_xy, b8_xy, mb_type, 1);
862     }
863
864     if(h->slice_type_nos == AV_PICTURE_TYPE_B && CABAC){
865         if(IS_8X8(mb_type)){
866             uint8_t *direct_table = &h->direct_table[4*h->mb_xy];
867             direct_table[1] = h->sub_mb_type[1]>>1;
868             direct_table[2] = h->sub_mb_type[2]>>1;
869             direct_table[3] = h->sub_mb_type[3]>>1;
870         }
871     }
872 }
873
874 static av_always_inline int get_dct8x8_allowed(H264Context *h){
875     if(h->sps.direct_8x8_inference_flag)
876         return !(AV_RN64A(h->sub_mb_type) & ((MB_TYPE_16x8|MB_TYPE_8x16|MB_TYPE_8x8                )*0x0001000100010001ULL));
877     else
878         return !(AV_RN64A(h->sub_mb_type) & ((MB_TYPE_16x8|MB_TYPE_8x16|MB_TYPE_8x8|MB_TYPE_DIRECT2)*0x0001000100010001ULL));
879 }
880
881 #endif /* AVCODEC_H264_H */