avcodec/decode: Update decode_simple_internal() to get the side data correctly.
[ffmpeg.git] / libavcodec / hevc_ps.h
1 /*
2  * HEVC parameter set parsing
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #ifndef AVCODEC_HEVC_PS_H
22 #define AVCODEC_HEVC_PS_H
23
24 #include <stdint.h>
25
26 #include "libavutil/buffer.h"
27 #include "libavutil/pixfmt.h"
28 #include "libavutil/rational.h"
29
30 #include "avcodec.h"
31 #include "get_bits.h"
32 #include "hevc.h"
33
34 typedef struct ShortTermRPS {
35     unsigned int num_negative_pics;
36     int num_delta_pocs;
37     int rps_idx_num_delta_pocs;
38     int32_t delta_poc[32];
39     uint8_t used[32];
40 } ShortTermRPS;
41
42 typedef struct LongTermRPS {
43     int     poc[32];
44     uint8_t used[32];
45     uint8_t nb_refs;
46 } LongTermRPS;
47
48 typedef struct SliceHeader {
49     unsigned int pps_id;
50
51     ///< address (in raster order) of the first block in the current slice segment
52     unsigned int   slice_segment_addr;
53     ///< address (in raster order) of the first block in the current slice
54     unsigned int   slice_addr;
55
56     enum HEVCSliceType slice_type;
57
58     int pic_order_cnt_lsb;
59
60     uint8_t first_slice_in_pic_flag;
61     uint8_t dependent_slice_segment_flag;
62     uint8_t pic_output_flag;
63     uint8_t colour_plane_id;
64
65     ///< RPS coded in the slice header itself is stored here
66     int short_term_ref_pic_set_sps_flag;
67     int short_term_ref_pic_set_size;
68     ShortTermRPS slice_rps;
69     const ShortTermRPS *short_term_rps;
70     int long_term_ref_pic_set_size;
71     LongTermRPS long_term_rps;
72     unsigned int list_entry_lx[2][32];
73
74     uint8_t rpl_modification_flag[2];
75     uint8_t no_output_of_prior_pics_flag;
76     uint8_t slice_temporal_mvp_enabled_flag;
77
78     unsigned int nb_refs[2];
79
80     uint8_t slice_sample_adaptive_offset_flag[3];
81     uint8_t mvd_l1_zero_flag;
82
83     uint8_t cabac_init_flag;
84     uint8_t disable_deblocking_filter_flag; ///< slice_header_disable_deblocking_filter_flag
85     uint8_t slice_loop_filter_across_slices_enabled_flag;
86     uint8_t collocated_list;
87
88     unsigned int collocated_ref_idx;
89
90     int slice_qp_delta;
91     int slice_cb_qp_offset;
92     int slice_cr_qp_offset;
93
94     uint8_t cu_chroma_qp_offset_enabled_flag;
95
96     int beta_offset;    ///< beta_offset_div2 * 2
97     int tc_offset;      ///< tc_offset_div2 * 2
98
99     unsigned int max_num_merge_cand; ///< 5 - 5_minus_max_num_merge_cand
100
101     unsigned *entry_point_offset;
102     int * offset;
103     int * size;
104     int num_entry_point_offsets;
105
106     int8_t slice_qp;
107
108     uint8_t luma_log2_weight_denom;
109     int16_t chroma_log2_weight_denom;
110
111     int16_t luma_weight_l0[16];
112     int16_t chroma_weight_l0[16][2];
113     int16_t chroma_weight_l1[16][2];
114     int16_t luma_weight_l1[16];
115
116     int16_t luma_offset_l0[16];
117     int16_t chroma_offset_l0[16][2];
118
119     int16_t luma_offset_l1[16];
120     int16_t chroma_offset_l1[16][2];
121
122     int slice_ctb_addr_rs;
123 } SliceHeader;
124
125 typedef struct HEVCWindow {
126     unsigned int left_offset;
127     unsigned int right_offset;
128     unsigned int top_offset;
129     unsigned int bottom_offset;
130 } HEVCWindow;
131
132 typedef struct VUI {
133     AVRational sar;
134
135     int overscan_info_present_flag;
136     int overscan_appropriate_flag;
137
138     int video_signal_type_present_flag;
139     int video_format;
140     int video_full_range_flag;
141     int colour_description_present_flag;
142     uint8_t colour_primaries;
143     uint8_t transfer_characteristic;
144     uint8_t matrix_coeffs;
145
146     int chroma_loc_info_present_flag;
147     int chroma_sample_loc_type_top_field;
148     int chroma_sample_loc_type_bottom_field;
149     int neutra_chroma_indication_flag;
150
151     int field_seq_flag;
152     int frame_field_info_present_flag;
153
154     int default_display_window_flag;
155     HEVCWindow def_disp_win;
156
157     int vui_timing_info_present_flag;
158     uint32_t vui_num_units_in_tick;
159     uint32_t vui_time_scale;
160     int vui_poc_proportional_to_timing_flag;
161     int vui_num_ticks_poc_diff_one_minus1;
162     int vui_hrd_parameters_present_flag;
163
164     int bitstream_restriction_flag;
165     int tiles_fixed_structure_flag;
166     int motion_vectors_over_pic_boundaries_flag;
167     int restricted_ref_pic_lists_flag;
168     int min_spatial_segmentation_idc;
169     int max_bytes_per_pic_denom;
170     int max_bits_per_min_cu_denom;
171     int log2_max_mv_length_horizontal;
172     int log2_max_mv_length_vertical;
173 } VUI;
174
175 typedef struct PTLCommon {
176     uint8_t profile_space;
177     uint8_t tier_flag;
178     uint8_t profile_idc;
179     uint8_t profile_compatibility_flag[32];
180     uint8_t level_idc;
181     uint8_t progressive_source_flag;
182     uint8_t interlaced_source_flag;
183     uint8_t non_packed_constraint_flag;
184     uint8_t frame_only_constraint_flag;
185 } PTLCommon;
186
187 typedef struct PTL {
188     PTLCommon general_ptl;
189     PTLCommon sub_layer_ptl[HEVC_MAX_SUB_LAYERS];
190
191     uint8_t sub_layer_profile_present_flag[HEVC_MAX_SUB_LAYERS];
192     uint8_t sub_layer_level_present_flag[HEVC_MAX_SUB_LAYERS];
193 } PTL;
194
195 typedef struct HEVCVPS {
196     uint8_t vps_temporal_id_nesting_flag;
197     int vps_max_layers;
198     int vps_max_sub_layers; ///< vps_max_temporal_layers_minus1 + 1
199
200     PTL ptl;
201     int vps_sub_layer_ordering_info_present_flag;
202     unsigned int vps_max_dec_pic_buffering[HEVC_MAX_SUB_LAYERS];
203     unsigned int vps_num_reorder_pics[HEVC_MAX_SUB_LAYERS];
204     unsigned int vps_max_latency_increase[HEVC_MAX_SUB_LAYERS];
205     int vps_max_layer_id;
206     int vps_num_layer_sets; ///< vps_num_layer_sets_minus1 + 1
207     uint8_t vps_timing_info_present_flag;
208     uint32_t vps_num_units_in_tick;
209     uint32_t vps_time_scale;
210     uint8_t vps_poc_proportional_to_timing_flag;
211     int vps_num_ticks_poc_diff_one; ///< vps_num_ticks_poc_diff_one_minus1 + 1
212     int vps_num_hrd_parameters;
213
214     uint8_t data[4096];
215     int data_size;
216 } HEVCVPS;
217
218 typedef struct ScalingList {
219     /* This is a little wasteful, since sizeID 0 only needs 8 coeffs,
220      * and size ID 3 only has 2 arrays, not 6. */
221     uint8_t sl[4][6][64];
222     uint8_t sl_dc[2][6];
223 } ScalingList;
224
225 typedef struct HEVCSPS {
226     unsigned vps_id;
227     int chroma_format_idc;
228     uint8_t separate_colour_plane_flag;
229
230     HEVCWindow output_window;
231
232     HEVCWindow pic_conf_win;
233
234     int bit_depth;
235     int pixel_shift;
236     enum AVPixelFormat pix_fmt;
237
238     unsigned int log2_max_poc_lsb;
239     int pcm_enabled_flag;
240
241     int max_sub_layers;
242     struct {
243         int max_dec_pic_buffering;
244         int num_reorder_pics;
245         int max_latency_increase;
246     } temporal_layer[HEVC_MAX_SUB_LAYERS];
247
248     VUI vui;
249     PTL ptl;
250
251     uint8_t scaling_list_enable_flag;
252     ScalingList scaling_list;
253
254     unsigned int nb_st_rps;
255     ShortTermRPS st_rps[HEVC_MAX_SHORT_TERM_RPS_COUNT];
256
257     uint8_t amp_enabled_flag;
258     uint8_t sao_enabled;
259
260     uint8_t long_term_ref_pics_present_flag;
261     uint16_t lt_ref_pic_poc_lsb_sps[32];
262     uint8_t used_by_curr_pic_lt_sps_flag[32];
263     uint8_t num_long_term_ref_pics_sps;
264
265     struct {
266         uint8_t bit_depth;
267         uint8_t bit_depth_chroma;
268         unsigned int log2_min_pcm_cb_size;
269         unsigned int log2_max_pcm_cb_size;
270         uint8_t loop_filter_disable_flag;
271     } pcm;
272     uint8_t sps_temporal_mvp_enabled_flag;
273     uint8_t sps_strong_intra_smoothing_enable_flag;
274
275     unsigned int log2_min_cb_size;
276     unsigned int log2_diff_max_min_coding_block_size;
277     unsigned int log2_min_tb_size;
278     unsigned int log2_max_trafo_size;
279     unsigned int log2_ctb_size;
280     unsigned int log2_min_pu_size;
281
282     int max_transform_hierarchy_depth_inter;
283     int max_transform_hierarchy_depth_intra;
284
285     int transform_skip_rotation_enabled_flag;
286     int transform_skip_context_enabled_flag;
287     int implicit_rdpcm_enabled_flag;
288     int explicit_rdpcm_enabled_flag;
289     int intra_smoothing_disabled_flag;
290     int persistent_rice_adaptation_enabled_flag;
291
292     ///< coded frame dimension in various units
293     int width;
294     int height;
295     int ctb_width;
296     int ctb_height;
297     int ctb_size;
298     int min_cb_width;
299     int min_cb_height;
300     int min_tb_width;
301     int min_tb_height;
302     int min_pu_width;
303     int min_pu_height;
304     int tb_mask;
305
306     int hshift[3];
307     int vshift[3];
308
309     int qp_bd_offset;
310
311     uint8_t data[4096];
312     int data_size;
313 } HEVCSPS;
314
315 typedef struct HEVCPPS {
316     unsigned int sps_id; ///< seq_parameter_set_id
317
318     uint8_t sign_data_hiding_flag;
319
320     uint8_t cabac_init_present_flag;
321
322     int num_ref_idx_l0_default_active; ///< num_ref_idx_l0_default_active_minus1 + 1
323     int num_ref_idx_l1_default_active; ///< num_ref_idx_l1_default_active_minus1 + 1
324     int pic_init_qp_minus26;
325
326     uint8_t constrained_intra_pred_flag;
327     uint8_t transform_skip_enabled_flag;
328
329     uint8_t cu_qp_delta_enabled_flag;
330     int diff_cu_qp_delta_depth;
331
332     int cb_qp_offset;
333     int cr_qp_offset;
334     uint8_t pic_slice_level_chroma_qp_offsets_present_flag;
335     uint8_t weighted_pred_flag;
336     uint8_t weighted_bipred_flag;
337     uint8_t output_flag_present_flag;
338     uint8_t transquant_bypass_enable_flag;
339
340     uint8_t dependent_slice_segments_enabled_flag;
341     uint8_t tiles_enabled_flag;
342     uint8_t entropy_coding_sync_enabled_flag;
343
344     int num_tile_columns;   ///< num_tile_columns_minus1 + 1
345     int num_tile_rows;      ///< num_tile_rows_minus1 + 1
346     uint8_t uniform_spacing_flag;
347     uint8_t loop_filter_across_tiles_enabled_flag;
348
349     uint8_t seq_loop_filter_across_slices_enabled_flag;
350
351     uint8_t deblocking_filter_control_present_flag;
352     uint8_t deblocking_filter_override_enabled_flag;
353     uint8_t disable_dbf;
354     int beta_offset;    ///< beta_offset_div2 * 2
355     int tc_offset;      ///< tc_offset_div2 * 2
356
357     uint8_t scaling_list_data_present_flag;
358     ScalingList scaling_list;
359
360     uint8_t lists_modification_present_flag;
361     int log2_parallel_merge_level; ///< log2_parallel_merge_level_minus2 + 2
362     int num_extra_slice_header_bits;
363     uint8_t slice_header_extension_present_flag;
364     uint8_t log2_max_transform_skip_block_size;
365     uint8_t cross_component_prediction_enabled_flag;
366     uint8_t chroma_qp_offset_list_enabled_flag;
367     uint8_t diff_cu_chroma_qp_offset_depth;
368     uint8_t chroma_qp_offset_list_len_minus1;
369     int8_t  cb_qp_offset_list[5];
370     int8_t  cr_qp_offset_list[5];
371     uint8_t log2_sao_offset_scale_luma;
372     uint8_t log2_sao_offset_scale_chroma;
373
374     // Inferred parameters
375     unsigned int *column_width;  ///< ColumnWidth
376     unsigned int *row_height;    ///< RowHeight
377     unsigned int *col_bd;        ///< ColBd
378     unsigned int *row_bd;        ///< RowBd
379     int *col_idxX;
380
381     int *ctb_addr_rs_to_ts; ///< CtbAddrRSToTS
382     int *ctb_addr_ts_to_rs; ///< CtbAddrTSToRS
383     int *tile_id;           ///< TileId
384     int *tile_pos_rs;       ///< TilePosRS
385     int *min_tb_addr_zs;    ///< MinTbAddrZS
386     int *min_tb_addr_zs_tab;///< MinTbAddrZS
387
388     uint8_t data[4096];
389     int data_size;
390 } HEVCPPS;
391
392 typedef struct HEVCParamSets {
393     AVBufferRef *vps_list[HEVC_MAX_VPS_COUNT];
394     AVBufferRef *sps_list[HEVC_MAX_SPS_COUNT];
395     AVBufferRef *pps_list[HEVC_MAX_PPS_COUNT];
396
397     /* currently active parameter sets */
398     const HEVCVPS *vps;
399     const HEVCSPS *sps;
400     const HEVCPPS *pps;
401 } HEVCParamSets;
402
403 /**
404  * Parse the SPS from the bitstream into the provided HEVCSPS struct.
405  *
406  * @param sps_id the SPS id will be written here
407  * @param apply_defdispwin if set 1, the default display window from the VUI
408  *                         will be applied to the video dimensions
409  * @param vps_list if non-NULL, this function will validate that the SPS refers
410  *                 to an existing VPS
411  */
412 int ff_hevc_parse_sps(HEVCSPS *sps, GetBitContext *gb, unsigned int *sps_id,
413                       int apply_defdispwin, AVBufferRef **vps_list, AVCodecContext *avctx);
414
415 int ff_hevc_decode_nal_vps(GetBitContext *gb, AVCodecContext *avctx,
416                            HEVCParamSets *ps);
417 int ff_hevc_decode_nal_sps(GetBitContext *gb, AVCodecContext *avctx,
418                            HEVCParamSets *ps, int apply_defdispwin);
419 int ff_hevc_decode_nal_pps(GetBitContext *gb, AVCodecContext *avctx,
420                            HEVCParamSets *ps);
421
422 int ff_hevc_decode_short_term_rps(GetBitContext *gb, AVCodecContext *avctx,
423                                   ShortTermRPS *rps, const HEVCSPS *sps, int is_slice_header);
424
425 int ff_hevc_encode_nal_vps(HEVCVPS *vps, unsigned int id,
426                            uint8_t *buf, int buf_size);
427
428 /**
429  * Compute POC of the current frame and return it.
430  */
431 int ff_hevc_compute_poc(const HEVCSPS *sps, int pocTid0, int poc_lsb, int nal_unit_type);
432
433 #endif /* AVCODEC_HEVC_PS_H */