allow non-mod16 resolutions
[x262.git] / encoder / set.c
1 /*****************************************************************************
2  * set: h264 encoder (SPS and PPS init and write)
3  *****************************************************************************
4  * Copyright (C) 2003 Laurent Aimar
5  * $Id: set.c,v 1.1 2004/06/03 19:27:08 fenrir Exp $
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #ifdef HAVE_STDINT_H
25 #include <stdint.h>
26 #else
27 #include <inttypes.h>
28 #endif
29 #include <stdlib.h>
30 #include <stdio.h>
31 #include <string.h>
32 #include <stdarg.h>
33 #include <math.h>
34
35 #include "x264.h"
36 #include "common/common.h"
37 #ifndef _MSC_VER
38 #include "config.h"
39 #endif
40
41 static const uint8_t *const x264_cqm_jvt[6] =
42 {
43     x264_cqm_jvt4i, x264_cqm_jvt4p,
44     x264_cqm_jvt4i, x264_cqm_jvt4p,
45     x264_cqm_jvt8i, x264_cqm_jvt8p
46 };
47
48 static void scaling_list_write( bs_t *s, x264_pps_t *pps, int idx )
49 {
50     const int len = idx<4 ? 16 : 64;
51     const int *zigzag = idx<4 ? x264_zigzag_scan4 : x264_zigzag_scan8;
52     const uint8_t *list = pps->scaling_list[idx];
53     const uint8_t *def_list = (idx==CQM_4IC) ? pps->scaling_list[CQM_4IY]
54                             : (idx==CQM_4PC) ? pps->scaling_list[CQM_4PY]
55                             : x264_cqm_jvt[idx];
56     int j;
57     if( memcmp( list, def_list, len ) )
58     {
59         bs_write( s, 1, 1 ); // scaling_list_present_flag
60         for( j = 0; j < len; j++ )
61             bs_write_se( s, list[zigzag[j]] - (j>0 ? list[zigzag[j-1]] : 8) ); // delta
62     }
63     else
64         bs_write( s, 1, 0 ); // scaling_list_present_flag
65 }
66
67 void x264_sps_init( x264_sps_t *sps, int i_id, x264_param_t *param )
68 {
69     sps->i_id = i_id;
70
71     sps->b_qpprime_y_zero_transform_bypass = !param->rc.b_cbr && param->rc.i_qp_constant == 0;
72     if( sps->b_qpprime_y_zero_transform_bypass )
73         sps->i_profile_idc  = PROFILE_HIGH444;
74     else if( param->analyse.b_transform_8x8 || param->i_cqm_preset != X264_CQM_FLAT )
75         sps->i_profile_idc  = PROFILE_HIGH;
76     else if( param->b_cabac || param->i_bframe > 0 )
77         sps->i_profile_idc  = PROFILE_MAIN;
78     else
79         sps->i_profile_idc  = PROFILE_BASELINE;
80     sps->i_level_idc = param->i_level_idc;
81
82     sps->b_constraint_set0  = 0;
83     sps->b_constraint_set1  = 0;
84     sps->b_constraint_set2  = 0;
85
86     sps->i_log2_max_frame_num = 4;  /* at least 4 */
87     while( (1 << sps->i_log2_max_frame_num) <= param->i_keyint_max )
88     {
89         sps->i_log2_max_frame_num++;
90     }
91     sps->i_log2_max_frame_num++;    /* just in case */
92
93     sps->i_poc_type = 0;
94     if( sps->i_poc_type == 0 )
95     {
96         sps->i_log2_max_poc_lsb = sps->i_log2_max_frame_num + 1;    /* max poc = 2*frame_num */
97     }
98     else if( sps->i_poc_type == 1 )
99     {
100         int i;
101
102         /* FIXME */
103         sps->b_delta_pic_order_always_zero = 1;
104         sps->i_offset_for_non_ref_pic = 0;
105         sps->i_offset_for_top_to_bottom_field = 0;
106         sps->i_num_ref_frames_in_poc_cycle = 0;
107
108         for( i = 0; i < sps->i_num_ref_frames_in_poc_cycle; i++ )
109         {
110             sps->i_offset_for_ref_frame[i] = 0;
111         }
112     }
113
114     sps->vui.i_num_reorder_frames = param->b_bframe_pyramid ? 2 : param->i_bframe ? 1 : 0;
115     /* extra slot with pyramid so that we don't have to override the
116      * order of forgetting old pictures */
117     sps->vui.i_max_dec_frame_buffering =
118     sps->i_num_ref_frames = X264_MIN(16, param->i_frame_reference + sps->vui.i_num_reorder_frames + param->b_bframe_pyramid);
119
120     sps->b_gaps_in_frame_num_value_allowed = 0;
121     sps->i_mb_width = ( param->i_width + 15 ) / 16;
122     sps->i_mb_height= ( param->i_height + 15 )/ 16;
123     sps->b_frame_mbs_only = 1;
124     sps->b_mb_adaptive_frame_field = 0;
125     sps->b_direct8x8_inference = 0;
126     if( sps->b_frame_mbs_only == 0 ||
127         !(param->analyse.inter & X264_ANALYSE_PSUB8x8) )
128     {
129         sps->b_direct8x8_inference = 1;
130     }
131
132     sps->crop.i_left   = 0;
133     sps->crop.i_top    = 0;
134     sps->crop.i_right  = (- param->i_width)  & 15;
135     sps->crop.i_bottom = (- param->i_height) & 15;
136     sps->b_crop = sps->crop.i_left  || sps->crop.i_top ||
137                   sps->crop.i_right || sps->crop.i_bottom;
138
139     sps->b_vui = 0;
140     sps->vui.b_aspect_ratio_info_present = 0;
141
142     if( param->vui.i_sar_width > 0 && param->vui.i_sar_height > 0 )
143     {
144         sps->vui.b_aspect_ratio_info_present = 1;
145         sps->vui.i_sar_width = param->vui.i_sar_width;
146         sps->vui.i_sar_height= param->vui.i_sar_height;
147     }
148     sps->b_vui |= sps->vui.b_aspect_ratio_info_present;
149     
150     sps->vui.b_overscan_info_present = ( param->vui.i_overscan ? 1 : 0 );
151     if( sps->vui.b_overscan_info_present )
152         sps->vui.b_overscan_info = ( param->vui.i_overscan == 2 ? 1 : 0 );
153     sps->b_vui |= sps->vui.b_overscan_info_present;
154     
155     sps->vui.b_signal_type_present = 0;
156     sps->vui.i_vidformat = ( param->vui.i_vidformat <= 5 ? param->vui.i_vidformat : 5 );
157     sps->vui.b_fullrange = ( param->vui.b_fullrange ? 1 : 0 );
158     sps->vui.b_color_description_present = 0;
159
160     sps->vui.i_colorprim = ( param->vui.i_colorprim <=  9 ? param->vui.i_colorprim : 2 );
161     sps->vui.i_transfer  = ( param->vui.i_transfer  <= 11 ? param->vui.i_transfer  : 2 );
162     sps->vui.i_colmatrix = ( param->vui.i_colmatrix <=  9 ? param->vui.i_colmatrix : 2 );
163     if( sps->vui.i_colorprim != 2 ||
164         sps->vui.i_transfer  != 2 ||
165         sps->vui.i_colmatrix != 2 )
166     {
167         sps->vui.b_color_description_present = 1;
168     }
169
170     if( sps->vui.i_vidformat != 5 ||
171         sps->vui.b_fullrange ||
172         sps->vui.b_color_description_present )
173     {
174         sps->vui.b_signal_type_present = 1;
175     }
176     sps->b_vui |= sps->vui.b_signal_type_present;
177     
178     /* FIXME: not sufficient for interlaced video */
179     sps->vui.b_chroma_loc_info_present = ( param->vui.i_chroma_loc ? 1 : 0 );
180     if( sps->vui.b_chroma_loc_info_present )
181     {
182         sps->vui.i_chroma_loc_top = param->vui.i_chroma_loc;
183         sps->vui.i_chroma_loc_bottom = param->vui.i_chroma_loc;
184     }
185     sps->b_vui |= sps->vui.b_chroma_loc_info_present;
186
187     sps->vui.b_timing_info_present = 0;
188     if( param->i_fps_num > 0 && param->i_fps_den > 0)
189     {
190         sps->vui.b_timing_info_present = 1;
191         /* The standard is confusing me, but this seems to work best
192            with other encoders */
193         sps->vui.i_num_units_in_tick = param->i_fps_den;
194         sps->vui.i_time_scale = param->i_fps_num;
195         sps->vui.b_fixed_frame_rate = 1;
196     }
197     sps->b_vui |= sps->vui.b_timing_info_present;
198
199     sps->vui.b_bitstream_restriction = param->i_bframe > 0;
200     if( sps->vui.b_bitstream_restriction )
201     {
202         sps->vui.b_motion_vectors_over_pic_boundaries = 1;
203         sps->vui.i_max_bytes_per_pic_denom = 0;
204         sps->vui.i_max_bits_per_mb_denom = 0;
205         sps->vui.i_log2_max_mv_length_horizontal =
206         sps->vui.i_log2_max_mv_length_vertical = (int)(log(param->analyse.i_mv_range*4-1)/log(2)) + 1;
207     }
208     sps->b_vui |= sps->vui.b_bitstream_restriction;
209 }
210
211
212 void x264_sps_write( bs_t *s, x264_sps_t *sps )
213 {
214     bs_write( s, 8, sps->i_profile_idc );
215     bs_write( s, 1, sps->b_constraint_set0 );
216     bs_write( s, 1, sps->b_constraint_set1 );
217     bs_write( s, 1, sps->b_constraint_set2 );
218
219     bs_write( s, 5, 0 );    /* reserved */
220
221     bs_write( s, 8, sps->i_level_idc );
222
223     bs_write_ue( s, sps->i_id );
224
225     if( sps->i_profile_idc >= PROFILE_HIGH )
226     {
227         bs_write_ue( s, 1 ); // chroma_format_idc = 4:2:0
228         bs_write_ue( s, 0 ); // bit_depth_luma_minus8
229         bs_write_ue( s, 0 ); // bit_depth_chroma_minus8
230         bs_write( s, 1, sps->b_qpprime_y_zero_transform_bypass );
231         bs_write( s, 1, 0 ); // seq_scaling_matrix_present_flag
232     }
233
234     bs_write_ue( s, sps->i_log2_max_frame_num - 4 );
235     bs_write_ue( s, sps->i_poc_type );
236     if( sps->i_poc_type == 0 )
237     {
238         bs_write_ue( s, sps->i_log2_max_poc_lsb - 4 );
239     }
240     else if( sps->i_poc_type == 1 )
241     {
242         int i;
243
244         bs_write( s, 1, sps->b_delta_pic_order_always_zero );
245         bs_write_se( s, sps->i_offset_for_non_ref_pic );
246         bs_write_se( s, sps->i_offset_for_top_to_bottom_field );
247         bs_write_ue( s, sps->i_num_ref_frames_in_poc_cycle );
248
249         for( i = 0; i < sps->i_num_ref_frames_in_poc_cycle; i++ )
250         {
251             bs_write_se( s, sps->i_offset_for_ref_frame[i] );
252         }
253     }
254     bs_write_ue( s, sps->i_num_ref_frames );
255     bs_write( s, 1, sps->b_gaps_in_frame_num_value_allowed );
256     bs_write_ue( s, sps->i_mb_width - 1 );
257     bs_write_ue( s, sps->i_mb_height - 1);
258     bs_write( s, 1, sps->b_frame_mbs_only );
259     if( !sps->b_frame_mbs_only )
260     {
261         bs_write( s, 1, sps->b_mb_adaptive_frame_field );
262     }
263     bs_write( s, 1, sps->b_direct8x8_inference );
264
265     bs_write( s, 1, sps->b_crop );
266     if( sps->b_crop )
267     {
268         bs_write_ue( s, sps->crop.i_left   / 2 );
269         bs_write_ue( s, sps->crop.i_right  / 2 );
270         bs_write_ue( s, sps->crop.i_top    / 2 );
271         bs_write_ue( s, sps->crop.i_bottom / 2 );
272     }
273
274     bs_write( s, 1, sps->b_vui );
275     if( sps->b_vui )
276     {
277         bs_write1( s, sps->vui.b_aspect_ratio_info_present );
278         if( sps->vui.b_aspect_ratio_info_present )
279         {
280             int i;
281             static const struct { int w, h; int sar; } sar[] =
282             {
283                 { 1,   1, 1 }, { 12, 11, 2 }, { 10, 11, 3 }, { 16, 11, 4 },
284                 { 40, 33, 5 }, { 24, 11, 6 }, { 20, 11, 7 }, { 32, 11, 8 },
285                 { 80, 33, 9 }, { 18, 11, 10}, { 15, 11, 11}, { 64, 33, 12},
286                 { 160,99, 13}, { 0, 0, -1 }
287             };
288             for( i = 0; sar[i].sar != -1; i++ )
289             {
290                 if( sar[i].w == sps->vui.i_sar_width &&
291                     sar[i].h == sps->vui.i_sar_height )
292                     break;
293             }
294             if( sar[i].sar != -1 )
295             {
296                 bs_write( s, 8, sar[i].sar );
297             }
298             else
299             {
300                 bs_write( s, 8, 255);   /* aspect_ratio_idc (extented) */
301                 bs_write( s, 16, sps->vui.i_sar_width );
302                 bs_write( s, 16, sps->vui.i_sar_height );
303             }
304         }
305
306         bs_write1( s, sps->vui.b_overscan_info_present );
307         if( sps->vui.b_overscan_info_present )
308             bs_write1( s, sps->vui.b_overscan_info );
309
310         bs_write1( s, sps->vui.b_signal_type_present );
311         if( sps->vui.b_signal_type_present )
312         {
313             bs_write( s, 3, sps->vui.i_vidformat );
314             bs_write1( s, sps->vui.b_fullrange );
315             bs_write1( s, sps->vui.b_color_description_present );
316             if( sps->vui.b_color_description_present )
317             {
318                 bs_write( s, 8, sps->vui.i_colorprim );
319                 bs_write( s, 8, sps->vui.i_transfer );
320                 bs_write( s, 8, sps->vui.i_colmatrix );
321             }
322         }
323
324         bs_write1( s, sps->vui.b_chroma_loc_info_present );
325         if( sps->vui.b_chroma_loc_info_present )
326         {
327             bs_write_ue( s, sps->vui.i_chroma_loc_top );
328             bs_write_ue( s, sps->vui.i_chroma_loc_bottom );
329         }
330
331         bs_write1( s, sps->vui.b_timing_info_present );
332         if( sps->vui.b_timing_info_present )
333         {
334             bs_write( s, 32, sps->vui.i_num_units_in_tick );
335             bs_write( s, 32, sps->vui.i_time_scale );
336             bs_write1( s, sps->vui.b_fixed_frame_rate );
337         }
338
339         bs_write1( s, 0 );      /* nal_hrd_parameters_present_flag */
340         bs_write1( s, 0 );      /* vcl_hrd_parameters_present_flag */
341         bs_write1( s, 0 );      /* pic_struct_present_flag */
342         bs_write1( s, sps->vui.b_bitstream_restriction );
343         if( sps->vui.b_bitstream_restriction )
344         {
345             bs_write1( s, sps->vui.b_motion_vectors_over_pic_boundaries );
346             bs_write_ue( s, sps->vui.i_max_bytes_per_pic_denom );
347             bs_write_ue( s, sps->vui.i_max_bits_per_mb_denom );
348             bs_write_ue( s, sps->vui.i_log2_max_mv_length_horizontal );
349             bs_write_ue( s, sps->vui.i_log2_max_mv_length_vertical );
350             bs_write_ue( s, sps->vui.i_num_reorder_frames );
351             bs_write_ue( s, sps->vui.i_max_dec_frame_buffering );
352         }
353     }
354
355     bs_rbsp_trailing( s );
356 }
357
358 void x264_pps_init( x264_pps_t *pps, int i_id, x264_param_t *param, x264_sps_t *sps )
359 {
360     int i, j;
361
362     pps->i_id = i_id;
363     pps->i_sps_id = sps->i_id;
364     pps->b_cabac = param->b_cabac;
365
366     pps->b_pic_order = 0;
367     pps->i_num_slice_groups = 1;
368
369 #if 0
370     if( pps->i_num_slice_groups > 1 )
371     {
372         pps->i_slice_group_map_type = 0;
373         if( pps->i_slice_group_map_type == 0 )
374         {
375             for( i = 0; i < pps->i_num_slice_groups; i++ )
376             {
377                 pps->i_run_length[i] = 1;
378             }
379         }
380         else if( pps->i_slice_group_map_type == 2 )
381         {
382             for( i = 0; i < pps->i_num_slice_groups; i++ )
383             {
384                 pps->i_top_left[i] = 0;
385                 pps->i_bottom_right[i] = 0;
386             }
387         }
388         else if( pps->i_slice_group_map_type >= 3 &&
389                  pps->i_slice_group_map_type <= 5 )
390         {
391             pps->b_slice_group_change_direction = 0;
392             pps->i_slice_group_change_rate = 0;
393         }
394         else if( pps->i_slice_group_map_type == 6 )
395         {
396             pps->i_pic_size_in_map_units = 1;
397             for( i = 0; i < pps->i_pic_size_in_map_units; i++ )
398             {
399                 pps->i_slice_group_id[i] = 0;
400             }
401         }
402     }
403 #endif
404     pps->i_num_ref_idx_l0_active = 1;
405     pps->i_num_ref_idx_l1_active = 1;
406
407     pps->b_weighted_pred = 0;
408     pps->b_weighted_bipred = param->analyse.b_weighted_bipred ? 2 : 0;
409
410     pps->i_pic_init_qp = 26;
411     pps->i_pic_init_qs = 26;
412
413     pps->i_chroma_qp_index_offset = param->analyse.i_chroma_qp_offset;
414     pps->b_deblocking_filter_control = 1;
415     pps->b_constrained_intra_pred = 0;
416     pps->b_redundant_pic_cnt = 0;
417
418     pps->b_transform_8x8_mode = param->analyse.b_transform_8x8 ? 1 : 0;
419
420     pps->i_cqm_preset = param->i_cqm_preset;
421     switch( pps->i_cqm_preset )
422     {
423     case X264_CQM_FLAT:
424         for( i = 0; i < 6; i++ )
425             pps->scaling_list[i] = x264_cqm_flat16;
426         break;
427     case X264_CQM_JVT:
428         for( i = 0; i < 6; i++ )
429             pps->scaling_list[i] = x264_cqm_jvt[i];
430         break;
431     case X264_CQM_CUSTOM:
432         pps->scaling_list[CQM_4IY] = param->cqm_4iy;
433         pps->scaling_list[CQM_4IC] = param->cqm_4ic;
434         pps->scaling_list[CQM_4PY] = param->cqm_4py;
435         pps->scaling_list[CQM_4PC] = param->cqm_4pc;
436         pps->scaling_list[CQM_8IY+4] = param->cqm_8iy;
437         pps->scaling_list[CQM_8PY+4] = param->cqm_8py;
438         for( i = 0; i < 6; i++ )
439             for( j = 0; j < (i<4?16:64); j++ )
440                 if( pps->scaling_list[i][j] == 0 )
441                     pps->scaling_list[i] = x264_cqm_jvt[i];
442         break;
443     }
444 }
445
446 void x264_pps_write( bs_t *s, x264_pps_t *pps )
447 {
448     bs_write_ue( s, pps->i_id );
449     bs_write_ue( s, pps->i_sps_id );
450
451     bs_write( s, 1, pps->b_cabac );
452     bs_write( s, 1, pps->b_pic_order );
453     bs_write_ue( s, pps->i_num_slice_groups - 1 );
454
455 #if 0
456     if( pps->i_num_slice_groups > 1 )
457     {
458         int i;
459
460         bs_write_ue( s, pps->i_slice_group_map_type );
461         if( pps->i_slice_group_map_type == 0 )
462         {
463             for( i = 0; i < pps->i_num_slice_groups; i++ )
464             {
465                 bs_write_ue( s, pps->i_run_length[i] - 1 );
466             }
467         }
468         else if( pps->i_slice_group_map_type == 2 )
469         {
470             for( i = 0; i < pps->i_num_slice_groups; i++ )
471             {
472                 bs_write_ue( s, pps->i_top_left[i] );
473                 bs_write_ue( s, pps->i_bottom_right[i] );
474             }
475         }
476         else if( pps->i_slice_group_map_type >= 3 &&
477                  pps->i_slice_group_map_type <= 5 )
478         {
479             bs_write( s, 1, pps->b_slice_group_change_direction );
480             bs_write_ue( s, pps->b_slice_group_change_direction - 1 );
481         }
482         else if( pps->i_slice_group_map_type == 6 )
483         {
484             bs_write_ue( s, pps->i_pic_size_in_map_units - 1 );
485             for( i = 0; i < pps->i_pic_size_in_map_units; i++ )
486             {
487                 /* FIXME */
488                 /* bs_write( s, ceil( log2( pps->i_pic_size_in_map_units +1 ) ),
489                  *              pps->i_slice_group_id[i] );
490                  */
491             }
492         }
493     }
494 #endif
495
496     bs_write_ue( s, pps->i_num_ref_idx_l0_active - 1 );
497     bs_write_ue( s, pps->i_num_ref_idx_l1_active - 1 );
498     bs_write( s, 1, pps->b_weighted_pred );
499     bs_write( s, 2, pps->b_weighted_bipred );
500
501     bs_write_se( s, pps->i_pic_init_qp - 26 );
502     bs_write_se( s, pps->i_pic_init_qs - 26 );
503     bs_write_se( s, pps->i_chroma_qp_index_offset );
504
505     bs_write( s, 1, pps->b_deblocking_filter_control );
506     bs_write( s, 1, pps->b_constrained_intra_pred );
507     bs_write( s, 1, pps->b_redundant_pic_cnt );
508
509     if( pps->b_transform_8x8_mode || pps->i_cqm_preset != X264_CQM_FLAT )
510     {
511         bs_write( s, 1, pps->b_transform_8x8_mode );
512         bs_write( s, 1, (pps->i_cqm_preset != X264_CQM_FLAT) );
513         if( pps->i_cqm_preset != X264_CQM_FLAT )
514         {
515             scaling_list_write( s, pps, CQM_4IY );
516             scaling_list_write( s, pps, CQM_4IC );
517             bs_write( s, 1, 0 ); // Cr = Cb
518             scaling_list_write( s, pps, CQM_4PY );
519             scaling_list_write( s, pps, CQM_4PC );
520             bs_write( s, 1, 0 ); // Cr = Cb
521             if( pps->b_transform_8x8_mode )
522             {
523                 scaling_list_write( s, pps, CQM_8IY+4 );
524                 scaling_list_write( s, pps, CQM_8PY+4 );
525             }
526         }
527         bs_write_se( s, pps->i_chroma_qp_index_offset );
528     }
529
530     bs_rbsp_trailing( s );
531 }
532
533 void x264_sei_version_write( bs_t *s )
534 {
535     int i;
536     // random ID number generated according to ISO-11578
537     const uint8_t uuid[16] = {
538         0xdc, 0x45, 0xe9, 0xbd, 0xe6, 0xd9, 0x48, 0xb7,
539         0x96, 0x2c, 0xd8, 0x20, 0xd9, 0x23, 0xee, 0xef
540     };
541     char version[256];
542     int length;
543     sprintf( version, "x264 - core %d%s - H.264/MPEG-4 AVC codec - Copyleft 2005 - http://www.videolan.org/x264.html",
544              X264_BUILD, X264_VERSION );
545     length = strlen(version)+1+16;
546
547     bs_write( s, 8, 0x5 ); // payload_type = user_data_unregistered
548     while( length > 255 )
549         bs_write( s, 8, 255 ), length -= 255;
550     bs_write( s, 8, length ); // payload_size
551
552     for( i = 0; i < 16; i++ )
553         bs_write( s, 8, uuid[i] );
554     for( i = 0; i < length-16; i++ )
555         bs_write( s, 8, version[i] );
556
557     bs_rbsp_trailing( s );
558 }