Eliminate support for direct_8x8_inference=0
[x262.git] / x264.h
1 /*****************************************************************************
2  * x264.h: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003-2008 x264 Project
5  *
6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
7  *          Loren Merritt <lorenm@u.washington.edu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #ifndef X264_X264_H
25 #define X264_X264_H
26
27 #if !defined(_STDINT_H) && !defined(_STDINT_H_) && \
28     !defined(_INTTYPES_H) && !defined(_INTTYPES_H_)
29 # ifdef _MSC_VER
30 #  pragma message("You must include stdint.h or inttypes.h before x264.h")
31 # else
32 #  warning You must include stdint.h or inttypes.h before x264.h
33 # endif
34 #endif
35
36 #include <stdarg.h>
37
38 #define X264_BUILD 66
39
40 /* x264_t:
41  *      opaque handler for encoder */
42 typedef struct x264_t x264_t;
43
44 /****************************************************************************
45  * Initialisation structure and function.
46  ****************************************************************************/
47 /* CPU flags
48  */
49 #define X264_CPU_CACHELINE_32   0x000001  /* avoid memory loads that span the border between two cachelines */
50 #define X264_CPU_CACHELINE_64   0x000002  /* 32/64 is the size of a cacheline in bytes */
51 #define X264_CPU_ALTIVEC        0x000004
52 #define X264_CPU_MMX            0x000008
53 #define X264_CPU_MMXEXT         0x000010  /* MMX2 aka MMXEXT aka ISSE */
54 #define X264_CPU_SSE            0x000020
55 #define X264_CPU_SSE2           0x000040
56 #define X264_CPU_SSE2_IS_SLOW   0x000080  /* avoid most SSE2 functions on Athlon64 */
57 #define X264_CPU_SSE2_IS_FAST   0x000100  /* a few functions are only faster on Core2 and Phenom */
58 #define X264_CPU_SSE3           0x000200
59 #define X264_CPU_SSSE3          0x000400
60 #define X264_CPU_PHADD_IS_FAST  0x000800  /* pre-Penryn Core2 have a uselessly slow PHADD instruction */
61 #define X264_CPU_STACK_MOD4     0x001000  /* if stack is only mod4 and not mod16 */
62 #define X264_CPU_SSE4           0x002000  /* SSE4.1 */
63 #define X264_CPU_SSE42          0x004000  /* SSE4.2 */
64 #define X264_CPU_SSE_MISALIGN   0x008000  /* Phenom support for misaligned SSE instruction arguments */
65 #define X264_CPU_LZCNT          0x010000  /* Phenom support for "leading zero count" instruction. */
66
67 /* Analyse flags
68  */
69 #define X264_ANALYSE_I4x4       0x0001  /* Analyse i4x4 */
70 #define X264_ANALYSE_I8x8       0x0002  /* Analyse i8x8 (requires 8x8 transform) */
71 #define X264_ANALYSE_PSUB16x16  0x0010  /* Analyse p16x8, p8x16 and p8x8 */
72 #define X264_ANALYSE_PSUB8x8    0x0020  /* Analyse p8x4, p4x8, p4x4 */
73 #define X264_ANALYSE_BSUB16x16  0x0100  /* Analyse b16x8, b8x16 and b8x8 */
74 #define X264_DIRECT_PRED_NONE        0
75 #define X264_DIRECT_PRED_SPATIAL     1
76 #define X264_DIRECT_PRED_TEMPORAL    2
77 #define X264_DIRECT_PRED_AUTO        3
78 #define X264_ME_DIA                  0
79 #define X264_ME_HEX                  1
80 #define X264_ME_UMH                  2
81 #define X264_ME_ESA                  3
82 #define X264_ME_TESA                 4
83 #define X264_CQM_FLAT                0
84 #define X264_CQM_JVT                 1
85 #define X264_CQM_CUSTOM              2
86 #define X264_RC_NONE                 -1
87 #define X264_RC_CQP                  0
88 #define X264_RC_CRF                  1
89 #define X264_RC_ABR                  2
90 #define X264_AQ_NONE                 0
91 #define X264_AQ_VARIANCE             1
92 #define X264_B_ADAPT_NONE            0
93 #define X264_B_ADAPT_FAST            1
94 #define X264_B_ADAPT_TRELLIS         2
95
96 static const char * const x264_direct_pred_names[] = { "none", "spatial", "temporal", "auto", 0 };
97 static const char * const x264_motion_est_names[] = { "dia", "hex", "umh", "esa", "tesa", 0 };
98 static const char * const x264_overscan_names[] = { "undef", "show", "crop", 0 };
99 static const char * const x264_vidformat_names[] = { "component", "pal", "ntsc", "secam", "mac", "undef", 0 };
100 static const char * const x264_fullrange_names[] = { "off", "on", 0 };
101 static const char * const x264_colorprim_names[] = { "", "bt709", "undef", "", "bt470m", "bt470bg", "smpte170m", "smpte240m", "film", 0 };
102 static const char * const x264_transfer_names[] = { "", "bt709", "undef", "", "bt470m", "bt470bg", "smpte170m", "smpte240m", "linear", "log100", "log316", 0 };
103 static const char * const x264_colmatrix_names[] = { "GBR", "bt709", "undef", "", "fcc", "bt470bg", "smpte170m", "smpte240m", "YCgCo", 0 };
104
105 /* Colorspace type
106  * legacy only; nothing other than I420 is really supported.
107  */
108 #define X264_CSP_MASK           0x00ff  /* */
109 #define X264_CSP_NONE           0x0000  /* Invalid mode     */
110 #define X264_CSP_I420           0x0001  /* yuv 4:2:0 planar */
111 #define X264_CSP_I422           0x0002  /* yuv 4:2:2 planar */
112 #define X264_CSP_I444           0x0003  /* yuv 4:4:4 planar */
113 #define X264_CSP_YV12           0x0004  /* yuv 4:2:0 planar */
114 #define X264_CSP_YUYV           0x0005  /* yuv 4:2:2 packed */
115 #define X264_CSP_RGB            0x0006  /* rgb 24bits       */
116 #define X264_CSP_BGR            0x0007  /* bgr 24bits       */
117 #define X264_CSP_BGRA           0x0008  /* bgr 32bits       */
118 #define X264_CSP_MAX            0x0009  /* end of list */
119 #define X264_CSP_VFLIP          0x1000  /* */
120
121 /* Slice type
122  */
123 #define X264_TYPE_AUTO          0x0000  /* Let x264 choose the right type */
124 #define X264_TYPE_IDR           0x0001
125 #define X264_TYPE_I             0x0002
126 #define X264_TYPE_P             0x0003
127 #define X264_TYPE_BREF          0x0004  /* Non-disposable B-frame */
128 #define X264_TYPE_B             0x0005
129 #define IS_X264_TYPE_I(x) ((x)==X264_TYPE_I || (x)==X264_TYPE_IDR)
130 #define IS_X264_TYPE_B(x) ((x)==X264_TYPE_B || (x)==X264_TYPE_BREF)
131
132 /* Log level
133  */
134 #define X264_LOG_NONE          (-1)
135 #define X264_LOG_ERROR          0
136 #define X264_LOG_WARNING        1
137 #define X264_LOG_INFO           2
138 #define X264_LOG_DEBUG          3
139
140 /* Zones: override ratecontrol or other options for specific sections of the video.
141  * See x264_encoder_reconfig() for which options can be changed.
142  * If zones overlap, whichever comes later in the list takes precedence. */
143 typedef struct
144 {
145     int i_start, i_end; /* range of frame numbers */
146     int b_force_qp; /* whether to use qp vs bitrate factor */
147     int i_qp;
148     float f_bitrate_factor;
149     struct x264_param_t *param;
150 } x264_zone_t;
151
152 typedef struct x264_param_t
153 {
154     /* CPU flags */
155     unsigned int cpu;
156     int         i_threads;       /* encode multiple frames in parallel */
157     int         b_deterministic; /* whether to allow non-deterministic optimizations when threaded */
158
159     /* Video Properties */
160     int         i_width;
161     int         i_height;
162     int         i_csp;  /* CSP of encoded bitstream, only i420 supported */
163     int         i_level_idc;
164     int         i_frame_total; /* number of frames to encode if known, else 0 */
165
166     struct
167     {
168         /* they will be reduced to be 0 < x <= 65535 and prime */
169         int         i_sar_height;
170         int         i_sar_width;
171
172         int         i_overscan;    /* 0=undef, 1=no overscan, 2=overscan */
173
174         /* see h264 annex E for the values of the following */
175         int         i_vidformat;
176         int         b_fullrange;
177         int         i_colorprim;
178         int         i_transfer;
179         int         i_colmatrix;
180         int         i_chroma_loc;    /* both top & bottom */
181     } vui;
182
183     int         i_fps_num;
184     int         i_fps_den;
185
186     /* Bitstream parameters */
187     int         i_frame_reference;  /* Maximum number of reference frames */
188     int         i_keyint_max;       /* Force an IDR keyframe at this interval */
189     int         i_keyint_min;       /* Scenecuts closer together than this are coded as I, not IDR. */
190     int         i_scenecut_threshold; /* how aggressively to insert extra I frames */
191     int         b_pre_scenecut;     /* compute scenecut on lowres frames */
192     int         i_bframe;   /* how many b-frame between 2 references pictures */
193     int         i_bframe_adaptive;
194     int         i_bframe_bias;
195     int         b_bframe_pyramid;   /* Keep some B-frames as references */
196
197     int         b_deblocking_filter;
198     int         i_deblocking_filter_alphac0;    /* [-6, 6] -6 light filter, 6 strong */
199     int         i_deblocking_filter_beta;       /* [-6, 6]  idem */
200
201     int         b_cabac;
202     int         i_cabac_init_idc;
203
204     int         b_interlaced;
205
206     int         i_cqm_preset;
207     char        *psz_cqm_file;      /* JM format */
208     uint8_t     cqm_4iy[16];        /* used only if i_cqm_preset == X264_CQM_CUSTOM */
209     uint8_t     cqm_4ic[16];
210     uint8_t     cqm_4py[16];
211     uint8_t     cqm_4pc[16];
212     uint8_t     cqm_8iy[64];
213     uint8_t     cqm_8py[64];
214
215     /* Log */
216     void        (*pf_log)( void *, int i_level, const char *psz, va_list );
217     void        *p_log_private;
218     int         i_log_level;
219     int         b_visualize;
220     char        *psz_dump_yuv;  /* filename for reconstructed frames */
221
222     /* Encoder analyser parameters */
223     struct
224     {
225         unsigned int intra;     /* intra partitions */
226         unsigned int inter;     /* inter partitions */
227
228         int          b_transform_8x8;
229         int          b_weighted_bipred; /* implicit weighting for B-frames */
230         int          i_direct_mv_pred; /* spatial vs temporal mv prediction */
231         int          i_chroma_qp_offset;
232
233         int          i_me_method; /* motion estimation algorithm to use (X264_ME_*) */
234         int          i_me_range; /* integer pixel motion estimation search range (from predicted mv) */
235         int          i_mv_range; /* maximum length of a mv (in pixels). -1 = auto, based on level */
236         int          i_mv_range_thread; /* minimum space between threads. -1 = auto, based on number of threads. */
237         int          i_subpel_refine; /* subpixel motion estimation quality */
238         int          b_chroma_me; /* chroma ME for subpel and mode decision in P-frames */
239         int          b_mixed_references; /* allow each mb partition in P-frames to have it's own reference number */
240         int          i_trellis;  /* trellis RD quantization */
241         int          b_fast_pskip; /* early SKIP detection on P-frames */
242         int          b_dct_decimate; /* transform coefficient thresholding on P-frames */
243         int          i_noise_reduction; /* adaptive pseudo-deadzone */
244         float        f_psy_rd; /* Psy RD strength */
245         float        f_psy_trellis; /* Psy trellis strength */
246
247         /* the deadzone size that will be used in luma quantization */
248         int          i_luma_deadzone[2]; /* {inter, intra} */
249
250         int          b_psnr;    /* compute and print PSNR stats */
251         int          b_ssim;    /* compute and print SSIM stats */
252     } analyse;
253
254     /* Rate control parameters */
255     struct
256     {
257         int         i_rc_method;    /* X264_RC_* */
258
259         int         i_qp_constant;  /* 0-51 */
260         int         i_qp_min;       /* min allowed QP value */
261         int         i_qp_max;       /* max allowed QP value */
262         int         i_qp_step;      /* max QP step between frames */
263
264         int         i_bitrate;
265         float       f_rf_constant;  /* 1pass VBR, nominal QP */
266         float       f_rate_tolerance;
267         int         i_vbv_max_bitrate;
268         int         i_vbv_buffer_size;
269         float       f_vbv_buffer_init; /* <=1: fraction of buffer_size. >1: kbit */
270         float       f_ip_factor;
271         float       f_pb_factor;
272
273         int         i_aq_mode;      /* psy adaptive QP. (X264_AQ_*) */
274         float       f_aq_strength;
275
276         /* 2pass */
277         int         b_stat_write;   /* Enable stat writing in psz_stat_out */
278         char        *psz_stat_out;
279         int         b_stat_read;    /* Read stat from psz_stat_in and use it */
280         char        *psz_stat_in;
281
282         /* 2pass params (same as ffmpeg ones) */
283         float       f_qcompress;    /* 0.0 => cbr, 1.0 => constant qp */
284         float       f_qblur;        /* temporally blur quants */
285         float       f_complexity_blur; /* temporally blur complexity */
286         x264_zone_t *zones;         /* ratecontrol overrides */
287         int         i_zones;        /* number of zone_t's */
288         char        *psz_zones;     /* alternate method of specifying zones */
289     } rc;
290
291     /* Muxing parameters */
292     int b_aud;                  /* generate access unit delimiters */
293     int b_repeat_headers;       /* put SPS/PPS before each keyframe */
294     int i_sps_id;               /* SPS and PPS id number */
295 } x264_param_t;
296
297 typedef struct {
298     int level_idc;
299     int mbps;        /* max macroblock processing rate (macroblocks/sec) */
300     int frame_size;  /* max frame size (macroblocks) */
301     int dpb;         /* max decoded picture buffer (bytes) */
302     int bitrate;     /* max bitrate (kbit/sec) */
303     int cpb;         /* max vbv buffer (kbit) */
304     int mv_range;    /* max vertical mv component range (pixels) */
305     int mvs_per_2mb; /* max mvs per 2 consecutive mbs. */
306     int slice_rate;  /* ?? */
307     int bipred8x8;   /* limit bipred to >=8x8 */
308     int direct8x8;   /* limit b_direct to >=8x8 */
309     int frame_only;  /* forbid interlacing */
310 } x264_level_t;
311
312 /* all of the levels defined in the standard, terminated by .level_idc=0 */
313 extern const x264_level_t x264_levels[];
314
315 /* x264_param_default:
316  *      fill x264_param_t with default values and do CPU detection */
317 void    x264_param_default( x264_param_t * );
318
319 /* x264_param_parse:
320  *  set one parameter by name.
321  *  returns 0 on success, or returns one of the following errors.
322  *  note: BAD_VALUE occurs only if it can't even parse the value,
323  *  numerical range is not checked until x264_encoder_open() or
324  *  x264_encoder_reconfig().
325  *  value=NULL means "true" for boolean options, but is a BAD_VALUE for non-booleans. */
326 #define X264_PARAM_BAD_NAME  (-1)
327 #define X264_PARAM_BAD_VALUE (-2)
328 int x264_param_parse( x264_param_t *, const char *name, const char *value );
329
330 /****************************************************************************
331  * Picture structures and functions.
332  ****************************************************************************/
333 typedef struct
334 {
335     int     i_csp;
336
337     int     i_plane;
338     int     i_stride[4];
339     uint8_t *plane[4];
340 } x264_image_t;
341
342 typedef struct
343 {
344     /* In: force picture type (if not auto)
345      *     If x264 encoding parameters are violated in the forcing of picture types,
346      *     x264 will correct the input picture type and log a warning.
347      *     The quality of frametype decisions may suffer if a great deal of fine-grained
348      *     mixing of auto and forced frametypes is done.
349      * Out: type of the picture encoded */
350     int     i_type;
351     /* In: force quantizer for > 0 */
352     int     i_qpplus1;
353     /* In: user pts, Out: pts of encoded picture (user)*/
354     int64_t i_pts;
355
356     /* In: raw data */
357     x264_image_t img;
358 } x264_picture_t;
359
360 /* x264_picture_alloc:
361  *  alloc data for a picture. You must call x264_picture_clean on it. */
362 void x264_picture_alloc( x264_picture_t *pic, int i_csp, int i_width, int i_height );
363
364 /* x264_picture_clean:
365  *  free associated resource for a x264_picture_t allocated with
366  *  x264_picture_alloc ONLY */
367 void x264_picture_clean( x264_picture_t *pic );
368
369 /****************************************************************************
370  * NAL structure and functions:
371  ****************************************************************************/
372 /* nal */
373 enum nal_unit_type_e
374 {
375     NAL_UNKNOWN = 0,
376     NAL_SLICE   = 1,
377     NAL_SLICE_DPA   = 2,
378     NAL_SLICE_DPB   = 3,
379     NAL_SLICE_DPC   = 4,
380     NAL_SLICE_IDR   = 5,    /* ref_idc != 0 */
381     NAL_SEI         = 6,    /* ref_idc == 0 */
382     NAL_SPS         = 7,
383     NAL_PPS         = 8,
384     NAL_AUD         = 9,
385     /* ref_idc == 0 for 6,9,10,11,12 */
386 };
387 enum nal_priority_e
388 {
389     NAL_PRIORITY_DISPOSABLE = 0,
390     NAL_PRIORITY_LOW        = 1,
391     NAL_PRIORITY_HIGH       = 2,
392     NAL_PRIORITY_HIGHEST    = 3,
393 };
394
395 typedef struct
396 {
397     int i_ref_idc;  /* nal_priority_e */
398     int i_type;     /* nal_unit_type_e */
399
400     /* This data are raw payload */
401     int     i_payload;
402     uint8_t *p_payload;
403 } x264_nal_t;
404
405 /* x264_nal_encode:
406  *      encode a nal into a buffer, setting the size.
407  *      if b_annexeb then a long synch work is added
408  *      XXX: it currently doesn't check for overflow */
409 int x264_nal_encode( void *, int *, int b_annexeb, x264_nal_t *nal );
410
411 /****************************************************************************
412  * Encoder functions:
413  ****************************************************************************/
414
415 /* x264_encoder_open:
416  *      create a new encoder handler, all parameters from x264_param_t are copied */
417 x264_t *x264_encoder_open   ( x264_param_t * );
418 /* x264_encoder_reconfig:
419  *      change encoder options while encoding,
420  *      analysis-related parameters from x264_param_t are copied */
421 int     x264_encoder_reconfig( x264_t *, x264_param_t * );
422 /* x264_encoder_headers:
423  *      return the SPS and PPS that will be used for the whole stream */
424 int     x264_encoder_headers( x264_t *, x264_nal_t **, int * );
425 /* x264_encoder_encode:
426  *      encode one picture */
427 int     x264_encoder_encode ( x264_t *, x264_nal_t **, int *, x264_picture_t *, x264_picture_t * );
428 /* x264_encoder_close:
429  *      close an encoder handler */
430 void    x264_encoder_close  ( x264_t * );
431
432 #endif