b8e31136cdf2f4bb505459df77098843b9077d58
[x262.git] / x264.h
1 /*****************************************************************************
2  * x264.h: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003-2008 x264 Project
5  *
6  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
7  *          Loren Merritt <lorenm@u.washington.edu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #ifndef X264_X264_H
25 #define X264_X264_H
26
27 #if !defined(_STDINT_H) && !defined(_STDINT_H_) && \
28     !defined(_INTTYPES_H) && !defined(_INTTYPES_H_)
29 # ifdef _MSC_VER
30 #  pragma message("You must include stdint.h or inttypes.h before x264.h")
31 # else
32 #  warning You must include stdint.h or inttypes.h before x264.h
33 # endif
34 #endif
35
36 #include <stdarg.h>
37
38 #define X264_BUILD 79
39
40 /* x264_t:
41  *      opaque handler for encoder */
42 typedef struct x264_t x264_t;
43
44 /****************************************************************************
45  * Initialisation structure and function.
46  ****************************************************************************/
47 /* CPU flags
48  */
49 #define X264_CPU_CACHELINE_32   0x000001  /* avoid memory loads that span the border between two cachelines */
50 #define X264_CPU_CACHELINE_64   0x000002  /* 32/64 is the size of a cacheline in bytes */
51 #define X264_CPU_ALTIVEC        0x000004
52 #define X264_CPU_MMX            0x000008
53 #define X264_CPU_MMXEXT         0x000010  /* MMX2 aka MMXEXT aka ISSE */
54 #define X264_CPU_SSE            0x000020
55 #define X264_CPU_SSE2           0x000040
56 #define X264_CPU_SSE2_IS_SLOW   0x000080  /* avoid most SSE2 functions on Athlon64 */
57 #define X264_CPU_SSE2_IS_FAST   0x000100  /* a few functions are only faster on Core2 and Phenom */
58 #define X264_CPU_SSE3           0x000200
59 #define X264_CPU_SSSE3          0x000400
60 #define X264_CPU_SHUFFLE_IS_FAST 0x000800 /* Penryn, Nehalem, and Phenom have fast shuffle units */
61 #define X264_CPU_STACK_MOD4     0x001000  /* if stack is only mod4 and not mod16 */
62 #define X264_CPU_SSE4           0x002000  /* SSE4.1 */
63 #define X264_CPU_SSE42          0x004000  /* SSE4.2 */
64 #define X264_CPU_SSE_MISALIGN   0x008000  /* Phenom support for misaligned SSE instruction arguments */
65 #define X264_CPU_LZCNT          0x010000  /* Phenom support for "leading zero count" instruction. */
66 #define X264_CPU_ARMV6          0x020000
67 #define X264_CPU_NEON           0x040000  /* ARM NEON */
68 #define X264_CPU_FAST_NEON_MRC  0x080000  /* Transfer from NEON to ARM register is fast (Cortex-A9) */
69
70 /* Analyse flags
71  */
72 #define X264_ANALYSE_I4x4       0x0001  /* Analyse i4x4 */
73 #define X264_ANALYSE_I8x8       0x0002  /* Analyse i8x8 (requires 8x8 transform) */
74 #define X264_ANALYSE_PSUB16x16  0x0010  /* Analyse p16x8, p8x16 and p8x8 */
75 #define X264_ANALYSE_PSUB8x8    0x0020  /* Analyse p8x4, p4x8, p4x4 */
76 #define X264_ANALYSE_BSUB16x16  0x0100  /* Analyse b16x8, b8x16 and b8x8 */
77 #define X264_DIRECT_PRED_NONE        0
78 #define X264_DIRECT_PRED_SPATIAL     1
79 #define X264_DIRECT_PRED_TEMPORAL    2
80 #define X264_DIRECT_PRED_AUTO        3
81 #define X264_ME_DIA                  0
82 #define X264_ME_HEX                  1
83 #define X264_ME_UMH                  2
84 #define X264_ME_ESA                  3
85 #define X264_ME_TESA                 4
86 #define X264_CQM_FLAT                0
87 #define X264_CQM_JVT                 1
88 #define X264_CQM_CUSTOM              2
89 #define X264_RC_CQP                  0
90 #define X264_RC_CRF                  1
91 #define X264_RC_ABR                  2
92 #define X264_AQ_NONE                 0
93 #define X264_AQ_VARIANCE             1
94 #define X264_AQ_AUTOVARIANCE         2
95 #define X264_B_ADAPT_NONE            0
96 #define X264_B_ADAPT_FAST            1
97 #define X264_B_ADAPT_TRELLIS         2
98 #define X264_WEIGHTP_NONE            0
99 #define X264_WEIGHTP_BLIND           1
100 #define X264_WEIGHTP_SMART           2
101 #define X264_B_PYRAMID_NONE          0
102 #define X264_B_PYRAMID_STRICT        1
103 #define X264_B_PYRAMID_NORMAL        2
104
105 static const char * const x264_direct_pred_names[] = { "none", "spatial", "temporal", "auto", 0 };
106 static const char * const x264_motion_est_names[] = { "dia", "hex", "umh", "esa", "tesa", 0 };
107 static const char * const x264_b_pyramid_names[] = { "none", "strict", "normal", 0 };
108 static const char * const x264_overscan_names[] = { "undef", "show", "crop", 0 };
109 static const char * const x264_vidformat_names[] = { "component", "pal", "ntsc", "secam", "mac", "undef", 0 };
110 static const char * const x264_fullrange_names[] = { "off", "on", 0 };
111 static const char * const x264_colorprim_names[] = { "", "bt709", "undef", "", "bt470m", "bt470bg", "smpte170m", "smpte240m", "film", 0 };
112 static const char * const x264_transfer_names[] = { "", "bt709", "undef", "", "bt470m", "bt470bg", "smpte170m", "smpte240m", "linear", "log100", "log316", 0 };
113 static const char * const x264_colmatrix_names[] = { "GBR", "bt709", "undef", "", "fcc", "bt470bg", "smpte170m", "smpte240m", "YCgCo", 0 };
114
115 /* Colorspace type
116  * legacy only; nothing other than I420 is really supported. */
117 #define X264_CSP_MASK           0x00ff  /* */
118 #define X264_CSP_NONE           0x0000  /* Invalid mode     */
119 #define X264_CSP_I420           0x0001  /* yuv 4:2:0 planar */
120 #define X264_CSP_I422           0x0002  /* yuv 4:2:2 planar */
121 #define X264_CSP_I444           0x0003  /* yuv 4:4:4 planar */
122 #define X264_CSP_YV12           0x0004  /* yuv 4:2:0 planar */
123 #define X264_CSP_YUYV           0x0005  /* yuv 4:2:2 packed */
124 #define X264_CSP_RGB            0x0006  /* rgb 24bits       */
125 #define X264_CSP_BGR            0x0007  /* bgr 24bits       */
126 #define X264_CSP_BGRA           0x0008  /* bgr 32bits       */
127 #define X264_CSP_MAX            0x0009  /* end of list */
128 #define X264_CSP_VFLIP          0x1000  /* */
129
130 /* Slice type */
131 #define X264_TYPE_AUTO          0x0000  /* Let x264 choose the right type */
132 #define X264_TYPE_IDR           0x0001
133 #define X264_TYPE_I             0x0002
134 #define X264_TYPE_P             0x0003
135 #define X264_TYPE_BREF          0x0004  /* Non-disposable B-frame */
136 #define X264_TYPE_B             0x0005
137 #define IS_X264_TYPE_I(x) ((x)==X264_TYPE_I || (x)==X264_TYPE_IDR)
138 #define IS_X264_TYPE_B(x) ((x)==X264_TYPE_B || (x)==X264_TYPE_BREF)
139
140 /* Log level */
141 #define X264_LOG_NONE          (-1)
142 #define X264_LOG_ERROR          0
143 #define X264_LOG_WARNING        1
144 #define X264_LOG_INFO           2
145 #define X264_LOG_DEBUG          3
146
147 /* Threading */
148 #define X264_THREADS_AUTO 0 /* Automatically select optimal number of threads */
149 #define X264_SYNC_LOOKAHEAD_AUTO (-1) /* Automatically select optimal lookahead thread buffer size */
150
151 /* Zones: override ratecontrol or other options for specific sections of the video.
152  * See x264_encoder_reconfig() for which options can be changed.
153  * If zones overlap, whichever comes later in the list takes precedence. */
154 typedef struct
155 {
156     int i_start, i_end; /* range of frame numbers */
157     int b_force_qp; /* whether to use qp vs bitrate factor */
158     int i_qp;
159     float f_bitrate_factor;
160     struct x264_param_t *param;
161 } x264_zone_t;
162
163 typedef struct x264_param_t
164 {
165     /* CPU flags */
166     unsigned int cpu;
167     int         i_threads;       /* encode multiple frames in parallel */
168     int         b_deterministic; /* whether to allow non-deterministic optimizations when threaded */
169     int         i_sync_lookahead; /* threaded lookahead buffer */
170
171     /* Video Properties */
172     int         i_width;
173     int         i_height;
174     int         i_csp;  /* CSP of encoded bitstream, only i420 supported */
175     int         i_level_idc;
176     int         i_frame_total; /* number of frames to encode if known, else 0 */
177
178     struct
179     {
180         /* they will be reduced to be 0 < x <= 65535 and prime */
181         int         i_sar_height;
182         int         i_sar_width;
183
184         int         i_overscan;    /* 0=undef, 1=no overscan, 2=overscan */
185
186         /* see h264 annex E for the values of the following */
187         int         i_vidformat;
188         int         b_fullrange;
189         int         i_colorprim;
190         int         i_transfer;
191         int         i_colmatrix;
192         int         i_chroma_loc;    /* both top & bottom */
193     } vui;
194
195     int         i_fps_num;
196     int         i_fps_den;
197
198     /* Bitstream parameters */
199     int         i_frame_reference;  /* Maximum number of reference frames */
200     int         i_keyint_max;       /* Force an IDR keyframe at this interval */
201     int         i_keyint_min;       /* Scenecuts closer together than this are coded as I, not IDR. */
202     int         i_scenecut_threshold; /* how aggressively to insert extra I frames */
203     int         i_bframe;   /* how many b-frame between 2 references pictures */
204     int         i_bframe_adaptive;
205     int         i_bframe_bias;
206     int         i_bframe_pyramid;   /* Keep some B-frames as references: 0=off, 1=strict heirarchical, 2=normal */
207
208     int         b_deblocking_filter;
209     int         i_deblocking_filter_alphac0;    /* [-6, 6] -6 light filter, 6 strong */
210     int         i_deblocking_filter_beta;       /* [-6, 6]  idem */
211
212     int         b_cabac;
213     int         i_cabac_init_idc;
214
215     int         b_interlaced;
216     int         b_constrained_intra;
217
218     int         i_cqm_preset;
219     char        *psz_cqm_file;      /* JM format */
220     uint8_t     cqm_4iy[16];        /* used only if i_cqm_preset == X264_CQM_CUSTOM */
221     uint8_t     cqm_4ic[16];
222     uint8_t     cqm_4py[16];
223     uint8_t     cqm_4pc[16];
224     uint8_t     cqm_8iy[64];
225     uint8_t     cqm_8py[64];
226
227     /* Log */
228     void        (*pf_log)( void *, int i_level, const char *psz, va_list );
229     void        *p_log_private;
230     int         i_log_level;
231     int         b_visualize;
232     char        *psz_dump_yuv;  /* filename for reconstructed frames */
233
234     /* Encoder analyser parameters */
235     struct
236     {
237         unsigned int intra;     /* intra partitions */
238         unsigned int inter;     /* inter partitions */
239
240         int          b_transform_8x8;
241         int          i_weighted_pred; /* weighting for P-frames */
242         int          b_weighted_bipred; /* implicit weighting for B-frames */
243         int          i_direct_mv_pred; /* spatial vs temporal mv prediction */
244         int          i_chroma_qp_offset;
245
246         int          i_me_method; /* motion estimation algorithm to use (X264_ME_*) */
247         int          i_me_range; /* integer pixel motion estimation search range (from predicted mv) */
248         int          i_mv_range; /* maximum length of a mv (in pixels). -1 = auto, based on level */
249         int          i_mv_range_thread; /* minimum space between threads. -1 = auto, based on number of threads. */
250         int          i_subpel_refine; /* subpixel motion estimation quality */
251         int          b_chroma_me; /* chroma ME for subpel and mode decision in P-frames */
252         int          b_mixed_references; /* allow each mb partition in P-frames to have it's own reference number */
253         int          i_trellis;  /* trellis RD quantization */
254         int          b_fast_pskip; /* early SKIP detection on P-frames */
255         int          b_dct_decimate; /* transform coefficient thresholding on P-frames */
256         int          i_noise_reduction; /* adaptive pseudo-deadzone */
257         float        f_psy_rd; /* Psy RD strength */
258         float        f_psy_trellis; /* Psy trellis strength */
259         int          b_psy; /* Toggle all psy optimizations */
260
261         /* the deadzone size that will be used in luma quantization */
262         int          i_luma_deadzone[2]; /* {inter, intra} */
263
264         int          b_psnr;    /* compute and print PSNR stats */
265         int          b_ssim;    /* compute and print SSIM stats */
266     } analyse;
267
268     /* Rate control parameters */
269     struct
270     {
271         int         i_rc_method;    /* X264_RC_* */
272
273         int         i_qp_constant;  /* 0-51 */
274         int         i_qp_min;       /* min allowed QP value */
275         int         i_qp_max;       /* max allowed QP value */
276         int         i_qp_step;      /* max QP step between frames */
277
278         int         i_bitrate;
279         float       f_rf_constant;  /* 1pass VBR, nominal QP */
280         float       f_rate_tolerance;
281         int         i_vbv_max_bitrate;
282         int         i_vbv_buffer_size;
283         float       f_vbv_buffer_init; /* <=1: fraction of buffer_size. >1: kbit */
284         float       f_ip_factor;
285         float       f_pb_factor;
286
287         int         i_aq_mode;      /* psy adaptive QP. (X264_AQ_*) */
288         float       f_aq_strength;
289         int         b_mb_tree;      /* Macroblock-tree ratecontrol. */
290         int         i_lookahead;
291
292         /* 2pass */
293         int         b_stat_write;   /* Enable stat writing in psz_stat_out */
294         char        *psz_stat_out;
295         int         b_stat_read;    /* Read stat from psz_stat_in and use it */
296         char        *psz_stat_in;
297
298         /* 2pass params (same as ffmpeg ones) */
299         float       f_qcompress;    /* 0.0 => cbr, 1.0 => constant qp */
300         float       f_qblur;        /* temporally blur quants */
301         float       f_complexity_blur; /* temporally blur complexity */
302         x264_zone_t *zones;         /* ratecontrol overrides */
303         int         i_zones;        /* number of zone_t's */
304         char        *psz_zones;     /* alternate method of specifying zones */
305     } rc;
306
307     /* Muxing parameters */
308     int b_aud;                  /* generate access unit delimiters */
309     int b_repeat_headers;       /* put SPS/PPS before each keyframe */
310     int b_annexb;               /* if set, place start codes (4 bytes) before NAL units,
311                                  * otherwise place size (4 bytes) before NAL units. */
312     int i_sps_id;               /* SPS and PPS id number */
313
314     /* Slicing parameters */
315     int i_slice_max_size;    /* Max size per slice in bytes; includes estimated NAL overhead. */
316     int i_slice_max_mbs;     /* Max number of MBs per slice; overrides i_slice_count. */
317     int i_slice_count;       /* Number of slices per frame: forces rectangular slices. */
318
319     /* Optional callback for freeing this x264_param_t when it is done being used.
320      * Only used when the x264_param_t sits in memory for an indefinite period of time,
321      * i.e. when an x264_param_t is passed to x264_t in an x264_picture_t or in zones.
322      * Not used when x264_encoder_reconfig is called directly. */
323     void (*param_free)( void* );
324 } x264_param_t;
325
326 typedef struct {
327     int level_idc;
328     int mbps;        /* max macroblock processing rate (macroblocks/sec) */
329     int frame_size;  /* max frame size (macroblocks) */
330     int dpb;         /* max decoded picture buffer (bytes) */
331     int bitrate;     /* max bitrate (kbit/sec) */
332     int cpb;         /* max vbv buffer (kbit) */
333     int mv_range;    /* max vertical mv component range (pixels) */
334     int mvs_per_2mb; /* max mvs per 2 consecutive mbs. */
335     int slice_rate;  /* ?? */
336     int bipred8x8;   /* limit bipred to >=8x8 */
337     int direct8x8;   /* limit b_direct to >=8x8 */
338     int frame_only;  /* forbid interlacing */
339 } x264_level_t;
340
341 /* all of the levels defined in the standard, terminated by .level_idc=0 */
342 extern const x264_level_t x264_levels[];
343
344 /* x264_param_default:
345  *      fill x264_param_t with default values and do CPU detection */
346 void    x264_param_default( x264_param_t * );
347
348 /* x264_param_parse:
349  *  set one parameter by name.
350  *  returns 0 on success, or returns one of the following errors.
351  *  note: BAD_VALUE occurs only if it can't even parse the value,
352  *  numerical range is not checked until x264_encoder_open() or
353  *  x264_encoder_reconfig().
354  *  value=NULL means "true" for boolean options, but is a BAD_VALUE for non-booleans. */
355 #define X264_PARAM_BAD_NAME  (-1)
356 #define X264_PARAM_BAD_VALUE (-2)
357 int x264_param_parse( x264_param_t *, const char *name, const char *value );
358
359 /****************************************************************************
360  * Picture structures and functions.
361  ****************************************************************************/
362 typedef struct
363 {
364     int     i_csp;
365
366     int     i_plane;
367     int     i_stride[4];
368     uint8_t *plane[4];
369 } x264_image_t;
370
371 typedef struct
372 {
373     /* In: force picture type (if not auto)
374      *     If x264 encoding parameters are violated in the forcing of picture types,
375      *     x264 will correct the input picture type and log a warning.
376      *     The quality of frametype decisions may suffer if a great deal of fine-grained
377      *     mixing of auto and forced frametypes is done.
378      * Out: type of the picture encoded */
379     int     i_type;
380     /* In: force quantizer for > 0 */
381     int     i_qpplus1;
382     /* In: user pts, Out: pts of encoded picture (user)*/
383     int64_t i_pts;
384     /* In: custom encoding parameters to be set from this frame forwards
385            (in coded order, not display order). If NULL, continue using
386            parameters from the previous frame.  Some parameters, such as
387            aspect ratio, can only be changed per-GOP due to the limitations
388            of H.264 itself; in this case, the caller must force an IDR frame
389            if it needs the changed parameter to apply immediately. */
390     x264_param_t *param;
391     /* In: raw data */
392     x264_image_t img;
393     /* private user data. libx264 doesn't touch this,
394        not even copy it from input to output frames. */
395     void *opaque;
396 } x264_picture_t;
397
398 /* x264_picture_alloc:
399  *  alloc data for a picture. You must call x264_picture_clean on it.
400  *  returns 0 on success, or -1 on malloc failure. */
401 int x264_picture_alloc( x264_picture_t *pic, int i_csp, int i_width, int i_height );
402
403 /* x264_picture_clean:
404  *  free associated resource for a x264_picture_t allocated with
405  *  x264_picture_alloc ONLY */
406 void x264_picture_clean( x264_picture_t *pic );
407
408 /****************************************************************************
409  * NAL structure and functions:
410  ****************************************************************************/
411 /* nal */
412 enum nal_unit_type_e
413 {
414     NAL_UNKNOWN = 0,
415     NAL_SLICE   = 1,
416     NAL_SLICE_DPA   = 2,
417     NAL_SLICE_DPB   = 3,
418     NAL_SLICE_DPC   = 4,
419     NAL_SLICE_IDR   = 5,    /* ref_idc != 0 */
420     NAL_SEI         = 6,    /* ref_idc == 0 */
421     NAL_SPS         = 7,
422     NAL_PPS         = 8,
423     NAL_AUD         = 9,
424     /* ref_idc == 0 for 6,9,10,11,12 */
425 };
426 enum nal_priority_e
427 {
428     NAL_PRIORITY_DISPOSABLE = 0,
429     NAL_PRIORITY_LOW        = 1,
430     NAL_PRIORITY_HIGH       = 2,
431     NAL_PRIORITY_HIGHEST    = 3,
432 };
433
434 /* The data within the payload is already NAL-encapsulated; the ref_idc and type
435  * are merely in the struct for easy access by the calling application.
436  * All data returned in an x264_nal_t, including the data in p_payload, is no longer
437  * valid after the next call to x264_encoder_encode.  Thus it must be used or copied
438  * before calling x264_encoder_encode or x264_encoder_headers again. */
439 typedef struct
440 {
441     int i_ref_idc;  /* nal_priority_e */
442     int i_type;     /* nal_unit_type_e */
443
444     /* Size of payload in bytes. */
445     int     i_payload;
446     /* If param->b_annexb is set, Annex-B bytestream with 4-byte startcode.
447      * Otherwise, startcode is replaced with a 4-byte size.
448      * This size is the size used in mp4/similar muxing; it is equal to i_payload-4 */
449     uint8_t *p_payload;
450 } x264_nal_t;
451
452 /****************************************************************************
453  * Encoder functions:
454  ****************************************************************************/
455
456 /* Force a link error in the case of linking against an incompatible API version.
457  * Glue #defines exist to force correct macro expansion; the final output of the macro
458  * is x264_encoder_open_##X264_BUILD (for purposes of dlopen). */
459 #define x264_encoder_glue1(x,y) x##y
460 #define x264_encoder_glue2(x,y) x264_encoder_glue1(x,y)
461 #define x264_encoder_open x264_encoder_glue2(x264_encoder_open_,X264_BUILD)
462
463 /* x264_encoder_open:
464  *      create a new encoder handler, all parameters from x264_param_t are copied */
465 x264_t *x264_encoder_open( x264_param_t * );
466
467 /* x264_encoder_reconfig:
468  *      analysis-related parameters from x264_param_t are copied.
469  *      this takes effect immediately, on whichever frame is encoded next;
470  *      due to delay, this may not be the next frame passed to encoder_encode.
471  *      if the change should apply to some particular frame, use x264_picture_t->param instead.
472  *      returns 0 on success, negative on parameter validation error. */
473 int     x264_encoder_reconfig( x264_t *, x264_param_t * );
474 /* x264_encoder_headers:
475  *      return the SPS and PPS that will be used for the whole stream.
476  *      if i_nal > 0, returns the total size of all NAL payloads.
477  *      returns negative on error.
478  *      the payloads of all output NALs are guaranteed to be sequential in memory. */
479 int     x264_encoder_headers( x264_t *, x264_nal_t **, int * );
480 /* x264_encoder_encode:
481  *      encode one picture.
482  *      if i_nal > 0, returns the total size of all NAL payloads.
483  *      returns negative on error, zero if no NAL units returned.
484  *      the payloads of all output NALs are guaranteed to be sequential in memory. */
485 int     x264_encoder_encode ( x264_t *, x264_nal_t **, int *, x264_picture_t *, x264_picture_t * );
486 /* x264_encoder_close:
487  *      close an encoder handler */
488 void    x264_encoder_close  ( x264_t * );
489 /* x264_encoder_delayed_frames:
490  *      return the number of currently delayed (buffered) frames
491  *      this should be used at the end of the stream, to know when you have all the encoded frames. */
492 int     x264_encoder_delayed_frames( x264_t * );
493
494 #endif