libx264: add 'ssim' private option.
[ffmpeg.git] / libavcodec / libx264.c
1 /*
2  * H.264 encoding using the x264 library
3  * Copyright (C) 2005  Mans Rullgard <mans@mansr.com>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/opt.h"
23 #include "avcodec.h"
24 #include "internal.h"
25 #include <x264.h>
26 #include <float.h>
27 #include <math.h>
28 #include <stdio.h>
29 #include <stdlib.h>
30 #include <string.h>
31
32 typedef struct X264Context {
33     AVClass        *class;
34     x264_param_t    params;
35     x264_t         *enc;
36     x264_picture_t  pic;
37     uint8_t        *sei;
38     int             sei_size;
39     AVFrame         out_pic;
40     char *preset;
41     char *tune;
42     char *profile;
43     int fastfirstpass;
44     float crf;
45     float crf_max;
46     int cqp;
47     int aq_mode;
48     float aq_strength;
49     char *psy_rd;
50     int rc_lookahead;
51     int weightp;
52     int ssim;
53 } X264Context;
54
55 static void X264_log(void *p, int level, const char *fmt, va_list args)
56 {
57     static const int level_map[] = {
58         [X264_LOG_ERROR]   = AV_LOG_ERROR,
59         [X264_LOG_WARNING] = AV_LOG_WARNING,
60         [X264_LOG_INFO]    = AV_LOG_INFO,
61         [X264_LOG_DEBUG]   = AV_LOG_DEBUG
62     };
63
64     if (level < 0 || level > X264_LOG_DEBUG)
65         return;
66
67     av_vlog(p, level_map[level], fmt, args);
68 }
69
70
71 static int encode_nals(AVCodecContext *ctx, uint8_t *buf, int size,
72                        x264_nal_t *nals, int nnal, int skip_sei)
73 {
74     X264Context *x4 = ctx->priv_data;
75     uint8_t *p = buf;
76     int i;
77
78     /* Write the SEI as part of the first frame. */
79     if (x4->sei_size > 0 && nnal > 0) {
80         memcpy(p, x4->sei, x4->sei_size);
81         p += x4->sei_size;
82         x4->sei_size = 0;
83     }
84
85     for (i = 0; i < nnal; i++){
86         /* Don't put the SEI in extradata. */
87         if (skip_sei && nals[i].i_type == NAL_SEI) {
88             x4->sei_size = nals[i].i_payload;
89             x4->sei      = av_malloc(x4->sei_size);
90             memcpy(x4->sei, nals[i].p_payload, nals[i].i_payload);
91             continue;
92         }
93         memcpy(p, nals[i].p_payload, nals[i].i_payload);
94         p += nals[i].i_payload;
95     }
96
97     return p - buf;
98 }
99
100 static int X264_frame(AVCodecContext *ctx, uint8_t *buf,
101                       int bufsize, void *data)
102 {
103     X264Context *x4 = ctx->priv_data;
104     AVFrame *frame = data;
105     x264_nal_t *nal;
106     int nnal, i;
107     x264_picture_t pic_out;
108
109     x264_picture_init( &x4->pic );
110     x4->pic.img.i_csp   = X264_CSP_I420;
111     x4->pic.img.i_plane = 3;
112
113     if (frame) {
114         for (i = 0; i < 3; i++) {
115             x4->pic.img.plane[i]    = frame->data[i];
116             x4->pic.img.i_stride[i] = frame->linesize[i];
117         }
118
119         x4->pic.i_pts  = frame->pts;
120         x4->pic.i_type =
121             frame->pict_type == AV_PICTURE_TYPE_I ? X264_TYPE_KEYFRAME :
122             frame->pict_type == AV_PICTURE_TYPE_P ? X264_TYPE_P :
123             frame->pict_type == AV_PICTURE_TYPE_B ? X264_TYPE_B :
124                                             X264_TYPE_AUTO;
125         if (x4->params.b_tff != frame->top_field_first) {
126             x4->params.b_tff = frame->top_field_first;
127             x264_encoder_reconfig(x4->enc, &x4->params);
128         }
129     }
130
131     do {
132     if (x264_encoder_encode(x4->enc, &nal, &nnal, frame? &x4->pic: NULL, &pic_out) < 0)
133         return -1;
134
135     bufsize = encode_nals(ctx, buf, bufsize, nal, nnal, 0);
136     if (bufsize < 0)
137         return -1;
138     } while (!bufsize && !frame && x264_encoder_delayed_frames(x4->enc));
139
140     /* FIXME: libx264 now provides DTS, but AVFrame doesn't have a field for it. */
141     x4->out_pic.pts = pic_out.i_pts;
142
143     switch (pic_out.i_type) {
144     case X264_TYPE_IDR:
145     case X264_TYPE_I:
146         x4->out_pic.pict_type = AV_PICTURE_TYPE_I;
147         break;
148     case X264_TYPE_P:
149         x4->out_pic.pict_type = AV_PICTURE_TYPE_P;
150         break;
151     case X264_TYPE_B:
152     case X264_TYPE_BREF:
153         x4->out_pic.pict_type = AV_PICTURE_TYPE_B;
154         break;
155     }
156
157     x4->out_pic.key_frame = pic_out.b_keyframe;
158     if (bufsize)
159         x4->out_pic.quality = (pic_out.i_qpplus1 - 1) * FF_QP2LAMBDA;
160
161     return bufsize;
162 }
163
164 static av_cold int X264_close(AVCodecContext *avctx)
165 {
166     X264Context *x4 = avctx->priv_data;
167
168     av_freep(&avctx->extradata);
169     av_free(x4->sei);
170
171     if (x4->enc)
172         x264_encoder_close(x4->enc);
173
174     return 0;
175 }
176
177 static av_cold int X264_init(AVCodecContext *avctx)
178 {
179     X264Context *x4 = avctx->priv_data;
180
181     x4->sei_size = 0;
182     x264_param_default(&x4->params);
183
184     x4->params.i_keyint_max         = avctx->gop_size;
185
186     x4->params.i_bframe          = avctx->max_b_frames;
187     x4->params.b_cabac           = avctx->coder_type == FF_CODER_TYPE_AC;
188     x4->params.i_bframe_adaptive = avctx->b_frame_strategy;
189     x4->params.i_bframe_bias     = avctx->bframebias;
190     x4->params.i_bframe_pyramid  = avctx->flags2 & CODEC_FLAG2_BPYRAMID ? X264_B_PYRAMID_NORMAL : X264_B_PYRAMID_NONE;
191     avctx->has_b_frames          = avctx->flags2 & CODEC_FLAG2_BPYRAMID ? 2 : !!avctx->max_b_frames;
192
193     x4->params.i_keyint_min = avctx->keyint_min;
194     if (x4->params.i_keyint_min > x4->params.i_keyint_max)
195         x4->params.i_keyint_min = x4->params.i_keyint_max;
196
197     x4->params.i_scenecut_threshold        = avctx->scenechange_threshold;
198
199     x4->params.b_deblocking_filter         = avctx->flags & CODEC_FLAG_LOOP_FILTER;
200     x4->params.i_deblocking_filter_alphac0 = avctx->deblockalpha;
201     x4->params.i_deblocking_filter_beta    = avctx->deblockbeta;
202
203     x4->params.rc.i_qp_min                 = avctx->qmin;
204     x4->params.rc.i_qp_max                 = avctx->qmax;
205     x4->params.rc.i_qp_step                = avctx->max_qdiff;
206
207     x4->params.rc.f_qcompress       = avctx->qcompress; /* 0.0 => cbr, 1.0 => constant qp */
208     x4->params.rc.f_qblur           = avctx->qblur;     /* temporally blur quants */
209     x4->params.rc.f_complexity_blur = avctx->complexityblur;
210
211     x4->params.i_frame_reference    = avctx->refs;
212
213     x4->params.analyse.inter    = 0;
214     if (avctx->partitions) {
215         if (avctx->partitions & X264_PART_I4X4)
216             x4->params.analyse.inter |= X264_ANALYSE_I4x4;
217         if (avctx->partitions & X264_PART_I8X8)
218             x4->params.analyse.inter |= X264_ANALYSE_I8x8;
219         if (avctx->partitions & X264_PART_P8X8)
220             x4->params.analyse.inter |= X264_ANALYSE_PSUB16x16;
221         if (avctx->partitions & X264_PART_P4X4)
222             x4->params.analyse.inter |= X264_ANALYSE_PSUB8x8;
223         if (avctx->partitions & X264_PART_B8X8)
224             x4->params.analyse.inter |= X264_ANALYSE_BSUB16x16;
225     }
226
227     x4->params.analyse.i_direct_mv_pred  = avctx->directpred;
228
229     x4->params.analyse.b_weighted_bipred = avctx->flags2 & CODEC_FLAG2_WPRED;
230
231     if (avctx->me_method == ME_EPZS)
232         x4->params.analyse.i_me_method = X264_ME_DIA;
233     else if (avctx->me_method == ME_HEX)
234         x4->params.analyse.i_me_method = X264_ME_HEX;
235     else if (avctx->me_method == ME_UMH)
236         x4->params.analyse.i_me_method = X264_ME_UMH;
237     else if (avctx->me_method == ME_FULL)
238         x4->params.analyse.i_me_method = X264_ME_ESA;
239     else if (avctx->me_method == ME_TESA)
240         x4->params.analyse.i_me_method = X264_ME_TESA;
241     else x4->params.analyse.i_me_method = X264_ME_HEX;
242
243     x4->params.analyse.b_psy              = avctx->flags2 & CODEC_FLAG2_PSY;
244
245     x4->params.analyse.i_me_range         = avctx->me_range;
246     x4->params.analyse.i_subpel_refine    = avctx->me_subpel_quality;
247
248     x4->params.analyse.b_mixed_references = avctx->flags2 & CODEC_FLAG2_MIXED_REFS;
249     x4->params.analyse.b_chroma_me        = avctx->me_cmp & FF_CMP_CHROMA;
250     x4->params.analyse.b_transform_8x8    = avctx->flags2 & CODEC_FLAG2_8X8DCT;
251     x4->params.analyse.b_fast_pskip       = avctx->flags2 & CODEC_FLAG2_FASTPSKIP;
252
253     x4->params.analyse.i_trellis          = avctx->trellis;
254     x4->params.analyse.i_noise_reduction  = avctx->noise_reduction;
255
256     if (avctx->level > 0)
257         x4->params.i_level_idc = avctx->level;
258
259     if (x4->preset || x4->tune)
260         if (x264_param_default_preset(&x4->params, x4->preset, x4->tune) < 0) {
261             av_log(avctx, AV_LOG_ERROR, "Error setting preset/tune %s/%s.\n", x4->preset, x4->tune);
262             return AVERROR(EINVAL);
263         }
264
265     x4->params.pf_log               = X264_log;
266     x4->params.p_log_private        = avctx;
267     x4->params.i_log_level          = X264_LOG_DEBUG;
268
269     x4->params.b_intra_refresh      = avctx->flags2 & CODEC_FLAG2_INTRA_REFRESH;
270     if (avctx->bit_rate) {
271         x4->params.rc.i_bitrate   = avctx->bit_rate / 1000;
272         x4->params.rc.i_rc_method = X264_RC_ABR;
273     }
274     x4->params.rc.i_vbv_buffer_size = avctx->rc_buffer_size / 1000;
275     x4->params.rc.i_vbv_max_bitrate = avctx->rc_max_rate    / 1000;
276     x4->params.rc.b_stat_write      = avctx->flags & CODEC_FLAG_PASS1;
277     if (avctx->flags & CODEC_FLAG_PASS2) {
278         x4->params.rc.b_stat_read = 1;
279     } else {
280 #if FF_API_X264_GLOBAL_OPTS
281         if (avctx->crf) {
282             x4->params.rc.i_rc_method   = X264_RC_CRF;
283             x4->params.rc.f_rf_constant = avctx->crf;
284             x4->params.rc.f_rf_constant_max = avctx->crf_max;
285         } else if (avctx->cqp > -1) {
286             x4->params.rc.i_rc_method   = X264_RC_CQP;
287             x4->params.rc.i_qp_constant = avctx->cqp;
288         }
289 #endif
290
291         if (x4->crf >= 0) {
292             x4->params.rc.i_rc_method   = X264_RC_CRF;
293             x4->params.rc.f_rf_constant = x4->crf;
294         } else if (x4->cqp >= 0) {
295             x4->params.rc.i_rc_method   = X264_RC_CQP;
296             x4->params.rc.i_qp_constant = x4->cqp;
297         }
298
299         if (x4->crf_max >= 0)
300             x4->params.rc.f_rf_constant_max = x4->crf_max;
301     }
302
303     if (avctx->rc_buffer_size && avctx->rc_initial_buffer_occupancy &&
304         (avctx->rc_initial_buffer_occupancy <= avctx->rc_buffer_size)) {
305         x4->params.rc.f_vbv_buffer_init =
306             (float)avctx->rc_initial_buffer_occupancy / avctx->rc_buffer_size;
307     }
308
309     x4->params.rc.b_mb_tree               = !!(avctx->flags2 & CODEC_FLAG2_MBTREE);
310     x4->params.rc.f_ip_factor             = 1 / fabs(avctx->i_quant_factor);
311     x4->params.rc.f_pb_factor             = avctx->b_quant_factor;
312     x4->params.analyse.i_chroma_qp_offset = avctx->chromaoffset;
313
314 #if FF_API_X264_GLOBAL_OPTS
315     if (avctx->aq_mode >= 0)
316         x4->params.rc.i_aq_mode = avctx->aq_mode;
317     if (avctx->aq_strength >= 0)
318         x4->params.rc.f_aq_strength = avctx->aq_strength;
319     if (avctx->psy_rd >= 0)
320         x4->params.analyse.f_psy_rd           = avctx->psy_rd;
321     if (avctx->psy_trellis >= 0)
322         x4->params.analyse.f_psy_trellis      = avctx->psy_trellis;
323     if (avctx->rc_lookahead >= 0)
324         x4->params.rc.i_lookahead             = avctx->rc_lookahead;
325     if (avctx->weighted_p_pred >= 0)
326         x4->params.analyse.i_weighted_pred    = avctx->weighted_p_pred;
327     x4->params.analyse.b_ssim = avctx->flags2 & CODEC_FLAG2_SSIM;
328 #endif
329
330     if (x4->aq_mode >= 0)
331         x4->params.rc.i_aq_mode = x4->aq_mode;
332     if (x4->aq_strength >= 0)
333         x4->params.rc.f_aq_strength = x4->aq_strength;
334     if (x4->psy_rd && x264_param_parse(&x4->params, "psy-rd", x4->psy_rd) < 0) {
335         av_log(avctx, AV_LOG_ERROR, "Error parsing option 'psy-rd' with value '%s'.\n", x4->psy_rd);
336         return AVERROR(EINVAL);
337     }
338     if (x4->rc_lookahead >= 0)
339         x4->params.rc.i_lookahead = x4->rc_lookahead;
340     if (x4->weightp >= 0)
341         x4->params.analyse.i_weighted_pred = x4->weightp;
342
343     if (x4->ssim >= 0)
344         x4->params.analyse.b_ssim = x4->ssim;
345
346
347     if (x4->fastfirstpass)
348         x264_param_apply_fastfirstpass(&x4->params);
349
350     if (x4->profile)
351         if (x264_param_apply_profile(&x4->params, x4->profile) < 0) {
352             av_log(avctx, AV_LOG_ERROR, "Error setting profile %s.\n", x4->profile);
353             return AVERROR(EINVAL);
354         }
355
356     x4->params.i_width          = avctx->width;
357     x4->params.i_height         = avctx->height;
358     x4->params.vui.i_sar_width  = avctx->sample_aspect_ratio.num;
359     x4->params.vui.i_sar_height = avctx->sample_aspect_ratio.den;
360     x4->params.i_fps_num = x4->params.i_timebase_den = avctx->time_base.den;
361     x4->params.i_fps_den = x4->params.i_timebase_num = avctx->time_base.num;
362
363     x4->params.analyse.b_psnr = avctx->flags & CODEC_FLAG_PSNR;
364
365     x4->params.b_aud          = avctx->flags2 & CODEC_FLAG2_AUD;
366
367     x4->params.i_threads      = avctx->thread_count;
368
369     x4->params.b_interlaced   = avctx->flags & CODEC_FLAG_INTERLACED_DCT;
370
371     x4->params.b_open_gop     = !(avctx->flags & CODEC_FLAG_CLOSED_GOP);
372
373     x4->params.i_slice_count  = avctx->slices;
374
375     x4->params.vui.b_fullrange = avctx->pix_fmt == PIX_FMT_YUVJ420P;
376
377     if (avctx->flags & CODEC_FLAG_GLOBAL_HEADER)
378         x4->params.b_repeat_headers = 0;
379
380     // update AVCodecContext with x264 parameters
381     avctx->has_b_frames = x4->params.i_bframe ?
382         x4->params.i_bframe_pyramid ? 2 : 1 : 0;
383     avctx->bit_rate = x4->params.rc.i_bitrate*1000;
384 #if FF_API_X264_GLOBAL_OPTS
385     avctx->crf = x4->params.rc.f_rf_constant;
386 #endif
387
388     x4->enc = x264_encoder_open(&x4->params);
389     if (!x4->enc)
390         return -1;
391
392     avctx->coded_frame = &x4->out_pic;
393
394     if (avctx->flags & CODEC_FLAG_GLOBAL_HEADER) {
395         x264_nal_t *nal;
396         int nnal, s, i;
397
398         s = x264_encoder_headers(x4->enc, &nal, &nnal);
399
400         for (i = 0; i < nnal; i++)
401             if (nal[i].i_type == NAL_SEI)
402                 av_log(avctx, AV_LOG_INFO, "%s\n", nal[i].p_payload+25);
403
404         avctx->extradata      = av_malloc(s);
405         avctx->extradata_size = encode_nals(avctx, avctx->extradata, s, nal, nnal, 1);
406     }
407
408     return 0;
409 }
410
411 #define OFFSET(x) offsetof(X264Context, x)
412 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
413 static const AVOption options[] = {
414     { "preset",        "Set the encoding preset (cf. x264 --fullhelp)",   OFFSET(preset),        FF_OPT_TYPE_STRING, { .str = "medium" }, 0, 0, VE},
415     { "tune",          "Tune the encoding params (cf. x264 --fullhelp)",  OFFSET(tune),          FF_OPT_TYPE_STRING, { 0 }, 0, 0, VE},
416     { "profile",       "Set profile restrictions (cf. x264 --fullhelp) ", OFFSET(profile),       FF_OPT_TYPE_STRING, { 0 }, 0, 0, VE},
417     { "fastfirstpass", "Use fast settings when encoding first pass",      OFFSET(fastfirstpass), FF_OPT_TYPE_INT,    { 1 }, 0, 1, VE},
418     { "crf",           "Select the quality for constant quality mode",    OFFSET(crf),           FF_OPT_TYPE_FLOAT,  {-1 }, -1, FLT_MAX, VE },
419     { "crf_max",       "In CRF mode, prevents VBV from lowering quality beyond this point.",OFFSET(crf_max), FF_OPT_TYPE_FLOAT, {-1 }, -1, FLT_MAX, VE },
420     { "qp",            "Constant quantization parameter rate control method",OFFSET(cqp),        FF_OPT_TYPE_INT,    {-1 }, -1, INT_MAX, VE },
421     { "aq-mode",       "AQ method",                                       OFFSET(aq_mode),       FF_OPT_TYPE_INT,    {-1 }, -1, INT_MAX, VE, "aq_mode"},
422     { "none",          NULL,                              0, FF_OPT_TYPE_CONST, {X264_AQ_NONE},         INT_MIN, INT_MAX, VE, "aq_mode" },
423     { "variance",      "Variance AQ (complexity mask)",   0, FF_OPT_TYPE_CONST, {X264_AQ_VARIANCE},     INT_MIN, INT_MAX, VE, "aq_mode" },
424     { "autovariance",  "Auto-variance AQ (experimental)", 0, FF_OPT_TYPE_CONST, {X264_AQ_AUTOVARIANCE}, INT_MIN, INT_MAX, VE, "aq_mode" },
425     { "aq-strength",   "AQ strength. Reduces blocking and blurring in flat and textured areas.", OFFSET(aq_strength), FF_OPT_TYPE_FLOAT, {-1}, -1, FLT_MAX, VE},
426     { "psy-rd",        "Strength of psychovisual optimization, in <psy-rd>:<psy-trellis> format.", OFFSET(psy_rd), FF_OPT_TYPE_STRING,  {0 }, 0, 0, VE},
427     { "rc-lookahead",  "Number of frames to look ahead for frametype and ratecontrol", OFFSET(rc_lookahead), FF_OPT_TYPE_INT, {-1 }, -1, INT_MAX, VE },
428     { "weightp",       "Weighted prediction analysis method.",            OFFSET(weightp),       FF_OPT_TYPE_INT,    {-1 }, -1, INT_MAX, VE, "weightp" },
429     { "none",          NULL, 0, FF_OPT_TYPE_CONST, {X264_WEIGHTP_NONE},   INT_MIN, INT_MAX, VE, "weightp" },
430     { "simple",        NULL, 0, FF_OPT_TYPE_CONST, {X264_WEIGHTP_SIMPLE}, INT_MIN, INT_MAX, VE, "weightp" },
431     { "smart",         NULL, 0, FF_OPT_TYPE_CONST, {X264_WEIGHTP_SMART},  INT_MIN, INT_MAX, VE, "weightp" },
432     { "ssim",          "Calculate and print SSIM stats.",                 OFFSET(ssim),          FF_OPT_TYPE_INT,    {-1 }, -1, 1, VE },
433     { NULL },
434 };
435
436 static const AVClass class = {
437     .class_name = "libx264",
438     .item_name  = av_default_item_name,
439     .option     = options,
440     .version    = LIBAVUTIL_VERSION_INT,
441 };
442
443 static const AVCodecDefault x264_defaults[] = {
444     { "b",                "0" },
445     { NULL },
446 };
447
448 AVCodec ff_libx264_encoder = {
449     .name           = "libx264",
450     .type           = AVMEDIA_TYPE_VIDEO,
451     .id             = CODEC_ID_H264,
452     .priv_data_size = sizeof(X264Context),
453     .init           = X264_init,
454     .encode         = X264_frame,
455     .close          = X264_close,
456     .capabilities   = CODEC_CAP_DELAY,
457     .pix_fmts       = (const enum PixelFormat[]) { PIX_FMT_YUV420P, PIX_FMT_YUVJ420P, PIX_FMT_NONE },
458     .long_name      = NULL_IF_CONFIG_SMALL("libx264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"),
459     .priv_class     = &class,
460     .defaults       = x264_defaults,
461 };