aarch64: vp8: Fix assembling with clang
[ffmpeg.git] / libavcodec / libx265.c
1 /*
2  * libx265 encoder
3  *
4  * Copyright (c) 2013-2014 Derek Buitenhuis
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #if defined(_MSC_VER)
24 #define X265_API_IMPORTS 1
25 #endif
26
27 #include <x265.h>
28 #include <float.h>
29
30 #include "libavutil/internal.h"
31 #include "libavutil/common.h"
32 #include "libavutil/opt.h"
33 #include "libavutil/pixdesc.h"
34 #include "avcodec.h"
35 #include "internal.h"
36
37 typedef struct libx265Context {
38     const AVClass *class;
39
40     x265_encoder *encoder;
41     x265_param   *params;
42     const x265_api *api;
43
44     float crf;
45     int   forced_idr;
46     char *preset;
47     char *tune;
48     char *profile;
49     char *x265_opts;
50 } libx265Context;
51
52 static int is_keyframe(NalUnitType naltype)
53 {
54     switch (naltype) {
55     case NAL_UNIT_CODED_SLICE_BLA_W_LP:
56     case NAL_UNIT_CODED_SLICE_BLA_W_RADL:
57     case NAL_UNIT_CODED_SLICE_BLA_N_LP:
58     case NAL_UNIT_CODED_SLICE_IDR_W_RADL:
59     case NAL_UNIT_CODED_SLICE_IDR_N_LP:
60     case NAL_UNIT_CODED_SLICE_CRA:
61         return 1;
62     default:
63         return 0;
64     }
65 }
66
67 static av_cold int libx265_encode_close(AVCodecContext *avctx)
68 {
69     libx265Context *ctx = avctx->priv_data;
70
71     ctx->api->param_free(ctx->params);
72
73     if (ctx->encoder)
74         ctx->api->encoder_close(ctx->encoder);
75
76     return 0;
77 }
78
79 static av_cold int libx265_encode_init(AVCodecContext *avctx)
80 {
81     libx265Context *ctx = avctx->priv_data;
82
83     ctx->api = x265_api_get(av_pix_fmt_desc_get(avctx->pix_fmt)->comp[0].depth);
84     if (!ctx->api)
85         ctx->api = x265_api_get(0);
86
87     ctx->params = ctx->api->param_alloc();
88     if (!ctx->params) {
89         av_log(avctx, AV_LOG_ERROR, "Could not allocate x265 param structure.\n");
90         return AVERROR(ENOMEM);
91     }
92
93     if (ctx->api->param_default_preset(ctx->params, ctx->preset, ctx->tune) < 0) {
94         int i;
95
96         av_log(avctx, AV_LOG_ERROR, "Error setting preset/tune %s/%s.\n", ctx->preset, ctx->tune);
97         av_log(avctx, AV_LOG_INFO, "Possible presets:");
98         for (i = 0; x265_preset_names[i]; i++)
99             av_log(avctx, AV_LOG_INFO, " %s", x265_preset_names[i]);
100
101         av_log(avctx, AV_LOG_INFO, "\n");
102         av_log(avctx, AV_LOG_INFO, "Possible tunes:");
103         for (i = 0; x265_tune_names[i]; i++)
104             av_log(avctx, AV_LOG_INFO, " %s", x265_tune_names[i]);
105
106         av_log(avctx, AV_LOG_INFO, "\n");
107
108         return AVERROR(EINVAL);
109     }
110
111     ctx->params->frameNumThreads = avctx->thread_count;
112     ctx->params->fpsNum          = avctx->time_base.den;
113     ctx->params->fpsDenom        = avctx->time_base.num * avctx->ticks_per_frame;
114     ctx->params->sourceWidth     = avctx->width;
115     ctx->params->sourceHeight    = avctx->height;
116     ctx->params->bEnablePsnr     = !!(avctx->flags & AV_CODEC_FLAG_PSNR);
117     ctx->params->bOpenGOP        = !(avctx->flags & AV_CODEC_FLAG_CLOSED_GOP);
118
119     /* Tune the CTU size based on input resolution. */
120     if (ctx->params->sourceWidth < 64 || ctx->params->sourceHeight < 64)
121         ctx->params->maxCUSize = 32;
122     if (ctx->params->sourceWidth < 32 || ctx->params->sourceHeight < 32)
123         ctx->params->maxCUSize = 16;
124     if (ctx->params->sourceWidth < 16 || ctx->params->sourceHeight < 16) {
125         av_log(avctx, AV_LOG_ERROR, "Image size is too small (%dx%d).\n",
126                ctx->params->sourceWidth, ctx->params->sourceHeight);
127         return AVERROR(EINVAL);
128     }
129
130     if ((avctx->color_primaries <= AVCOL_PRI_SMPTE432 &&
131          avctx->color_primaries != AVCOL_PRI_UNSPECIFIED) ||
132         (avctx->color_trc <= AVCOL_TRC_ARIB_STD_B67 &&
133          avctx->color_trc != AVCOL_TRC_UNSPECIFIED) ||
134         (avctx->colorspace <= AVCOL_SPC_ICTCP &&
135          avctx->colorspace != AVCOL_SPC_UNSPECIFIED)) {
136
137         ctx->params->vui.bEnableVideoSignalTypePresentFlag  = 1;
138         ctx->params->vui.bEnableColorDescriptionPresentFlag = 1;
139
140         // x265 validates the parameters internally
141         ctx->params->vui.colorPrimaries          = avctx->color_primaries;
142         ctx->params->vui.transferCharacteristics = avctx->color_trc;
143         ctx->params->vui.matrixCoeffs            = avctx->colorspace;
144     }
145
146     if (avctx->sample_aspect_ratio.num > 0 && avctx->sample_aspect_ratio.den > 0) {
147         char sar[12];
148         int sar_num, sar_den;
149
150         av_reduce(&sar_num, &sar_den,
151                   avctx->sample_aspect_ratio.num,
152                   avctx->sample_aspect_ratio.den, 65535);
153         snprintf(sar, sizeof(sar), "%d:%d", sar_num, sar_den);
154         if (ctx->api->param_parse(ctx->params, "sar", sar) == X265_PARAM_BAD_VALUE) {
155             av_log(avctx, AV_LOG_ERROR, "Invalid SAR: %d:%d.\n", sar_num, sar_den);
156             return AVERROR_INVALIDDATA;
157         }
158     }
159
160     switch (avctx->pix_fmt) {
161     case AV_PIX_FMT_YUV420P:
162     case AV_PIX_FMT_YUV420P10:
163     case AV_PIX_FMT_YUV420P12:
164         ctx->params->internalCsp = X265_CSP_I420;
165         break;
166     case AV_PIX_FMT_YUV422P:
167     case AV_PIX_FMT_YUV422P10:
168     case AV_PIX_FMT_YUV422P12:
169         ctx->params->internalCsp = X265_CSP_I422;
170         break;
171     case AV_PIX_FMT_GBRP:
172     case AV_PIX_FMT_GBRP10:
173     case AV_PIX_FMT_GBRP12:
174         ctx->params->vui.matrixCoeffs = AVCOL_SPC_RGB;
175         ctx->params->vui.bEnableVideoSignalTypePresentFlag  = 1;
176         ctx->params->vui.bEnableColorDescriptionPresentFlag = 1;
177     case AV_PIX_FMT_YUV444P:
178     case AV_PIX_FMT_YUV444P10:
179     case AV_PIX_FMT_YUV444P12:
180         ctx->params->internalCsp = X265_CSP_I444;
181         break;
182     case AV_PIX_FMT_GRAY8:
183     case AV_PIX_FMT_GRAY10:
184     case AV_PIX_FMT_GRAY12:
185         if (ctx->api->api_build_number < 85) {
186             av_log(avctx, AV_LOG_ERROR,
187                    "libx265 version is %d, must be at least 85 for gray encoding.\n",
188                    ctx->api->api_build_number);
189             return AVERROR_INVALIDDATA;
190         }
191         ctx->params->internalCsp = X265_CSP_I400;
192         break;
193     }
194
195     if (ctx->crf >= 0) {
196         char crf[6];
197
198         snprintf(crf, sizeof(crf), "%2.2f", ctx->crf);
199         if (ctx->api->param_parse(ctx->params, "crf", crf) == X265_PARAM_BAD_VALUE) {
200             av_log(avctx, AV_LOG_ERROR, "Invalid crf: %2.2f.\n", ctx->crf);
201             return AVERROR(EINVAL);
202         }
203     } else if (avctx->bit_rate > 0) {
204         ctx->params->rc.bitrate         = avctx->bit_rate / 1000;
205         ctx->params->rc.rateControlMode = X265_RC_ABR;
206     }
207
208     ctx->params->rc.vbvBufferSize = avctx->rc_buffer_size / 1000;
209     ctx->params->rc.vbvMaxBitrate = avctx->rc_max_rate    / 1000;
210
211     if (!(avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER))
212         ctx->params->bRepeatHeaders = 1;
213
214     if (ctx->x265_opts) {
215         AVDictionary *dict    = NULL;
216         AVDictionaryEntry *en = NULL;
217
218         if (!av_dict_parse_string(&dict, ctx->x265_opts, "=", ":", 0)) {
219             while ((en = av_dict_get(dict, "", en, AV_DICT_IGNORE_SUFFIX))) {
220                 int parse_ret = ctx->api->param_parse(ctx->params, en->key, en->value);
221
222                 switch (parse_ret) {
223                 case X265_PARAM_BAD_NAME:
224                     av_log(avctx, AV_LOG_WARNING,
225                           "Unknown option: %s.\n", en->key);
226                     break;
227                 case X265_PARAM_BAD_VALUE:
228                     av_log(avctx, AV_LOG_WARNING,
229                           "Invalid value for %s: %s.\n", en->key, en->value);
230                     break;
231                 default:
232                     break;
233                 }
234             }
235             av_dict_free(&dict);
236         }
237     }
238
239     if (ctx->params->rc.vbvBufferSize && avctx->rc_initial_buffer_occupancy > 1000 &&
240         ctx->params->rc.vbvBufferInit == 0.9) {
241         ctx->params->rc.vbvBufferInit = (float)avctx->rc_initial_buffer_occupancy / 1000;
242     }
243
244     if (ctx->profile) {
245         if (ctx->api->param_apply_profile(ctx->params, ctx->profile) < 0) {
246             int i;
247             av_log(avctx, AV_LOG_ERROR, "Invalid or incompatible profile set: %s.\n", ctx->profile);
248             av_log(avctx, AV_LOG_INFO, "Possible profiles:");
249             for (i = 0; x265_profile_names[i]; i++)
250                 av_log(avctx, AV_LOG_INFO, " %s", x265_profile_names[i]);
251             av_log(avctx, AV_LOG_INFO, "\n");
252             return AVERROR(EINVAL);
253         }
254     }
255
256     ctx->encoder = ctx->api->encoder_open(ctx->params);
257     if (!ctx->encoder) {
258         av_log(avctx, AV_LOG_ERROR, "Cannot open libx265 encoder.\n");
259         libx265_encode_close(avctx);
260         return AVERROR_INVALIDDATA;
261     }
262
263     if (avctx->flags & AV_CODEC_FLAG_GLOBAL_HEADER) {
264         x265_nal *nal;
265         int nnal;
266
267         avctx->extradata_size = ctx->api->encoder_headers(ctx->encoder, &nal, &nnal);
268         if (avctx->extradata_size <= 0) {
269             av_log(avctx, AV_LOG_ERROR, "Cannot encode headers.\n");
270             libx265_encode_close(avctx);
271             return AVERROR_INVALIDDATA;
272         }
273
274         avctx->extradata = av_malloc(avctx->extradata_size + AV_INPUT_BUFFER_PADDING_SIZE);
275         if (!avctx->extradata) {
276             av_log(avctx, AV_LOG_ERROR,
277                    "Cannot allocate HEVC header of size %d.\n", avctx->extradata_size);
278             libx265_encode_close(avctx);
279             return AVERROR(ENOMEM);
280         }
281
282         memcpy(avctx->extradata, nal[0].payload, avctx->extradata_size);
283     }
284
285     return 0;
286 }
287
288 static av_cold int libx265_encode_set_roi(libx265Context *ctx, const AVFrame *frame, x265_picture* pic)
289 {
290     AVFrameSideData *sd = av_frame_get_side_data(frame, AV_FRAME_DATA_REGIONS_OF_INTEREST);
291     if (sd) {
292         if (ctx->params->rc.aqMode == X265_AQ_NONE) {
293             av_log(ctx, AV_LOG_WARNING, "Adaptive quantization must be enabled to use ROI encoding, skipping ROI.\n");
294         } else {
295             /* 8x8 block when qg-size is 8, 16*16 block otherwise. */
296             int mb_size = (ctx->params->rc.qgSize == 8) ? 8 : 16;
297             int mbx = (frame->width + mb_size - 1) / mb_size;
298             int mby = (frame->height + mb_size - 1) / mb_size;
299             int nb_rois;
300             AVRegionOfInterest *roi;
301             float *qoffsets;         /* will be freed after encode is called. */
302             qoffsets = av_mallocz_array(mbx * mby, sizeof(*qoffsets));
303             if (!qoffsets)
304                 return AVERROR(ENOMEM);
305
306             nb_rois = sd->size / sizeof(AVRegionOfInterest);
307             roi = (AVRegionOfInterest*)sd->data;
308             for (int count = 0; count < nb_rois; count++) {
309                 int starty = FFMIN(mby, roi->top / mb_size);
310                 int endy   = FFMIN(mby, (roi->bottom + mb_size - 1)/ mb_size);
311                 int startx = FFMIN(mbx, roi->left / mb_size);
312                 int endx   = FFMIN(mbx, (roi->right + mb_size - 1)/ mb_size);
313                 float qoffset;
314
315                 if (roi->self_size == 0) {
316                     av_free(qoffsets);
317                     av_log(ctx, AV_LOG_ERROR, "AVRegionOfInterest.self_size must be set to sizeof(AVRegionOfInterest).\n");
318                     return AVERROR(EINVAL);
319                 }
320
321                 if (roi->qoffset.den == 0) {
322                     av_free(qoffsets);
323                     av_log(ctx, AV_LOG_ERROR, "AVRegionOfInterest.qoffset.den must not be zero.\n");
324                     return AVERROR(EINVAL);
325                 }
326                 qoffset = roi->qoffset.num * 1.0f / roi->qoffset.den;
327                 qoffset = av_clipf(qoffset, -1.0f, 1.0f);
328
329                 /* qp range of x265 is from 0 to 51, just choose 25 as the scale value,
330                  * so the range of final qoffset is [-25.0, 25.0].
331                  */
332                 qoffset = qoffset * 25;
333
334                 for (int y = starty; y < endy; y++)
335                     for (int x = startx; x < endx; x++)
336                         qoffsets[x + y*mbx] = qoffset;
337
338                 roi = (AVRegionOfInterest*)((char*)roi + roi->self_size);
339             }
340
341             pic->quantOffsets = qoffsets;
342         }
343     }
344     return 0;
345 }
346
347 static int libx265_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
348                                 const AVFrame *pic, int *got_packet)
349 {
350     libx265Context *ctx = avctx->priv_data;
351     x265_picture x265pic;
352     x265_picture x265pic_out = { 0 };
353     x265_nal *nal;
354     uint8_t *dst;
355     int payload = 0;
356     int nnal;
357     int ret;
358     int i;
359
360     ctx->api->picture_init(ctx->params, &x265pic);
361
362     if (pic) {
363         for (i = 0; i < 3; i++) {
364            x265pic.planes[i] = pic->data[i];
365            x265pic.stride[i] = pic->linesize[i];
366         }
367
368         x265pic.pts      = pic->pts;
369         x265pic.bitDepth = av_pix_fmt_desc_get(avctx->pix_fmt)->comp[0].depth;
370
371         x265pic.sliceType = pic->pict_type == AV_PICTURE_TYPE_I ?
372                                               (ctx->forced_idr ? X265_TYPE_IDR : X265_TYPE_I) :
373                             pic->pict_type == AV_PICTURE_TYPE_P ? X265_TYPE_P :
374                             pic->pict_type == AV_PICTURE_TYPE_B ? X265_TYPE_B :
375                             X265_TYPE_AUTO;
376
377         ret = libx265_encode_set_roi(ctx, pic, &x265pic);
378         if (ret < 0)
379             return ret;
380     }
381
382     ret = ctx->api->encoder_encode(ctx->encoder, &nal, &nnal,
383                                    pic ? &x265pic : NULL, &x265pic_out);
384
385     av_freep(&x265pic.quantOffsets);
386
387     if (ret < 0)
388         return AVERROR_EXTERNAL;
389
390     if (!nnal)
391         return 0;
392
393     for (i = 0; i < nnal; i++)
394         payload += nal[i].sizeBytes;
395
396     ret = ff_alloc_packet2(avctx, pkt, payload, payload);
397     if (ret < 0) {
398         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
399         return ret;
400     }
401     dst = pkt->data;
402
403     for (i = 0; i < nnal; i++) {
404         memcpy(dst, nal[i].payload, nal[i].sizeBytes);
405         dst += nal[i].sizeBytes;
406
407         if (is_keyframe(nal[i].type))
408             pkt->flags |= AV_PKT_FLAG_KEY;
409     }
410
411     pkt->pts = x265pic_out.pts;
412     pkt->dts = x265pic_out.dts;
413
414 #if FF_API_CODED_FRAME
415 FF_DISABLE_DEPRECATION_WARNINGS
416     switch (x265pic_out.sliceType) {
417     case X265_TYPE_IDR:
418     case X265_TYPE_I:
419         avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
420         break;
421     case X265_TYPE_P:
422         avctx->coded_frame->pict_type = AV_PICTURE_TYPE_P;
423         break;
424     case X265_TYPE_B:
425         avctx->coded_frame->pict_type = AV_PICTURE_TYPE_B;
426         break;
427     }
428 FF_ENABLE_DEPRECATION_WARNINGS
429 #endif
430
431 #if X265_BUILD >= 130
432     if (x265pic_out.sliceType == X265_TYPE_B)
433 #else
434     if (x265pic_out.frameData.sliceType == 'b')
435 #endif
436         pkt->flags |= AV_PKT_FLAG_DISPOSABLE;
437
438     *got_packet = 1;
439     return 0;
440 }
441
442 static const enum AVPixelFormat x265_csp_eight[] = {
443     AV_PIX_FMT_YUV420P,
444     AV_PIX_FMT_YUV422P,
445     AV_PIX_FMT_YUV444P,
446     AV_PIX_FMT_GBRP,
447     AV_PIX_FMT_GRAY8,
448     AV_PIX_FMT_NONE
449 };
450
451 static const enum AVPixelFormat x265_csp_ten[] = {
452     AV_PIX_FMT_YUV420P,
453     AV_PIX_FMT_YUV422P,
454     AV_PIX_FMT_YUV444P,
455     AV_PIX_FMT_GBRP,
456     AV_PIX_FMT_YUV420P10,
457     AV_PIX_FMT_YUV422P10,
458     AV_PIX_FMT_YUV444P10,
459     AV_PIX_FMT_GBRP10,
460     AV_PIX_FMT_GRAY8,
461     AV_PIX_FMT_GRAY10,
462     AV_PIX_FMT_NONE
463 };
464
465 static const enum AVPixelFormat x265_csp_twelve[] = {
466     AV_PIX_FMT_YUV420P,
467     AV_PIX_FMT_YUV422P,
468     AV_PIX_FMT_YUV444P,
469     AV_PIX_FMT_GBRP,
470     AV_PIX_FMT_YUV420P10,
471     AV_PIX_FMT_YUV422P10,
472     AV_PIX_FMT_YUV444P10,
473     AV_PIX_FMT_GBRP10,
474     AV_PIX_FMT_YUV420P12,
475     AV_PIX_FMT_YUV422P12,
476     AV_PIX_FMT_YUV444P12,
477     AV_PIX_FMT_GBRP12,
478     AV_PIX_FMT_GRAY8,
479     AV_PIX_FMT_GRAY10,
480     AV_PIX_FMT_GRAY12,
481     AV_PIX_FMT_NONE
482 };
483
484 static av_cold void libx265_encode_init_csp(AVCodec *codec)
485 {
486     if (x265_api_get(12))
487         codec->pix_fmts = x265_csp_twelve;
488     else if (x265_api_get(10))
489         codec->pix_fmts = x265_csp_ten;
490     else if (x265_api_get(8))
491         codec->pix_fmts = x265_csp_eight;
492 }
493
494 #define OFFSET(x) offsetof(libx265Context, x)
495 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
496 static const AVOption options[] = {
497     { "crf",         "set the x265 crf",                                                            OFFSET(crf),       AV_OPT_TYPE_FLOAT,  { .dbl = -1 }, -1, FLT_MAX, VE },
498     { "forced-idr",  "if forcing keyframes, force them as IDR frames",                              OFFSET(forced_idr),AV_OPT_TYPE_BOOL,   { .i64 =  0 },  0,       1, VE },
499     { "preset",      "set the x265 preset",                                                         OFFSET(preset),    AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
500     { "tune",        "set the x265 tune parameter",                                                 OFFSET(tune),      AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
501     { "profile",     "set the x265 profile",                                                        OFFSET(profile),   AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
502     { "x265-params", "set the x265 configuration using a :-separated list of key=value parameters", OFFSET(x265_opts), AV_OPT_TYPE_STRING, { 0 }, 0, 0, VE },
503     { NULL }
504 };
505
506 static const AVClass class = {
507     .class_name = "libx265",
508     .item_name  = av_default_item_name,
509     .option     = options,
510     .version    = LIBAVUTIL_VERSION_INT,
511 };
512
513 static const AVCodecDefault x265_defaults[] = {
514     { "b", "0" },
515     { NULL },
516 };
517
518 AVCodec ff_libx265_encoder = {
519     .name             = "libx265",
520     .long_name        = NULL_IF_CONFIG_SMALL("libx265 H.265 / HEVC"),
521     .type             = AVMEDIA_TYPE_VIDEO,
522     .id               = AV_CODEC_ID_HEVC,
523     .init             = libx265_encode_init,
524     .init_static_data = libx265_encode_init_csp,
525     .encode2          = libx265_encode_frame,
526     .close            = libx265_encode_close,
527     .priv_data_size   = sizeof(libx265Context),
528     .priv_class       = &class,
529     .defaults         = x265_defaults,
530     .capabilities     = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS,
531     .wrapper_name     = "libx265",
532 };