lavfi: rename framesync2 to framesync.
[ffmpeg.git] / libavfilter / vf_lut2.c
1 /*
2  * Copyright (c) 2016 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/attributes.h"
22 #include "libavutil/common.h"
23 #include "libavutil/eval.h"
24 #include "libavutil/opt.h"
25 #include "libavutil/pixdesc.h"
26 #include "avfilter.h"
27 #include "drawutils.h"
28 #include "formats.h"
29 #include "internal.h"
30 #include "video.h"
31 #include "framesync.h"
32
33 static const char *const var_names[] = {
34     "w",        ///< width of the input video
35     "h",        ///< height of the input video
36     "x",        ///< input value for the pixel from input #1
37     "y",        ///< input value for the pixel from input #2
38     "bdx",      ///< input #1 video bitdepth
39     "bdy",      ///< input #2 video bitdepth
40     NULL
41 };
42
43 enum var_name {
44     VAR_W,
45     VAR_H,
46     VAR_X,
47     VAR_Y,
48     VAR_BITDEPTHX,
49     VAR_BITDEPTHY,
50     VAR_VARS_NB
51 };
52
53 typedef struct LUT2Context {
54     const AVClass *class;
55     FFFrameSync fs;
56
57     char   *comp_expr_str[4];
58
59     AVExpr *comp_expr[4];
60     double var_values[VAR_VARS_NB];
61     uint16_t *lut[4];  ///< lookup table for each component
62     int width[4], height[4];
63     int nb_planes;
64     int depth, depthx, depthy;
65     int tlut2;
66     AVFrame *prev_frame;        /* only used with tlut2 */
67
68     void (*lut2)(struct LUT2Context *s, AVFrame *dst, AVFrame *srcx, AVFrame *srcy);
69
70 } LUT2Context;
71
72 #define OFFSET(x) offsetof(LUT2Context, x)
73 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
74
75 static const AVOption options[] = {
76     { "c0", "set component #0 expression", OFFSET(comp_expr_str[0]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
77     { "c1", "set component #1 expression", OFFSET(comp_expr_str[1]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
78     { "c2", "set component #2 expression", OFFSET(comp_expr_str[2]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
79     { "c3", "set component #3 expression", OFFSET(comp_expr_str[3]),  AV_OPT_TYPE_STRING, { .str = "x" }, .flags = FLAGS },
80     { NULL }
81 };
82
83 static av_cold void uninit(AVFilterContext *ctx)
84 {
85     LUT2Context *s = ctx->priv;
86     int i;
87
88     ff_framesync_uninit(&s->fs);
89     av_frame_free(&s->prev_frame);
90
91     for (i = 0; i < 4; i++) {
92         av_expr_free(s->comp_expr[i]);
93         s->comp_expr[i] = NULL;
94         av_freep(&s->comp_expr_str[i]);
95         av_freep(&s->lut[i]);
96     }
97 }
98
99 static int query_formats(AVFilterContext *ctx)
100 {
101     static const enum AVPixelFormat pix_fmts[] = {
102         AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUV440P,
103         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ440P,
104         AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P,
105         AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ420P,
106         AV_PIX_FMT_YUVJ411P, AV_PIX_FMT_YUV411P, AV_PIX_FMT_YUV410P,
107         AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV444P9,
108         AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
109         AV_PIX_FMT_YUV420P12, AV_PIX_FMT_YUV422P12, AV_PIX_FMT_YUV444P12, AV_PIX_FMT_YUV440P12,
110         AV_PIX_FMT_YUVA420P9, AV_PIX_FMT_YUVA422P9, AV_PIX_FMT_YUVA444P9,
111         AV_PIX_FMT_YUVA420P10, AV_PIX_FMT_YUVA422P10, AV_PIX_FMT_YUVA444P10,
112         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10,
113         AV_PIX_FMT_GBRP12,
114         AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRAP10, AV_PIX_FMT_GBRAP12,
115         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY9, AV_PIX_FMT_GRAY10, AV_PIX_FMT_GRAY12,
116         AV_PIX_FMT_NONE
117     };
118
119     return ff_set_common_formats(ctx, ff_make_format_list(pix_fmts));
120 }
121
122 static int config_inputx(AVFilterLink *inlink)
123 {
124     AVFilterContext *ctx = inlink->dst;
125     LUT2Context *s = ctx->priv;
126     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
127     int hsub = desc->log2_chroma_w;
128     int vsub = desc->log2_chroma_h;
129
130     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
131     s->height[1] = s->height[2] = AV_CEIL_RSHIFT(inlink->h, vsub);
132     s->height[0] = s->height[3] = inlink->h;
133     s->width[1]  = s->width[2]  = AV_CEIL_RSHIFT(inlink->w, hsub);
134     s->width[0]  = s->width[3]  = inlink->w;
135
136     s->var_values[VAR_W] = inlink->w;
137     s->var_values[VAR_H] = inlink->h;
138     s->depthx = desc->comp[0].depth;
139     s->var_values[VAR_BITDEPTHX] = s->depthx;
140
141     if (s->tlut2) {
142         s->depthy = desc->comp[0].depth;
143         s->var_values[VAR_BITDEPTHY] = s->depthy;
144     }
145
146     return 0;
147 }
148
149 static int config_inputy(AVFilterLink *inlink)
150 {
151     AVFilterContext *ctx = inlink->dst;
152     LUT2Context *s = ctx->priv;
153     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
154
155     s->depthy = desc->comp[0].depth;
156     s->var_values[VAR_BITDEPTHY] = s->depthy;
157
158     return 0;
159 }
160
161 static void lut2_8bit(struct LUT2Context *s, AVFrame *out, AVFrame *srcx, AVFrame *srcy)
162 {
163     int p, y, x;
164
165     for (p = 0; p < s->nb_planes; p++) {
166         const uint16_t *lut = s->lut[p];
167         const uint8_t *srcxx, *srcyy;
168         uint8_t *dst;
169
170         dst   = out->data[p];
171         srcxx = srcx->data[p];
172         srcyy = srcy->data[p];
173
174         for (y = 0; y < s->height[p]; y++) {
175             for (x = 0; x < s->width[p]; x++) {
176                 dst[x] = lut[(srcyy[x] << s->depthx) | srcxx[x]];
177             }
178
179             dst   += out->linesize[p];
180             srcxx += srcx->linesize[p];
181             srcyy += srcy->linesize[p];
182         }
183     }
184 }
185
186 static void lut2_16bit(struct LUT2Context *s, AVFrame *out, AVFrame *srcx, AVFrame *srcy)
187 {
188     int p, y, x;
189
190     for (p = 0; p < s->nb_planes; p++) {
191         const uint16_t *lut = s->lut[p];
192         const uint16_t *srcxx, *srcyy;
193         uint16_t *dst;
194
195         dst   = (uint16_t *)out->data[p];
196         srcxx = (uint16_t *)srcx->data[p];
197         srcyy = (uint16_t *)srcy->data[p];
198
199         for (y = 0; y < s->height[p]; y++) {
200             for (x = 0; x < s->width[p]; x++) {
201                 dst[x] = lut[(srcyy[x] << s->depthx) | srcxx[x]];
202             }
203
204             dst   += out->linesize[p]  / 2;
205             srcxx += srcx->linesize[p] / 2;
206             srcyy += srcy->linesize[p] / 2;
207         }
208     }
209 }
210
211 static int process_frame(FFFrameSync *fs)
212 {
213     AVFilterContext *ctx = fs->parent;
214     LUT2Context *s = fs->opaque;
215     AVFilterLink *outlink = ctx->outputs[0];
216     AVFrame *out, *srcx = NULL, *srcy = NULL;
217     int ret;
218
219     if ((ret = ff_framesync_get_frame(&s->fs, 0, &srcx, 0)) < 0 ||
220         (ret = ff_framesync_get_frame(&s->fs, 1, &srcy, 0)) < 0)
221         return ret;
222
223     if (ctx->is_disabled || !srcy) {
224         out = av_frame_clone(srcx);
225         if (!out)
226             return AVERROR(ENOMEM);
227     } else {
228         out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
229         if (!out)
230             return AVERROR(ENOMEM);
231         av_frame_copy_props(out, srcx);
232
233         s->lut2(s, out, srcx, srcy);
234     }
235
236     out->pts = av_rescale_q(s->fs.pts, s->fs.time_base, outlink->time_base);
237
238     return ff_filter_frame(outlink, out);
239 }
240
241 static int config_output(AVFilterLink *outlink)
242 {
243     AVFilterContext *ctx = outlink->src;
244     LUT2Context *s = ctx->priv;
245     int p, ret;
246
247     s->depth = s->depthx + s->depthy;
248
249     s->lut2 = s->depth > 16 ? lut2_16bit : lut2_8bit;
250
251     for (p = 0; p < s->nb_planes; p++) {
252         s->lut[p] = av_malloc_array(1 << s->depth, sizeof(uint16_t));
253         if (!s->lut[p])
254             return AVERROR(ENOMEM);
255     }
256
257     for (p = 0; p < s->nb_planes; p++) {
258         double res;
259         int x, y;
260
261         /* create the parsed expression */
262         av_expr_free(s->comp_expr[p]);
263         s->comp_expr[p] = NULL;
264         ret = av_expr_parse(&s->comp_expr[p], s->comp_expr_str[p],
265                             var_names, NULL, NULL, NULL, NULL, 0, ctx);
266         if (ret < 0) {
267             av_log(ctx, AV_LOG_ERROR,
268                    "Error when parsing the expression '%s' for the component %d.\n",
269                    s->comp_expr_str[p], p);
270             return AVERROR(EINVAL);
271         }
272
273         /* compute the lut */
274         for (y = 0; y < (1 << s->depthx); y++) {
275             s->var_values[VAR_Y] = y;
276             for (x = 0; x < (1 << s->depthx); x++) {
277                 s->var_values[VAR_X] = x;
278                 res = av_expr_eval(s->comp_expr[p], s->var_values, s);
279                 if (isnan(res)) {
280                     av_log(ctx, AV_LOG_ERROR,
281                            "Error when evaluating the expression '%s' for the values %d and %d for the component %d.\n",
282                            s->comp_expr_str[p], x, y, p);
283                     return AVERROR(EINVAL);
284                 }
285
286                 s->lut[p][(y << s->depthx) + x] = res;
287             }
288         }
289     }
290
291     return 0;
292 }
293
294 static int lut2_config_output(AVFilterLink *outlink)
295 {
296     AVFilterContext *ctx = outlink->src;
297     LUT2Context *s = ctx->priv;
298     AVFilterLink *srcx = ctx->inputs[0];
299     AVFilterLink *srcy = ctx->inputs[1];
300     FFFrameSyncIn *in;
301     int ret;
302
303     if (srcx->format != srcy->format) {
304         av_log(ctx, AV_LOG_ERROR, "inputs must be of same pixel format\n");
305         return AVERROR(EINVAL);
306     }
307     if (srcx->w                       != srcy->w ||
308         srcx->h                       != srcy->h ||
309         srcx->sample_aspect_ratio.num != srcy->sample_aspect_ratio.num ||
310         srcx->sample_aspect_ratio.den != srcy->sample_aspect_ratio.den) {
311         av_log(ctx, AV_LOG_ERROR, "First input link %s parameters "
312                "(size %dx%d, SAR %d:%d) do not match the corresponding "
313                "second input link %s parameters (%dx%d, SAR %d:%d)\n",
314                ctx->input_pads[0].name, srcx->w, srcx->h,
315                srcx->sample_aspect_ratio.num,
316                srcx->sample_aspect_ratio.den,
317                ctx->input_pads[1].name,
318                srcy->w, srcy->h,
319                srcy->sample_aspect_ratio.num,
320                srcy->sample_aspect_ratio.den);
321         return AVERROR(EINVAL);
322     }
323
324     outlink->w = srcx->w;
325     outlink->h = srcx->h;
326     outlink->time_base = srcx->time_base;
327     outlink->sample_aspect_ratio = srcx->sample_aspect_ratio;
328     outlink->frame_rate = srcx->frame_rate;
329
330     if ((ret = ff_framesync_init(&s->fs, ctx, 2)) < 0)
331         return ret;
332
333     in = s->fs.in;
334     in[0].time_base = srcx->time_base;
335     in[1].time_base = srcy->time_base;
336     in[0].sync   = 2;
337     in[0].before = EXT_STOP;
338     in[0].after  = EXT_INFINITY;
339     in[1].sync   = 1;
340     in[1].before = EXT_STOP;
341     in[1].after  = EXT_INFINITY;
342     s->fs.opaque   = s;
343     s->fs.on_event = process_frame;
344
345     if ((ret = config_output(outlink)) < 0)
346         return ret;
347
348     return ff_framesync_configure(&s->fs);
349 }
350
351 static int activate(AVFilterContext *ctx)
352 {
353     LUT2Context *s = ctx->priv;
354     return ff_framesync_activate(&s->fs);
355 }
356
357 static const AVFilterPad inputs[] = {
358     {
359         .name         = "srcx",
360         .type         = AVMEDIA_TYPE_VIDEO,
361         .config_props = config_inputx,
362     },
363     {
364         .name         = "srcy",
365         .type         = AVMEDIA_TYPE_VIDEO,
366         .config_props = config_inputy,
367     },
368     { NULL }
369 };
370
371 static const AVFilterPad outputs[] = {
372     {
373         .name          = "default",
374         .type          = AVMEDIA_TYPE_VIDEO,
375         .config_props  = lut2_config_output,
376     },
377     { NULL }
378 };
379
380 #define lut2_options options
381
382 FRAMESYNC_DEFINE_CLASS(lut2, LUT2Context, fs);
383
384 AVFilter ff_vf_lut2 = {
385     .name          = "lut2",
386     .description   = NULL_IF_CONFIG_SMALL("Compute and apply a lookup table from two video inputs."),
387     .preinit       = lut2_framesync_preinit,
388     .priv_size     = sizeof(LUT2Context),
389     .priv_class    = &lut2_class,
390     .uninit        = uninit,
391     .query_formats = query_formats,
392     .activate      = activate,
393     .inputs        = inputs,
394     .outputs       = outputs,
395     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL,
396 };
397
398 #if CONFIG_TLUT2_FILTER
399
400 static av_cold int init(AVFilterContext *ctx)
401 {
402     LUT2Context *s = ctx->priv;
403
404     s->tlut2 = !strcmp(ctx->filter->name, "tlut2");
405
406     return 0;
407 }
408
409 static int tlut2_filter_frame(AVFilterLink *inlink, AVFrame *frame)
410 {
411     LUT2Context *s = inlink->dst->priv;
412     AVFilterLink *outlink = inlink->dst->outputs[0];
413
414     if (s->prev_frame) {
415         AVFrame *out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
416         if (!out) {
417             av_frame_free(&s->prev_frame);
418             s->prev_frame = frame;
419             return AVERROR(ENOMEM);
420         }
421         av_frame_copy_props(out, frame);
422         s->lut2(s, out, frame, s->prev_frame);
423         av_frame_free(&s->prev_frame);
424         s->prev_frame = frame;
425         return ff_filter_frame(outlink, out);
426     }
427     s->prev_frame = frame;
428     return 0;
429 }
430
431 #define tlut2_options options
432
433 AVFILTER_DEFINE_CLASS(tlut2);
434
435 static const AVFilterPad tlut2_inputs[] = {
436     {
437         .name          = "default",
438         .type          = AVMEDIA_TYPE_VIDEO,
439         .filter_frame  = tlut2_filter_frame,
440         .config_props  = config_inputx,
441     },
442     { NULL }
443 };
444
445 static const AVFilterPad tlut2_outputs[] = {
446     {
447         .name          = "default",
448         .type          = AVMEDIA_TYPE_VIDEO,
449         .config_props  = config_output,
450     },
451     { NULL }
452 };
453
454 AVFilter ff_vf_tlut2 = {
455     .name          = "tlut2",
456     .description   = NULL_IF_CONFIG_SMALL("Compute and apply a lookup table from two successive frames."),
457     .priv_size     = sizeof(LUT2Context),
458     .priv_class    = &tlut2_class,
459     .query_formats = query_formats,
460     .init          = init,
461     .uninit        = uninit,
462     .inputs        = tlut2_inputs,
463     .outputs       = tlut2_outputs,
464 };
465
466 #endif