avfilter: add fftdnoiz filter
[ffmpeg.git] / libavfilter / vf_remap.c
1 /*
2  * Copyright (c) 2016 Floris Sluiter
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * Pixel remap filter
24  * This filter copies pixel by pixel a source frame to a target frame.
25  * It remaps the pixels to a new x,y destination based on two files ymap/xmap.
26  * Map files are passed as a parameter and are in PGM format (P2 or P5),
27  * where the values are y(rows)/x(cols) coordinates of the source_frame.
28  * The *target* frame dimension is based on mapfile dimensions: specified in the
29  * header of the mapfile and reflected in the number of datavalues.
30  * Dimensions of ymap and xmap must be equal. Datavalues must be positive or zero.
31  * Any datavalue in the ymap or xmap which value is higher
32  * then the *source* frame height or width is silently ignored, leaving a
33  * blank/chromakey pixel. This can safely be used as a feature to create overlays.
34  *
35  * Algorithm digest:
36  * Target_frame[y][x] = Source_frame[ ymap[y][x] ][ [xmap[y][x] ];
37  */
38
39 #include "libavutil/imgutils.h"
40 #include "libavutil/pixdesc.h"
41 #include "libavutil/opt.h"
42 #include "avfilter.h"
43 #include "formats.h"
44 #include "framesync.h"
45 #include "internal.h"
46 #include "video.h"
47
48 typedef struct RemapContext {
49     const AVClass *class;
50     int nb_planes;
51     int nb_components;
52     int step;
53     FFFrameSync fs;
54
55     void (*remap)(struct RemapContext *s, const AVFrame *in,
56                   const AVFrame *xin, const AVFrame *yin,
57                   AVFrame *out);
58 } RemapContext;
59
60 #define OFFSET(x) offsetof(RemapContext, x)
61 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
62
63 static const AVOption remap_options[] = {
64     { NULL }
65 };
66
67 AVFILTER_DEFINE_CLASS(remap);
68
69 static int query_formats(AVFilterContext *ctx)
70 {
71     static const enum AVPixelFormat pix_fmts[] = {
72         AV_PIX_FMT_YUVA444P,
73         AV_PIX_FMT_YUV444P,
74         AV_PIX_FMT_YUVJ444P,
75         AV_PIX_FMT_RGB24, AV_PIX_FMT_BGR24,
76         AV_PIX_FMT_ARGB, AV_PIX_FMT_ABGR, AV_PIX_FMT_RGBA, AV_PIX_FMT_BGRA,
77         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP,
78         AV_PIX_FMT_YUV444P9, AV_PIX_FMT_YUV444P10, AV_PIX_FMT_YUV444P12,
79         AV_PIX_FMT_YUV444P14, AV_PIX_FMT_YUV444P16,
80         AV_PIX_FMT_YUVA444P9, AV_PIX_FMT_YUVA444P10, AV_PIX_FMT_YUVA444P16,
81         AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10, AV_PIX_FMT_GBRP12,
82         AV_PIX_FMT_GBRP14, AV_PIX_FMT_GBRP16,
83         AV_PIX_FMT_GBRAP10, AV_PIX_FMT_GBRAP12, AV_PIX_FMT_GBRAP16,
84         AV_PIX_FMT_RGB48, AV_PIX_FMT_BGR48,
85         AV_PIX_FMT_RGBA64, AV_PIX_FMT_BGRA64,
86         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY9,
87         AV_PIX_FMT_GRAY10, AV_PIX_FMT_GRAY12,
88         AV_PIX_FMT_GRAY16,
89         AV_PIX_FMT_NONE
90     };
91     static const enum AVPixelFormat map_fmts[] = {
92         AV_PIX_FMT_GRAY16,
93         AV_PIX_FMT_NONE
94     };
95     AVFilterFormats *pix_formats = NULL, *map_formats = NULL;
96     int ret;
97
98     if (!(pix_formats = ff_make_format_list(pix_fmts)) ||
99         !(map_formats = ff_make_format_list(map_fmts))) {
100         ret = AVERROR(ENOMEM);
101         goto fail;
102     }
103     if ((ret = ff_formats_ref(pix_formats, &ctx->inputs[0]->out_formats)) < 0 ||
104         (ret = ff_formats_ref(map_formats, &ctx->inputs[1]->out_formats)) < 0 ||
105         (ret = ff_formats_ref(map_formats, &ctx->inputs[2]->out_formats)) < 0 ||
106         (ret = ff_formats_ref(pix_formats, &ctx->outputs[0]->in_formats)) < 0)
107         goto fail;
108     return 0;
109 fail:
110     if (pix_formats)
111         av_freep(&pix_formats->formats);
112     av_freep(&pix_formats);
113     if (map_formats)
114         av_freep(&map_formats->formats);
115     av_freep(&map_formats);
116     return ret;
117 }
118
119 /**
120  * remap_planar algorithm expects planes of same size
121  * pixels are copied from source to target using :
122  * Target_frame[y][x] = Source_frame[ ymap[y][x] ][ [xmap[y][x] ];
123  */
124 static void remap_planar(RemapContext *s, const AVFrame *in,
125                          const AVFrame *xin, const AVFrame *yin,
126                          AVFrame *out)
127 {
128     const int xlinesize = xin->linesize[0] / 2;
129     const int ylinesize = yin->linesize[0] / 2;
130     int x , y, plane;
131
132     for (plane = 0; plane < s->nb_planes ; plane++) {
133         uint8_t *dst         = out->data[plane];
134         const int dlinesize  = out->linesize[plane];
135         const uint8_t *src   = in->data[plane];
136         const int slinesize  = in->linesize[plane];
137         const uint16_t *xmap = (const uint16_t *)xin->data[0];
138         const uint16_t *ymap = (const uint16_t *)yin->data[0];
139
140         for (y = 0; y < out->height; y++) {
141             for (x = 0; x < out->width; x++) {
142                 if (ymap[x] < in->height && xmap[x] < in->width) {
143                     dst[x] = src[ymap[x] * slinesize + xmap[x]];
144                 } else {
145                     dst[x] = 0;
146                 }
147             }
148             dst  += dlinesize;
149             xmap += xlinesize;
150             ymap += ylinesize;
151         }
152     }
153 }
154
155 static void remap_planar16(RemapContext *s, const AVFrame *in,
156                            const AVFrame *xin, const AVFrame *yin,
157                            AVFrame *out)
158 {
159     const int xlinesize = xin->linesize[0] / 2;
160     const int ylinesize = yin->linesize[0] / 2;
161     int x , y, plane;
162
163     for (plane = 0; plane < s->nb_planes ; plane++) {
164         uint16_t *dst        = (uint16_t *)out->data[plane];
165         const int dlinesize  = out->linesize[plane] / 2;
166         const uint16_t *src  = (const uint16_t *)in->data[plane];
167         const int slinesize  = in->linesize[plane] / 2;
168         const uint16_t *xmap = (const uint16_t *)xin->data[0];
169         const uint16_t *ymap = (const uint16_t *)yin->data[0];
170
171         for (y = 0; y < out->height; y++) {
172             for (x = 0; x < out->width; x++) {
173                 if (ymap[x] < in->height && xmap[x] < in->width) {
174                     dst[x] = src[ymap[x] * slinesize + xmap[x]];
175                 } else {
176                     dst[x] = 0;
177                 }
178             }
179             dst  += dlinesize;
180             xmap += xlinesize;
181             ymap += ylinesize;
182         }
183     }
184 }
185
186 /**
187  * remap_packed algorithm expects pixels with both padded bits (step) and
188  * number of components correctly set.
189  * pixels are copied from source to target using :
190  * Target_frame[y][x] = Source_frame[ ymap[y][x] ][ [xmap[y][x] ];
191  */
192 static void remap_packed(RemapContext *s, const AVFrame *in,
193                          const AVFrame *xin, const AVFrame *yin,
194                          AVFrame *out)
195 {
196     uint8_t *dst = out->data[0];
197     const uint8_t *src  = in->data[0];
198     const int dlinesize = out->linesize[0];
199     const int slinesize = in->linesize[0];
200     const int xlinesize = xin->linesize[0] / 2;
201     const int ylinesize = yin->linesize[0] / 2;
202     const uint16_t *xmap = (const uint16_t *)xin->data[0];
203     const uint16_t *ymap = (const uint16_t *)yin->data[0];
204     const int step = s->step;
205     int c, x, y;
206
207     for (y = 0; y < out->height; y++) {
208         for (x = 0; x < out->width; x++) {
209             for (c = 0; c < s->nb_components; c++) {
210                 if (ymap[x] < in->height && xmap[x] < in->width) {
211                     dst[x * step + c] = src[ymap[x] * slinesize + xmap[x] * step + c];
212                 } else {
213                     dst[x * step + c] = 0;
214                 }
215             }
216         }
217         dst  += dlinesize;
218         xmap += xlinesize;
219         ymap += ylinesize;
220     }
221 }
222
223 static void remap_packed16(RemapContext *s, const AVFrame *in,
224                            const AVFrame *xin, const AVFrame *yin,
225                            AVFrame *out)
226 {
227     uint16_t *dst = (uint16_t *)out->data[0];
228     const uint16_t *src  = (const uint16_t *)in->data[0];
229     const int dlinesize = out->linesize[0] / 2;
230     const int slinesize = in->linesize[0] / 2;
231     const int xlinesize = xin->linesize[0] / 2;
232     const int ylinesize = yin->linesize[0] / 2;
233     const uint16_t *xmap = (const uint16_t *)xin->data[0];
234     const uint16_t *ymap = (const uint16_t *)yin->data[0];
235     const int step = s->step / 2;
236     int c, x, y;
237
238     for (y = 0; y < out->height; y++) {
239         for (x = 0; x < out->width; x++) {
240             for (c = 0; c < s->nb_components; c++) {
241                 if (ymap[x] < in->height && xmap[x] < in->width) {
242                     dst[x * step + c] = src[ymap[x] * slinesize + xmap[x] * step + c];
243                 } else {
244                     dst[x * step + c] = 0;
245                 }
246             }
247         }
248         dst  += dlinesize;
249         xmap += xlinesize;
250         ymap += ylinesize;
251     }
252 }
253
254 static int config_input(AVFilterLink *inlink)
255 {
256     AVFilterContext *ctx = inlink->dst;
257     RemapContext *s = ctx->priv;
258     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
259
260     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
261     s->nb_components = desc->nb_components;
262
263     if (desc->comp[0].depth == 8) {
264         if (s->nb_planes > 1 || s->nb_components == 1) {
265             s->remap = remap_planar;
266         } else {
267             s->remap = remap_packed;
268         }
269     } else {
270         if (s->nb_planes > 1 || s->nb_components == 1) {
271             s->remap = remap_planar16;
272         } else {
273             s->remap = remap_packed16;
274         }
275     }
276
277     s->step = av_get_padded_bits_per_pixel(desc) >> 3;
278     return 0;
279 }
280
281 static int process_frame(FFFrameSync *fs)
282 {
283     AVFilterContext *ctx = fs->parent;
284     RemapContext *s = fs->opaque;
285     AVFilterLink *outlink = ctx->outputs[0];
286     AVFrame *out, *in, *xpic, *ypic;
287     int ret;
288
289     if ((ret = ff_framesync_get_frame(&s->fs, 0, &in,   0)) < 0 ||
290         (ret = ff_framesync_get_frame(&s->fs, 1, &xpic, 0)) < 0 ||
291         (ret = ff_framesync_get_frame(&s->fs, 2, &ypic, 0)) < 0)
292         return ret;
293
294     if (ctx->is_disabled) {
295         out = av_frame_clone(in);
296         if (!out)
297             return AVERROR(ENOMEM);
298     } else {
299         out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
300         if (!out)
301             return AVERROR(ENOMEM);
302         av_frame_copy_props(out, in);
303
304         s->remap(s, in, xpic, ypic, out);
305     }
306     out->pts = av_rescale_q(in->pts, s->fs.time_base, outlink->time_base);
307
308     return ff_filter_frame(outlink, out);
309 }
310
311 static int config_output(AVFilterLink *outlink)
312 {
313     AVFilterContext *ctx = outlink->src;
314     RemapContext *s = ctx->priv;
315     AVFilterLink *srclink = ctx->inputs[0];
316     AVFilterLink *xlink = ctx->inputs[1];
317     AVFilterLink *ylink = ctx->inputs[2];
318     FFFrameSyncIn *in;
319     int ret;
320
321     if (xlink->w != ylink->w || xlink->h != ylink->h) {
322         av_log(ctx, AV_LOG_ERROR, "Second input link %s parameters "
323                "(size %dx%d) do not match the corresponding "
324                "third input link %s parameters (%dx%d)\n",
325                ctx->input_pads[1].name, xlink->w, xlink->h,
326                ctx->input_pads[2].name, ylink->w, ylink->h);
327         return AVERROR(EINVAL);
328     }
329
330     outlink->w = xlink->w;
331     outlink->h = xlink->h;
332     outlink->time_base = srclink->time_base;
333     outlink->sample_aspect_ratio = srclink->sample_aspect_ratio;
334     outlink->frame_rate = srclink->frame_rate;
335
336     ret = ff_framesync_init(&s->fs, ctx, 3);
337     if (ret < 0)
338         return ret;
339
340     in = s->fs.in;
341     in[0].time_base = srclink->time_base;
342     in[1].time_base = xlink->time_base;
343     in[2].time_base = ylink->time_base;
344     in[0].sync   = 2;
345     in[0].before = EXT_STOP;
346     in[0].after  = EXT_STOP;
347     in[1].sync   = 1;
348     in[1].before = EXT_NULL;
349     in[1].after  = EXT_INFINITY;
350     in[2].sync   = 1;
351     in[2].before = EXT_NULL;
352     in[2].after  = EXT_INFINITY;
353     s->fs.opaque   = s;
354     s->fs.on_event = process_frame;
355
356     return ff_framesync_configure(&s->fs);
357 }
358
359 static int activate(AVFilterContext *ctx)
360 {
361     RemapContext *s = ctx->priv;
362     return ff_framesync_activate(&s->fs);
363 }
364
365
366 static av_cold void uninit(AVFilterContext *ctx)
367 {
368     RemapContext *s = ctx->priv;
369
370     ff_framesync_uninit(&s->fs);
371 }
372
373 static const AVFilterPad remap_inputs[] = {
374     {
375         .name         = "source",
376         .type         = AVMEDIA_TYPE_VIDEO,
377         .config_props = config_input,
378     },
379     {
380         .name         = "xmap",
381         .type         = AVMEDIA_TYPE_VIDEO,
382     },
383     {
384         .name         = "ymap",
385         .type         = AVMEDIA_TYPE_VIDEO,
386     },
387     { NULL }
388 };
389
390 static const AVFilterPad remap_outputs[] = {
391     {
392         .name          = "default",
393         .type          = AVMEDIA_TYPE_VIDEO,
394         .config_props  = config_output,
395     },
396     { NULL }
397 };
398
399 AVFilter ff_vf_remap = {
400     .name          = "remap",
401     .description   = NULL_IF_CONFIG_SMALL("Remap pixels."),
402     .priv_size     = sizeof(RemapContext),
403     .uninit        = uninit,
404     .query_formats = query_formats,
405     .activate      = activate,
406     .inputs        = remap_inputs,
407     .outputs       = remap_outputs,
408     .priv_class    = &remap_class,
409     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
410 };