x86/sbrdsp: sign extend start and end gprs in ff_sbr_hf_gen_sse
[ffmpeg.git] / libavfilter / vf_remap.c
1 /*
2  * Copyright (c) 2016 Floris Sluiter
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * Pixel remap filter
24  * This filter copies pixel by pixel a source frame to a target frame.
25  * It remaps the pixels to a new x,y destination based on two files ymap/xmap.
26  * Map files are passed as a parameter and are in PGM format (P2 or P5),
27  * where the values are y(rows)/x(cols) coordinates of the source_frame.
28  * The *target* frame dimension is based on mapfile dimensions: specified in the
29  * header of the mapfile and reflected in the number of datavalues.
30  * Dimensions of ymap and xmap must be equal. Datavalues must be positive or zero.
31  * Any datavalue in the ymap or xmap which value is higher
32  * then the *source* frame height or width is silently ignored, leaving a
33  * blank/chromakey pixel. This can safely be used as a feature to create overlays.
34  *
35  * Algorithm digest:
36  * Target_frame[y][x] = Source_frame[ ymap[y][x] ][ [xmap[y][x] ];
37  */
38
39 #include "libavutil/imgutils.h"
40 #include "libavutil/pixdesc.h"
41 #include "libavutil/opt.h"
42 #include "avfilter.h"
43 #include "formats.h"
44 #include "framesync.h"
45 #include "internal.h"
46 #include "video.h"
47
48 typedef struct RemapContext {
49     const AVClass *class;
50     int nb_planes;
51     int nb_components;
52     int step;
53     FFFrameSync fs;
54
55     void (*remap)(struct RemapContext *s, const AVFrame *in,
56                   const AVFrame *xin, const AVFrame *yin,
57                   AVFrame *out);
58 } RemapContext;
59
60 #define OFFSET(x) offsetof(RemapContext, x)
61 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
62
63 static const AVOption remap_options[] = {
64     { NULL }
65 };
66
67 AVFILTER_DEFINE_CLASS(remap);
68
69 static int query_formats(AVFilterContext *ctx)
70 {
71     static const enum AVPixelFormat pix_fmts[] = {
72         AV_PIX_FMT_YUVA444P,
73         AV_PIX_FMT_YUV444P,
74         AV_PIX_FMT_YUVJ444P,
75         AV_PIX_FMT_RGB24, AV_PIX_FMT_BGR24,
76         AV_PIX_FMT_ARGB, AV_PIX_FMT_ABGR, AV_PIX_FMT_RGBA, AV_PIX_FMT_BGRA,
77         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP,
78         AV_PIX_FMT_YUV444P9, AV_PIX_FMT_YUV444P10, AV_PIX_FMT_YUV444P12,
79         AV_PIX_FMT_YUV444P14, AV_PIX_FMT_YUV444P16,
80         AV_PIX_FMT_YUVA444P9, AV_PIX_FMT_YUVA444P10, AV_PIX_FMT_YUVA444P16,
81         AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10, AV_PIX_FMT_GBRP12,
82         AV_PIX_FMT_GBRP14, AV_PIX_FMT_GBRP16,
83         AV_PIX_FMT_GBRAP10, AV_PIX_FMT_GBRAP12, AV_PIX_FMT_GBRAP16,
84         AV_PIX_FMT_RGB48, AV_PIX_FMT_BGR48,
85         AV_PIX_FMT_RGBA64, AV_PIX_FMT_BGRA64,
86         AV_PIX_FMT_NONE
87     };
88     static const enum AVPixelFormat map_fmts[] = {
89         AV_PIX_FMT_GRAY16,
90         AV_PIX_FMT_NONE
91     };
92     AVFilterFormats *pix_formats = NULL, *map_formats = NULL;
93     int ret;
94
95     if (!(pix_formats = ff_make_format_list(pix_fmts)) ||
96         !(map_formats = ff_make_format_list(map_fmts))) {
97         ret = AVERROR(ENOMEM);
98         goto fail;
99     }
100     if ((ret = ff_formats_ref(pix_formats, &ctx->inputs[0]->out_formats)) < 0 ||
101         (ret = ff_formats_ref(map_formats, &ctx->inputs[1]->out_formats)) < 0 ||
102         (ret = ff_formats_ref(map_formats, &ctx->inputs[2]->out_formats)) < 0 ||
103         (ret = ff_formats_ref(pix_formats, &ctx->outputs[0]->in_formats)) < 0)
104         goto fail;
105     return 0;
106 fail:
107     if (pix_formats)
108         av_freep(&pix_formats->formats);
109     av_freep(&pix_formats);
110     if (map_formats)
111         av_freep(&map_formats->formats);
112     av_freep(&map_formats);
113     return ret;
114 }
115
116 /**
117  * remap_planar algorithm expects planes of same size
118  * pixels are copied from source to target using :
119  * Target_frame[y][x] = Source_frame[ ymap[y][x] ][ [xmap[y][x] ];
120  */
121 static void remap_planar(RemapContext *s, const AVFrame *in,
122                          const AVFrame *xin, const AVFrame *yin,
123                          AVFrame *out)
124 {
125     const int xlinesize = xin->linesize[0] / 2;
126     const int ylinesize = yin->linesize[0] / 2;
127     int x , y, plane;
128
129     for (plane = 0; plane < s->nb_planes ; plane++) {
130         uint8_t *dst         = out->data[plane];
131         const int dlinesize  = out->linesize[plane];
132         const uint8_t *src   = in->data[plane];
133         const int slinesize  = in->linesize[plane];
134         const uint16_t *xmap = (const uint16_t *)xin->data[0];
135         const uint16_t *ymap = (const uint16_t *)yin->data[0];
136
137         for (y = 0; y < out->height; y++) {
138             for (x = 0; x < out->width; x++) {
139                 if (ymap[x] < in->height && xmap[x] < in->width) {
140                     dst[x] = src[ymap[x] * slinesize + xmap[x]];
141                 } else {
142                     dst[x] = 0;
143                 }
144             }
145             dst  += dlinesize;
146             xmap += xlinesize;
147             ymap += ylinesize;
148         }
149     }
150 }
151
152 static void remap_planar16(RemapContext *s, const AVFrame *in,
153                            const AVFrame *xin, const AVFrame *yin,
154                            AVFrame *out)
155 {
156     const int xlinesize = xin->linesize[0] / 2;
157     const int ylinesize = yin->linesize[0] / 2;
158     int x , y, plane;
159
160     for (plane = 0; plane < s->nb_planes ; plane++) {
161         uint16_t *dst        = (uint16_t *)out->data[plane];
162         const int dlinesize  = out->linesize[plane] / 2;
163         const uint16_t *src  = (const uint16_t *)in->data[plane];
164         const int slinesize  = in->linesize[plane] / 2;
165         const uint16_t *xmap = (const uint16_t *)xin->data[0];
166         const uint16_t *ymap = (const uint16_t *)yin->data[0];
167
168         for (y = 0; y < out->height; y++) {
169             for (x = 0; x < out->width; x++) {
170                 if (ymap[x] < in->height && xmap[x] < in->width) {
171                     dst[x] = src[ymap[x] * slinesize + xmap[x]];
172                 } else {
173                     dst[x] = 0;
174                 }
175             }
176             dst  += dlinesize;
177             xmap += xlinesize;
178             ymap += ylinesize;
179         }
180     }
181 }
182
183 /**
184  * remap_packed algorithm expects pixels with both padded bits (step) and
185  * number of components correctly set.
186  * pixels are copied from source to target using :
187  * Target_frame[y][x] = Source_frame[ ymap[y][x] ][ [xmap[y][x] ];
188  */
189 static void remap_packed(RemapContext *s, const AVFrame *in,
190                          const AVFrame *xin, const AVFrame *yin,
191                          AVFrame *out)
192 {
193     uint8_t *dst = out->data[0];
194     const uint8_t *src  = in->data[0];
195     const int dlinesize = out->linesize[0];
196     const int slinesize = in->linesize[0];
197     const int xlinesize = xin->linesize[0] / 2;
198     const int ylinesize = yin->linesize[0] / 2;
199     const uint16_t *xmap = (const uint16_t *)xin->data[0];
200     const uint16_t *ymap = (const uint16_t *)yin->data[0];
201     const int step = s->step;
202     int c, x, y;
203
204     for (y = 0; y < out->height; y++) {
205         for (x = 0; x < out->width; x++) {
206             for (c = 0; c < s->nb_components; c++) {
207                 if (ymap[x] < in->height && xmap[x] < in->width) {
208                     dst[x * step + c] = src[ymap[x] * slinesize + xmap[x] * step + c];
209                 } else {
210                     dst[x * step + c] = 0;
211                 }
212             }
213         }
214         dst  += dlinesize;
215         xmap += xlinesize;
216         ymap += ylinesize;
217     }
218 }
219
220 static void remap_packed16(RemapContext *s, const AVFrame *in,
221                            const AVFrame *xin, const AVFrame *yin,
222                            AVFrame *out)
223 {
224     uint16_t *dst = (uint16_t *)out->data[0];
225     const uint16_t *src  = (const uint16_t *)in->data[0];
226     const int dlinesize = out->linesize[0] / 2;
227     const int slinesize = in->linesize[0] / 2;
228     const int xlinesize = xin->linesize[0] / 2;
229     const int ylinesize = yin->linesize[0] / 2;
230     const uint16_t *xmap = (const uint16_t *)xin->data[0];
231     const uint16_t *ymap = (const uint16_t *)yin->data[0];
232     const int step = s->step / 2;
233     int c, x, y;
234
235     for (y = 0; y < out->height; y++) {
236         for (x = 0; x < out->width; x++) {
237             for (c = 0; c < s->nb_components; c++) {
238                 if (ymap[x] < in->height && xmap[x] < in->width) {
239                     dst[x * step + c] = src[ymap[x] * slinesize + xmap[x] * step + c];
240                 } else {
241                     dst[x * step + c] = 0;
242                 }
243             }
244         }
245         dst  += dlinesize;
246         xmap += xlinesize;
247         ymap += ylinesize;
248     }
249 }
250
251 static int config_input(AVFilterLink *inlink)
252 {
253     AVFilterContext *ctx = inlink->dst;
254     RemapContext *s = ctx->priv;
255     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
256
257     s->nb_planes = av_pix_fmt_count_planes(inlink->format);
258     s->nb_components = desc->nb_components;
259
260     if (desc->comp[0].depth == 8) {
261         if (s->nb_planes > 1 || s->nb_components == 1) {
262             s->remap = remap_planar;
263         } else {
264             s->remap = remap_packed;
265         }
266     } else {
267         if (s->nb_planes > 1 || s->nb_components == 1) {
268             s->remap = remap_planar16;
269         } else {
270             s->remap = remap_packed16;
271         }
272     }
273
274     s->step = av_get_padded_bits_per_pixel(desc) >> 3;
275     return 0;
276 }
277
278 static int process_frame(FFFrameSync *fs)
279 {
280     AVFilterContext *ctx = fs->parent;
281     RemapContext *s = fs->opaque;
282     AVFilterLink *outlink = ctx->outputs[0];
283     AVFrame *out, *in, *xpic, *ypic;
284     int ret;
285
286     if ((ret = ff_framesync_get_frame(&s->fs, 0, &in,   0)) < 0 ||
287         (ret = ff_framesync_get_frame(&s->fs, 1, &xpic, 0)) < 0 ||
288         (ret = ff_framesync_get_frame(&s->fs, 2, &ypic, 0)) < 0)
289         return ret;
290
291     if (ctx->is_disabled) {
292         out = av_frame_clone(in);
293         if (!out)
294             return AVERROR(ENOMEM);
295     } else {
296         out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
297         if (!out)
298             return AVERROR(ENOMEM);
299         av_frame_copy_props(out, in);
300
301         s->remap(s, in, xpic, ypic, out);
302     }
303     out->pts = av_rescale_q(in->pts, s->fs.time_base, outlink->time_base);
304
305     return ff_filter_frame(outlink, out);
306 }
307
308 static int config_output(AVFilterLink *outlink)
309 {
310     AVFilterContext *ctx = outlink->src;
311     RemapContext *s = ctx->priv;
312     AVFilterLink *srclink = ctx->inputs[0];
313     AVFilterLink *xlink = ctx->inputs[1];
314     AVFilterLink *ylink = ctx->inputs[2];
315     FFFrameSyncIn *in;
316     int ret;
317
318     if (xlink->w != ylink->w || xlink->h != ylink->h) {
319         av_log(ctx, AV_LOG_ERROR, "Second input link %s parameters "
320                "(size %dx%d) do not match the corresponding "
321                "third input link %s parameters (%dx%d)\n",
322                ctx->input_pads[1].name, xlink->w, xlink->h,
323                ctx->input_pads[2].name, ylink->w, ylink->h);
324         return AVERROR(EINVAL);
325     }
326
327     outlink->w = xlink->w;
328     outlink->h = xlink->h;
329     outlink->time_base = srclink->time_base;
330     outlink->sample_aspect_ratio = srclink->sample_aspect_ratio;
331     outlink->frame_rate = srclink->frame_rate;
332
333     ret = ff_framesync_init(&s->fs, ctx, 3);
334     if (ret < 0)
335         return ret;
336
337     in = s->fs.in;
338     in[0].time_base = srclink->time_base;
339     in[1].time_base = xlink->time_base;
340     in[2].time_base = ylink->time_base;
341     in[0].sync   = 2;
342     in[0].before = EXT_STOP;
343     in[0].after  = EXT_STOP;
344     in[1].sync   = 1;
345     in[1].before = EXT_NULL;
346     in[1].after  = EXT_INFINITY;
347     in[2].sync   = 1;
348     in[2].before = EXT_NULL;
349     in[2].after  = EXT_INFINITY;
350     s->fs.opaque   = s;
351     s->fs.on_event = process_frame;
352
353     return ff_framesync_configure(&s->fs);
354 }
355
356 static int filter_frame(AVFilterLink *inlink, AVFrame *buf)
357 {
358     RemapContext *s = inlink->dst->priv;
359     return ff_framesync_filter_frame(&s->fs, inlink, buf);
360 }
361
362 static int request_frame(AVFilterLink *outlink)
363 {
364     RemapContext *s = outlink->src->priv;
365     return ff_framesync_request_frame(&s->fs, outlink);
366 }
367
368 static av_cold void uninit(AVFilterContext *ctx)
369 {
370     RemapContext *s = ctx->priv;
371
372     ff_framesync_uninit(&s->fs);
373 }
374
375 static const AVFilterPad remap_inputs[] = {
376     {
377         .name         = "source",
378         .type         = AVMEDIA_TYPE_VIDEO,
379         .filter_frame = filter_frame,
380         .config_props = config_input,
381     },
382     {
383         .name         = "xmap",
384         .type         = AVMEDIA_TYPE_VIDEO,
385         .filter_frame = filter_frame,
386     },
387     {
388         .name         = "ymap",
389         .type         = AVMEDIA_TYPE_VIDEO,
390         .filter_frame = filter_frame,
391     },
392     { NULL }
393 };
394
395 static const AVFilterPad remap_outputs[] = {
396     {
397         .name          = "default",
398         .type          = AVMEDIA_TYPE_VIDEO,
399         .config_props  = config_output,
400         .request_frame = request_frame,
401     },
402     { NULL }
403 };
404
405 AVFilter ff_vf_remap = {
406     .name          = "remap",
407     .description   = NULL_IF_CONFIG_SMALL("Remap pixels."),
408     .priv_size     = sizeof(RemapContext),
409     .uninit        = uninit,
410     .query_formats = query_formats,
411     .inputs        = remap_inputs,
412     .outputs       = remap_outputs,
413     .priv_class    = &remap_class,
414     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
415 };