e99b304bd0b793c426ca8d27be3ecaabf87d4fa3
[ffmpeg.git] / libavfilter / vf_vectorscope.c
1 /*
2  * Copyright (c) 2015 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/opt.h"
23 #include "libavutil/parseutils.h"
24 #include "libavutil/pixdesc.h"
25 #include "avfilter.h"
26 #include "formats.h"
27 #include "internal.h"
28 #include "video.h"
29
30 enum VectorscopeMode {
31     GRAY,
32     COLOR,
33     COLOR2,
34     COLOR3,
35     COLOR4,
36     MODE_NB
37 };
38
39 typedef struct VectorscopeContext {
40     const AVClass *class;
41     int mode;
42     int intensity;
43     float fintensity;
44     const uint8_t *bg_color;
45     int planewidth[4];
46     int planeheight[4];
47     int hsub, vsub;
48     int x, y, pd;
49     int is_yuv;
50     int envelope;
51     uint8_t peak[256][256];
52 } VectorscopeContext;
53
54 #define OFFSET(x) offsetof(VectorscopeContext, x)
55 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
56
57 static const AVOption vectorscope_options[] = {
58     { "mode", "set vectorscope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, MODE_NB-1, FLAGS, "mode"},
59     { "m",    "set vectorscope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, MODE_NB-1, FLAGS, "mode"},
60     {   "gray",   0, 0, AV_OPT_TYPE_CONST, {.i64=GRAY},   0, 0, FLAGS, "mode" },
61     {   "color",  0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR},  0, 0, FLAGS, "mode" },
62     {   "color2", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR2}, 0, 0, FLAGS, "mode" },
63     {   "color3", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR3}, 0, 0, FLAGS, "mode" },
64     {   "color4", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR4}, 0, 0, FLAGS, "mode" },
65     { "x", "set color component on X axis", OFFSET(x), AV_OPT_TYPE_INT, {.i64=1}, 0, 2, FLAGS},
66     { "y", "set color component on Y axis", OFFSET(y), AV_OPT_TYPE_INT, {.i64=2}, 0, 2, FLAGS},
67     { "intensity", "set intensity", OFFSET(fintensity), AV_OPT_TYPE_FLOAT, {.dbl=0.004}, 0, 1, FLAGS},
68     { "i",         "set intensity", OFFSET(fintensity), AV_OPT_TYPE_FLOAT, {.dbl=0.004}, 0, 1, FLAGS},
69     { "envelope",  "set envelope", OFFSET(envelope), AV_OPT_TYPE_INT, {.i64=0}, 0, 3, FLAGS, "envelope"},
70     { "e",         "set envelope", OFFSET(envelope), AV_OPT_TYPE_INT, {.i64=0}, 0, 3, FLAGS, "envelope"},
71     {   "none",         0, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "envelope" },
72     {   "instant",      0, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "envelope" },
73     {   "peak",         0, 0, AV_OPT_TYPE_CONST, {.i64=2}, 0, 0, FLAGS, "envelope" },
74     {   "peak+instant", 0, 0, AV_OPT_TYPE_CONST, {.i64=3}, 0, 0, FLAGS, "envelope" },
75     { NULL }
76 };
77
78 AVFILTER_DEFINE_CLASS(vectorscope);
79
80 static const enum AVPixelFormat out_yuv_pix_fmts[] = {
81     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P,
82     AV_PIX_FMT_NONE
83 };
84
85 static const enum AVPixelFormat out_rgb_pix_fmts[] = {
86     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
87     AV_PIX_FMT_NONE
88 };
89
90 static const enum AVPixelFormat in1_pix_fmts[] = {
91     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
92     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
93     AV_PIX_FMT_NONE
94 };
95
96 static const enum AVPixelFormat in2_pix_fmts[] = {
97     AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUVJ420P,
98     AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVJ422P,
99     AV_PIX_FMT_YUV411P,  AV_PIX_FMT_YUVJ411P,
100     AV_PIX_FMT_YUV440P,  AV_PIX_FMT_YUV410P,
101     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
102     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
103     AV_PIX_FMT_NONE
104 };
105
106 static int query_formats(AVFilterContext *ctx)
107 {
108     VectorscopeContext *s = ctx->priv;
109     const enum AVPixelFormat *out_pix_fmts;
110     const AVPixFmtDescriptor *desc;
111     AVFilterFormats *avff;
112     int rgb, i;
113
114     if (!ctx->inputs[0]->in_formats ||
115         !ctx->inputs[0]->in_formats->nb_formats) {
116         return AVERROR(EAGAIN);
117     }
118
119     if (!ctx->inputs[0]->out_formats) {
120         const enum AVPixelFormat *in_pix_fmts;
121
122         if ((s->x == 1 && s->y == 2) || (s->x == 2 && s->y == 1))
123             in_pix_fmts = in2_pix_fmts;
124         else
125             in_pix_fmts = in1_pix_fmts;
126         ff_formats_ref(ff_make_format_list(in_pix_fmts), &ctx->inputs[0]->out_formats);
127     }
128
129     avff = ctx->inputs[0]->in_formats;
130     desc = av_pix_fmt_desc_get(avff->formats[0]);
131     rgb = desc->flags & AV_PIX_FMT_FLAG_RGB;
132     for (i = 1; i < avff->nb_formats; i++) {
133         desc = av_pix_fmt_desc_get(avff->formats[i]);
134         if (rgb != (desc->flags & AV_PIX_FMT_FLAG_RGB))
135             return AVERROR(EAGAIN);
136     }
137
138     if (rgb)
139         out_pix_fmts = out_rgb_pix_fmts;
140     else
141         out_pix_fmts = out_yuv_pix_fmts;
142     ff_formats_ref(ff_make_format_list(out_pix_fmts), &ctx->outputs[0]->in_formats);
143
144     return 0;
145 }
146
147 static const uint8_t black_yuva_color[4] = { 0, 127, 127, 0 };
148 static const uint8_t black_gbrp_color[4] = { 0, 0, 0, 0 };
149
150 static int config_input(AVFilterLink *inlink)
151 {
152     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
153     VectorscopeContext *s = inlink->dst->priv;
154
155     s->is_yuv = !(desc->flags & AV_PIX_FMT_FLAG_RGB);
156
157     if (s->mode == GRAY && s->is_yuv)
158         s->pd = 0;
159     else {
160         if ((s->x == 1 && s->y == 2) || (s->x == 2 && s->y == 1))
161             s->pd = 0;
162         else if ((s->x == 0 && s->y == 2) || (s->x == 2 && s->y == 0))
163             s->pd = 1;
164         else if ((s->x == 0 && s->y == 1) || (s->x == 1 && s->y == 0))
165             s->pd = 2;
166     }
167
168     switch (inlink->format) {
169     case AV_PIX_FMT_GBRAP:
170     case AV_PIX_FMT_GBRP:
171         s->bg_color = black_gbrp_color;
172         break;
173     default:
174         s->bg_color = black_yuva_color;
175     }
176
177     s->hsub = desc->log2_chroma_w;
178     s->vsub = desc->log2_chroma_h;
179     s->planeheight[1] = s->planeheight[2] = FF_CEIL_RSHIFT(inlink->h, desc->log2_chroma_h);
180     s->planeheight[0] = s->planeheight[3] = inlink->h;
181     s->planewidth[1]  = s->planewidth[2]  = FF_CEIL_RSHIFT(inlink->w, desc->log2_chroma_w);
182     s->planewidth[0]  = s->planewidth[3]  = inlink->w;
183
184     return 0;
185 }
186
187 static int config_output(AVFilterLink *outlink)
188 {
189     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(outlink->format);
190     const int depth = desc->comp[0].depth;
191     VectorscopeContext *s = outlink->src->priv;
192
193     s->intensity = s->fintensity * ((1 << depth) - 1);
194     outlink->h = outlink->w = 1 << depth;
195     outlink->sample_aspect_ratio = (AVRational){1,1};
196     return 0;
197 }
198
199 static void envelope_instant(VectorscopeContext *s, AVFrame *out)
200 {
201     const int dlinesize = out->linesize[0];
202     uint8_t *dpd = s->mode == COLOR || !s->is_yuv ? out->data[s->pd] : out->data[0];
203     int i, j;
204
205     for (i = 0; i < out->height; i++) {
206         for (j = 0; j < out->width; j++) {
207             const int pos = i * dlinesize + j;
208             const int poa = (i - 1) * dlinesize + j;
209             const int pob = (i + 1) * dlinesize + j;
210
211             if (dpd[pos] && (((!j || !dpd[pos - 1]) || ((j == (out->width - 1)) || !dpd[pos + 1]))
212                          || ((!i || !dpd[poa]) || ((i == (out->height - 1)) || !dpd[pob])))) {
213                 dpd[pos] = 255;
214             }
215         }
216     }
217 }
218
219 static void envelope_peak(VectorscopeContext *s, AVFrame *out)
220 {
221     const int dlinesize = out->linesize[0];
222     uint8_t *dpd = s->mode == COLOR || !s->is_yuv ? out->data[s->pd] : out->data[0];
223     int i, j;
224
225     for (i = 0; i < out->height; i++) {
226         for (j = 0; j < out->width; j++) {
227             const int pos = i * dlinesize + j;
228
229             if (dpd[pos])
230                 s->peak[i][j] = 255;
231         }
232     }
233
234     if (s->envelope == 3)
235         envelope_instant(s, out);
236
237     for (i = 0; i < out->height; i++) {
238         for (j = 0; j < out->width; j++) {
239             const int pos = i * dlinesize + j;
240
241             if (s->peak[i][j] && (((!j || !s->peak[i][j-1]) || ((j == (out->width - 1)) || !s->peak[i][j + 1]))
242                               || ((!i || !s->peak[i-1][j]) || ((i == (out->height - 1)) || !s->peak[i + 1][j])))) {
243                 dpd[pos] = 255;
244             }
245         }
246     }
247 }
248
249 static void envelope(VectorscopeContext *s, AVFrame *out)
250 {
251     if (!s->envelope) {
252         return;
253     } else if (s->envelope == 1) {
254         envelope_instant(s, out);
255     } else {
256         envelope_peak(s, out);
257     }
258 }
259
260 static void vectorscope(VectorscopeContext *s, AVFrame *in, AVFrame *out, int pd)
261 {
262     const uint8_t * const *src = (const uint8_t * const *)in->data;
263     const int slinesizex = in->linesize[s->x];
264     const int slinesizey = in->linesize[s->y];
265     const int slinesized = in->linesize[pd];
266     const int dlinesize = out->linesize[0];
267     const int intensity = s->intensity;
268     const int px = s->x, py = s->y;
269     const int h = s->planeheight[py];
270     const int w = s->planewidth[px];
271     const uint8_t *spx = src[px];
272     const uint8_t *spy = src[py];
273     const uint8_t *spd = src[pd];
274     const int hsub = s->hsub;
275     const int vsub = s->vsub;
276     uint8_t **dst = out->data;
277     uint8_t *dpx = dst[px];
278     uint8_t *dpy = dst[py];
279     uint8_t *dpd = dst[pd];
280     int i, j;
281
282     switch (s->mode) {
283     case COLOR:
284     case GRAY:
285         if (s->is_yuv) {
286             for (i = 0; i < h; i++) {
287                 const int iwx = i * slinesizex;
288                 const int iwy = i * slinesizey;
289                 for (j = 0; j < w; j++) {
290                     const int x = spx[iwx + j];
291                     const int y = spy[iwy + j];
292                     const int pos = y * dlinesize + x;
293
294                     dpd[pos] = FFMIN(dpd[pos] + intensity, 255);
295                     if (dst[3])
296                         dst[3][pos] = 255;
297                 }
298             }
299         } else {
300             for (i = 0; i < h; i++) {
301                 const int iwx = i * slinesizex;
302                 const int iwy = i * slinesizey;
303                 for (j = 0; j < w; j++) {
304                     const int x = spx[iwx + j];
305                     const int y = spy[iwy + j];
306                     const int pos = y * dlinesize + x;
307
308                     dst[0][pos] = FFMIN(dst[0][pos] + intensity, 255);
309                     dst[1][pos] = FFMIN(dst[1][pos] + intensity, 255);
310                     dst[2][pos] = FFMIN(dst[2][pos] + intensity, 255);
311                     if (dst[3])
312                         dst[3][pos] = 255;
313                 }
314             }
315         }
316         break;
317     case COLOR2:
318         if (s->is_yuv) {
319             for (i = 0; i < h; i++) {
320                 const int iw1 = i * slinesizex;
321                 const int iw2 = i * slinesizey;
322                 for (j = 0; j < w; j++) {
323                     const int x = spx[iw1 + j];
324                     const int y = spy[iw2 + j];
325                     const int pos = y * dlinesize + x;
326
327                     if (!dpd[pos])
328                         dpd[pos] = FFABS(128 - x) + FFABS(128 - y);
329                     dpx[pos] = x;
330                     dpy[pos] = y;
331                     if (dst[3])
332                         dst[3][pos] = 255;
333                 }
334             }
335         } else {
336             for (i = 0; i < h; i++) {
337                 const int iw1 = i * slinesizex;
338                 const int iw2 = i * slinesizey;
339                 for (j = 0; j < w; j++) {
340                     const int x = spx[iw1 + j];
341                     const int y = spy[iw2 + j];
342                     const int pos = y * dlinesize + x;
343
344                     if (!dpd[pos])
345                         dpd[pos] = FFMIN(x + y, 255);
346                     dpx[pos] = x;
347                     dpy[pos] = y;
348                     if (dst[3])
349                         dst[3][pos] = 255;
350                 }
351             }
352         }
353         break;
354     case COLOR3:
355         for (i = 0; i < h; i++) {
356             const int iw1 = i * slinesizex;
357             const int iw2 = i * slinesizey;
358             for (j = 0; j < w; j++) {
359                 const int x = spx[iw1 + j];
360                 const int y = spy[iw2 + j];
361                 const int pos = y * dlinesize + x;
362
363                 dpd[pos] = FFMIN(255, dpd[pos] + intensity);
364                 dpx[pos] = x;
365                 dpy[pos] = y;
366                 if (dst[3])
367                     dst[3][pos] = 255;
368             }
369         }
370         break;
371     case COLOR4:
372         for (i = 0; i < in->height; i++) {
373             const int iwx = (i >> vsub) * slinesizex;
374             const int iwy = (i >> vsub) * slinesizey;
375             const int iwd = i * slinesized;
376             for (j = 0; j < in->width; j++) {
377                 const int x = spx[iwx + (j >> hsub)];
378                 const int y = spy[iwy + (j >> hsub)];
379                 const int pos = y * dlinesize + x;
380
381                 dpd[pos] = FFMAX(spd[iwd + j], dpd[pos]);
382                 dpx[pos] = x;
383                 dpy[pos] = y;
384                 if (dst[3])
385                     dst[3][pos] = 255;
386             }
387         }
388         break;
389     default:
390         av_assert0(0);
391     }
392
393     envelope(s, out);
394
395     if (s->mode == COLOR) {
396         for (i = 0; i < out->height; i++) {
397             for (j = 0; j < out->width; j++) {
398                 if (!dpd[i * out->linesize[pd] + j]) {
399                     dpx[i * out->linesize[px] + j] = j;
400                     dpy[i * out->linesize[py] + j] = i;
401                     dpd[i * out->linesize[pd] + j] = 128;
402                 }
403             }
404         }
405     }
406 }
407
408 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
409 {
410     AVFilterContext *ctx  = inlink->dst;
411     VectorscopeContext *s = ctx->priv;
412     AVFilterLink *outlink = ctx->outputs[0];
413     AVFrame *out;
414     uint8_t **dst;
415     int i, k;
416
417     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
418     if (!out) {
419         av_frame_free(&in);
420         return AVERROR(ENOMEM);
421     }
422     out->pts = in->pts;
423     dst = out->data;
424
425     for (k = 0; k < 4 && dst[k]; k++)
426         for (i = 0; i < outlink->h ; i++)
427             memset(dst[k] + i * out->linesize[k],
428                    s->mode == COLOR && k == s->pd ? 0 : s->bg_color[k], outlink->w);
429
430     vectorscope(s, in, out, s->pd);
431
432     av_frame_free(&in);
433     return ff_filter_frame(outlink, out);
434 }
435
436 static const AVFilterPad inputs[] = {
437     {
438         .name         = "default",
439         .type         = AVMEDIA_TYPE_VIDEO,
440         .filter_frame = filter_frame,
441         .config_props = config_input,
442     },
443     { NULL }
444 };
445
446 static const AVFilterPad outputs[] = {
447     {
448         .name         = "default",
449         .type         = AVMEDIA_TYPE_VIDEO,
450         .config_props = config_output,
451     },
452     { NULL }
453 };
454
455 AVFilter ff_vf_vectorscope = {
456     .name          = "vectorscope",
457     .description   = NULL_IF_CONFIG_SMALL("Video vectorscope."),
458     .priv_size     = sizeof(VectorscopeContext),
459     .priv_class    = &vectorscope_class,
460     .query_formats = query_formats,
461     .inputs        = inputs,
462     .outputs       = outputs,
463 };