avfilter/vf_vectorscope: support more formats for color4 mode in common case
[ffmpeg.git] / libavfilter / vf_vectorscope.c
1 /*
2  * Copyright (c) 2015 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/opt.h"
23 #include "libavutil/parseutils.h"
24 #include "libavutil/pixdesc.h"
25 #include "avfilter.h"
26 #include "formats.h"
27 #include "internal.h"
28 #include "video.h"
29
30 enum VectorscopeMode {
31     GRAY,
32     COLOR,
33     COLOR2,
34     COLOR3,
35     COLOR4,
36     MODE_NB
37 };
38
39 typedef struct VectorscopeContext {
40     const AVClass *class;
41     int mode;
42     int intensity;
43     const uint8_t *bg_color;
44     int planewidth[4];
45     int planeheight[4];
46     int hsub, vsub;
47     int x, y, pd;
48     int is_yuv;
49     int envelope;
50     uint8_t peak[256][256];
51 } VectorscopeContext;
52
53 #define OFFSET(x) offsetof(VectorscopeContext, x)
54 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
55
56 static const AVOption vectorscope_options[] = {
57     { "mode", "set vectorscope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, MODE_NB-1, FLAGS, "mode"},
58     { "m",    "set vectorscope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, MODE_NB-1, FLAGS, "mode"},
59     {   "gray",   0, 0, AV_OPT_TYPE_CONST, {.i64=GRAY},   0, 0, FLAGS, "mode" },
60     {   "color",  0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR},  0, 0, FLAGS, "mode" },
61     {   "color2", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR2}, 0, 0, FLAGS, "mode" },
62     {   "color3", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR3}, 0, 0, FLAGS, "mode" },
63     {   "color4", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR4}, 0, 0, FLAGS, "mode" },
64     { "x", "set color component on X axis", OFFSET(x), AV_OPT_TYPE_INT, {.i64=1}, 0, 2, FLAGS},
65     { "y", "set color component on Y axis", OFFSET(y), AV_OPT_TYPE_INT, {.i64=2}, 0, 2, FLAGS},
66     { "intensity", "set intensity", OFFSET(intensity), AV_OPT_TYPE_INT, {.i64=1}, 1, 255, FLAGS},
67     { "i",         "set intensity", OFFSET(intensity), AV_OPT_TYPE_INT, {.i64=1}, 1, 255, FLAGS},
68     { "envelope",  "set envelope", OFFSET(envelope), AV_OPT_TYPE_INT, {.i64=0}, 0, 3, FLAGS, "envelope"},
69     { "e",         "set envelope", OFFSET(envelope), AV_OPT_TYPE_INT, {.i64=0}, 0, 3, FLAGS, "envelope"},
70     {   "none",         0, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "envelope" },
71     {   "instant",      0, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "envelope" },
72     {   "peak",         0, 0, AV_OPT_TYPE_CONST, {.i64=2}, 0, 0, FLAGS, "envelope" },
73     {   "peak+instant", 0, 0, AV_OPT_TYPE_CONST, {.i64=3}, 0, 0, FLAGS, "envelope" },
74     { NULL }
75 };
76
77 AVFILTER_DEFINE_CLASS(vectorscope);
78
79 static const enum AVPixelFormat out_yuv_pix_fmts[] = {
80     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P,
81     AV_PIX_FMT_NONE
82 };
83
84 static const enum AVPixelFormat out_rgb_pix_fmts[] = {
85     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
86     AV_PIX_FMT_NONE
87 };
88
89 static const enum AVPixelFormat in1_pix_fmts[] = {
90     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
91     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
92     AV_PIX_FMT_NONE
93 };
94
95 static const enum AVPixelFormat in2_pix_fmts[] = {
96     AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUVJ420P,
97     AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVJ422P,
98     AV_PIX_FMT_YUV411P,  AV_PIX_FMT_YUVJ411P,
99     AV_PIX_FMT_YUV440P,  AV_PIX_FMT_YUV410P,
100     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
101     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
102     AV_PIX_FMT_NONE
103 };
104
105 static int query_formats(AVFilterContext *ctx)
106 {
107     VectorscopeContext *s = ctx->priv;
108     const enum AVPixelFormat *out_pix_fmts;
109     const AVPixFmtDescriptor *desc;
110     AVFilterFormats *avff;
111     int rgb, i;
112
113     if (!ctx->inputs[0]->in_formats ||
114         !ctx->inputs[0]->in_formats->nb_formats) {
115         return AVERROR(EAGAIN);
116     }
117
118     if (!ctx->inputs[0]->out_formats) {
119         const enum AVPixelFormat *in_pix_fmts;
120
121         if ((s->x == 1 && s->y == 2) || (s->x == 2 && s->y == 1))
122             in_pix_fmts = in2_pix_fmts;
123         else
124             in_pix_fmts = in1_pix_fmts;
125         ff_formats_ref(ff_make_format_list(in_pix_fmts), &ctx->inputs[0]->out_formats);
126     }
127
128     avff = ctx->inputs[0]->in_formats;
129     desc = av_pix_fmt_desc_get(avff->formats[0]);
130     rgb = desc->flags & AV_PIX_FMT_FLAG_RGB;
131     for (i = 1; i < avff->nb_formats; i++) {
132         desc = av_pix_fmt_desc_get(avff->formats[i]);
133         if (rgb != (desc->flags & AV_PIX_FMT_FLAG_RGB))
134             return AVERROR(EAGAIN);
135     }
136
137     if (rgb)
138         out_pix_fmts = out_rgb_pix_fmts;
139     else
140         out_pix_fmts = out_yuv_pix_fmts;
141     ff_formats_ref(ff_make_format_list(out_pix_fmts), &ctx->outputs[0]->in_formats);
142
143     return 0;
144 }
145
146 static const uint8_t black_yuva_color[4] = { 0, 127, 127, 0 };
147 static const uint8_t black_gbrp_color[4] = { 0, 0, 0, 0 };
148
149 static int config_input(AVFilterLink *inlink)
150 {
151     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
152     VectorscopeContext *s = inlink->dst->priv;
153
154     s->is_yuv = !(desc->flags & AV_PIX_FMT_FLAG_RGB);
155
156     if (s->mode == GRAY && s->is_yuv)
157         s->pd = 0;
158     else {
159         if ((s->x == 1 && s->y == 2) || (s->x == 2 && s->y == 1))
160             s->pd = 0;
161         else if ((s->x == 0 && s->y == 2) || (s->x == 2 && s->y == 0))
162             s->pd = 1;
163         else if ((s->x == 0 && s->y == 1) || (s->x == 1 && s->y == 0))
164             s->pd = 2;
165     }
166
167     switch (inlink->format) {
168     case AV_PIX_FMT_GBRAP:
169     case AV_PIX_FMT_GBRP:
170         s->bg_color = black_gbrp_color;
171         break;
172     default:
173         s->bg_color = black_yuva_color;
174     }
175
176     s->hsub = desc->log2_chroma_w;
177     s->vsub = desc->log2_chroma_h;
178     s->planeheight[1] = s->planeheight[2] = FF_CEIL_RSHIFT(inlink->h, desc->log2_chroma_h);
179     s->planeheight[0] = s->planeheight[3] = inlink->h;
180     s->planewidth[1]  = s->planewidth[2]  = FF_CEIL_RSHIFT(inlink->w, desc->log2_chroma_w);
181     s->planewidth[0]  = s->planewidth[3]  = inlink->w;
182
183     return 0;
184 }
185
186 static int config_output(AVFilterLink *outlink)
187 {
188     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(outlink->format);
189     int depth = desc->comp[0].depth_minus1 + 1;
190
191     outlink->h = outlink->w = 1 << depth;
192     outlink->sample_aspect_ratio = (AVRational){1,1};
193     return 0;
194 }
195
196 static void envelope_instant(VectorscopeContext *s, AVFrame *out)
197 {
198     const int dlinesize = out->linesize[0];
199     uint8_t *dpd = s->mode == COLOR || !s->is_yuv ? out->data[s->pd] : out->data[0];
200     int i, j;
201
202     for (i = 0; i < out->height; i++) {
203         for (j = 0; j < out->width; j++) {
204             int pos = i * dlinesize + j;
205             int poa = (i - 1) * dlinesize + j;
206             int pob = (i + 1) * dlinesize + j;
207
208             if (dpd[pos] && (((!j || !dpd[pos - 1]) || ((j == (out->width - 1)) || !dpd[pos + 1]))
209                          || ((!i || !dpd[poa]) || ((i == (out->height - 1)) || !dpd[pob])))) {
210                 dpd[pos] = 255;
211             }
212         }
213     }
214 }
215
216 static void envelope_peak(VectorscopeContext *s, AVFrame *out)
217 {
218     const int dlinesize = out->linesize[0];
219     uint8_t *dpd = s->mode == COLOR || !s->is_yuv ? out->data[s->pd] : out->data[0];
220     int i, j;
221
222     for (i = 0; i < out->height; i++) {
223         for (j = 0; j < out->width; j++) {
224             int pos = i * dlinesize + j;
225
226             if (dpd[pos])
227                 s->peak[i][j] = 255;
228         }
229     }
230
231     if (s->envelope == 3)
232         envelope_instant(s, out);
233
234     for (i = 0; i < out->height; i++) {
235         for (j = 0; j < out->width; j++) {
236             int pos = i * dlinesize + j;
237
238             if (s->peak[i][j] && (((!j || !s->peak[i][j-1]) || ((j == (out->width - 1)) || !s->peak[i][j + 1]))
239                               || ((!i || !s->peak[i-1][j]) || ((i == (out->height - 1)) || !s->peak[i + 1][j])))) {
240                 dpd[pos] = 255;
241             }
242         }
243     }
244 }
245
246 static void envelope(VectorscopeContext *s, AVFrame *out)
247 {
248     if (!s->envelope) {
249         return;
250     } else if (s->envelope == 1) {
251         envelope_instant(s, out);
252     } else {
253         envelope_peak(s, out);
254     }
255 }
256
257 static void vectorscope(VectorscopeContext *s, AVFrame *in, AVFrame *out, int pd)
258 {
259     const uint8_t * const *src = (const uint8_t * const *)in->data;
260     const int slinesizex = in->linesize[s->x];
261     const int slinesizey = in->linesize[s->y];
262     const int slinesized = in->linesize[pd];
263     const int dlinesize = out->linesize[0];
264     const int intensity = s->intensity;
265     int i, j, px = s->x, py = s->y;
266     const int h = s->planeheight[py];
267     const int w = s->planewidth[px];
268     const uint8_t *spx = src[px];
269     const uint8_t *spy = src[py];
270     const uint8_t *spd = src[pd];
271     const int hsub = s->hsub;
272     const int vsub = s->vsub;
273     uint8_t **dst = out->data;
274     uint8_t *dpx = dst[px];
275     uint8_t *dpy = dst[py];
276     uint8_t *dpd = dst[pd];
277
278     switch (s->mode) {
279     case COLOR:
280     case GRAY:
281         if (s->is_yuv) {
282             for (i = 0; i < h; i++) {
283                 const int iwx = i * slinesizex;
284                 const int iwy = i * slinesizey;
285                 for (j = 0; j < w; j++) {
286                     const int x = spx[iwx + j];
287                     const int y = spy[iwy + j];
288                     const int pos = y * dlinesize + x;
289
290                     dpd[pos] = FFMIN(dpd[pos] + intensity, 255);
291                     if (dst[3])
292                         dst[3][pos] = 255;
293                 }
294             }
295         } else {
296             for (i = 0; i < h; i++) {
297                 const int iwx = i * slinesizex;
298                 const int iwy = i * slinesizey;
299                 for (j = 0; j < w; j++) {
300                     const int x = spx[iwx + j];
301                     const int y = spy[iwy + j];
302                     const int pos = y * dlinesize + x;
303
304                     dst[0][pos] = FFMIN(dst[0][pos] + intensity, 255);
305                     dst[1][pos] = FFMIN(dst[1][pos] + intensity, 255);
306                     dst[2][pos] = FFMIN(dst[2][pos] + intensity, 255);
307                     if (dst[3])
308                         dst[3][pos] = 255;
309                 }
310             }
311         }
312         break;
313     case COLOR2:
314         if (s->is_yuv) {
315             for (i = 0; i < h; i++) {
316                 const int iw1 = i * slinesizex;
317                 const int iw2 = i * slinesizey;
318                 for (j = 0; j < w; j++) {
319                     const int x = spx[iw1 + j];
320                     const int y = spy[iw2 + j];
321                     const int pos = y * dlinesize + x;
322
323                     if (!dpd[pos])
324                         dpd[pos] = FFABS(128 - x) + FFABS(128 - y);
325                     dpx[pos] = x;
326                     dpy[pos] = y;
327                     if (dst[3])
328                         dst[3][pos] = 255;
329                 }
330             }
331         } else {
332             for (i = 0; i < h; i++) {
333                 const int iw1 = i * slinesizex;
334                 const int iw2 = i * slinesizey;
335                 for (j = 0; j < w; j++) {
336                     const int x = spx[iw1 + j];
337                     const int y = spy[iw2 + j];
338                     const int pos = y * dlinesize + x;
339
340                     if (!dpd[pos])
341                         dpd[pos] = FFMIN(x + y, 255);
342                     dpx[pos] = x;
343                     dpy[pos] = y;
344                     if (dst[3])
345                         dst[3][pos] = 255;
346                 }
347             }
348         }
349         break;
350     case COLOR3:
351         for (i = 0; i < h; i++) {
352             const int iw1 = i * slinesizex;
353             const int iw2 = i * slinesizey;
354             for (j = 0; j < w; j++) {
355                 const int x = spx[iw1 + j];
356                 const int y = spy[iw2 + j];
357                 const int pos = y * dlinesize + x;
358
359                 dpd[pos] = FFMIN(255, dpd[pos] + intensity);
360                 dpx[pos] = x;
361                 dpy[pos] = y;
362                 if (dst[3])
363                     dst[3][pos] = 255;
364             }
365         }
366         break;
367     case COLOR4:
368         for (i = 0; i < in->height; i++) {
369             const int iwx = (i >> vsub) * slinesizex;
370             const int iwy = (i >> vsub) * slinesizey;
371             const int iwd = i * slinesized;
372             for (j = 0; j < in->width; j++) {
373                 const int x = spx[iwx + (j >> hsub)];
374                 const int y = spy[iwy + (j >> hsub)];
375                 const int pos = y * dlinesize + x;
376
377                 dpd[pos] = FFMAX(spd[iwd + j], dpd[pos]);
378                 dpx[pos] = x;
379                 dpy[pos] = y;
380                 if (dst[3])
381                     dst[3][pos] = 255;
382             }
383         }
384         break;
385     default:
386         av_assert0(0);
387     }
388
389     envelope(s, out);
390
391     if (s->mode == COLOR) {
392         for (i = 0; i < out->height; i++) {
393             for (j = 0; j < out->width; j++) {
394                 if (!dpd[i * out->linesize[pd] + j]) {
395                     dpx[i * out->linesize[px] + j] = j;
396                     dpy[i * out->linesize[py] + j] = i;
397                     dpd[i * out->linesize[pd] + j] = 128;
398                 }
399             }
400         }
401     }
402 }
403
404 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
405 {
406     AVFilterContext *ctx  = inlink->dst;
407     VectorscopeContext *s = ctx->priv;
408     AVFilterLink *outlink = ctx->outputs[0];
409     AVFrame *out;
410     uint8_t **dst;
411     int i, k;
412
413     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
414     if (!out) {
415         av_frame_free(&in);
416         return AVERROR(ENOMEM);
417     }
418     out->pts = in->pts;
419     dst = out->data;
420
421     for (k = 0; k < 4 && dst[k]; k++)
422         for (i = 0; i < outlink->h ; i++)
423             memset(dst[k] + i * out->linesize[k],
424                    s->mode == COLOR && k == s->pd ? 0 : s->bg_color[k], outlink->w);
425
426     vectorscope(s, in, out, s->pd);
427
428     av_frame_free(&in);
429     return ff_filter_frame(outlink, out);
430 }
431
432 static const AVFilterPad inputs[] = {
433     {
434         .name         = "default",
435         .type         = AVMEDIA_TYPE_VIDEO,
436         .filter_frame = filter_frame,
437         .config_props = config_input,
438     },
439     { NULL }
440 };
441
442 static const AVFilterPad outputs[] = {
443     {
444         .name         = "default",
445         .type         = AVMEDIA_TYPE_VIDEO,
446         .config_props = config_output,
447     },
448     { NULL }
449 };
450
451 AVFilter ff_vf_vectorscope = {
452     .name          = "vectorscope",
453     .description   = NULL_IF_CONFIG_SMALL("Video vectorscope."),
454     .priv_size     = sizeof(VectorscopeContext),
455     .priv_class    = &vectorscope_class,
456     .query_formats = query_formats,
457     .inputs        = inputs,
458     .outputs       = outputs,
459 };