avfilter/vf_vectorscope: avoid crash by explicitly checking for 8-bit depth
[ffmpeg.git] / libavfilter / vf_vectorscope.c
1 /*
2  * Copyright (c) 2015 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/intreadwrite.h"
23 #include "libavutil/opt.h"
24 #include "libavutil/parseutils.h"
25 #include "libavutil/pixdesc.h"
26 #include "avfilter.h"
27 #include "formats.h"
28 #include "internal.h"
29 #include "video.h"
30
31 enum VectorscopeMode {
32     GRAY,
33     COLOR,
34     COLOR2,
35     COLOR3,
36     COLOR4,
37     COLOR5,
38     MODE_NB
39 };
40
41 typedef struct VectorscopeContext {
42     const AVClass *class;
43     int mode;
44     int intensity;
45     float fintensity;
46     const uint8_t *bg_color;
47     int planewidth[4];
48     int planeheight[4];
49     int hsub, vsub;
50     int x, y, pd;
51     int is_yuv;
52     int size;
53     int mult;
54     int envelope;
55     uint8_t peak[1024][1024];
56
57     void (*vectorscope)(struct VectorscopeContext *s,
58                         AVFrame *in, AVFrame *out, int pd);
59 } VectorscopeContext;
60
61 #define OFFSET(x) offsetof(VectorscopeContext, x)
62 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
63
64 static const AVOption vectorscope_options[] = {
65     { "mode", "set vectorscope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, MODE_NB-1, FLAGS, "mode"},
66     { "m",    "set vectorscope mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=0}, 0, MODE_NB-1, FLAGS, "mode"},
67     {   "gray",   0, 0, AV_OPT_TYPE_CONST, {.i64=GRAY},   0, 0, FLAGS, "mode" },
68     {   "color",  0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR},  0, 0, FLAGS, "mode" },
69     {   "color2", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR2}, 0, 0, FLAGS, "mode" },
70     {   "color3", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR3}, 0, 0, FLAGS, "mode" },
71     {   "color4", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR4}, 0, 0, FLAGS, "mode" },
72     {   "color5", 0, 0, AV_OPT_TYPE_CONST, {.i64=COLOR5}, 0, 0, FLAGS, "mode" },
73     { "x", "set color component on X axis", OFFSET(x), AV_OPT_TYPE_INT, {.i64=1}, 0, 2, FLAGS},
74     { "y", "set color component on Y axis", OFFSET(y), AV_OPT_TYPE_INT, {.i64=2}, 0, 2, FLAGS},
75     { "intensity", "set intensity", OFFSET(fintensity), AV_OPT_TYPE_FLOAT, {.dbl=0.004}, 0, 1, FLAGS},
76     { "i",         "set intensity", OFFSET(fintensity), AV_OPT_TYPE_FLOAT, {.dbl=0.004}, 0, 1, FLAGS},
77     { "envelope",  "set envelope", OFFSET(envelope), AV_OPT_TYPE_INT, {.i64=0}, 0, 3, FLAGS, "envelope"},
78     { "e",         "set envelope", OFFSET(envelope), AV_OPT_TYPE_INT, {.i64=0}, 0, 3, FLAGS, "envelope"},
79     {   "none",         0, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "envelope" },
80     {   "instant",      0, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "envelope" },
81     {   "peak",         0, 0, AV_OPT_TYPE_CONST, {.i64=2}, 0, 0, FLAGS, "envelope" },
82     {   "peak+instant", 0, 0, AV_OPT_TYPE_CONST, {.i64=3}, 0, 0, FLAGS, "envelope" },
83     { NULL }
84 };
85
86 AVFILTER_DEFINE_CLASS(vectorscope);
87
88 static const enum AVPixelFormat out_yuv8_pix_fmts[] = {
89     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P,
90     AV_PIX_FMT_NONE
91 };
92
93 static const enum AVPixelFormat out_yuv9_pix_fmts[] = {
94     AV_PIX_FMT_YUV444P9,
95     AV_PIX_FMT_NONE
96 };
97
98 static const enum AVPixelFormat out_yuv10_pix_fmts[] = {
99     AV_PIX_FMT_YUV444P10,
100     AV_PIX_FMT_NONE
101 };
102
103 static const enum AVPixelFormat out_rgb8_pix_fmts[] = {
104     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
105     AV_PIX_FMT_NONE
106 };
107
108 static const enum AVPixelFormat out_rgb9_pix_fmts[] = {
109     AV_PIX_FMT_GBRP9,
110     AV_PIX_FMT_NONE
111 };
112
113 static const enum AVPixelFormat out_rgb10_pix_fmts[] = {
114     AV_PIX_FMT_GBRP10,
115     AV_PIX_FMT_NONE
116 };
117
118 static const enum AVPixelFormat in1_pix_fmts[] = {
119     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
120     AV_PIX_FMT_YUV444P9, AV_PIX_FMT_YUV444P10,
121     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
122     AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10,
123     AV_PIX_FMT_NONE
124 };
125
126 static const enum AVPixelFormat in2_pix_fmts[] = {
127     AV_PIX_FMT_YUVA420P, AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUVJ420P,
128     AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVJ422P,
129     AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVJ444P,
130     AV_PIX_FMT_YUV411P,  AV_PIX_FMT_YUVJ411P,
131     AV_PIX_FMT_YUV440P,  AV_PIX_FMT_YUV410P,
132     AV_PIX_FMT_GBRAP, AV_PIX_FMT_GBRP,
133     AV_PIX_FMT_GBRP9, AV_PIX_FMT_GBRP10,
134     AV_PIX_FMT_YUV420P9, AV_PIX_FMT_YUV422P9, AV_PIX_FMT_YUV444P9,
135     AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
136     AV_PIX_FMT_NONE
137 };
138
139 static int query_formats(AVFilterContext *ctx)
140 {
141     VectorscopeContext *s = ctx->priv;
142     const enum AVPixelFormat *out_pix_fmts;
143     const AVPixFmtDescriptor *desc;
144     AVFilterFormats *avff;
145     int depth, rgb, i, ret;
146
147     if (!ctx->inputs[0]->in_formats ||
148         !ctx->inputs[0]->in_formats->nb_formats) {
149         return AVERROR(EAGAIN);
150     }
151
152     if (!ctx->inputs[0]->out_formats) {
153         const enum AVPixelFormat *in_pix_fmts;
154
155         if ((s->x == 1 && s->y == 2) || (s->x == 2 && s->y == 1))
156             in_pix_fmts = in2_pix_fmts;
157         else
158             in_pix_fmts = in1_pix_fmts;
159         if ((ret = ff_formats_ref(ff_make_format_list(in_pix_fmts), &ctx->inputs[0]->out_formats)) < 0)
160             return ret;
161     }
162
163     avff = ctx->inputs[0]->in_formats;
164     desc = av_pix_fmt_desc_get(avff->formats[0]);
165     rgb = desc->flags & AV_PIX_FMT_FLAG_RGB;
166     depth = desc->comp[0].depth;
167     for (i = 1; i < avff->nb_formats; i++) {
168         desc = av_pix_fmt_desc_get(avff->formats[i]);
169         if (rgb != (desc->flags & AV_PIX_FMT_FLAG_RGB) ||
170             depth != desc->comp[0].depth)
171             return AVERROR(EAGAIN);
172     }
173
174     if (rgb && depth == 8)
175         out_pix_fmts = out_rgb8_pix_fmts;
176     else if (rgb && depth == 9)
177         out_pix_fmts = out_rgb9_pix_fmts;
178     else if (rgb && depth == 10)
179         out_pix_fmts = out_rgb10_pix_fmts;
180     else if (depth == 9)
181         out_pix_fmts = out_yuv9_pix_fmts;
182     else if (depth == 10)
183         out_pix_fmts = out_yuv10_pix_fmts;
184     else if (depth == 8)
185         out_pix_fmts = out_yuv8_pix_fmts;
186     else
187         return AVERROR(EAGAIN);
188     if ((ret = ff_formats_ref(ff_make_format_list(out_pix_fmts), &ctx->outputs[0]->in_formats)) < 0)
189         return ret;
190
191     return 0;
192 }
193
194 static const uint8_t black_yuva_color[4] = { 0, 127, 127, 0 };
195 static const uint8_t black_gbrp_color[4] = { 0, 0, 0, 0 };
196
197 static int config_output(AVFilterLink *outlink)
198 {
199     VectorscopeContext *s = outlink->src->priv;
200
201     s->intensity = s->fintensity * (s->size - 1);
202     outlink->h = outlink->w = s->size;
203     outlink->sample_aspect_ratio = (AVRational){1,1};
204     return 0;
205 }
206
207 static void envelope_instant16(VectorscopeContext *s, AVFrame *out)
208 {
209     const int dlinesize = out->linesize[0] / 2;
210     uint16_t *dpd = s->mode == COLOR || !s->is_yuv ? (uint16_t *)out->data[s->pd] : (uint16_t *)out->data[0];
211     const int max = s->size - 1;
212     int i, j;
213
214     for (i = 0; i < out->height; i++) {
215         for (j = 0; j < out->width; j++) {
216             const int pos = i * dlinesize + j;
217             const int poa = (i - 1) * dlinesize + j;
218             const int pob = (i + 1) * dlinesize + j;
219
220             if (dpd[pos] && (((!j || !dpd[pos - 1]) || ((j == (out->width - 1)) || !dpd[pos + 1]))
221                          || ((!i || !dpd[poa]) || ((i == (out->height - 1)) || !dpd[pob])))) {
222                 dpd[pos] = max;
223             }
224         }
225     }
226 }
227
228 static void envelope_peak16(VectorscopeContext *s, AVFrame *out)
229 {
230     const int dlinesize = out->linesize[0] / 2;
231     uint16_t *dpd = s->mode == COLOR || !s->is_yuv ? (uint16_t *)out->data[s->pd] : (uint16_t *)out->data[0];
232     const int max = s->size - 1;
233     int i, j;
234
235     for (i = 0; i < out->height; i++) {
236         for (j = 0; j < out->width; j++) {
237             const int pos = i * dlinesize + j;
238
239             if (dpd[pos])
240                 s->peak[i][j] = 1;
241         }
242     }
243
244     if (s->envelope == 3)
245         envelope_instant16(s, out);
246
247     for (i = 0; i < out->height; i++) {
248         for (j = 0; j < out->width; j++) {
249             const int pos = i * dlinesize + j;
250
251             if (s->peak[i][j] && (((!j || !s->peak[i][j-1]) || ((j == (out->width - 1)) || !s->peak[i][j + 1]))
252                               || ((!i || !s->peak[i-1][j]) || ((i == (out->height - 1)) || !s->peak[i + 1][j])))) {
253                 dpd[pos] = max;
254             }
255         }
256     }
257 }
258
259 static void envelope_instant(VectorscopeContext *s, AVFrame *out)
260 {
261     const int dlinesize = out->linesize[0];
262     uint8_t *dpd = s->mode == COLOR || !s->is_yuv ? out->data[s->pd] : out->data[0];
263     int i, j;
264
265     for (i = 0; i < out->height; i++) {
266         for (j = 0; j < out->width; j++) {
267             const int pos = i * dlinesize + j;
268             const int poa = (i - 1) * dlinesize + j;
269             const int pob = (i + 1) * dlinesize + j;
270
271             if (dpd[pos] && (((!j || !dpd[pos - 1]) || ((j == (out->width - 1)) || !dpd[pos + 1]))
272                          || ((!i || !dpd[poa]) || ((i == (out->height - 1)) || !dpd[pob])))) {
273                 dpd[pos] = 255;
274             }
275         }
276     }
277 }
278
279 static void envelope_peak(VectorscopeContext *s, AVFrame *out)
280 {
281     const int dlinesize = out->linesize[0];
282     uint8_t *dpd = s->mode == COLOR || !s->is_yuv ? out->data[s->pd] : out->data[0];
283     int i, j;
284
285     for (i = 0; i < out->height; i++) {
286         for (j = 0; j < out->width; j++) {
287             const int pos = i * dlinesize + j;
288
289             if (dpd[pos])
290                 s->peak[i][j] = 1;
291         }
292     }
293
294     if (s->envelope == 3)
295         envelope_instant(s, out);
296
297     for (i = 0; i < out->height; i++) {
298         for (j = 0; j < out->width; j++) {
299             const int pos = i * dlinesize + j;
300
301             if (s->peak[i][j] && (((!j || !s->peak[i][j-1]) || ((j == (out->width - 1)) || !s->peak[i][j + 1]))
302                               || ((!i || !s->peak[i-1][j]) || ((i == (out->height - 1)) || !s->peak[i + 1][j])))) {
303                 dpd[pos] = 255;
304             }
305         }
306     }
307 }
308
309 static void envelope16(VectorscopeContext *s, AVFrame *out)
310 {
311     if (!s->envelope) {
312         return;
313     } else if (s->envelope == 1) {
314         envelope_instant16(s, out);
315     } else {
316         envelope_peak16(s, out);
317     }
318 }
319
320 static void envelope(VectorscopeContext *s, AVFrame *out)
321 {
322     if (!s->envelope) {
323         return;
324     } else if (s->envelope == 1) {
325         envelope_instant(s, out);
326     } else {
327         envelope_peak(s, out);
328     }
329 }
330
331 static void vectorscope16(VectorscopeContext *s, AVFrame *in, AVFrame *out, int pd)
332 {
333     const uint16_t * const *src = (const uint16_t * const *)in->data;
334     const int slinesizex = in->linesize[s->x] / 2;
335     const int slinesizey = in->linesize[s->y] / 2;
336     const int slinesized = in->linesize[pd] / 2;
337     const int dlinesize = out->linesize[0] / 2;
338     const int intensity = s->intensity;
339     const int px = s->x, py = s->y;
340     const int h = s->planeheight[py];
341     const int w = s->planewidth[px];
342     const uint16_t *spx = src[px];
343     const uint16_t *spy = src[py];
344     const uint16_t *spd = src[pd];
345     const int hsub = s->hsub;
346     const int vsub = s->vsub;
347     uint16_t **dst = (uint16_t **)out->data;
348     uint16_t *dpx = dst[px];
349     uint16_t *dpy = dst[py];
350     uint16_t *dpd = dst[pd];
351     const int max = s->size - 1;
352     const int mid = s->size / 2;
353     int i, j, k;
354
355     for (k = 0; k < 4 && dst[k]; k++) {
356         const int mult = s->mult;
357
358         for (i = 0; i < out->height ; i++)
359             for (j = 0; j < out->width; j++)
360                 AV_WN16(out->data[k] + i * out->linesize[k] + j * 2,
361                         (s->mode == COLOR || s->mode == COLOR5) && k == s->pd ? 0 : s->bg_color[k] * mult);
362     }
363
364     switch (s->mode) {
365     case COLOR:
366     case COLOR5:
367     case GRAY:
368         if (s->is_yuv) {
369             for (i = 0; i < h; i++) {
370                 const int iwx = i * slinesizex;
371                 const int iwy = i * slinesizey;
372                 for (j = 0; j < w; j++) {
373                     const int x = FFMIN(spx[iwx + j], max);
374                     const int y = FFMIN(spy[iwy + j], max);
375                     const int pos = y * dlinesize + x;
376
377                     dpd[pos] = FFMIN(dpd[pos] + intensity, max);
378                     if (dst[3])
379                         dst[3][pos] = max;
380                 }
381             }
382         } else {
383             for (i = 0; i < h; i++) {
384                 const int iwx = i * slinesizex;
385                 const int iwy = i * slinesizey;
386                 for (j = 0; j < w; j++) {
387                     const int x = FFMIN(spx[iwx + j], max);
388                     const int y = FFMIN(spy[iwy + j], max);
389                     const int pos = y * dlinesize + x;
390
391                     dst[0][pos] = FFMIN(dst[0][pos] + intensity, max);
392                     dst[1][pos] = FFMIN(dst[1][pos] + intensity, max);
393                     dst[2][pos] = FFMIN(dst[2][pos] + intensity, max);
394                     if (dst[3])
395                         dst[3][pos] = max;
396                 }
397             }
398         }
399         break;
400     case COLOR2:
401         if (s->is_yuv) {
402             for (i = 0; i < h; i++) {
403                 const int iw1 = i * slinesizex;
404                 const int iw2 = i * slinesizey;
405                 for (j = 0; j < w; j++) {
406                     const int x = FFMIN(spx[iw1 + j], max);
407                     const int y = FFMIN(spy[iw2 + j], max);
408                     const int pos = y * dlinesize + x;
409
410                     if (!dpd[pos])
411                         dpd[pos] = FFABS(mid - x) + FFABS(mid - y);
412                     dpx[pos] = x;
413                     dpy[pos] = y;
414                     if (dst[3])
415                         dst[3][pos] = max;
416                 }
417             }
418         } else {
419             for (i = 0; i < h; i++) {
420                 const int iw1 = i * slinesizex;
421                 const int iw2 = i * slinesizey;
422                 for (j = 0; j < w; j++) {
423                     const int x = FFMIN(spx[iw1 + j], max);
424                     const int y = FFMIN(spy[iw2 + j], max);
425                     const int pos = y * dlinesize + x;
426
427                     if (!dpd[pos])
428                         dpd[pos] = FFMIN(x + y, max);
429                     dpx[pos] = x;
430                     dpy[pos] = y;
431                     if (dst[3])
432                         dst[3][pos] = max;
433                 }
434             }
435         }
436         break;
437     case COLOR3:
438         for (i = 0; i < h; i++) {
439             const int iw1 = i * slinesizex;
440             const int iw2 = i * slinesizey;
441             for (j = 0; j < w; j++) {
442                 const int x = FFMIN(spx[iw1 + j], max);
443                 const int y = FFMIN(spy[iw2 + j], max);
444                 const int pos = y * dlinesize + x;
445
446                 dpd[pos] = FFMIN(max, dpd[pos] + intensity);
447                 dpx[pos] = x;
448                 dpy[pos] = y;
449                 if (dst[3])
450                     dst[3][pos] = max;
451             }
452         }
453         break;
454     case COLOR4:
455         for (i = 0; i < in->height; i++) {
456             const int iwx = (i >> vsub) * slinesizex;
457             const int iwy = (i >> vsub) * slinesizey;
458             const int iwd = i * slinesized;
459             for (j = 0; j < in->width; j++) {
460                 const int x = FFMIN(spx[iwx + (j >> hsub)], max);
461                 const int y = FFMIN(spy[iwy + (j >> hsub)], max);
462                 const int pos = y * dlinesize + x;
463
464                 dpd[pos] = FFMAX(spd[iwd + j], dpd[pos]);
465                 dpx[pos] = x;
466                 dpy[pos] = y;
467                 if (dst[3])
468                     dst[3][pos] = max;
469             }
470         }
471         break;
472     default:
473         av_assert0(0);
474     }
475
476     envelope16(s, out);
477
478     if (s->mode == COLOR) {
479         for (i = 0; i < out->height; i++) {
480             for (j = 0; j < out->width; j++) {
481                 if (!dpd[i * dlinesize + j]) {
482                     dpx[i * dlinesize + j] = j;
483                     dpy[i * dlinesize + j] = i;
484                     dpd[i * dlinesize + j] = mid;
485                 }
486             }
487         }
488     } else if (s->mode == COLOR5) {
489         for (i = 0; i < out->height; i++) {
490             for (j = 0; j < out->width; j++) {
491                 if (!dpd[i * dlinesize + j]) {
492                     dpx[i * dlinesize + j] = j;
493                     dpy[i * dlinesize + j] = i;
494                     dpd[i * dlinesize + j] = mid * M_SQRT2 - hypot(i - mid, j - mid);
495                 }
496             }
497         }
498     }
499 }
500
501 static void vectorscope8(VectorscopeContext *s, AVFrame *in, AVFrame *out, int pd)
502 {
503     const uint8_t * const *src = (const uint8_t * const *)in->data;
504     const int slinesizex = in->linesize[s->x];
505     const int slinesizey = in->linesize[s->y];
506     const int slinesized = in->linesize[pd];
507     const int dlinesize = out->linesize[0];
508     const int intensity = s->intensity;
509     const int px = s->x, py = s->y;
510     const int h = s->planeheight[py];
511     const int w = s->planewidth[px];
512     const uint8_t *spx = src[px];
513     const uint8_t *spy = src[py];
514     const uint8_t *spd = src[pd];
515     const int hsub = s->hsub;
516     const int vsub = s->vsub;
517     uint8_t **dst = out->data;
518     uint8_t *dpx = dst[px];
519     uint8_t *dpy = dst[py];
520     uint8_t *dpd = dst[pd];
521     int i, j, k;
522
523     for (k = 0; k < 4 && dst[k]; k++)
524         for (i = 0; i < out->height ; i++)
525             memset(dst[k] + i * out->linesize[k],
526                    (s->mode == COLOR || s->mode == COLOR5) && k == s->pd ? 0 : s->bg_color[k], out->width);
527
528     switch (s->mode) {
529     case COLOR5:
530     case COLOR:
531     case GRAY:
532         if (s->is_yuv) {
533             for (i = 0; i < h; i++) {
534                 const int iwx = i * slinesizex;
535                 const int iwy = i * slinesizey;
536                 for (j = 0; j < w; j++) {
537                     const int x = spx[iwx + j];
538                     const int y = spy[iwy + j];
539                     const int pos = y * dlinesize + x;
540
541                     dpd[pos] = FFMIN(dpd[pos] + intensity, 255);
542                     if (dst[3])
543                         dst[3][pos] = 255;
544                 }
545             }
546         } else {
547             for (i = 0; i < h; i++) {
548                 const int iwx = i * slinesizex;
549                 const int iwy = i * slinesizey;
550                 for (j = 0; j < w; j++) {
551                     const int x = spx[iwx + j];
552                     const int y = spy[iwy + j];
553                     const int pos = y * dlinesize + x;
554
555                     dst[0][pos] = FFMIN(dst[0][pos] + intensity, 255);
556                     dst[1][pos] = FFMIN(dst[1][pos] + intensity, 255);
557                     dst[2][pos] = FFMIN(dst[2][pos] + intensity, 255);
558                     if (dst[3])
559                         dst[3][pos] = 255;
560                 }
561             }
562         }
563         break;
564     case COLOR2:
565         if (s->is_yuv) {
566             for (i = 0; i < h; i++) {
567                 const int iw1 = i * slinesizex;
568                 const int iw2 = i * slinesizey;
569                 for (j = 0; j < w; j++) {
570                     const int x = spx[iw1 + j];
571                     const int y = spy[iw2 + j];
572                     const int pos = y * dlinesize + x;
573
574                     if (!dpd[pos])
575                         dpd[pos] = FFABS(128 - x) + FFABS(128 - y);
576                     dpx[pos] = x;
577                     dpy[pos] = y;
578                     if (dst[3])
579                         dst[3][pos] = 255;
580                 }
581             }
582         } else {
583             for (i = 0; i < h; i++) {
584                 const int iw1 = i * slinesizex;
585                 const int iw2 = i * slinesizey;
586                 for (j = 0; j < w; j++) {
587                     const int x = spx[iw1 + j];
588                     const int y = spy[iw2 + j];
589                     const int pos = y * dlinesize + x;
590
591                     if (!dpd[pos])
592                         dpd[pos] = FFMIN(x + y, 255);
593                     dpx[pos] = x;
594                     dpy[pos] = y;
595                     if (dst[3])
596                         dst[3][pos] = 255;
597                 }
598             }
599         }
600         break;
601     case COLOR3:
602         for (i = 0; i < h; i++) {
603             const int iw1 = i * slinesizex;
604             const int iw2 = i * slinesizey;
605             for (j = 0; j < w; j++) {
606                 const int x = spx[iw1 + j];
607                 const int y = spy[iw2 + j];
608                 const int pos = y * dlinesize + x;
609
610                 dpd[pos] = FFMIN(255, dpd[pos] + intensity);
611                 dpx[pos] = x;
612                 dpy[pos] = y;
613                 if (dst[3])
614                     dst[3][pos] = 255;
615             }
616         }
617         break;
618     case COLOR4:
619         for (i = 0; i < in->height; i++) {
620             const int iwx = (i >> vsub) * slinesizex;
621             const int iwy = (i >> vsub) * slinesizey;
622             const int iwd = i * slinesized;
623             for (j = 0; j < in->width; j++) {
624                 const int x = spx[iwx + (j >> hsub)];
625                 const int y = spy[iwy + (j >> hsub)];
626                 const int pos = y * dlinesize + x;
627
628                 dpd[pos] = FFMAX(spd[iwd + j], dpd[pos]);
629                 dpx[pos] = x;
630                 dpy[pos] = y;
631                 if (dst[3])
632                     dst[3][pos] = 255;
633             }
634         }
635         break;
636     default:
637         av_assert0(0);
638     }
639
640     envelope(s, out);
641
642     if (s->mode == COLOR) {
643         for (i = 0; i < out->height; i++) {
644             for (j = 0; j < out->width; j++) {
645                 if (!dpd[i * out->linesize[pd] + j]) {
646                     dpx[i * out->linesize[px] + j] = j;
647                     dpy[i * out->linesize[py] + j] = i;
648                     dpd[i * out->linesize[pd] + j] = 128;
649                 }
650             }
651         }
652     } else if (s->mode == COLOR5) {
653         for (i = 0; i < out->height; i++) {
654             for (j = 0; j < out->width; j++) {
655                 if (!dpd[i * out->linesize[pd] + j]) {
656                     dpx[i * out->linesize[px] + j] = j;
657                     dpy[i * out->linesize[py] + j] = i;
658                     dpd[i * out->linesize[pd] + j] = 128 * M_SQRT2 - hypot(i - 128, j - 128);
659                 }
660             }
661         }
662     }
663 }
664
665 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
666 {
667     AVFilterContext *ctx  = inlink->dst;
668     VectorscopeContext *s = ctx->priv;
669     AVFilterLink *outlink = ctx->outputs[0];
670     AVFrame *out;
671
672     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
673     if (!out) {
674         av_frame_free(&in);
675         return AVERROR(ENOMEM);
676     }
677     out->pts = in->pts;
678
679     s->vectorscope(s, in, out, s->pd);
680
681     av_frame_free(&in);
682     return ff_filter_frame(outlink, out);
683 }
684
685 static int config_input(AVFilterLink *inlink)
686 {
687     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
688     VectorscopeContext *s = inlink->dst->priv;
689
690     s->is_yuv = !(desc->flags & AV_PIX_FMT_FLAG_RGB);
691     s->size = 1 << desc->comp[0].depth;
692     s->mult = s->size / 256;
693
694     if (s->mode == GRAY && s->is_yuv)
695         s->pd = 0;
696     else {
697         if ((s->x == 1 && s->y == 2) || (s->x == 2 && s->y == 1))
698             s->pd = 0;
699         else if ((s->x == 0 && s->y == 2) || (s->x == 2 && s->y == 0))
700             s->pd = 1;
701         else if ((s->x == 0 && s->y == 1) || (s->x == 1 && s->y == 0))
702             s->pd = 2;
703     }
704
705     if (s->size == 256)
706         s->vectorscope = vectorscope8;
707     else
708         s->vectorscope = vectorscope16;
709
710     switch (inlink->format) {
711     case AV_PIX_FMT_GBRP10:
712     case AV_PIX_FMT_GBRP9:
713     case AV_PIX_FMT_GBRAP:
714     case AV_PIX_FMT_GBRP:
715         s->bg_color = black_gbrp_color;
716         break;
717     default:
718         s->bg_color = black_yuva_color;
719     }
720
721     s->hsub = desc->log2_chroma_w;
722     s->vsub = desc->log2_chroma_h;
723     s->planeheight[1] = s->planeheight[2] = AV_CEIL_RSHIFT(inlink->h, desc->log2_chroma_h);
724     s->planeheight[0] = s->planeheight[3] = inlink->h;
725     s->planewidth[1]  = s->planewidth[2]  = AV_CEIL_RSHIFT(inlink->w, desc->log2_chroma_w);
726     s->planewidth[0]  = s->planewidth[3]  = inlink->w;
727
728     return 0;
729 }
730
731 static const AVFilterPad inputs[] = {
732     {
733         .name         = "default",
734         .type         = AVMEDIA_TYPE_VIDEO,
735         .filter_frame = filter_frame,
736         .config_props = config_input,
737     },
738     { NULL }
739 };
740
741 static const AVFilterPad outputs[] = {
742     {
743         .name         = "default",
744         .type         = AVMEDIA_TYPE_VIDEO,
745         .config_props = config_output,
746     },
747     { NULL }
748 };
749
750 AVFilter ff_vf_vectorscope = {
751     .name          = "vectorscope",
752     .description   = NULL_IF_CONFIG_SMALL("Video vectorscope."),
753     .priv_size     = sizeof(VectorscopeContext),
754     .priv_class    = &vectorscope_class,
755     .query_formats = query_formats,
756     .inputs        = inputs,
757     .outputs       = outputs,
758 };