avfilter: add waveform monitor filter
[ffmpeg.git] / libavfilter / vf_histogram.c
1 /*
2  * Copyright (c) 2012-2013 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/opt.h"
23 #include "libavutil/parseutils.h"
24 #include "libavutil/pixdesc.h"
25 #include "avfilter.h"
26 #include "formats.h"
27 #include "internal.h"
28 #include "video.h"
29
30 enum HistogramMode {
31     MODE_LEVELS,
32     MODE_WAVEFORM,
33     MODE_COLOR,
34     MODE_COLOR2,
35     MODE_NB
36 };
37
38 typedef struct HistogramContext {
39     const AVClass *class;               ///< AVClass context for log and options purpose
40     int mode;                           ///< HistogramMode
41     unsigned       histogram[256];
42     int            ncomp;
43     const uint8_t  *bg_color;
44     const uint8_t  *fg_color;
45     int            level_height;
46     int            scale_height;
47     int            step;
48     int            waveform_mode;
49     int            waveform_mirror;
50     int            display_mode;
51     int            levels_mode;
52     const AVPixFmtDescriptor *desc;
53     int            components;
54 } HistogramContext;
55
56 #define OFFSET(x) offsetof(HistogramContext, x)
57 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
58
59 static const AVOption histogram_options[] = {
60     { "mode", "set histogram mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64=MODE_LEVELS}, 0, MODE_NB-1, FLAGS, "mode"},
61     { "levels", "standard histogram", 0, AV_OPT_TYPE_CONST, {.i64=MODE_LEVELS}, 0, 0, FLAGS, "mode" },
62     { "waveform", "per row/column luminance graph", 0, AV_OPT_TYPE_CONST, {.i64=MODE_WAVEFORM}, 0, 0, FLAGS, "mode" },
63     { "color", "chroma values in vectorscope", 0, AV_OPT_TYPE_CONST, {.i64=MODE_COLOR}, 0, 0, FLAGS, "mode" },
64     { "color2", "chroma values in vectorscope", 0, AV_OPT_TYPE_CONST, {.i64=MODE_COLOR2}, 0, 0, FLAGS, "mode" },
65     { "level_height", "set level height", OFFSET(level_height), AV_OPT_TYPE_INT, {.i64=200}, 50, 2048, FLAGS},
66     { "scale_height", "set scale height", OFFSET(scale_height), AV_OPT_TYPE_INT, {.i64=12}, 0, 40, FLAGS},
67     { "step", "set waveform step value", OFFSET(step), AV_OPT_TYPE_INT, {.i64=10}, 1, 255, FLAGS},
68     { "waveform_mode", "set waveform mode", OFFSET(waveform_mode), AV_OPT_TYPE_INT, {.i64=0}, 0, 1, FLAGS, "waveform_mode"},
69     { "row",   NULL, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "waveform_mode" },
70     { "column", NULL, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "waveform_mode" },
71     { "waveform_mirror", "set waveform mirroring", OFFSET(waveform_mirror), AV_OPT_TYPE_INT, {.i64=0}, 0, 1, FLAGS, "waveform_mirror"},
72     { "display_mode", "set display mode", OFFSET(display_mode), AV_OPT_TYPE_INT, {.i64=1}, 0, 1, FLAGS, "display_mode"},
73     { "parade",  NULL, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "display_mode" },
74     { "overlay", NULL, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "display_mode" },
75     { "levels_mode", "set levels mode", OFFSET(levels_mode), AV_OPT_TYPE_INT, {.i64=0}, 0, 1, FLAGS, "levels_mode"},
76     { "linear",      NULL, 0, AV_OPT_TYPE_CONST, {.i64=0}, 0, 0, FLAGS, "levels_mode" },
77     { "logarithmic", NULL, 0, AV_OPT_TYPE_CONST, {.i64=1}, 0, 0, FLAGS, "levels_mode" },
78     { "components", "set color components to display", OFFSET(components), AV_OPT_TYPE_INT, {.i64=7}, 1, 15, FLAGS},
79     { NULL }
80 };
81
82 AVFILTER_DEFINE_CLASS(histogram);
83
84 static const enum AVPixelFormat color_pix_fmts[] = {
85     AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUVJ444P,
86     AV_PIX_FMT_NONE
87 };
88
89 static const enum AVPixelFormat levels_pix_fmts[] = {
90     AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUVJ444P,
91     AV_PIX_FMT_GRAY8, AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP, AV_PIX_FMT_NONE
92 };
93
94 static const enum AVPixelFormat waveform_pix_fmts[] = {
95      AV_PIX_FMT_GBRP,     AV_PIX_FMT_GBRAP,
96      AV_PIX_FMT_YUV422P,  AV_PIX_FMT_YUV420P,
97      AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV440P,
98      AV_PIX_FMT_YUV411P,  AV_PIX_FMT_YUV410P,
99      AV_PIX_FMT_YUVJ440P, AV_PIX_FMT_YUVJ411P, AV_PIX_FMT_YUVJ420P,
100      AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ444P,
101      AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUVA422P, AV_PIX_FMT_YUVA420P,
102      AV_PIX_FMT_GRAY8,
103      AV_PIX_FMT_NONE
104 };
105
106 static int query_formats(AVFilterContext *ctx)
107 {
108     HistogramContext *h = ctx->priv;
109     const enum AVPixelFormat *pix_fmts;
110     AVFilterFormats *fmts_list;
111
112     switch (h->mode) {
113     case MODE_WAVEFORM:
114         pix_fmts = waveform_pix_fmts;
115         break;
116     case MODE_LEVELS:
117         pix_fmts = levels_pix_fmts;
118         break;
119     case MODE_COLOR:
120     case MODE_COLOR2:
121         pix_fmts = color_pix_fmts;
122         break;
123     default:
124         av_assert0(0);
125     }
126
127     fmts_list = ff_make_format_list(pix_fmts);
128     if (!fmts_list)
129         return AVERROR(ENOMEM);
130     return ff_set_common_formats(ctx, fmts_list);
131 }
132
133 static const uint8_t black_yuva_color[4] = { 0, 127, 127, 255 };
134 static const uint8_t black_gbrp_color[4] = { 0, 0, 0, 255 };
135 static const uint8_t white_yuva_color[4] = { 255, 127, 127, 255 };
136 static const uint8_t white_gbrp_color[4] = { 255, 255, 255, 255 };
137
138 static int config_input(AVFilterLink *inlink)
139 {
140     HistogramContext *h = inlink->dst->priv;
141
142     h->desc  = av_pix_fmt_desc_get(inlink->format);
143     h->ncomp = h->desc->nb_components;
144
145     switch (inlink->format) {
146     case AV_PIX_FMT_GBRAP:
147     case AV_PIX_FMT_GBRP:
148         h->bg_color = black_gbrp_color;
149         h->fg_color = white_gbrp_color;
150         break;
151     default:
152         h->bg_color = black_yuva_color;
153         h->fg_color = white_yuva_color;
154     }
155
156     return 0;
157 }
158
159 static int config_output(AVFilterLink *outlink)
160 {
161     AVFilterContext *ctx = outlink->src;
162     HistogramContext *h = ctx->priv;
163     int ncomp = 0, i;
164
165     switch (h->mode) {
166     case MODE_LEVELS:
167         for (i = 0; i < h->ncomp; i++) {
168             if ((1 << i) & h->components)
169                 ncomp++;
170         }
171         outlink->w = 256;
172         outlink->h = (h->level_height + h->scale_height) * FFMAX(ncomp * h->display_mode, 1);
173         break;
174     case MODE_WAVEFORM:
175         av_log(ctx, AV_LOG_WARNING, "This mode is deprecated, please use waveform filter instead.\n");
176         if (h->waveform_mode)
177             outlink->h = 256 * FFMAX(h->ncomp * h->display_mode, 1);
178         else
179             outlink->w = 256 * FFMAX(h->ncomp * h->display_mode, 1);
180         break;
181     case MODE_COLOR:
182     case MODE_COLOR2:
183         av_log(ctx, AV_LOG_WARNING, "This mode is deprecated, use vectorscope filter instead.");
184         outlink->h = outlink->w = 256;
185         break;
186     default:
187         av_assert0(0);
188     }
189
190     outlink->sample_aspect_ratio = (AVRational){1,1};
191
192     return 0;
193 }
194
195 static void gen_waveform(HistogramContext *h, AVFrame *inpicref, AVFrame *outpicref,
196                          int component, int intensity, int offset, int col_mode)
197 {
198     const int plane = h->desc->comp[component].plane;
199     const int mirror = h->waveform_mirror;
200     const int is_chroma = (component == 1 || component == 2);
201     const int shift_w = (is_chroma ? h->desc->log2_chroma_w : 0);
202     const int shift_h = (is_chroma ? h->desc->log2_chroma_h : 0);
203     const int src_linesize = inpicref->linesize[plane];
204     const int dst_linesize = outpicref->linesize[plane];
205     const int dst_signed_linesize = dst_linesize * (mirror == 1 ? -1 : 1);
206     uint8_t *src_data = inpicref->data[plane];
207     uint8_t *dst_data = outpicref->data[plane] + (col_mode ? (offset >> shift_h) * dst_linesize : offset >> shift_w);
208     uint8_t * const dst_bottom_line = dst_data + dst_linesize * ((256 >> shift_h) - 1);
209     uint8_t * const dst_line = (mirror ? dst_bottom_line : dst_data);
210     const uint8_t max = 255 - intensity;
211     const int src_h = FF_CEIL_RSHIFT(inpicref->height, shift_h);
212     const int src_w = FF_CEIL_RSHIFT(inpicref->width, shift_w);
213     uint8_t *dst, *p;
214     int y;
215
216     if (!col_mode && mirror)
217         dst_data += 256 >> shift_w;
218     for (y = 0; y < src_h; y++) {
219         const uint8_t *src_data_end = src_data + src_w;
220         dst = dst_line;
221         for (p = src_data; p < src_data_end; p++) {
222             uint8_t *target;
223             if (col_mode) {
224                 target = dst++ + dst_signed_linesize * (*p >> shift_h);
225             } else {
226                 if (mirror)
227                     target = dst_data - (*p >> shift_w);
228                 else
229                     target = dst_data + (*p >> shift_w);
230             }
231             if (*target <= max)
232                 *target += intensity;
233             else
234                 *target = 255;
235         }
236         src_data += src_linesize;
237         dst_data += dst_linesize;
238     }
239 }
240
241
242 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
243 {
244     HistogramContext *h   = inlink->dst->priv;
245     AVFilterContext *ctx  = inlink->dst;
246     AVFilterLink *outlink = ctx->outputs[0];
247     AVFrame *out;
248     const uint8_t *src;
249     uint8_t *dst;
250     int i, j, k, l, m;
251
252     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
253     if (!out) {
254         av_frame_free(&in);
255         return AVERROR(ENOMEM);
256     }
257
258     out->pts = in->pts;
259
260     for (k = 0; k < h->ncomp; k++) {
261         const int is_chroma = (k == 1 || k == 2);
262         const int dst_h = FF_CEIL_RSHIFT(outlink->h, (is_chroma ? h->desc->log2_chroma_h : 0));
263         const int dst_w = FF_CEIL_RSHIFT(outlink->w, (is_chroma ? h->desc->log2_chroma_w : 0));
264         for (i = 0; i < dst_h ; i++)
265             memset(out->data[h->desc->comp[k].plane] +
266                    i * out->linesize[h->desc->comp[k].plane],
267                    h->bg_color[k], dst_w);
268     }
269
270     switch (h->mode) {
271     case MODE_LEVELS:
272         for (m = 0, k = 0; k < h->ncomp; k++) {
273             const int p = h->desc->comp[k].plane;
274             int start;
275             double max_hval_log;
276             unsigned max_hval = 0;
277
278             if (!((1 << k) & h->components))
279                 continue;
280             start = m++ * (h->level_height + h->scale_height) * h->display_mode;
281
282             for (i = 0; i < in->height; i++) {
283                 src = in->data[p] + i * in->linesize[p];
284                 for (j = 0; j < in->width; j++)
285                     h->histogram[src[j]]++;
286             }
287
288             for (i = 0; i < 256; i++)
289                 max_hval = FFMAX(max_hval, h->histogram[i]);
290             max_hval_log = log2(max_hval + 1);
291
292             for (i = 0; i < outlink->w; i++) {
293                 int col_height;
294
295                 if (h->levels_mode)
296                     col_height = round(h->level_height * (1. - (log2(h->histogram[i] + 1) / max_hval_log)));
297                 else
298                     col_height = h->level_height - (h->histogram[i] * (int64_t)h->level_height + max_hval - 1) / max_hval;
299
300                 for (j = h->level_height - 1; j >= col_height; j--) {
301                     if (h->display_mode) {
302                         for (l = 0; l < h->ncomp; l++)
303                             out->data[l][(j + start) * out->linesize[l] + i] = h->fg_color[l];
304                     } else {
305                         out->data[p][(j + start) * out->linesize[p] + i] = 255;
306                     }
307                 }
308                 for (j = h->level_height + h->scale_height - 1; j >= h->level_height; j--)
309                     out->data[p][(j + start) * out->linesize[p] + i] = i;
310             }
311
312             memset(h->histogram, 0, 256 * sizeof(unsigned));
313         }
314         break;
315     case MODE_WAVEFORM:
316         for (k = 0; k < h->ncomp; k++) {
317             const int offset = k * 256 * h->display_mode;
318             gen_waveform(h, in, out, k, h->step, offset, h->waveform_mode);
319         }
320         break;
321     case MODE_COLOR:
322         for (i = 0; i < inlink->h; i++) {
323             const int iw1 = i * in->linesize[1];
324             const int iw2 = i * in->linesize[2];
325             for (j = 0; j < inlink->w; j++) {
326                 const int pos = in->data[1][iw1 + j] * out->linesize[0] + in->data[2][iw2 + j];
327                 if (out->data[0][pos] < 255)
328                     out->data[0][pos]++;
329             }
330         }
331         for (i = 0; i < 256; i++) {
332             dst = out->data[0] + i * out->linesize[0];
333             for (j = 0; j < 256; j++) {
334                 if (!dst[j]) {
335                     out->data[1][i * out->linesize[0] + j] = i;
336                     out->data[2][i * out->linesize[0] + j] = j;
337                 }
338             }
339         }
340         break;
341     case MODE_COLOR2:
342         for (i = 0; i < inlink->h; i++) {
343             const int iw1 = i * in->linesize[1];
344             const int iw2 = i * in->linesize[2];
345             for (j = 0; j < inlink->w; j++) {
346                 const int u = in->data[1][iw1 + j];
347                 const int v = in->data[2][iw2 + j];
348                 const int pos = u * out->linesize[0] + v;
349                 if (!out->data[0][pos])
350                     out->data[0][pos] = FFABS(128 - u) + FFABS(128 - v);
351                 out->data[1][pos] = u;
352                 out->data[2][pos] = v;
353             }
354         }
355         break;
356     default:
357         av_assert0(0);
358     }
359
360     av_frame_free(&in);
361     return ff_filter_frame(outlink, out);
362 }
363
364 static const AVFilterPad inputs[] = {
365     {
366         .name         = "default",
367         .type         = AVMEDIA_TYPE_VIDEO,
368         .filter_frame = filter_frame,
369         .config_props = config_input,
370     },
371     { NULL }
372 };
373
374 static const AVFilterPad outputs[] = {
375     {
376         .name         = "default",
377         .type         = AVMEDIA_TYPE_VIDEO,
378         .config_props = config_output,
379     },
380     { NULL }
381 };
382
383 AVFilter ff_vf_histogram = {
384     .name          = "histogram",
385     .description   = NULL_IF_CONFIG_SMALL("Compute and draw a histogram."),
386     .priv_size     = sizeof(HistogramContext),
387     .query_formats = query_formats,
388     .inputs        = inputs,
389     .outputs       = outputs,
390     .priv_class    = &histogram_class,
391 };