avfilter/avf_ahistogram: assert that variables are initialized by switch()
[ffmpeg.git] / libavfilter / avf_ahistogram.c
1 /*
2  * Copyright (c) 2015 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/opt.h"
23 #include "libavutil/parseutils.h"
24 #include "avfilter.h"
25 #include "formats.h"
26 #include "audio.h"
27 #include "video.h"
28 #include "internal.h"
29
30 enum DisplayScale   { LINEAR, SQRT, CBRT, LOG, RLOG, NB_SCALES };
31 enum AmplitudeScale { ALINEAR, ALOG, NB_ASCALES };
32 enum SlideMode      { REPLACE, SCROLL, NB_SLIDES };
33 enum DisplayMode    { SINGLE, SEPARATE, NB_DMODES };
34 enum HistogramMode  { ACCUMULATE, CURRENT, NB_HMODES };
35
36 typedef struct AudioHistogramContext {
37     const AVClass *class;
38     AVFrame *out;
39     int w, h;
40     AVRational frame_rate;
41     uint64_t *achistogram;
42     uint64_t *shistogram;
43     int ascale;
44     int scale;
45     float phisto;
46     int histogram_h;
47     int apos;
48     int ypos;
49     int slide;
50     int dmode;
51     int dchannels;
52     int count;
53     int frame_count;
54     float *combine_buffer;
55     AVFrame *in[101];
56     int first;
57 } AudioHistogramContext;
58
59 #define OFFSET(x) offsetof(AudioHistogramContext, x)
60 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
61
62 static const AVOption ahistogram_options[] = {
63     { "dmode", "set method to display channels", OFFSET(dmode), AV_OPT_TYPE_INT, {.i64=SINGLE}, 0, NB_DMODES-1, FLAGS, "dmode" },
64         { "single", "all channels use single histogram", 0, AV_OPT_TYPE_CONST, {.i64=SINGLE},   0, 0, FLAGS, "dmode" },
65         { "separate", "each channel have own histogram", 0, AV_OPT_TYPE_CONST, {.i64=SEPARATE}, 0, 0, FLAGS, "dmode" },
66     { "rate", "set video rate", OFFSET(frame_rate), AV_OPT_TYPE_VIDEO_RATE, {.str="25"}, 0, 0, FLAGS },
67     { "r",    "set video rate", OFFSET(frame_rate), AV_OPT_TYPE_VIDEO_RATE, {.str="25"}, 0, 0, FLAGS },
68     { "size", "set video size", OFFSET(w), AV_OPT_TYPE_IMAGE_SIZE, {.str="hd720"}, 0, 0, FLAGS },
69     { "s",    "set video size", OFFSET(w), AV_OPT_TYPE_IMAGE_SIZE, {.str="hd720"}, 0, 0, FLAGS },
70     { "scale", "set display scale", OFFSET(scale), AV_OPT_TYPE_INT, {.i64=LOG}, LINEAR, NB_SCALES-1, FLAGS, "scale" },
71         { "log",  "logarithmic",         0, AV_OPT_TYPE_CONST, {.i64=LOG},    0, 0, FLAGS, "scale" },
72         { "sqrt", "square root",         0, AV_OPT_TYPE_CONST, {.i64=SQRT},   0, 0, FLAGS, "scale" },
73         { "cbrt", "cubic root",          0, AV_OPT_TYPE_CONST, {.i64=CBRT},   0, 0, FLAGS, "scale" },
74         { "lin",  "linear",              0, AV_OPT_TYPE_CONST, {.i64=LINEAR}, 0, 0, FLAGS, "scale" },
75         { "rlog", "reverse logarithmic", 0, AV_OPT_TYPE_CONST, {.i64=RLOG},   0, 0, FLAGS, "scale" },
76     { "ascale", "set amplitude scale", OFFSET(ascale), AV_OPT_TYPE_INT, {.i64=ALOG}, LINEAR, NB_ASCALES-1, FLAGS, "ascale" },
77         { "log",  "logarithmic", 0, AV_OPT_TYPE_CONST, {.i64=ALOG},    0, 0, FLAGS, "ascale" },
78         { "lin",  "linear",      0, AV_OPT_TYPE_CONST, {.i64=ALINEAR}, 0, 0, FLAGS, "ascale" },
79     { "acount", "how much frames to accumulate", OFFSET(count), AV_OPT_TYPE_INT, {.i64=1}, -1, 100, FLAGS },
80     { "rheight", "set histogram ratio of window height", OFFSET(phisto), AV_OPT_TYPE_FLOAT, {.dbl=0.10}, 0, 1, FLAGS },
81     { "slide", "set sonogram sliding", OFFSET(slide), AV_OPT_TYPE_INT, {.i64=REPLACE}, 0, NB_SLIDES-1, FLAGS, "slide" },
82         { "replace", "replace old rows with new", 0, AV_OPT_TYPE_CONST, {.i64=REPLACE},    0, 0, FLAGS, "slide" },
83         { "scroll",  "scroll from top to bottom", 0, AV_OPT_TYPE_CONST, {.i64=SCROLL}, 0, 0, FLAGS, "slide" },
84     { NULL }
85 };
86
87 AVFILTER_DEFINE_CLASS(ahistogram);
88
89 static int query_formats(AVFilterContext *ctx)
90 {
91     AVFilterFormats *formats = NULL;
92     AVFilterChannelLayouts *layouts = NULL;
93     AVFilterLink *inlink = ctx->inputs[0];
94     AVFilterLink *outlink = ctx->outputs[0];
95     static const enum AVSampleFormat sample_fmts[] = { AV_SAMPLE_FMT_FLTP, AV_SAMPLE_FMT_NONE };
96     static const enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_YUVA444P, AV_PIX_FMT_NONE };
97     int ret = AVERROR(EINVAL);
98
99     formats = ff_make_format_list(sample_fmts);
100     if ((ret = ff_formats_ref         (formats, &inlink->out_formats        )) < 0 ||
101         (layouts = ff_all_channel_counts()) == NULL ||
102         (ret = ff_channel_layouts_ref (layouts, &inlink->out_channel_layouts)) < 0)
103         return ret;
104
105     formats = ff_all_samplerates();
106     if ((ret = ff_formats_ref(formats, &inlink->out_samplerates)) < 0)
107         return ret;
108
109     formats = ff_make_format_list(pix_fmts);
110     if ((ret = ff_formats_ref(formats, &outlink->in_formats)) < 0)
111         return ret;
112
113     return 0;
114 }
115
116 static int config_input(AVFilterLink *inlink)
117 {
118     AVFilterContext *ctx = inlink->dst;
119     AudioHistogramContext *s = ctx->priv;
120     int nb_samples;
121
122     nb_samples = FFMAX(1024, ((double)inlink->sample_rate / av_q2d(s->frame_rate)) + 0.5);
123     inlink->partial_buf_size =
124     inlink->min_samples =
125     inlink->max_samples = nb_samples;
126
127     s->dchannels = s->dmode == SINGLE ? 1 : inlink->channels;
128     s->shistogram = av_calloc(s->w, s->dchannels * sizeof(*s->shistogram));
129     if (!s->shistogram)
130         return AVERROR(ENOMEM);
131
132     s->achistogram = av_calloc(s->w, s->dchannels * sizeof(*s->achistogram));
133     if (!s->achistogram)
134         return AVERROR(ENOMEM);
135
136     return 0;
137 }
138
139 static int config_output(AVFilterLink *outlink)
140 {
141     AudioHistogramContext *s = outlink->src->priv;
142
143     outlink->w = s->w;
144     outlink->h = s->h;
145     outlink->sample_aspect_ratio = (AVRational){1,1};
146     outlink->frame_rate = s->frame_rate;
147
148     s->histogram_h = s->h * s->phisto;
149     s->ypos = s->h * s->phisto;
150
151     if (s->dmode == SEPARATE) {
152         s->combine_buffer = av_malloc_array(outlink->w * 3, sizeof(*s->combine_buffer));
153         if (!s->combine_buffer)
154             return AVERROR(ENOMEM);
155     }
156
157     return 0;
158 }
159
160 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
161 {
162     AVFilterContext *ctx = inlink->dst;
163     AVFilterLink *outlink = ctx->outputs[0];
164     AudioHistogramContext *s = ctx->priv;
165     const int H = s->histogram_h;
166     const int w = s->w;
167     int c, y, n, p, bin;
168     uint64_t acmax = 0;
169
170     if (!s->out || s->out->width  != outlink->w ||
171                    s->out->height != outlink->h) {
172         av_frame_free(&s->out);
173         s->out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
174         if (!s->out) {
175             av_frame_free(&in);
176             return AVERROR(ENOMEM);
177         }
178         for (n = H; n < s->h; n++) {
179             memset(s->out->data[0] + n * s->out->linesize[0], 0, w);
180             memset(s->out->data[1] + n * s->out->linesize[0], 127, w);
181             memset(s->out->data[2] + n * s->out->linesize[0], 127, w);
182             memset(s->out->data[3] + n * s->out->linesize[0], 0, w);
183         }
184     }
185
186     if (s->dmode == SEPARATE) {
187         for (y = 0; y < w; y++) {
188             s->combine_buffer[3 * y    ] = 0;
189             s->combine_buffer[3 * y + 1] = 127.5;
190             s->combine_buffer[3 * y + 2] = 127.5;
191         }
192     }
193
194     for (n = 0; n < H; n++) {
195         memset(s->out->data[0] + n * s->out->linesize[0], 0, w);
196         memset(s->out->data[1] + n * s->out->linesize[0], 127, w);
197         memset(s->out->data[2] + n * s->out->linesize[0], 127, w);
198         memset(s->out->data[3] + n * s->out->linesize[0], 0, w);
199     }
200     s->out->pts = in->pts;
201
202     s->first = s->frame_count;
203
204     switch (s->ascale) {
205     case ALINEAR:
206         for (c = 0; c < inlink->channels; c++) {
207             const float *src = (const float *)in->extended_data[c];
208             uint64_t *achistogram = &s->achistogram[(s->dmode == SINGLE ? 0: c) * w];
209
210             for (n = 0; n < in->nb_samples; n++) {
211                 bin = lrint(av_clipf(fabsf(src[n]), 0, 1) * (w - 1));
212
213                 achistogram[bin]++;
214             }
215
216             if (s->in[s->first] && s->count >= 0) {
217                 uint64_t *shistogram = &s->shistogram[(s->dmode == SINGLE ? 0: c) * w];
218                 const float *src2 = (const float *)s->in[s->first]->extended_data[c];
219
220                 for (n = 0; n < in->nb_samples; n++) {
221                     bin = lrint(av_clipf(fabsf(src2[n]), 0, 1) * (w - 1));
222
223                     shistogram[bin]++;
224                 }
225             }
226         }
227         break;
228     case ALOG:
229         for (c = 0; c < inlink->channels; c++) {
230             const float *src = (const float *)in->extended_data[c];
231             uint64_t *achistogram = &s->achistogram[(s->dmode == SINGLE ? 0: c) * w];
232
233             for (n = 0; n < in->nb_samples; n++) {
234                 bin = lrint(av_clipf(1 + log10(fabsf(src[n])) / 6, 0, 1) * (w - 1));
235
236                 achistogram[bin]++;
237             }
238
239             if (s->in[s->first] && s->count >= 0) {
240                 uint64_t *shistogram = &s->shistogram[(s->dmode == SINGLE ? 0: c) * w];
241                 const float *src2 = (const float *)s->in[s->first]->extended_data[c];
242
243                 for (n = 0; n < in->nb_samples; n++) {
244                     bin = lrint(av_clipf(1 + log10(fabsf(src2[n])) / 6, 0, 1) * (w - 1));
245
246                     shistogram[bin]++;
247                 }
248             }
249         }
250         break;
251     }
252
253     av_frame_free(&s->in[s->frame_count]);
254     s->in[s->frame_count] = in;
255     s->frame_count++;
256     if (s->frame_count > s->count)
257         s->frame_count = 0;
258
259     for (n = 0; n < w * s->dchannels; n++) {
260         acmax = FFMAX(s->achistogram[n] - s->shistogram[n], acmax);
261     }
262
263     for (c = 0; c < s->dchannels; c++) {
264         uint64_t *shistogram  = &s->shistogram[c * w];
265         uint64_t *achistogram = &s->achistogram[c * w];
266         float yf, uf, vf;
267
268         if (s->dmode == SEPARATE) {
269             yf = 256.0f / s->dchannels;
270             uf = yf * M_PI;
271             vf = yf * M_PI;
272             uf *= 0.5 * sin((2 * M_PI * c) / s->dchannels);
273             vf *= 0.5 * cos((2 * M_PI * c) / s->dchannels);
274         }
275
276         for (n = 0; n < w; n++) {
277             double a, aa;
278             int h;
279
280             a = achistogram[n] - shistogram[n];
281
282             switch (s->scale) {
283             case LINEAR:
284                 aa = a / (double)acmax;
285                 break;
286             case SQRT:
287                 aa = sqrt(a) / sqrt(acmax);
288                 break;
289             case CBRT:
290                 aa = cbrt(a) / cbrt(acmax);
291                 break;
292             case LOG:
293                 aa = log2(a + 1) / log2(acmax + 1);
294                 break;
295             case RLOG:
296                 aa = 1. - log2(a + 1) / log2(acmax + 1);
297                 if (aa == 1.)
298                     aa = 0;
299                 break;
300             default:
301                 av_assert0(0);
302             }
303
304             h = aa * (H - 1);
305
306             if (s->dmode == SINGLE) {
307
308                 for (y = H - h; y < H; y++) {
309                     s->out->data[0][y * s->out->linesize[0] + n] = 255;
310                     s->out->data[3][y * s->out->linesize[0] + n] = 255;
311                 }
312
313                 if (s->h - H > 0) {
314                     h = aa * 255;
315
316                     s->out->data[0][s->ypos * s->out->linesize[0] + n] = h;
317                     s->out->data[1][s->ypos * s->out->linesize[1] + n] = 127;
318                     s->out->data[2][s->ypos * s->out->linesize[2] + n] = 127;
319                     s->out->data[3][s->ypos * s->out->linesize[3] + n] = 255;
320                 }
321             } else if (s->dmode == SEPARATE) {
322                 float *out = &s->combine_buffer[3 * n];
323                 int old;
324
325                 old = s->out->data[0][(H - h) * s->out->linesize[0] + n];
326                 for (y = H - h; y < H; y++) {
327                     if (s->out->data[0][y * s->out->linesize[0] + n] != old)
328                         break;
329                     old = s->out->data[0][y * s->out->linesize[0] + n];
330                     s->out->data[0][y * s->out->linesize[0] + n] = yf;
331                     s->out->data[1][y * s->out->linesize[1] + n] = 128+uf;
332                     s->out->data[2][y * s->out->linesize[2] + n] = 128+vf;
333                     s->out->data[3][y * s->out->linesize[3] + n] = 255;
334                 }
335
336                 out[0] += aa * yf;
337                 out[1] += aa * uf;
338                 out[2] += aa * vf;
339             }
340         }
341     }
342
343     if (s->h - H > 0) {
344         if (s->dmode == SEPARATE) {
345             for (n = 0; n < w; n++) {
346                 float *cb = &s->combine_buffer[3 * n];
347
348                 s->out->data[0][s->ypos * s->out->linesize[0] + n] = cb[0];
349                 s->out->data[1][s->ypos * s->out->linesize[1] + n] = cb[1];
350                 s->out->data[2][s->ypos * s->out->linesize[2] + n] = cb[2];
351                 s->out->data[3][s->ypos * s->out->linesize[3] + n] = 255;
352             }
353         }
354
355         if (s->slide == SCROLL) {
356             for (p = 0; p < 4; p++) {
357                 for (y = s->h; y >= H + 1; y--) {
358                     memmove(s->out->data[p] + (y  ) * s->out->linesize[p],
359                             s->out->data[p] + (y-1) * s->out->linesize[p], w);
360                 }
361             }
362         }
363
364         s->ypos++;
365         if (s->slide == SCROLL || s->ypos >= s->h)
366             s->ypos = H;
367     }
368
369     return ff_filter_frame(outlink, av_frame_clone(s->out));
370 }
371
372 static av_cold void uninit(AVFilterContext *ctx)
373 {
374     AudioHistogramContext *s = ctx->priv;
375     int i;
376
377     av_frame_free(&s->out);
378     av_freep(&s->shistogram);
379     av_freep(&s->achistogram);
380     av_freep(&s->combine_buffer);
381     for (i = 0; i < 101; i++)
382         av_frame_free(&s->in[i]);
383 }
384
385 static const AVFilterPad audiovectorscope_inputs[] = {
386     {
387         .name         = "default",
388         .type         = AVMEDIA_TYPE_AUDIO,
389         .config_props = config_input,
390         .filter_frame = filter_frame,
391     },
392     { NULL }
393 };
394
395 static const AVFilterPad audiovectorscope_outputs[] = {
396     {
397         .name         = "default",
398         .type         = AVMEDIA_TYPE_VIDEO,
399         .config_props = config_output,
400     },
401     { NULL }
402 };
403
404 AVFilter ff_avf_ahistogram = {
405     .name          = "ahistogram",
406     .description   = NULL_IF_CONFIG_SMALL("Convert input audio to histogram video output."),
407     .uninit        = uninit,
408     .query_formats = query_formats,
409     .priv_size     = sizeof(AudioHistogramContext),
410     .inputs        = audiovectorscope_inputs,
411     .outputs       = audiovectorscope_outputs,
412     .priv_class    = &ahistogram_class,
413 };