e799e34191984c590ae0071943c5d2c8e9fc39e5
[ffmpeg.git] / libavfilter / af_firequalizer.c
1 /*
2  * Copyright (c) 2016 Muhammad Faiz <mfcc64@gmail.com>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/opt.h"
22 #include "libavutil/eval.h"
23 #include "libavutil/avassert.h"
24 #include "libavcodec/avfft.h"
25 #include "avfilter.h"
26 #include "internal.h"
27 #include "audio.h"
28
29 #define RDFT_BITS_MIN 4
30 #define RDFT_BITS_MAX 16
31
32 enum WindowFunc {
33     WFUNC_RECTANGULAR,
34     WFUNC_HANN,
35     WFUNC_HAMMING,
36     WFUNC_BLACKMAN,
37     WFUNC_NUTTALL3,
38     WFUNC_MNUTTALL3,
39     WFUNC_NUTTALL,
40     WFUNC_BNUTTALL,
41     WFUNC_BHARRIS,
42     WFUNC_TUKEY,
43     NB_WFUNC
44 };
45
46 enum Scale {
47     SCALE_LINLIN,
48     SCALE_LINLOG,
49     SCALE_LOGLIN,
50     SCALE_LOGLOG,
51     NB_SCALE
52 };
53
54 #define NB_GAIN_ENTRY_MAX 4096
55 typedef struct {
56     double  freq;
57     double  gain;
58 } GainEntry;
59
60 typedef struct {
61     int buf_idx;
62     int overlap_idx;
63 } OverlapIndex;
64
65 typedef struct {
66     const AVClass *class;
67
68     RDFTContext   *analysis_rdft;
69     RDFTContext   *analysis_irdft;
70     RDFTContext   *rdft;
71     RDFTContext   *irdft;
72     int           analysis_rdft_len;
73     int           rdft_len;
74
75     float         *analysis_buf;
76     float         *dump_buf;
77     float         *kernel_tmp_buf;
78     float         *kernel_buf;
79     float         *conv_buf;
80     OverlapIndex  *conv_idx;
81     int           fir_len;
82     int           nsamples_max;
83     int64_t       next_pts;
84     int           frame_nsamples_max;
85     int           remaining;
86
87     char          *gain_cmd;
88     char          *gain_entry_cmd;
89     const char    *gain;
90     const char    *gain_entry;
91     double        delay;
92     double        accuracy;
93     int           wfunc;
94     int           fixed;
95     int           multi;
96     int           zero_phase;
97     int           scale;
98     char          *dumpfile;
99     int           dumpscale;
100
101     int           nb_gain_entry;
102     int           gain_entry_err;
103     GainEntry     gain_entry_tbl[NB_GAIN_ENTRY_MAX];
104 } FIREqualizerContext;
105
106 #define OFFSET(x) offsetof(FIREqualizerContext, x)
107 #define FLAGS AV_OPT_FLAG_AUDIO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
108
109 static const AVOption firequalizer_options[] = {
110     { "gain", "set gain curve", OFFSET(gain), AV_OPT_TYPE_STRING, { .str = "gain_interpolate(f)" }, 0, 0, FLAGS },
111     { "gain_entry", "set gain entry", OFFSET(gain_entry), AV_OPT_TYPE_STRING, { .str = NULL }, 0, 0, FLAGS },
112     { "delay", "set delay", OFFSET(delay), AV_OPT_TYPE_DOUBLE, { .dbl = 0.01 }, 0.0, 1e10, FLAGS },
113     { "accuracy", "set accuracy", OFFSET(accuracy), AV_OPT_TYPE_DOUBLE, { .dbl = 5.0 }, 0.0, 1e10, FLAGS },
114     { "wfunc", "set window function", OFFSET(wfunc), AV_OPT_TYPE_INT, { .i64 = WFUNC_HANN }, 0, NB_WFUNC-1, FLAGS, "wfunc" },
115         { "rectangular", "rectangular window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_RECTANGULAR }, 0, 0, FLAGS, "wfunc" },
116         { "hann", "hann window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_HANN }, 0, 0, FLAGS, "wfunc" },
117         { "hamming", "hamming window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_HAMMING }, 0, 0, FLAGS, "wfunc" },
118         { "blackman", "blackman window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_BLACKMAN }, 0, 0, FLAGS, "wfunc" },
119         { "nuttall3", "3-term nuttall window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_NUTTALL3 }, 0, 0, FLAGS, "wfunc" },
120         { "mnuttall3", "minimum 3-term nuttall window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_MNUTTALL3 }, 0, 0, FLAGS, "wfunc" },
121         { "nuttall", "nuttall window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_NUTTALL }, 0, 0, FLAGS, "wfunc" },
122         { "bnuttall", "blackman-nuttall window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_BNUTTALL }, 0, 0, FLAGS, "wfunc" },
123         { "bharris", "blackman-harris window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_BHARRIS }, 0, 0, FLAGS, "wfunc" },
124         { "tukey", "tukey window", 0, AV_OPT_TYPE_CONST, { .i64 = WFUNC_TUKEY }, 0, 0, FLAGS, "wfunc" },
125     { "fixed", "set fixed frame samples", OFFSET(fixed), AV_OPT_TYPE_BOOL, { .i64 = 0 }, 0, 1, FLAGS },
126     { "multi", "set multi channels mode", OFFSET(multi), AV_OPT_TYPE_BOOL, { .i64 = 0 }, 0, 1, FLAGS },
127     { "zero_phase", "set zero phase mode", OFFSET(zero_phase), AV_OPT_TYPE_BOOL, { .i64 = 0 }, 0, 1, FLAGS },
128     { "scale", "set gain scale", OFFSET(scale), AV_OPT_TYPE_INT, { .i64 = SCALE_LINLOG }, 0, NB_SCALE-1, FLAGS, "scale" },
129         { "linlin", "linear-freq linear-gain", 0, AV_OPT_TYPE_CONST, { .i64 = SCALE_LINLIN }, 0, 0, FLAGS, "scale" },
130         { "linlog", "linear-freq logarithmic-gain", 0, AV_OPT_TYPE_CONST, { .i64 = SCALE_LINLOG }, 0, 0, FLAGS, "scale" },
131         { "loglin", "logarithmic-freq linear-gain", 0, AV_OPT_TYPE_CONST, { .i64 = SCALE_LOGLIN }, 0, 0, FLAGS, "scale" },
132         { "loglog", "logarithmic-freq logarithmic-gain", 0, AV_OPT_TYPE_CONST, { .i64 = SCALE_LOGLOG }, 0, 0, FLAGS, "scale" },
133     { "dumpfile", "set dump file", OFFSET(dumpfile), AV_OPT_TYPE_STRING, { .str = NULL }, 0, 0, FLAGS },
134     { "dumpscale", "set dump scale", OFFSET(dumpscale), AV_OPT_TYPE_INT, { .i64 = SCALE_LINLOG }, 0, NB_SCALE-1, FLAGS, "scale" },
135     { NULL }
136 };
137
138 AVFILTER_DEFINE_CLASS(firequalizer);
139
140 static void common_uninit(FIREqualizerContext *s)
141 {
142     av_rdft_end(s->analysis_rdft);
143     av_rdft_end(s->analysis_irdft);
144     av_rdft_end(s->rdft);
145     av_rdft_end(s->irdft);
146     s->analysis_rdft = s->analysis_irdft = s->rdft = s->irdft = NULL;
147
148     av_freep(&s->analysis_buf);
149     av_freep(&s->dump_buf);
150     av_freep(&s->kernel_tmp_buf);
151     av_freep(&s->kernel_buf);
152     av_freep(&s->conv_buf);
153     av_freep(&s->conv_idx);
154 }
155
156 static av_cold void uninit(AVFilterContext *ctx)
157 {
158     FIREqualizerContext *s = ctx->priv;
159
160     common_uninit(s);
161     av_freep(&s->gain_cmd);
162     av_freep(&s->gain_entry_cmd);
163 }
164
165 static int query_formats(AVFilterContext *ctx)
166 {
167     AVFilterChannelLayouts *layouts;
168     AVFilterFormats *formats;
169     static const enum AVSampleFormat sample_fmts[] = {
170         AV_SAMPLE_FMT_FLTP,
171         AV_SAMPLE_FMT_NONE
172     };
173     int ret;
174
175     layouts = ff_all_channel_counts();
176     if (!layouts)
177         return AVERROR(ENOMEM);
178     ret = ff_set_common_channel_layouts(ctx, layouts);
179     if (ret < 0)
180         return ret;
181
182     formats = ff_make_format_list(sample_fmts);
183     if (!formats)
184         return AVERROR(ENOMEM);
185     ret = ff_set_common_formats(ctx, formats);
186     if (ret < 0)
187         return ret;
188
189     formats = ff_all_samplerates();
190     if (!formats)
191         return AVERROR(ENOMEM);
192     return ff_set_common_samplerates(ctx, formats);
193 }
194
195 static void fast_convolute(FIREqualizerContext *s, const float *kernel_buf, float *conv_buf,
196                            OverlapIndex *idx, float *data, int nsamples)
197 {
198     if (nsamples <= s->nsamples_max) {
199         float *buf = conv_buf + idx->buf_idx * s->rdft_len;
200         float *obuf = conv_buf + !idx->buf_idx * s->rdft_len + idx->overlap_idx;
201         int k;
202
203         memcpy(buf, data, nsamples * sizeof(*data));
204         memset(buf + nsamples, 0, (s->rdft_len - nsamples) * sizeof(*data));
205         av_rdft_calc(s->rdft, buf);
206
207         buf[0] *= kernel_buf[0];
208         buf[1] *= kernel_buf[1];
209         for (k = 2; k < s->rdft_len; k += 2) {
210             float re, im;
211             re = buf[k] * kernel_buf[k] - buf[k+1] * kernel_buf[k+1];
212             im = buf[k] * kernel_buf[k+1] + buf[k+1] * kernel_buf[k];
213             buf[k] = re;
214             buf[k+1] = im;
215         }
216
217         av_rdft_calc(s->irdft, buf);
218         for (k = 0; k < s->rdft_len - idx->overlap_idx; k++)
219             buf[k] += obuf[k];
220         memcpy(data, buf, nsamples * sizeof(*data));
221         idx->buf_idx = !idx->buf_idx;
222         idx->overlap_idx = nsamples;
223     } else {
224         while (nsamples > s->nsamples_max * 2) {
225             fast_convolute(s, kernel_buf, conv_buf, idx, data, s->nsamples_max);
226             data += s->nsamples_max;
227             nsamples -= s->nsamples_max;
228         }
229         fast_convolute(s, kernel_buf, conv_buf, idx, data, nsamples/2);
230         fast_convolute(s, kernel_buf, conv_buf, idx, data + nsamples/2, nsamples - nsamples/2);
231     }
232 }
233
234 static void dump_fir(AVFilterContext *ctx, FILE *fp, int ch)
235 {
236     FIREqualizerContext *s = ctx->priv;
237     int rate = ctx->inputs[0]->sample_rate;
238     int xlog = s->dumpscale == SCALE_LOGLIN || s->dumpscale == SCALE_LOGLOG;
239     int ylog = s->dumpscale == SCALE_LINLOG || s->dumpscale == SCALE_LOGLOG;
240     int x;
241     int center = s->fir_len / 2;
242     double delay = s->zero_phase ? 0.0 : (double) center / rate;
243     double vx, ya, yb;
244
245     s->analysis_buf[0] *= s->rdft_len/2;
246     for (x = 1; x <= center; x++) {
247         s->analysis_buf[x] *= s->rdft_len/2;
248         s->analysis_buf[s->analysis_rdft_len - x] *= s->rdft_len/2;
249     }
250
251     if (ch)
252         fprintf(fp, "\n\n");
253
254     fprintf(fp, "# time[%d] (time amplitude)\n", ch);
255
256     for (x = center; x > 0; x--)
257         fprintf(fp, "%15.10f %15.10f\n", delay - (double) x / rate, (double) s->analysis_buf[s->analysis_rdft_len - x]);
258
259     for (x = 0; x <= center; x++)
260         fprintf(fp, "%15.10f %15.10f\n", delay + (double)x / rate , (double) s->analysis_buf[x]);
261
262     av_rdft_calc(s->analysis_rdft, s->analysis_buf);
263
264     fprintf(fp, "\n\n# freq[%d] (frequency desired_gain actual_gain)\n", ch);
265
266     for (x = 0; x <= s->analysis_rdft_len/2; x++) {
267         int i = (x == s->analysis_rdft_len/2) ? 1 : 2 * x;
268         vx = (double)x * rate / s->analysis_rdft_len;
269         if (xlog)
270             vx = log2(0.05*vx);
271         ya = s->dump_buf[i];
272         yb = s->analysis_buf[i];
273         if (ylog) {
274             ya = 20.0 * log10(fabs(ya));
275             yb = 20.0 * log10(fabs(yb));
276         }
277         fprintf(fp, "%17.10f %17.10f %17.10f\n", vx, ya, yb);
278     }
279 }
280
281 static double entry_func(void *p, double freq, double gain)
282 {
283     AVFilterContext *ctx = p;
284     FIREqualizerContext *s = ctx->priv;
285
286     if (s->nb_gain_entry >= NB_GAIN_ENTRY_MAX) {
287         av_log(ctx, AV_LOG_ERROR, "entry table overflow.\n");
288         s->gain_entry_err = AVERROR(EINVAL);
289         return 0;
290     }
291
292     if (isnan(freq)) {
293         av_log(ctx, AV_LOG_ERROR, "nan frequency (%g, %g).\n", freq, gain);
294         s->gain_entry_err = AVERROR(EINVAL);
295         return 0;
296     }
297
298     if (s->nb_gain_entry > 0 && freq <= s->gain_entry_tbl[s->nb_gain_entry - 1].freq) {
299         av_log(ctx, AV_LOG_ERROR, "unsorted frequency (%g, %g).\n", freq, gain);
300         s->gain_entry_err = AVERROR(EINVAL);
301         return 0;
302     }
303
304     s->gain_entry_tbl[s->nb_gain_entry].freq = freq;
305     s->gain_entry_tbl[s->nb_gain_entry].gain = gain;
306     s->nb_gain_entry++;
307     return 0;
308 }
309
310 static int gain_entry_compare(const void *key, const void *memb)
311 {
312     const double *freq = key;
313     const GainEntry *entry = memb;
314
315     if (*freq < entry[0].freq)
316         return -1;
317     if (*freq > entry[1].freq)
318         return 1;
319     return 0;
320 }
321
322 static double gain_interpolate_func(void *p, double freq)
323 {
324     AVFilterContext *ctx = p;
325     FIREqualizerContext *s = ctx->priv;
326     GainEntry *res;
327     double d0, d1, d;
328
329     if (isnan(freq))
330         return freq;
331
332     if (!s->nb_gain_entry)
333         return 0;
334
335     if (freq <= s->gain_entry_tbl[0].freq)
336         return s->gain_entry_tbl[0].gain;
337
338     if (freq >= s->gain_entry_tbl[s->nb_gain_entry-1].freq)
339         return s->gain_entry_tbl[s->nb_gain_entry-1].gain;
340
341     res = bsearch(&freq, &s->gain_entry_tbl, s->nb_gain_entry - 1, sizeof(*res), gain_entry_compare);
342     av_assert0(res);
343
344     d  = res[1].freq - res[0].freq;
345     d0 = freq - res[0].freq;
346     d1 = res[1].freq - freq;
347
348     if (d0 && d1)
349         return (d0 * res[1].gain + d1 * res[0].gain) / d;
350
351     if (d0)
352         return res[1].gain;
353
354     return res[0].gain;
355 }
356
357 static double cubic_interpolate_func(void *p, double freq)
358 {
359     AVFilterContext *ctx = p;
360     FIREqualizerContext *s = ctx->priv;
361     GainEntry *res;
362     double x, x2, x3;
363     double a, b, c, d;
364     double m0, m1, m2, msum, unit;
365
366     if (!s->nb_gain_entry)
367         return 0;
368
369     if (freq <= s->gain_entry_tbl[0].freq)
370         return s->gain_entry_tbl[0].gain;
371
372     if (freq >= s->gain_entry_tbl[s->nb_gain_entry-1].freq)
373         return s->gain_entry_tbl[s->nb_gain_entry-1].gain;
374
375     res = bsearch(&freq, &s->gain_entry_tbl, s->nb_gain_entry - 1, sizeof(*res), gain_entry_compare);
376     av_assert0(res);
377
378     unit = res[1].freq - res[0].freq;
379     m0 = res != s->gain_entry_tbl ?
380          unit * (res[0].gain - res[-1].gain) / (res[0].freq - res[-1].freq) : 0;
381     m1 = res[1].gain - res[0].gain;
382     m2 = res != s->gain_entry_tbl + s->nb_gain_entry - 2 ?
383          unit * (res[2].gain - res[1].gain) / (res[2].freq - res[1].freq) : 0;
384
385     msum = fabs(m0) + fabs(m1);
386     m0 = msum > 0 ? (fabs(m0) * m1 + fabs(m1) * m0) / msum : 0;
387     msum = fabs(m1) + fabs(m2);
388     m1 = msum > 0 ? (fabs(m1) * m2 + fabs(m2) * m1) / msum : 0;
389
390     d = res[0].gain;
391     c = m0;
392     b = 3 * res[1].gain - m1 - 2 * c - 3 * d;
393     a = res[1].gain - b - c - d;
394
395     x = (freq - res[0].freq) / unit;
396     x2 = x * x;
397     x3 = x2 * x;
398
399     return a * x3 + b * x2 + c * x + d;
400 }
401
402 static const char *const var_names[] = {
403     "f",
404     "sr",
405     "ch",
406     "chid",
407     "chs",
408     "chlayout",
409     NULL
410 };
411
412 enum VarOffset {
413     VAR_F,
414     VAR_SR,
415     VAR_CH,
416     VAR_CHID,
417     VAR_CHS,
418     VAR_CHLAYOUT,
419     VAR_NB
420 };
421
422 static int generate_kernel(AVFilterContext *ctx, const char *gain, const char *gain_entry)
423 {
424     FIREqualizerContext *s = ctx->priv;
425     AVFilterLink *inlink = ctx->inputs[0];
426     const char *gain_entry_func_names[] = { "entry", NULL };
427     const char *gain_func_names[] = { "gain_interpolate", "cubic_interpolate", NULL };
428     double (*gain_entry_funcs[])(void *, double, double) = { entry_func, NULL };
429     double (*gain_funcs[])(void *, double) = { gain_interpolate_func, cubic_interpolate_func, NULL };
430     double vars[VAR_NB];
431     AVExpr *gain_expr;
432     int ret, k, center, ch;
433     int xlog = s->scale == SCALE_LOGLIN || s->scale == SCALE_LOGLOG;
434     int ylog = s->scale == SCALE_LINLOG || s->scale == SCALE_LOGLOG;
435     FILE *dump_fp = NULL;
436
437     s->nb_gain_entry = 0;
438     s->gain_entry_err = 0;
439     if (gain_entry) {
440         double result = 0.0;
441         ret = av_expr_parse_and_eval(&result, gain_entry, NULL, NULL, NULL, NULL,
442                                      gain_entry_func_names, gain_entry_funcs, ctx, 0, ctx);
443         if (ret < 0)
444             return ret;
445         if (s->gain_entry_err < 0)
446             return s->gain_entry_err;
447     }
448
449     av_log(ctx, AV_LOG_DEBUG, "nb_gain_entry = %d.\n", s->nb_gain_entry);
450
451     ret = av_expr_parse(&gain_expr, gain, var_names,
452                         gain_func_names, gain_funcs, NULL, NULL, 0, ctx);
453     if (ret < 0)
454         return ret;
455
456     if (s->dumpfile && (!s->dump_buf || !s->analysis_rdft || !(dump_fp = fopen(s->dumpfile, "w"))))
457         av_log(ctx, AV_LOG_WARNING, "dumping failed.\n");
458
459     vars[VAR_CHS] = inlink->channels;
460     vars[VAR_CHLAYOUT] = inlink->channel_layout;
461     vars[VAR_SR] = inlink->sample_rate;
462     for (ch = 0; ch < inlink->channels; ch++) {
463         float *rdft_buf = s->kernel_tmp_buf + ch * s->rdft_len;
464         double result;
465         vars[VAR_CH] = ch;
466         vars[VAR_CHID] = av_channel_layout_extract_channel(inlink->channel_layout, ch);
467         vars[VAR_F] = 0.0;
468         if (xlog)
469             vars[VAR_F] = log2(0.05 * vars[VAR_F]);
470         result = av_expr_eval(gain_expr, vars, ctx);
471         s->analysis_buf[0] = ylog ? pow(10.0, 0.05 * result) : result;
472
473         vars[VAR_F] = 0.5 * inlink->sample_rate;
474         if (xlog)
475             vars[VAR_F] = log2(0.05 * vars[VAR_F]);
476         result = av_expr_eval(gain_expr, vars, ctx);
477         s->analysis_buf[1] = ylog ? pow(10.0, 0.05 * result) : result;
478
479         for (k = 1; k < s->analysis_rdft_len/2; k++) {
480             vars[VAR_F] = k * ((double)inlink->sample_rate /(double)s->analysis_rdft_len);
481             if (xlog)
482                 vars[VAR_F] = log2(0.05 * vars[VAR_F]);
483             result = av_expr_eval(gain_expr, vars, ctx);
484             s->analysis_buf[2*k] = ylog ? pow(10.0, 0.05 * result) : result;
485             s->analysis_buf[2*k+1] = 0.0;
486         }
487
488         if (s->dump_buf)
489             memcpy(s->dump_buf, s->analysis_buf, s->analysis_rdft_len * sizeof(*s->analysis_buf));
490
491         av_rdft_calc(s->analysis_irdft, s->analysis_buf);
492         center = s->fir_len / 2;
493
494         for (k = 0; k <= center; k++) {
495             double u = k * (M_PI/center);
496             double win;
497             switch (s->wfunc) {
498             case WFUNC_RECTANGULAR:
499                 win = 1.0;
500                 break;
501             case WFUNC_HANN:
502                 win = 0.5 + 0.5 * cos(u);
503                 break;
504             case WFUNC_HAMMING:
505                 win = 0.53836 + 0.46164 * cos(u);
506                 break;
507             case WFUNC_BLACKMAN:
508                 win = 0.42 + 0.5 * cos(u) + 0.08 * cos(2*u);
509                 break;
510             case WFUNC_NUTTALL3:
511                 win = 0.40897 + 0.5 * cos(u) + 0.09103 * cos(2*u);
512                 break;
513             case WFUNC_MNUTTALL3:
514                 win = 0.4243801 + 0.4973406 * cos(u) + 0.0782793 * cos(2*u);
515                 break;
516             case WFUNC_NUTTALL:
517                 win = 0.355768 + 0.487396 * cos(u) + 0.144232 * cos(2*u) + 0.012604 * cos(3*u);
518                 break;
519             case WFUNC_BNUTTALL:
520                 win = 0.3635819 + 0.4891775 * cos(u) + 0.1365995 * cos(2*u) + 0.0106411 * cos(3*u);
521                 break;
522             case WFUNC_BHARRIS:
523                 win = 0.35875 + 0.48829 * cos(u) + 0.14128 * cos(2*u) + 0.01168 * cos(3*u);
524                 break;
525             case WFUNC_TUKEY:
526                 win = (u <= 0.5 * M_PI) ? 1.0 : (0.5 + 0.5 * cos(2*u - M_PI));
527                 break;
528             default:
529                 av_assert0(0);
530             }
531             s->analysis_buf[k] *= (2.0/s->analysis_rdft_len) * (2.0/s->rdft_len) * win;
532             if (k)
533                 s->analysis_buf[s->analysis_rdft_len - k] = s->analysis_buf[k];
534         }
535
536         memset(s->analysis_buf + center + 1, 0, (s->analysis_rdft_len - s->fir_len) * sizeof(*s->analysis_buf));
537         memcpy(rdft_buf, s->analysis_buf + s->analysis_rdft_len - center, center * sizeof(*s->analysis_buf));
538         memcpy(rdft_buf + center, s->analysis_buf, (s->rdft_len - center) * sizeof(*s->analysis_buf));
539         av_rdft_calc(s->rdft, rdft_buf);
540
541         for (k = 0; k < s->rdft_len; k++) {
542             if (isnan(rdft_buf[k]) || isinf(rdft_buf[k])) {
543                 av_log(ctx, AV_LOG_ERROR, "filter kernel contains nan or infinity.\n");
544                 av_expr_free(gain_expr);
545                 if (dump_fp)
546                     fclose(dump_fp);
547                 return AVERROR(EINVAL);
548             }
549         }
550
551         if (dump_fp)
552             dump_fir(ctx, dump_fp, ch);
553
554         if (!s->multi)
555             break;
556     }
557
558     memcpy(s->kernel_buf, s->kernel_tmp_buf, (s->multi ? inlink->channels : 1) * s->rdft_len * sizeof(*s->kernel_buf));
559     av_expr_free(gain_expr);
560     if (dump_fp)
561         fclose(dump_fp);
562     return 0;
563 }
564
565 #define SELECT_GAIN(s) (s->gain_cmd ? s->gain_cmd : s->gain)
566 #define SELECT_GAIN_ENTRY(s) (s->gain_entry_cmd ? s->gain_entry_cmd : s->gain_entry)
567
568 static int config_input(AVFilterLink *inlink)
569 {
570     AVFilterContext *ctx = inlink->dst;
571     FIREqualizerContext *s = ctx->priv;
572     int rdft_bits;
573
574     common_uninit(s);
575
576     s->next_pts = 0;
577     s->frame_nsamples_max = 0;
578
579     s->fir_len = FFMAX(2 * (int)(inlink->sample_rate * s->delay) + 1, 3);
580     s->remaining = s->fir_len - 1;
581
582     for (rdft_bits = RDFT_BITS_MIN; rdft_bits <= RDFT_BITS_MAX; rdft_bits++) {
583         s->rdft_len = 1 << rdft_bits;
584         s->nsamples_max = s->rdft_len - s->fir_len + 1;
585         if (s->nsamples_max * 2 >= s->fir_len)
586             break;
587     }
588
589     if (rdft_bits > RDFT_BITS_MAX) {
590         av_log(ctx, AV_LOG_ERROR, "too large delay, please decrease it.\n");
591         return AVERROR(EINVAL);
592     }
593
594     if (!(s->rdft = av_rdft_init(rdft_bits, DFT_R2C)) || !(s->irdft = av_rdft_init(rdft_bits, IDFT_C2R)))
595         return AVERROR(ENOMEM);
596
597     for ( ; rdft_bits <= RDFT_BITS_MAX; rdft_bits++) {
598         s->analysis_rdft_len = 1 << rdft_bits;
599         if (inlink->sample_rate <= s->accuracy * s->analysis_rdft_len)
600             break;
601     }
602
603     if (rdft_bits > RDFT_BITS_MAX) {
604         av_log(ctx, AV_LOG_ERROR, "too small accuracy, please increase it.\n");
605         return AVERROR(EINVAL);
606     }
607
608     if (!(s->analysis_irdft = av_rdft_init(rdft_bits, IDFT_C2R)))
609         return AVERROR(ENOMEM);
610
611     if (s->dumpfile) {
612         s->analysis_rdft = av_rdft_init(rdft_bits, DFT_R2C);
613         s->dump_buf = av_malloc_array(s->analysis_rdft_len, sizeof(*s->dump_buf));
614     }
615
616     s->analysis_buf = av_malloc_array(s->analysis_rdft_len, sizeof(*s->analysis_buf));
617     s->kernel_tmp_buf = av_malloc_array(s->rdft_len * (s->multi ? inlink->channels : 1), sizeof(*s->kernel_tmp_buf));
618     s->kernel_buf = av_malloc_array(s->rdft_len * (s->multi ? inlink->channels : 1), sizeof(*s->kernel_buf));
619     s->conv_buf   = av_calloc(2 * s->rdft_len * inlink->channels, sizeof(*s->conv_buf));
620     s->conv_idx   = av_calloc(inlink->channels, sizeof(*s->conv_idx));
621     if (!s->analysis_buf || !s->kernel_tmp_buf || !s->kernel_buf || !s->conv_buf || !s->conv_idx)
622         return AVERROR(ENOMEM);
623
624     av_log(ctx, AV_LOG_DEBUG, "sample_rate = %d, channels = %d, analysis_rdft_len = %d, rdft_len = %d, fir_len = %d, nsamples_max = %d.\n",
625            inlink->sample_rate, inlink->channels, s->analysis_rdft_len, s->rdft_len, s->fir_len, s->nsamples_max);
626
627     if (s->fixed)
628         inlink->min_samples = inlink->max_samples = inlink->partial_buf_size = s->nsamples_max;
629
630     return generate_kernel(ctx, SELECT_GAIN(s), SELECT_GAIN_ENTRY(s));
631 }
632
633 static int filter_frame(AVFilterLink *inlink, AVFrame *frame)
634 {
635     AVFilterContext *ctx = inlink->dst;
636     FIREqualizerContext *s = ctx->priv;
637     int ch;
638
639     for (ch = 0; ch < inlink->channels; ch++) {
640         fast_convolute(s, s->kernel_buf + (s->multi ? ch * s->rdft_len : 0),
641                        s->conv_buf + 2 * ch * s->rdft_len, s->conv_idx + ch,
642                        (float *) frame->extended_data[ch], frame->nb_samples);
643     }
644
645     s->next_pts = AV_NOPTS_VALUE;
646     if (frame->pts != AV_NOPTS_VALUE) {
647         s->next_pts = frame->pts + av_rescale_q(frame->nb_samples, av_make_q(1, inlink->sample_rate), inlink->time_base);
648         if (s->zero_phase)
649             frame->pts -= av_rescale_q(s->fir_len/2, av_make_q(1, inlink->sample_rate), inlink->time_base);
650     }
651     s->frame_nsamples_max = FFMAX(s->frame_nsamples_max, frame->nb_samples);
652     return ff_filter_frame(ctx->outputs[0], frame);
653 }
654
655 static int request_frame(AVFilterLink *outlink)
656 {
657     AVFilterContext *ctx = outlink->src;
658     FIREqualizerContext *s= ctx->priv;
659     int ret;
660
661     ret = ff_request_frame(ctx->inputs[0]);
662     if (ret == AVERROR_EOF && s->remaining > 0 && s->frame_nsamples_max > 0) {
663         AVFrame *frame = ff_get_audio_buffer(outlink, FFMIN(s->remaining, s->frame_nsamples_max));
664
665         if (!frame)
666             return AVERROR(ENOMEM);
667
668         av_samples_set_silence(frame->extended_data, 0, frame->nb_samples, outlink->channels, frame->format);
669         frame->pts = s->next_pts;
670         s->remaining -= frame->nb_samples;
671         ret = filter_frame(ctx->inputs[0], frame);
672     }
673
674     return ret;
675 }
676
677 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
678                            char *res, int res_len, int flags)
679 {
680     FIREqualizerContext *s = ctx->priv;
681     int ret = AVERROR(ENOSYS);
682
683     if (!strcmp(cmd, "gain")) {
684         char *gain_cmd;
685
686         if (SELECT_GAIN(s) && !strcmp(SELECT_GAIN(s), args)) {
687             av_log(ctx, AV_LOG_DEBUG, "equal gain, do not rebuild.\n");
688             return 0;
689         }
690
691         gain_cmd = av_strdup(args);
692         if (!gain_cmd)
693             return AVERROR(ENOMEM);
694
695         ret = generate_kernel(ctx, gain_cmd, SELECT_GAIN_ENTRY(s));
696         if (ret >= 0) {
697             av_freep(&s->gain_cmd);
698             s->gain_cmd = gain_cmd;
699         } else {
700             av_freep(&gain_cmd);
701         }
702     } else if (!strcmp(cmd, "gain_entry")) {
703         char *gain_entry_cmd;
704
705         if (SELECT_GAIN_ENTRY(s) && !strcmp(SELECT_GAIN_ENTRY(s), args)) {
706             av_log(ctx, AV_LOG_DEBUG, "equal gain_entry, do not rebuild.\n");
707             return 0;
708         }
709
710         gain_entry_cmd = av_strdup(args);
711         if (!gain_entry_cmd)
712             return AVERROR(ENOMEM);
713
714         ret = generate_kernel(ctx, SELECT_GAIN(s), gain_entry_cmd);
715         if (ret >= 0) {
716             av_freep(&s->gain_entry_cmd);
717             s->gain_entry_cmd = gain_entry_cmd;
718         } else {
719             av_freep(&gain_entry_cmd);
720         }
721     }
722
723     return ret;
724 }
725
726 static const AVFilterPad firequalizer_inputs[] = {
727     {
728         .name           = "default",
729         .config_props   = config_input,
730         .filter_frame   = filter_frame,
731         .type           = AVMEDIA_TYPE_AUDIO,
732         .needs_writable = 1,
733     },
734     { NULL }
735 };
736
737 static const AVFilterPad firequalizer_outputs[] = {
738     {
739         .name           = "default",
740         .request_frame  = request_frame,
741         .type           = AVMEDIA_TYPE_AUDIO,
742     },
743     { NULL }
744 };
745
746 AVFilter ff_af_firequalizer = {
747     .name               = "firequalizer",
748     .description        = NULL_IF_CONFIG_SMALL("Finite Impulse Response Equalizer."),
749     .uninit             = uninit,
750     .query_formats      = query_formats,
751     .process_command    = process_command,
752     .priv_size          = sizeof(FIREqualizerContext),
753     .inputs             = firequalizer_inputs,
754     .outputs            = firequalizer_outputs,
755     .priv_class         = &firequalizer_class,
756 };