avcodec/aac_tablegen: get rid of hardcoded tables entirely
[ffmpeg.git] / libavcodec / aacenc_utils.h
1 /*
2  * AAC encoder utilities
3  * Copyright (C) 2015 Rostislav Pehlivanov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * AAC encoder utilities
25  * @author Rostislav Pehlivanov ( atomnuker gmail com )
26  */
27
28 #ifndef AVCODEC_AACENC_UTILS_H
29 #define AVCODEC_AACENC_UTILS_H
30
31 #include "aac.h"
32 #include "aacenctab.h"
33 #include "aactab.h"
34
35 #define ROUND_STANDARD 0.4054f
36 #define ROUND_TO_ZERO 0.1054f
37 #define C_QUANT 0.4054f
38
39 static inline void abs_pow34_v(float *out, const float *in, const int size)
40 {
41     int i;
42     for (i = 0; i < size; i++) {
43         float a = fabsf(in[i]);
44         out[i] = sqrtf(a * sqrtf(a));
45     }
46 }
47
48 /**
49  * Quantize one coefficient.
50  * @return absolute value of the quantized coefficient
51  * @see 3GPP TS26.403 5.6.2 "Scalefactor determination"
52  */
53 static inline int quant(float coef, const float Q, const float rounding)
54 {
55     float a = coef * Q;
56     return sqrtf(a * sqrtf(a)) + rounding;
57 }
58
59 static inline void quantize_bands(int *out, const float *in, const float *scaled,
60                                   int size, float Q34, int is_signed, int maxval,
61                                   const float rounding)
62 {
63     int i;
64     double qc;
65     for (i = 0; i < size; i++) {
66         qc = scaled[i] * Q34;
67         out[i] = (int)FFMIN(qc + rounding, (double)maxval);
68         if (is_signed && in[i] < 0.0f) {
69             out[i] = -out[i];
70         }
71     }
72 }
73
74 static inline float find_max_val(int group_len, int swb_size, const float *scaled)
75 {
76     float maxval = 0.0f;
77     int w2, i;
78     for (w2 = 0; w2 < group_len; w2++) {
79         for (i = 0; i < swb_size; i++) {
80             maxval = FFMAX(maxval, scaled[w2*128+i]);
81         }
82     }
83     return maxval;
84 }
85
86 static inline int find_min_book(float maxval, int sf)
87 {
88     float Q = ff_aac_pow2sf_tab[POW_SF2_ZERO - sf + SCALE_ONE_POS - SCALE_DIV_512];
89     float Q34 = sqrtf(Q * sqrtf(Q));
90     int qmaxval, cb;
91     qmaxval = maxval * Q34 + C_QUANT;
92     if (qmaxval >= (FF_ARRAY_ELEMS(aac_maxval_cb)))
93         cb = 11;
94     else
95         cb = aac_maxval_cb[qmaxval];
96     return cb;
97 }
98
99 static inline float find_form_factor(int group_len, int swb_size, float thresh,
100                                      const float *scaled, float nzslope) {
101     const float iswb_size = 1.0f / swb_size;
102     const float iswb_sizem1 = 1.0f / (swb_size - 1);
103     const float ethresh = thresh;
104     float form = 0.0f, weight = 0.0f;
105     int w2, i;
106     for (w2 = 0; w2 < group_len; w2++) {
107         float e = 0.0f, e2 = 0.0f, var = 0.0f, maxval = 0.0f;
108         float nzl = 0;
109         for (i = 0; i < swb_size; i++) {
110             float s = fabsf(scaled[w2*128+i]);
111             maxval = FFMAX(maxval, s);
112             e += s;
113             e2 += s *= s;
114             /* We really don't want a hard non-zero-line count, since
115              * even below-threshold lines do add up towards band spectral power.
116              * So, fall steeply towards zero, but smoothly
117              */
118             if (s >= ethresh) {
119                 nzl += 1.0f;
120             } else {
121                 nzl += powf(s / ethresh, nzslope);
122             }
123         }
124         if (e2 > thresh) {
125             float frm;
126             e *= iswb_size;
127
128             /** compute variance */
129             for (i = 0; i < swb_size; i++) {
130                 float d = fabsf(scaled[w2*128+i]) - e;
131                 var += d*d;
132             }
133             var = sqrtf(var * iswb_sizem1);
134
135             e2 *= iswb_size;
136             frm = e / FFMIN(e+4*var,maxval);
137             form += e2 * sqrtf(frm) / FFMAX(0.5f,nzl);
138             weight += e2;
139         }
140     }
141     if (weight > 0) {
142         return form / weight;
143     } else {
144         return 1.0f;
145     }
146 }
147
148 /** Return the minimum scalefactor where the quantized coef does not clip. */
149 static inline uint8_t coef2minsf(float coef)
150 {
151     return av_clip_uint8(log2f(coef)*4 - 69 + SCALE_ONE_POS - SCALE_DIV_512);
152 }
153
154 /** Return the maximum scalefactor where the quantized coef is not zero. */
155 static inline uint8_t coef2maxsf(float coef)
156 {
157     return av_clip_uint8(log2f(coef)*4 +  6 + SCALE_ONE_POS - SCALE_DIV_512);
158 }
159
160 /*
161  * Returns the closest possible index to an array of float values, given a value.
162  */
163 static inline int quant_array_idx(const float val, const float *arr, const int num)
164 {
165     int i, index = 0;
166     float quant_min_err = INFINITY;
167     for (i = 0; i < num; i++) {
168         float error = (val - arr[i])*(val - arr[i]);
169         if (error < quant_min_err) {
170             quant_min_err = error;
171             index = i;
172         }
173     }
174     return index;
175 }
176
177 /**
178  * approximates exp10f(-3.0f*(0.5f + 0.5f * cosf(FFMIN(b,15.5f) / 15.5f)))
179  */
180 static av_always_inline float bval2bmax(float b)
181 {
182     return 0.001f + 0.0035f * (b*b*b) / (15.5f*15.5f*15.5f);
183 }
184
185 /*
186  * linear congruential pseudorandom number generator, copied from the decoder
187  */
188 static inline int lcg_random(unsigned previous_val)
189 {
190     union { unsigned u; int s; } v = { previous_val * 1664525u + 1013904223 };
191     return v.s;
192 }
193
194 #define ERROR_IF(cond, ...) \
195     if (cond) { \
196         av_log(avctx, AV_LOG_ERROR, __VA_ARGS__); \
197         return AVERROR(EINVAL); \
198     }
199
200 #define WARN_IF(cond, ...) \
201     if (cond) { \
202         av_log(avctx, AV_LOG_WARNING, __VA_ARGS__); \
203     }
204
205 #endif /* AVCODEC_AACENC_UTILS_H */