redundant assignment found by Clang
[ffmpeg.git] / libavcodec / nellymoser.c
1 /*
2  * Common code between Nellymoser encoder and decoder
3  * Copyright (c) 2007 a840bda5870ba11f19698ff6eb9581dfb0f95fa5,
4  *                    539459aeb7d425140b62a3ec7dbf6dc8e408a306, and
5  *                    520e17cd55896441042b14df2566a6eb610ed444
6  * Copyright (c) 2007 Loic Minier <lool at dooz.org>
7  *                    Benjamin Larsson
8  *
9  * Permission is hereby granted, free of charge, to any person obtaining a
10  * copy of this software and associated documentation files (the "Software"),
11  * to deal in the Software without restriction, including without limitation
12  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
13  * and/or sell copies of the Software, and to permit persons to whom the
14  * Software is furnished to do so, subject to the following conditions:
15  *
16  * The above copyright notice and this permission notice shall be included in
17  * all copies or substantial portions of the Software.
18  *
19  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
20  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
21  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
22  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
23  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
24  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
25  * DEALINGS IN THE SOFTWARE.
26  */
27
28 /**
29  * @file nellymoser.c
30  * The 3 alphanumeric copyright notices are md5summed they are from the original
31  * implementors. The original code is available from http://code.google.com/p/nelly2pcm/
32  */
33
34 #include "nellymoser.h"
35 #include "libavutil/random.h"
36 #include "avcodec.h"
37 #include "dsputil.h"
38
39 #define ALT_BITSTREAM_READER_LE
40 #include "bitstream.h"
41
42 const float ff_nelly_dequantization_table[127] = {
43 0.0000000000,-0.8472560048, 0.7224709988, -1.5247479677, -0.4531480074, 0.3753609955, 1.4717899561,
44 -1.9822579622, -1.1929379702, -0.5829370022, -0.0693780035, 0.3909569979,0.9069200158, 1.4862740040,
45  2.2215409279, -2.3887870312, -1.8067539930, -1.4105420113, -1.0773609877, -0.7995010018,-0.5558109879,
46 -0.3334020078, -0.1324490011, 0.0568020009, 0.2548770010, 0.4773550034, 0.7386850119, 1.0443060398,
47 1.3954459429, 1.8098750114, 2.3918759823,-2.3893830776, -1.9884680510, -1.7514040470, -1.5643119812,
48 -1.3922129869,-1.2164649963, -1.0469499826, -0.8905100226, -0.7645580173, -0.6454579830, -0.5259280205,
49 -0.4059549868, -0.3029719889, -0.2096900046, -0.1239869967, -0.0479229987, 0.0257730000, 0.1001340002,
50 0.1737180054, 0.2585540116, 0.3522900045, 0.4569880068, 0.5767750144, 0.7003160119, 0.8425520062,
51 1.0093879700, 1.1821349859, 1.3534560204, 1.5320819616, 1.7332619429, 1.9722349644, 2.3978140354,
52 -2.5756309032, -2.0573320389, -1.8984919786, -1.7727810144, -1.6662600040, -1.5742180347, -1.4993319511,
53 -1.4316639900, -1.3652280569, -1.3000990152, -1.2280930281, -1.1588579416, -1.0921250582, -1.0135740042,
54 -0.9202849865, -0.8287050128, -0.7374889851, -0.6447759867, -0.5590940118, -0.4857139885, -0.4110319912,
55 -0.3459700048, -0.2851159871, -0.2341620028, -0.1870580018, -0.1442500055, -0.1107169986, -0.0739680007,
56 -0.0365610011, -0.0073290002, 0.0203610007, 0.0479039997, 0.0751969963, 0.0980999991, 0.1220389977,
57 0.1458999962, 0.1694349945, 0.1970459968, 0.2252430022, 0.2556869984, 0.2870100141, 0.3197099864,
58 0.3525829911, 0.3889069855, 0.4334920049, 0.4769459963, 0.5204820037, 0.5644530058, 0.6122040153,
59 0.6685929894, 0.7341650128, 0.8032159805, 0.8784040213, 0.9566209912, 1.0397069454, 1.1293770075,
60 1.2211159468, 1.3080279827, 1.4024800062, 1.5056819916, 1.6227730513, 1.7724959850, 1.9430880547,
61  2.2903931141
62 };
63
64 const uint8_t ff_nelly_band_sizes_table[NELLY_BANDS] = {
65 2, 2, 2, 2, 2, 2, 2, 2, 2, 3, 3, 4, 4, 5, 6, 6, 7, 8, 9, 10, 12, 14, 15
66 };
67
68 const uint16_t ff_nelly_init_table[64] = {
69 3134, 5342, 6870, 7792, 8569, 9185, 9744, 10191, 10631, 11061, 11434, 11770,
70 12116, 12513, 12925, 13300, 13674, 14027, 14352, 14716, 15117, 15477, 15824,
71 16157, 16513, 16804, 17090, 17401, 17679, 17948, 18238, 18520, 18764, 19078,
72 19381, 19640, 19921, 20205, 20500, 20813, 21162, 21465, 21794, 22137, 22453,
73 22756, 23067, 23350, 23636, 23926, 24227, 24521, 24819, 25107, 25414, 25730,
74 26120, 26497, 26895, 27344, 27877, 28463, 29426, 31355
75 };
76
77 const int16_t ff_nelly_delta_table[32] = {
78 -11725, -9420, -7910, -6801, -5948, -5233, -4599, -4039, -3507, -3030, -2596,
79 -2170, -1774, -1383, -1016, -660, -329, -1, 337, 696, 1085, 1512, 1962, 2433,
80 2968, 3569, 4314, 5279, 6622, 8154, 10076, 12975
81 };
82
83 static inline int signed_shift(int i, int shift) {
84     if (shift > 0)
85         return i << shift;
86     return i >> -shift;
87 }
88
89 static int sum_bits(short *buf, short shift, short off)
90 {
91     int i, ret = 0;
92
93     for (i = 0; i < NELLY_FILL_LEN; i++) {
94         int b = buf[i]-off;
95         b = ((b>>(shift-1))+1)>>1;
96         ret += av_clip(b, 0, NELLY_BIT_CAP);
97     }
98
99     return ret;
100 }
101
102 static int headroom(int *la)
103 {
104     int l;
105     if (*la == 0) {
106         return 31;
107     }
108     l = 30 - av_log2(FFABS(*la));
109     *la <<= l;
110     return l;
111 }
112
113
114 void ff_nelly_get_sample_bits(const float *buf, int *bits)
115 {
116     int i, j;
117     short sbuf[128];
118     int bitsum = 0, last_bitsum, small_bitsum, big_bitsum;
119     short shift, shift_saved;
120     int max, sum, last_off, tmp;
121     int big_off, small_off;
122     int off;
123
124     max = 0;
125     for (i = 0; i < NELLY_FILL_LEN; i++) {
126         max = FFMAX(max, buf[i]);
127     }
128     shift = -16;
129     shift += headroom(&max);
130
131     sum = 0;
132     for (i = 0; i < NELLY_FILL_LEN; i++) {
133         sbuf[i] = signed_shift(buf[i], shift);
134         sbuf[i] = (3*sbuf[i])>>2;
135         sum += sbuf[i];
136     }
137
138     shift += 11;
139     shift_saved = shift;
140     sum -= NELLY_DETAIL_BITS << shift;
141     shift += headroom(&sum);
142     small_off = (NELLY_BASE_OFF * (sum>>16)) >> 15;
143     shift = shift_saved - (NELLY_BASE_SHIFT+shift-31);
144
145     small_off = signed_shift(small_off, shift);
146
147     bitsum = sum_bits(sbuf, shift_saved, small_off);
148
149     if (bitsum != NELLY_DETAIL_BITS) {
150         off = bitsum - NELLY_DETAIL_BITS;
151
152         for(shift=0; FFABS(off) <= 16383; shift++)
153             off *= 2;
154
155         off = (off * NELLY_BASE_OFF) >> 15;
156         shift = shift_saved-(NELLY_BASE_SHIFT+shift-15);
157
158         off = signed_shift(off, shift);
159
160         for (j = 1; j < 20; j++) {
161             last_off = small_off;
162             small_off += off;
163             last_bitsum = bitsum;
164
165             bitsum = sum_bits(sbuf, shift_saved, small_off);
166
167             if ((bitsum-NELLY_DETAIL_BITS) * (last_bitsum-NELLY_DETAIL_BITS) <= 0)
168                 break;
169         }
170
171         if (bitsum > NELLY_DETAIL_BITS) {
172             big_off = small_off;
173             small_off = last_off;
174             big_bitsum=bitsum;
175             small_bitsum=last_bitsum;
176         } else {
177             big_off = last_off;
178             big_bitsum=last_bitsum;
179             small_bitsum=bitsum;
180         }
181
182         while (bitsum != NELLY_DETAIL_BITS && j <= 19) {
183             off = (big_off+small_off)>>1;
184             bitsum = sum_bits(sbuf, shift_saved, off);
185             if (bitsum > NELLY_DETAIL_BITS) {
186                 big_off=off;
187                 big_bitsum=bitsum;
188             } else {
189                 small_off = off;
190                 small_bitsum=bitsum;
191             }
192             j++;
193         }
194
195         if (abs(big_bitsum-NELLY_DETAIL_BITS) >=
196             abs(small_bitsum-NELLY_DETAIL_BITS)) {
197             bitsum = small_bitsum;
198         } else {
199             small_off = big_off;
200             bitsum = big_bitsum;
201         }
202     }
203
204     for (i = 0; i < NELLY_FILL_LEN; i++) {
205         tmp = sbuf[i]-small_off;
206         tmp = ((tmp>>(shift_saved-1))+1)>>1;
207         bits[i] = av_clip(tmp, 0, NELLY_BIT_CAP);
208     }
209
210     if (bitsum > NELLY_DETAIL_BITS) {
211         tmp = i = 0;
212         while (tmp < NELLY_DETAIL_BITS) {
213             tmp += bits[i];
214             i++;
215         }
216
217         bits[i-1] -= tmp - NELLY_DETAIL_BITS;
218         for(; i < NELLY_FILL_LEN; i++)
219             bits[i] = 0;
220     }
221 }
222