tiff: Check that there is no aliasing in pixel format selection
[ffmpeg.git] / libavcodec / nellymoser.c
1 /*
2  * Common code between Nellymoser encoder and decoder
3  * Copyright (c) 2007 a840bda5870ba11f19698ff6eb9581dfb0f95fa5,
4  *                    539459aeb7d425140b62a3ec7dbf6dc8e408a306, and
5  *                    520e17cd55896441042b14df2566a6eb610ed444
6  * Copyright (c) 2007 Loic Minier <lool at dooz.org>
7  *                    Benjamin Larsson
8  *
9  * Permission is hereby granted, free of charge, to any person obtaining a
10  * copy of this software and associated documentation files (the "Software"),
11  * to deal in the Software without restriction, including without limitation
12  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
13  * and/or sell copies of the Software, and to permit persons to whom the
14  * Software is furnished to do so, subject to the following conditions:
15  *
16  * The above copyright notice and this permission notice shall be included in
17  * all copies or substantial portions of the Software.
18  *
19  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
20  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
21  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
22  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
23  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
24  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
25  * DEALINGS IN THE SOFTWARE.
26  */
27
28 /**
29  * @file
30  * The 3 alphanumeric copyright notices are md5summed they are from the original
31  * implementors. The original code is available from http://code.google.com/p/nelly2pcm/
32  */
33
34 #include "nellymoser.h"
35 #include "avcodec.h"
36
37 #define BITSTREAM_READER_LE
38 #include "get_bits.h"
39
40 const float ff_nelly_dequantization_table[127] = {
41  0.0000000000,
42
43 -0.8472560048, 0.7224709988,
44
45 -1.5247479677,-0.4531480074, 0.3753609955, 1.4717899561,
46
47 -1.9822579622,-1.1929379702,-0.5829370022,-0.0693780035, 0.3909569979, 0.9069200158, 1.4862740040, 2.2215409279,
48
49 -2.3887870312,-1.8067539930,-1.4105420113,-1.0773609877,-0.7995010018,-0.5558109879,-0.3334020078,-0.1324490011,
50  0.0568020009, 0.2548770010, 0.4773550034, 0.7386850119, 1.0443060398, 1.3954459429, 1.8098750114, 2.3918759823,
51
52 -2.3893830776,-1.9884680510,-1.7514040470,-1.5643119812,-1.3922129869,-1.2164649963,-1.0469499826,-0.8905100226,
53 -0.7645580173,-0.6454579830,-0.5259280205,-0.4059549868,-0.3029719889,-0.2096900046,-0.1239869967,-0.0479229987,
54  0.0257730000, 0.1001340002, 0.1737180054, 0.2585540116, 0.3522900045, 0.4569880068, 0.5767750144, 0.7003160119,
55  0.8425520062, 1.0093879700, 1.1821349859, 1.3534560204, 1.5320819616, 1.7332619429, 1.9722349644, 2.3978140354,
56
57 -2.5756309032,-2.0573320389,-1.8984919786,-1.7727810144,-1.6662600040,-1.5742180347,-1.4993319511,-1.4316639900,
58 -1.3652280569,-1.3000990152,-1.2280930281,-1.1588579416,-1.0921250582,-1.0135740042,-0.9202849865,-0.8287050128,
59 -0.7374889851,-0.6447759867,-0.5590940118,-0.4857139885,-0.4110319912,-0.3459700048,-0.2851159871,-0.2341620028,
60 -0.1870580018,-0.1442500055,-0.1107169986,-0.0739680007,-0.0365610011,-0.0073290002, 0.0203610007, 0.0479039997,
61  0.0751969963, 0.0980999991, 0.1220389977, 0.1458999962, 0.1694349945, 0.1970459968, 0.2252430022, 0.2556869984,
62  0.2870100141, 0.3197099864, 0.3525829911, 0.3889069855, 0.4334920049, 0.4769459963, 0.5204820037, 0.5644530058,
63  0.6122040153, 0.6685929894, 0.7341650128, 0.8032159805, 0.8784040213, 0.9566209912, 1.0397069454, 1.1293770075,
64  1.2211159468, 1.3080279827, 1.4024800062, 1.5056819916, 1.6227730513, 1.7724959850, 1.9430880547, 2.2903931141
65 };
66
67 const uint8_t ff_nelly_band_sizes_table[NELLY_BANDS] = {
68 2, 2, 2, 2, 2, 2, 2, 2, 2, 3, 3, 4, 4, 5, 6, 6, 7, 8, 9, 10, 12, 14, 15
69 };
70
71 const uint16_t ff_nelly_init_table[64] = {
72 3134, 5342, 6870, 7792, 8569, 9185, 9744, 10191, 10631, 11061, 11434, 11770,
73 12116, 12513, 12925, 13300, 13674, 14027, 14352, 14716, 15117, 15477, 15824,
74 16157, 16513, 16804, 17090, 17401, 17679, 17948, 18238, 18520, 18764, 19078,
75 19381, 19640, 19921, 20205, 20500, 20813, 21162, 21465, 21794, 22137, 22453,
76 22756, 23067, 23350, 23636, 23926, 24227, 24521, 24819, 25107, 25414, 25730,
77 26120, 26497, 26895, 27344, 27877, 28463, 29426, 31355
78 };
79
80 const int16_t ff_nelly_delta_table[32] = {
81 -11725, -9420, -7910, -6801, -5948, -5233, -4599, -4039, -3507, -3030, -2596,
82 -2170, -1774, -1383, -1016, -660, -329, -1, 337, 696, 1085, 1512, 1962, 2433,
83 2968, 3569, 4314, 5279, 6622, 8154, 10076, 12975
84 };
85
86 static inline int signed_shift(int i, int shift) {
87     if (shift > 0)
88         return i << shift;
89     return i >> -shift;
90 }
91
92 static int sum_bits(short *buf, short shift, short off)
93 {
94     int i, ret = 0;
95
96     for (i = 0; i < NELLY_FILL_LEN; i++) {
97         int b = buf[i]-off;
98         b = ((b>>(shift-1))+1)>>1;
99         ret += av_clip(b, 0, NELLY_BIT_CAP);
100     }
101
102     return ret;
103 }
104
105 static int headroom(int *la)
106 {
107     int l;
108     if (*la == 0) {
109         return 31;
110     }
111     l = 30 - av_log2(FFABS(*la));
112     *la <<= l;
113     return l;
114 }
115
116
117 void ff_nelly_get_sample_bits(const float *buf, int *bits)
118 {
119     int i, j;
120     short sbuf[128];
121     int bitsum = 0, last_bitsum, small_bitsum, big_bitsum;
122     short shift, shift_saved;
123     int max, sum, last_off, tmp;
124     int big_off, small_off;
125     int off;
126
127     max = 0;
128     for (i = 0; i < NELLY_FILL_LEN; i++) {
129         max = FFMAX(max, buf[i]);
130     }
131     shift = -16;
132     shift += headroom(&max);
133
134     sum = 0;
135     for (i = 0; i < NELLY_FILL_LEN; i++) {
136         sbuf[i] = signed_shift(buf[i], shift);
137         sbuf[i] = (3*sbuf[i])>>2;
138         sum += sbuf[i];
139     }
140
141     shift += 11;
142     shift_saved = shift;
143     sum -= NELLY_DETAIL_BITS << shift;
144     shift += headroom(&sum);
145     small_off = (NELLY_BASE_OFF * (sum>>16)) >> 15;
146     shift = shift_saved - (NELLY_BASE_SHIFT+shift-31);
147
148     small_off = signed_shift(small_off, shift);
149
150     bitsum = sum_bits(sbuf, shift_saved, small_off);
151
152     if (bitsum != NELLY_DETAIL_BITS) {
153         off = bitsum - NELLY_DETAIL_BITS;
154
155         for(shift=0; FFABS(off) <= 16383; shift++)
156             off *= 2;
157
158         off = (off * NELLY_BASE_OFF) >> 15;
159         shift = shift_saved-(NELLY_BASE_SHIFT+shift-15);
160
161         off = signed_shift(off, shift);
162
163         for (j = 1; j < 20; j++) {
164             last_off = small_off;
165             small_off += off;
166             last_bitsum = bitsum;
167
168             bitsum = sum_bits(sbuf, shift_saved, small_off);
169
170             if ((bitsum-NELLY_DETAIL_BITS) * (last_bitsum-NELLY_DETAIL_BITS) <= 0)
171                 break;
172         }
173
174         if (bitsum > NELLY_DETAIL_BITS) {
175             big_off = small_off;
176             small_off = last_off;
177             big_bitsum=bitsum;
178             small_bitsum=last_bitsum;
179         } else {
180             big_off = last_off;
181             big_bitsum=last_bitsum;
182             small_bitsum=bitsum;
183         }
184
185         while (bitsum != NELLY_DETAIL_BITS && j <= 19) {
186             off = (big_off+small_off)>>1;
187             bitsum = sum_bits(sbuf, shift_saved, off);
188             if (bitsum > NELLY_DETAIL_BITS) {
189                 big_off=off;
190                 big_bitsum=bitsum;
191             } else {
192                 small_off = off;
193                 small_bitsum=bitsum;
194             }
195             j++;
196         }
197
198         if (abs(big_bitsum-NELLY_DETAIL_BITS) >=
199             abs(small_bitsum-NELLY_DETAIL_BITS)) {
200             bitsum = small_bitsum;
201         } else {
202             small_off = big_off;
203             bitsum = big_bitsum;
204         }
205     }
206
207     for (i = 0; i < NELLY_FILL_LEN; i++) {
208         tmp = sbuf[i]-small_off;
209         tmp = ((tmp>>(shift_saved-1))+1)>>1;
210         bits[i] = av_clip(tmp, 0, NELLY_BIT_CAP);
211     }
212
213     if (bitsum > NELLY_DETAIL_BITS) {
214         tmp = i = 0;
215         while (tmp < NELLY_DETAIL_BITS) {
216             tmp += bits[i];
217             i++;
218         }
219
220         bits[i-1] -= tmp - NELLY_DETAIL_BITS;
221         for(; i < NELLY_FILL_LEN; i++)
222             bits[i] = 0;
223     }
224 }