wma: check memory allocations and propagate errors
[ffmpeg.git] / libavcodec / wma.c
1 /*
2  * WMA compatible codec
3  * Copyright (c) 2002-2007 The Libav Project
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/attributes.h"
23
24 #include "avcodec.h"
25 #include "sinewin.h"
26 #include "wma.h"
27 #include "wma_common.h"
28 #include "wma_freqs.h"
29 #include "wmadata.h"
30
31 #undef NDEBUG
32 #include <assert.h>
33
34 /* XXX: use same run/length optimization as mpeg decoders */
35 // FIXME maybe split decode / encode or pass flag
36 static av_cold int init_coef_vlc(VLC *vlc, uint16_t **prun_table,
37                                  float **plevel_table, uint16_t **pint_table,
38                                  const CoefVLCTable *vlc_table)
39 {
40     int n                        = vlc_table->n;
41     const uint8_t  *table_bits   = vlc_table->huffbits;
42     const uint32_t *table_codes  = vlc_table->huffcodes;
43     const uint16_t *levels_table = vlc_table->levels;
44     uint16_t *run_table, *level_table, *int_table;
45     float *flevel_table;
46     int i, l, j, k, level;
47
48     init_vlc(vlc, VLCBITS, n, table_bits, 1, 1, table_codes, 4, 4, 0);
49
50     run_table    = av_malloc(n * sizeof(uint16_t));
51     level_table  = av_malloc(n * sizeof(uint16_t));
52     flevel_table = av_malloc(n * sizeof(*flevel_table));
53     int_table    = av_malloc(n * sizeof(uint16_t));
54     if (!run_table || !level_table || !flevel_table || !int_table) {
55         av_freep(&run_table);
56         av_freep(&level_table);
57         av_freep(&flevel_table);
58         av_freep(&int_table);
59         return AVERROR(ENOMEM);
60     }
61     i            = 2;
62     level        = 1;
63     k            = 0;
64     while (i < n) {
65         int_table[k] = i;
66         l            = levels_table[k++];
67         for (j = 0; j < l; j++) {
68             run_table[i]    = j;
69             level_table[i]  = level;
70             flevel_table[i] = level;
71             i++;
72         }
73         level++;
74     }
75     *prun_table   = run_table;
76     *plevel_table = flevel_table;
77     *pint_table   = int_table;
78     av_free(level_table);
79
80     return 0;
81 }
82
83 av_cold int ff_wma_init(AVCodecContext *avctx, int flags2)
84 {
85     WMACodecContext *s = avctx->priv_data;
86     int i, ret;
87     float bps1, high_freq;
88     volatile float bps;
89     int sample_rate1;
90     int coef_vlc_table;
91
92     if (avctx->sample_rate <= 0 || avctx->sample_rate > 50000 ||
93         avctx->channels    <= 0 || avctx->channels    > 2     ||
94         avctx->bit_rate    <= 0)
95         return -1;
96
97     ff_fmt_convert_init(&s->fmt_conv, avctx);
98     avpriv_float_dsp_init(&s->fdsp, avctx->flags & CODEC_FLAG_BITEXACT);
99
100     if (avctx->codec->id == AV_CODEC_ID_WMAV1)
101         s->version = 1;
102     else
103         s->version = 2;
104
105     /* compute MDCT block size */
106     s->frame_len_bits = ff_wma_get_frame_len_bits(avctx->sample_rate,
107                                                   s->version, 0);
108     s->next_block_len_bits = s->frame_len_bits;
109     s->prev_block_len_bits = s->frame_len_bits;
110     s->block_len_bits      = s->frame_len_bits;
111
112     s->frame_len = 1 << s->frame_len_bits;
113     if (s->use_variable_block_len) {
114         int nb_max, nb;
115         nb = ((flags2 >> 3) & 3) + 1;
116         if ((avctx->bit_rate / avctx->channels) >= 32000)
117             nb += 2;
118         nb_max = s->frame_len_bits - BLOCK_MIN_BITS;
119         if (nb > nb_max)
120             nb = nb_max;
121         s->nb_block_sizes = nb + 1;
122     } else
123         s->nb_block_sizes = 1;
124
125     /* init rate dependent parameters */
126     s->use_noise_coding = 1;
127     high_freq           = avctx->sample_rate * 0.5;
128
129     /* if version 2, then the rates are normalized */
130     sample_rate1 = avctx->sample_rate;
131     if (s->version == 2) {
132         if (sample_rate1 >= 44100)
133             sample_rate1 = 44100;
134         else if (sample_rate1 >= 22050)
135             sample_rate1 = 22050;
136         else if (sample_rate1 >= 16000)
137             sample_rate1 = 16000;
138         else if (sample_rate1 >= 11025)
139             sample_rate1 = 11025;
140         else if (sample_rate1 >= 8000)
141             sample_rate1 = 8000;
142     }
143
144     bps                 = (float) avctx->bit_rate /
145                           (float) (avctx->channels * avctx->sample_rate);
146     s->byte_offset_bits = av_log2((int) (bps * s->frame_len / 8.0 + 0.5)) + 2;
147
148     /* compute high frequency value and choose if noise coding should
149      * be activated */
150     bps1 = bps;
151     if (avctx->channels == 2)
152         bps1 = bps * 1.6;
153     if (sample_rate1 == 44100) {
154         if (bps1 >= 0.61)
155             s->use_noise_coding = 0;
156         else
157             high_freq = high_freq * 0.4;
158     } else if (sample_rate1 == 22050) {
159         if (bps1 >= 1.16)
160             s->use_noise_coding = 0;
161         else if (bps1 >= 0.72)
162             high_freq = high_freq * 0.7;
163         else
164             high_freq = high_freq * 0.6;
165     } else if (sample_rate1 == 16000) {
166         if (bps > 0.5)
167             high_freq = high_freq * 0.5;
168         else
169             high_freq = high_freq * 0.3;
170     } else if (sample_rate1 == 11025)
171         high_freq = high_freq * 0.7;
172     else if (sample_rate1 == 8000) {
173         if (bps <= 0.625)
174             high_freq = high_freq * 0.5;
175         else if (bps > 0.75)
176             s->use_noise_coding = 0;
177         else
178             high_freq = high_freq * 0.65;
179     } else {
180         if (bps >= 0.8)
181             high_freq = high_freq * 0.75;
182         else if (bps >= 0.6)
183             high_freq = high_freq * 0.6;
184         else
185             high_freq = high_freq * 0.5;
186     }
187     av_dlog(s->avctx, "flags2=0x%x\n", flags2);
188     av_dlog(s->avctx, "version=%d channels=%d sample_rate=%d bitrate=%d block_align=%d\n",
189             s->version, avctx->channels, avctx->sample_rate, avctx->bit_rate,
190             avctx->block_align);
191     av_dlog(s->avctx, "bps=%f bps1=%f high_freq=%f bitoffset=%d\n",
192             bps, bps1, high_freq, s->byte_offset_bits);
193     av_dlog(s->avctx, "use_noise_coding=%d use_exp_vlc=%d nb_block_sizes=%d\n",
194             s->use_noise_coding, s->use_exp_vlc, s->nb_block_sizes);
195
196     /* compute the scale factor band sizes for each MDCT block size */
197     {
198         int a, b, pos, lpos, k, block_len, i, j, n;
199         const uint8_t *table;
200
201         if (s->version == 1)
202             s->coefs_start = 3;
203         else
204             s->coefs_start = 0;
205         for (k = 0; k < s->nb_block_sizes; k++) {
206             block_len = s->frame_len >> k;
207
208             if (s->version == 1) {
209                 lpos = 0;
210                 for (i = 0; i < 25; i++) {
211                     a   = ff_wma_critical_freqs[i];
212                     b   = avctx->sample_rate;
213                     pos = ((block_len * 2 * a) + (b >> 1)) / b;
214                     if (pos > block_len)
215                         pos = block_len;
216                     s->exponent_bands[0][i] = pos - lpos;
217                     if (pos >= block_len) {
218                         i++;
219                         break;
220                     }
221                     lpos = pos;
222                 }
223                 s->exponent_sizes[0] = i;
224             } else {
225                 /* hardcoded tables */
226                 table = NULL;
227                 a     = s->frame_len_bits - BLOCK_MIN_BITS - k;
228                 if (a < 3) {
229                     if (avctx->sample_rate >= 44100)
230                         table = exponent_band_44100[a];
231                     else if (avctx->sample_rate >= 32000)
232                         table = exponent_band_32000[a];
233                     else if (avctx->sample_rate >= 22050)
234                         table = exponent_band_22050[a];
235                 }
236                 if (table) {
237                     n = *table++;
238                     for (i = 0; i < n; i++)
239                         s->exponent_bands[k][i] = table[i];
240                     s->exponent_sizes[k] = n;
241                 } else {
242                     j    = 0;
243                     lpos = 0;
244                     for (i = 0; i < 25; i++) {
245                         a     = ff_wma_critical_freqs[i];
246                         b     = avctx->sample_rate;
247                         pos   = ((block_len * 2 * a) + (b << 1)) / (4 * b);
248                         pos <<= 2;
249                         if (pos > block_len)
250                             pos = block_len;
251                         if (pos > lpos)
252                             s->exponent_bands[k][j++] = pos - lpos;
253                         if (pos >= block_len)
254                             break;
255                         lpos = pos;
256                     }
257                     s->exponent_sizes[k] = j;
258                 }
259             }
260
261             /* max number of coefs */
262             s->coefs_end[k] = (s->frame_len - ((s->frame_len * 9) / 100)) >> k;
263             /* high freq computation */
264             s->high_band_start[k] = (int) ((block_len * 2 * high_freq) /
265                                            avctx->sample_rate + 0.5);
266             n   = s->exponent_sizes[k];
267             j   = 0;
268             pos = 0;
269             for (i = 0; i < n; i++) {
270                 int start, end;
271                 start = pos;
272                 pos  += s->exponent_bands[k][i];
273                 end   = pos;
274                 if (start < s->high_band_start[k])
275                     start = s->high_band_start[k];
276                 if (end > s->coefs_end[k])
277                     end = s->coefs_end[k];
278                 if (end > start)
279                     s->exponent_high_bands[k][j++] = end - start;
280             }
281             s->exponent_high_sizes[k] = j;
282 #if 0
283             tprintf(s->avctx, "%5d: coefs_end=%d high_band_start=%d nb_high_bands=%d: ",
284                     s->frame_len >> k,
285                     s->coefs_end[k],
286                     s->high_band_start[k],
287                     s->exponent_high_sizes[k]);
288             for (j = 0; j < s->exponent_high_sizes[k]; j++)
289                 tprintf(s->avctx, " %d", s->exponent_high_bands[k][j]);
290             tprintf(s->avctx, "\n");
291 #endif /* 0 */
292         }
293     }
294
295 #ifdef TRACE
296     {
297         int i, j;
298         for (i = 0; i < s->nb_block_sizes; i++) {
299             tprintf(s->avctx, "%5d: n=%2d:",
300                     s->frame_len >> i,
301                     s->exponent_sizes[i]);
302             for (j = 0; j < s->exponent_sizes[i]; j++)
303                 tprintf(s->avctx, " %d", s->exponent_bands[i][j]);
304             tprintf(s->avctx, "\n");
305         }
306     }
307 #endif /* TRACE */
308
309     /* init MDCT windows : simple sine window */
310     for (i = 0; i < s->nb_block_sizes; i++) {
311         ff_init_ff_sine_windows(s->frame_len_bits - i);
312         s->windows[i] = ff_sine_windows[s->frame_len_bits - i];
313     }
314
315     s->reset_block_lengths = 1;
316
317     if (s->use_noise_coding) {
318         /* init the noise generator */
319         if (s->use_exp_vlc)
320             s->noise_mult = 0.02;
321         else
322             s->noise_mult = 0.04;
323
324 #ifdef TRACE
325         for (i = 0; i < NOISE_TAB_SIZE; i++)
326             s->noise_table[i] = 1.0 * s->noise_mult;
327 #else
328         {
329             unsigned int seed;
330             float norm;
331             seed = 1;
332             norm = (1.0 / (float) (1LL << 31)) * sqrt(3) * s->noise_mult;
333             for (i = 0; i < NOISE_TAB_SIZE; i++) {
334                 seed              = seed * 314159 + 1;
335                 s->noise_table[i] = (float) ((int) seed) * norm;
336             }
337         }
338 #endif /* TRACE */
339     }
340
341     /* choose the VLC tables for the coefficients */
342     coef_vlc_table = 2;
343     if (avctx->sample_rate >= 32000) {
344         if (bps1 < 0.72)
345             coef_vlc_table = 0;
346         else if (bps1 < 1.16)
347             coef_vlc_table = 1;
348     }
349     s->coef_vlcs[0] = &coef_vlcs[coef_vlc_table * 2];
350     s->coef_vlcs[1] = &coef_vlcs[coef_vlc_table * 2 + 1];
351     ret = init_coef_vlc(&s->coef_vlc[0], &s->run_table[0], &s->level_table[0],
352                         &s->int_table[0], s->coef_vlcs[0]);
353     if (ret < 0)
354         return ret;
355
356     return init_coef_vlc(&s->coef_vlc[1], &s->run_table[1], &s->level_table[1],
357                          &s->int_table[1], s->coef_vlcs[1]);
358 }
359
360 int ff_wma_total_gain_to_bits(int total_gain)
361 {
362     if (total_gain < 15)
363         return 13;
364     else if (total_gain < 32)
365         return 12;
366     else if (total_gain < 40)
367         return 11;
368     else if (total_gain < 45)
369         return 10;
370     else
371         return  9;
372 }
373
374 int ff_wma_end(AVCodecContext *avctx)
375 {
376     WMACodecContext *s = avctx->priv_data;
377     int i;
378
379     for (i = 0; i < s->nb_block_sizes; i++)
380         ff_mdct_end(&s->mdct_ctx[i]);
381
382     if (s->use_exp_vlc)
383         ff_free_vlc(&s->exp_vlc);
384     if (s->use_noise_coding)
385         ff_free_vlc(&s->hgain_vlc);
386     for (i = 0; i < 2; i++) {
387         ff_free_vlc(&s->coef_vlc[i]);
388         av_free(s->run_table[i]);
389         av_free(s->level_table[i]);
390         av_free(s->int_table[i]);
391     }
392
393     return 0;
394 }
395
396 /**
397  * Decode an uncompressed coefficient.
398  * @param gb GetBitContext
399  * @return the decoded coefficient
400  */
401 unsigned int ff_wma_get_large_val(GetBitContext *gb)
402 {
403     /** consumes up to 34 bits */
404     int n_bits = 8;
405     /** decode length */
406     if (get_bits1(gb)) {
407         n_bits += 8;
408         if (get_bits1(gb)) {
409             n_bits += 8;
410             if (get_bits1(gb))
411                 n_bits += 7;
412         }
413     }
414     return get_bits_long(gb, n_bits);
415 }
416
417 /**
418  * Decode run level compressed coefficients.
419  * @param avctx codec context
420  * @param gb bitstream reader context
421  * @param vlc vlc table for get_vlc2
422  * @param level_table level codes
423  * @param run_table run codes
424  * @param version 0 for wma1,2 1 for wmapro
425  * @param ptr output buffer
426  * @param offset offset in the output buffer
427  * @param num_coefs number of input coefficents
428  * @param block_len input buffer length (2^n)
429  * @param frame_len_bits number of bits for escaped run codes
430  * @param coef_nb_bits number of bits for escaped level codes
431  * @return 0 on success, -1 otherwise
432  */
433 int ff_wma_run_level_decode(AVCodecContext *avctx, GetBitContext *gb,
434                             VLC *vlc, const float *level_table,
435                             const uint16_t *run_table, int version,
436                             WMACoef *ptr, int offset, int num_coefs,
437                             int block_len, int frame_len_bits,
438                             int coef_nb_bits)
439 {
440     int code, level, sign;
441     const uint32_t *ilvl = (const uint32_t *) level_table;
442     uint32_t *iptr = (uint32_t *) ptr;
443     const unsigned int coef_mask = block_len - 1;
444     for (; offset < num_coefs; offset++) {
445         code = get_vlc2(gb, vlc->table, VLCBITS, VLCMAX);
446         if (code > 1) {
447             /** normal code */
448             offset                  += run_table[code];
449             sign                     = get_bits1(gb) - 1;
450             iptr[offset & coef_mask] = ilvl[code] ^ sign << 31;
451         } else if (code == 1) {
452             /** EOB */
453             break;
454         } else {
455             /** escape */
456             if (!version) {
457                 level = get_bits(gb, coef_nb_bits);
458                 /** NOTE: this is rather suboptimal. reading
459                  *  block_len_bits would be better */
460                 offset += get_bits(gb, frame_len_bits);
461             } else {
462                 level = ff_wma_get_large_val(gb);
463                 /** escape decode */
464                 if (get_bits1(gb)) {
465                     if (get_bits1(gb)) {
466                         if (get_bits1(gb)) {
467                             av_log(avctx, AV_LOG_ERROR,
468                                    "broken escape sequence\n");
469                             return -1;
470                         } else
471                             offset += get_bits(gb, frame_len_bits) + 4;
472                     } else
473                         offset += get_bits(gb, 2) + 1;
474                 }
475             }
476             sign                    = get_bits1(gb) - 1;
477             ptr[offset & coef_mask] = (level ^ sign) - sign;
478         }
479     }
480     /** NOTE: EOB can be omitted */
481     if (offset > num_coefs) {
482         av_log(avctx, AV_LOG_ERROR, "overflow in spectral RLE, ignoring\n");
483         return -1;
484     }
485
486     return 0;
487 }