lavc decoders: work with refcounted frames.
[ffmpeg.git] / libavcodec / qdm2.c
1 /*
2  * QDM2 compatible decoder
3  * Copyright (c) 2003 Ewald Snel
4  * Copyright (c) 2005 Benjamin Larsson
5  * Copyright (c) 2005 Alex Beregszaszi
6  * Copyright (c) 2005 Roberto Togni
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * QDM2 decoder
28  * @author Ewald Snel, Benjamin Larsson, Alex Beregszaszi, Roberto Togni
29  *
30  * The decoder is not perfect yet, there are still some distortions
31  * especially on files encoded with 16 or 8 subbands.
32  */
33
34 #include <math.h>
35 #include <stddef.h>
36 #include <stdio.h>
37
38 #define BITSTREAM_READER_LE
39 #include "libavutil/channel_layout.h"
40 #include "avcodec.h"
41 #include "get_bits.h"
42 #include "internal.h"
43 #include "rdft.h"
44 #include "mpegaudiodsp.h"
45 #include "mpegaudio.h"
46
47 #include "qdm2data.h"
48 #include "qdm2_tablegen.h"
49
50 #undef NDEBUG
51 #include <assert.h>
52
53
54 #define QDM2_LIST_ADD(list, size, packet) \
55 do { \
56       if (size > 0) { \
57     list[size - 1].next = &list[size]; \
58       } \
59       list[size].packet = packet; \
60       list[size].next = NULL; \
61       size++; \
62 } while(0)
63
64 // Result is 8, 16 or 30
65 #define QDM2_SB_USED(sub_sampling) (((sub_sampling) >= 2) ? 30 : 8 << (sub_sampling))
66
67 #define FIX_NOISE_IDX(noise_idx) \
68   if ((noise_idx) >= 3840) \
69     (noise_idx) -= 3840; \
70
71 #define SB_DITHERING_NOISE(sb,noise_idx) (noise_table[(noise_idx)++] * sb_noise_attenuation[(sb)])
72
73 #define SAMPLES_NEEDED \
74      av_log (NULL,AV_LOG_INFO,"This file triggers some untested code. Please contact the developers.\n");
75
76 #define SAMPLES_NEEDED_2(why) \
77      av_log (NULL,AV_LOG_INFO,"This file triggers some missing code. Please contact the developers.\nPosition: %s\n",why);
78
79 #define QDM2_MAX_FRAME_SIZE 512
80
81 typedef int8_t sb_int8_array[2][30][64];
82
83 /**
84  * Subpacket
85  */
86 typedef struct {
87     int type;            ///< subpacket type
88     unsigned int size;   ///< subpacket size
89     const uint8_t *data; ///< pointer to subpacket data (points to input data buffer, it's not a private copy)
90 } QDM2SubPacket;
91
92 /**
93  * A node in the subpacket list
94  */
95 typedef struct QDM2SubPNode {
96     QDM2SubPacket *packet;      ///< packet
97     struct QDM2SubPNode *next; ///< pointer to next packet in the list, NULL if leaf node
98 } QDM2SubPNode;
99
100 typedef struct {
101     float re;
102     float im;
103 } QDM2Complex;
104
105 typedef struct {
106     float level;
107     QDM2Complex *complex;
108     const float *table;
109     int   phase;
110     int   phase_shift;
111     int   duration;
112     short time_index;
113     short cutoff;
114 } FFTTone;
115
116 typedef struct {
117     int16_t sub_packet;
118     uint8_t channel;
119     int16_t offset;
120     int16_t exp;
121     uint8_t phase;
122 } FFTCoefficient;
123
124 typedef struct {
125     DECLARE_ALIGNED(32, QDM2Complex, complex)[MPA_MAX_CHANNELS][256];
126 } QDM2FFT;
127
128 /**
129  * QDM2 decoder context
130  */
131 typedef struct {
132     /// Parameters from codec header, do not change during playback
133     int nb_channels;         ///< number of channels
134     int channels;            ///< number of channels
135     int group_size;          ///< size of frame group (16 frames per group)
136     int fft_size;            ///< size of FFT, in complex numbers
137     int checksum_size;       ///< size of data block, used also for checksum
138
139     /// Parameters built from header parameters, do not change during playback
140     int group_order;         ///< order of frame group
141     int fft_order;           ///< order of FFT (actually fftorder+1)
142     int frame_size;          ///< size of data frame
143     int frequency_range;
144     int sub_sampling;        ///< subsampling: 0=25%, 1=50%, 2=100% */
145     int coeff_per_sb_select; ///< selector for "num. of coeffs. per subband" tables. Can be 0, 1, 2
146     int cm_table_select;     ///< selector for "coding method" tables. Can be 0, 1 (from init: 0-4)
147
148     /// Packets and packet lists
149     QDM2SubPacket sub_packets[16];      ///< the packets themselves
150     QDM2SubPNode sub_packet_list_A[16]; ///< list of all packets
151     QDM2SubPNode sub_packet_list_B[16]; ///< FFT packets B are on list
152     int sub_packets_B;                  ///< number of packets on 'B' list
153     QDM2SubPNode sub_packet_list_C[16]; ///< packets with errors?
154     QDM2SubPNode sub_packet_list_D[16]; ///< DCT packets
155
156     /// FFT and tones
157     FFTTone fft_tones[1000];
158     int fft_tone_start;
159     int fft_tone_end;
160     FFTCoefficient fft_coefs[1000];
161     int fft_coefs_index;
162     int fft_coefs_min_index[5];
163     int fft_coefs_max_index[5];
164     int fft_level_exp[6];
165     RDFTContext rdft_ctx;
166     QDM2FFT fft;
167
168     /// I/O data
169     const uint8_t *compressed_data;
170     int compressed_size;
171     float output_buffer[QDM2_MAX_FRAME_SIZE * 2];
172
173     /// Synthesis filter
174     MPADSPContext mpadsp;
175     DECLARE_ALIGNED(32, float, synth_buf)[MPA_MAX_CHANNELS][512*2];
176     int synth_buf_offset[MPA_MAX_CHANNELS];
177     DECLARE_ALIGNED(32, float, sb_samples)[MPA_MAX_CHANNELS][128][SBLIMIT];
178     DECLARE_ALIGNED(32, float, samples)[MPA_MAX_CHANNELS * MPA_FRAME_SIZE];
179
180     /// Mixed temporary data used in decoding
181     float tone_level[MPA_MAX_CHANNELS][30][64];
182     int8_t coding_method[MPA_MAX_CHANNELS][30][64];
183     int8_t quantized_coeffs[MPA_MAX_CHANNELS][10][8];
184     int8_t tone_level_idx_base[MPA_MAX_CHANNELS][30][8];
185     int8_t tone_level_idx_hi1[MPA_MAX_CHANNELS][3][8][8];
186     int8_t tone_level_idx_mid[MPA_MAX_CHANNELS][26][8];
187     int8_t tone_level_idx_hi2[MPA_MAX_CHANNELS][26];
188     int8_t tone_level_idx[MPA_MAX_CHANNELS][30][64];
189     int8_t tone_level_idx_temp[MPA_MAX_CHANNELS][30][64];
190
191     // Flags
192     int has_errors;         ///< packet has errors
193     int superblocktype_2_3; ///< select fft tables and some algorithm based on superblock type
194     int do_synth_filter;    ///< used to perform or skip synthesis filter
195
196     int sub_packet;
197     int noise_idx; ///< index for dithering noise table
198 } QDM2Context;
199
200
201 static VLC vlc_tab_level;
202 static VLC vlc_tab_diff;
203 static VLC vlc_tab_run;
204 static VLC fft_level_exp_alt_vlc;
205 static VLC fft_level_exp_vlc;
206 static VLC fft_stereo_exp_vlc;
207 static VLC fft_stereo_phase_vlc;
208 static VLC vlc_tab_tone_level_idx_hi1;
209 static VLC vlc_tab_tone_level_idx_mid;
210 static VLC vlc_tab_tone_level_idx_hi2;
211 static VLC vlc_tab_type30;
212 static VLC vlc_tab_type34;
213 static VLC vlc_tab_fft_tone_offset[5];
214
215 static const uint16_t qdm2_vlc_offs[] = {
216     0,260,566,598,894,1166,1230,1294,1678,1950,2214,2278,2310,2570,2834,3124,3448,3838,
217 };
218
219 static av_cold void qdm2_init_vlc(void)
220 {
221     static int vlcs_initialized = 0;
222     static VLC_TYPE qdm2_table[3838][2];
223
224     if (!vlcs_initialized) {
225
226         vlc_tab_level.table = &qdm2_table[qdm2_vlc_offs[0]];
227         vlc_tab_level.table_allocated = qdm2_vlc_offs[1] - qdm2_vlc_offs[0];
228         init_vlc (&vlc_tab_level, 8, 24,
229             vlc_tab_level_huffbits, 1, 1,
230             vlc_tab_level_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
231
232         vlc_tab_diff.table = &qdm2_table[qdm2_vlc_offs[1]];
233         vlc_tab_diff.table_allocated = qdm2_vlc_offs[2] - qdm2_vlc_offs[1];
234         init_vlc (&vlc_tab_diff, 8, 37,
235             vlc_tab_diff_huffbits, 1, 1,
236             vlc_tab_diff_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
237
238         vlc_tab_run.table = &qdm2_table[qdm2_vlc_offs[2]];
239         vlc_tab_run.table_allocated = qdm2_vlc_offs[3] - qdm2_vlc_offs[2];
240         init_vlc (&vlc_tab_run, 5, 6,
241             vlc_tab_run_huffbits, 1, 1,
242             vlc_tab_run_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
243
244         fft_level_exp_alt_vlc.table = &qdm2_table[qdm2_vlc_offs[3]];
245         fft_level_exp_alt_vlc.table_allocated = qdm2_vlc_offs[4] - qdm2_vlc_offs[3];
246         init_vlc (&fft_level_exp_alt_vlc, 8, 28,
247             fft_level_exp_alt_huffbits, 1, 1,
248             fft_level_exp_alt_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
249
250
251         fft_level_exp_vlc.table = &qdm2_table[qdm2_vlc_offs[4]];
252         fft_level_exp_vlc.table_allocated = qdm2_vlc_offs[5] - qdm2_vlc_offs[4];
253         init_vlc (&fft_level_exp_vlc, 8, 20,
254             fft_level_exp_huffbits, 1, 1,
255             fft_level_exp_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
256
257         fft_stereo_exp_vlc.table = &qdm2_table[qdm2_vlc_offs[5]];
258         fft_stereo_exp_vlc.table_allocated = qdm2_vlc_offs[6] - qdm2_vlc_offs[5];
259         init_vlc (&fft_stereo_exp_vlc, 6, 7,
260             fft_stereo_exp_huffbits, 1, 1,
261             fft_stereo_exp_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
262
263         fft_stereo_phase_vlc.table = &qdm2_table[qdm2_vlc_offs[6]];
264         fft_stereo_phase_vlc.table_allocated = qdm2_vlc_offs[7] - qdm2_vlc_offs[6];
265         init_vlc (&fft_stereo_phase_vlc, 6, 9,
266             fft_stereo_phase_huffbits, 1, 1,
267             fft_stereo_phase_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
268
269         vlc_tab_tone_level_idx_hi1.table = &qdm2_table[qdm2_vlc_offs[7]];
270         vlc_tab_tone_level_idx_hi1.table_allocated = qdm2_vlc_offs[8] - qdm2_vlc_offs[7];
271         init_vlc (&vlc_tab_tone_level_idx_hi1, 8, 20,
272             vlc_tab_tone_level_idx_hi1_huffbits, 1, 1,
273             vlc_tab_tone_level_idx_hi1_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
274
275         vlc_tab_tone_level_idx_mid.table = &qdm2_table[qdm2_vlc_offs[8]];
276         vlc_tab_tone_level_idx_mid.table_allocated = qdm2_vlc_offs[9] - qdm2_vlc_offs[8];
277         init_vlc (&vlc_tab_tone_level_idx_mid, 8, 24,
278             vlc_tab_tone_level_idx_mid_huffbits, 1, 1,
279             vlc_tab_tone_level_idx_mid_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
280
281         vlc_tab_tone_level_idx_hi2.table = &qdm2_table[qdm2_vlc_offs[9]];
282         vlc_tab_tone_level_idx_hi2.table_allocated = qdm2_vlc_offs[10] - qdm2_vlc_offs[9];
283         init_vlc (&vlc_tab_tone_level_idx_hi2, 8, 24,
284             vlc_tab_tone_level_idx_hi2_huffbits, 1, 1,
285             vlc_tab_tone_level_idx_hi2_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
286
287         vlc_tab_type30.table = &qdm2_table[qdm2_vlc_offs[10]];
288         vlc_tab_type30.table_allocated = qdm2_vlc_offs[11] - qdm2_vlc_offs[10];
289         init_vlc (&vlc_tab_type30, 6, 9,
290             vlc_tab_type30_huffbits, 1, 1,
291             vlc_tab_type30_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
292
293         vlc_tab_type34.table = &qdm2_table[qdm2_vlc_offs[11]];
294         vlc_tab_type34.table_allocated = qdm2_vlc_offs[12] - qdm2_vlc_offs[11];
295         init_vlc (&vlc_tab_type34, 5, 10,
296             vlc_tab_type34_huffbits, 1, 1,
297             vlc_tab_type34_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
298
299         vlc_tab_fft_tone_offset[0].table = &qdm2_table[qdm2_vlc_offs[12]];
300         vlc_tab_fft_tone_offset[0].table_allocated = qdm2_vlc_offs[13] - qdm2_vlc_offs[12];
301         init_vlc (&vlc_tab_fft_tone_offset[0], 8, 23,
302             vlc_tab_fft_tone_offset_0_huffbits, 1, 1,
303             vlc_tab_fft_tone_offset_0_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
304
305         vlc_tab_fft_tone_offset[1].table = &qdm2_table[qdm2_vlc_offs[13]];
306         vlc_tab_fft_tone_offset[1].table_allocated = qdm2_vlc_offs[14] - qdm2_vlc_offs[13];
307         init_vlc (&vlc_tab_fft_tone_offset[1], 8, 28,
308             vlc_tab_fft_tone_offset_1_huffbits, 1, 1,
309             vlc_tab_fft_tone_offset_1_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
310
311         vlc_tab_fft_tone_offset[2].table = &qdm2_table[qdm2_vlc_offs[14]];
312         vlc_tab_fft_tone_offset[2].table_allocated = qdm2_vlc_offs[15] - qdm2_vlc_offs[14];
313         init_vlc (&vlc_tab_fft_tone_offset[2], 8, 32,
314             vlc_tab_fft_tone_offset_2_huffbits, 1, 1,
315             vlc_tab_fft_tone_offset_2_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
316
317         vlc_tab_fft_tone_offset[3].table = &qdm2_table[qdm2_vlc_offs[15]];
318         vlc_tab_fft_tone_offset[3].table_allocated = qdm2_vlc_offs[16] - qdm2_vlc_offs[15];
319         init_vlc (&vlc_tab_fft_tone_offset[3], 8, 35,
320             vlc_tab_fft_tone_offset_3_huffbits, 1, 1,
321             vlc_tab_fft_tone_offset_3_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
322
323         vlc_tab_fft_tone_offset[4].table = &qdm2_table[qdm2_vlc_offs[16]];
324         vlc_tab_fft_tone_offset[4].table_allocated = qdm2_vlc_offs[17] - qdm2_vlc_offs[16];
325         init_vlc (&vlc_tab_fft_tone_offset[4], 8, 38,
326             vlc_tab_fft_tone_offset_4_huffbits, 1, 1,
327             vlc_tab_fft_tone_offset_4_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
328
329         vlcs_initialized=1;
330     }
331 }
332
333 static int qdm2_get_vlc (GetBitContext *gb, VLC *vlc, int flag, int depth)
334 {
335     int value;
336
337     value = get_vlc2(gb, vlc->table, vlc->bits, depth);
338
339     /* stage-2, 3 bits exponent escape sequence */
340     if (value-- == 0)
341         value = get_bits (gb, get_bits (gb, 3) + 1);
342
343     /* stage-3, optional */
344     if (flag) {
345         int tmp = vlc_stage3_values[value];
346
347         if ((value & ~3) > 0)
348             tmp += get_bits (gb, (value >> 2));
349         value = tmp;
350     }
351
352     return value;
353 }
354
355
356 static int qdm2_get_se_vlc (VLC *vlc, GetBitContext *gb, int depth)
357 {
358     int value = qdm2_get_vlc (gb, vlc, 0, depth);
359
360     return (value & 1) ? ((value + 1) >> 1) : -(value >> 1);
361 }
362
363
364 /**
365  * QDM2 checksum
366  *
367  * @param data      pointer to data to be checksum'ed
368  * @param length    data length
369  * @param value     checksum value
370  *
371  * @return          0 if checksum is OK
372  */
373 static uint16_t qdm2_packet_checksum (const uint8_t *data, int length, int value) {
374     int i;
375
376     for (i=0; i < length; i++)
377         value -= data[i];
378
379     return (uint16_t)(value & 0xffff);
380 }
381
382
383 /**
384  * Fill a QDM2SubPacket structure with packet type, size, and data pointer.
385  *
386  * @param gb            bitreader context
387  * @param sub_packet    packet under analysis
388  */
389 static void qdm2_decode_sub_packet_header (GetBitContext *gb, QDM2SubPacket *sub_packet)
390 {
391     sub_packet->type = get_bits (gb, 8);
392
393     if (sub_packet->type == 0) {
394         sub_packet->size = 0;
395         sub_packet->data = NULL;
396     } else {
397         sub_packet->size = get_bits (gb, 8);
398
399       if (sub_packet->type & 0x80) {
400           sub_packet->size <<= 8;
401           sub_packet->size  |= get_bits (gb, 8);
402           sub_packet->type  &= 0x7f;
403       }
404
405       if (sub_packet->type == 0x7f)
406           sub_packet->type |= (get_bits (gb, 8) << 8);
407
408       sub_packet->data = &gb->buffer[get_bits_count(gb) / 8]; // FIXME: this depends on bitreader internal data
409     }
410
411     av_log(NULL,AV_LOG_DEBUG,"Subpacket: type=%d size=%d start_offs=%x\n",
412         sub_packet->type, sub_packet->size, get_bits_count(gb) / 8);
413 }
414
415
416 /**
417  * Return node pointer to first packet of requested type in list.
418  *
419  * @param list    list of subpackets to be scanned
420  * @param type    type of searched subpacket
421  * @return        node pointer for subpacket if found, else NULL
422  */
423 static QDM2SubPNode* qdm2_search_subpacket_type_in_list (QDM2SubPNode *list, int type)
424 {
425     while (list != NULL && list->packet != NULL) {
426         if (list->packet->type == type)
427             return list;
428         list = list->next;
429     }
430     return NULL;
431 }
432
433
434 /**
435  * Replace 8 elements with their average value.
436  * Called by qdm2_decode_superblock before starting subblock decoding.
437  *
438  * @param q       context
439  */
440 static void average_quantized_coeffs (QDM2Context *q)
441 {
442     int i, j, n, ch, sum;
443
444     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1;
445
446     for (ch = 0; ch < q->nb_channels; ch++)
447         for (i = 0; i < n; i++) {
448             sum = 0;
449
450             for (j = 0; j < 8; j++)
451                 sum += q->quantized_coeffs[ch][i][j];
452
453             sum /= 8;
454             if (sum > 0)
455                 sum--;
456
457             for (j=0; j < 8; j++)
458                 q->quantized_coeffs[ch][i][j] = sum;
459         }
460 }
461
462
463 /**
464  * Build subband samples with noise weighted by q->tone_level.
465  * Called by synthfilt_build_sb_samples.
466  *
467  * @param q     context
468  * @param sb    subband index
469  */
470 static void build_sb_samples_from_noise (QDM2Context *q, int sb)
471 {
472     int ch, j;
473
474     FIX_NOISE_IDX(q->noise_idx);
475
476     if (!q->nb_channels)
477         return;
478
479     for (ch = 0; ch < q->nb_channels; ch++)
480         for (j = 0; j < 64; j++) {
481             q->sb_samples[ch][j * 2][sb] = SB_DITHERING_NOISE(sb,q->noise_idx) * q->tone_level[ch][sb][j];
482             q->sb_samples[ch][j * 2 + 1][sb] = SB_DITHERING_NOISE(sb,q->noise_idx) * q->tone_level[ch][sb][j];
483         }
484 }
485
486
487 /**
488  * Called while processing data from subpackets 11 and 12.
489  * Used after making changes to coding_method array.
490  *
491  * @param sb               subband index
492  * @param channels         number of channels
493  * @param coding_method    q->coding_method[0][0][0]
494  */
495 static void fix_coding_method_array (int sb, int channels, sb_int8_array coding_method)
496 {
497     int j,k;
498     int ch;
499     int run, case_val;
500     static const int switchtable[23] = {0,5,1,5,5,5,5,5,2,5,5,5,5,5,5,5,3,5,5,5,5,5,4};
501
502     for (ch = 0; ch < channels; ch++) {
503         for (j = 0; j < 64; ) {
504             if((coding_method[ch][sb][j] - 8) > 22) {
505                 run = 1;
506                 case_val = 8;
507             } else {
508                 switch (switchtable[coding_method[ch][sb][j]-8]) {
509                     case 0: run = 10; case_val = 10; break;
510                     case 1: run = 1; case_val = 16; break;
511                     case 2: run = 5; case_val = 24; break;
512                     case 3: run = 3; case_val = 30; break;
513                     case 4: run = 1; case_val = 30; break;
514                     case 5: run = 1; case_val = 8; break;
515                     default: run = 1; case_val = 8; break;
516                 }
517             }
518             for (k = 0; k < run; k++)
519                 if (j + k < 128)
520                     if (coding_method[ch][sb + (j + k) / 64][(j + k) % 64] > coding_method[ch][sb][j])
521                         if (k > 0) {
522                            SAMPLES_NEEDED
523                             //not debugged, almost never used
524                             memset(&coding_method[ch][sb][j + k], case_val, k * sizeof(int8_t));
525                             memset(&coding_method[ch][sb][j + k], case_val, 3 * sizeof(int8_t));
526                         }
527             j += run;
528         }
529     }
530 }
531
532
533 /**
534  * Related to synthesis filter
535  * Called by process_subpacket_10
536  *
537  * @param q       context
538  * @param flag    1 if called after getting data from subpacket 10, 0 if no subpacket 10
539  */
540 static void fill_tone_level_array (QDM2Context *q, int flag)
541 {
542     int i, sb, ch, sb_used;
543     int tmp, tab;
544
545     for (ch = 0; ch < q->nb_channels; ch++)
546         for (sb = 0; sb < 30; sb++)
547             for (i = 0; i < 8; i++) {
548                 if ((tab=coeff_per_sb_for_dequant[q->coeff_per_sb_select][sb]) < (last_coeff[q->coeff_per_sb_select] - 1))
549                     tmp = q->quantized_coeffs[ch][tab + 1][i] * dequant_table[q->coeff_per_sb_select][tab + 1][sb]+
550                           q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
551                 else
552                     tmp = q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
553                 if(tmp < 0)
554                     tmp += 0xff;
555                 q->tone_level_idx_base[ch][sb][i] = (tmp / 256) & 0xff;
556             }
557
558     sb_used = QDM2_SB_USED(q->sub_sampling);
559
560     if ((q->superblocktype_2_3 != 0) && !flag) {
561         for (sb = 0; sb < sb_used; sb++)
562             for (ch = 0; ch < q->nb_channels; ch++)
563                 for (i = 0; i < 64; i++) {
564                     q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
565                     if (q->tone_level_idx[ch][sb][i] < 0)
566                         q->tone_level[ch][sb][i] = 0;
567                     else
568                         q->tone_level[ch][sb][i] = fft_tone_level_table[0][q->tone_level_idx[ch][sb][i] & 0x3f];
569                 }
570     } else {
571         tab = q->superblocktype_2_3 ? 0 : 1;
572         for (sb = 0; sb < sb_used; sb++) {
573             if ((sb >= 4) && (sb <= 23)) {
574                 for (ch = 0; ch < q->nb_channels; ch++)
575                     for (i = 0; i < 64; i++) {
576                         tmp = q->tone_level_idx_base[ch][sb][i / 8] -
577                               q->tone_level_idx_hi1[ch][sb / 8][i / 8][i % 8] -
578                               q->tone_level_idx_mid[ch][sb - 4][i / 8] -
579                               q->tone_level_idx_hi2[ch][sb - 4];
580                         q->tone_level_idx[ch][sb][i] = tmp & 0xff;
581                         if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
582                             q->tone_level[ch][sb][i] = 0;
583                         else
584                             q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
585                 }
586             } else {
587                 if (sb > 4) {
588                     for (ch = 0; ch < q->nb_channels; ch++)
589                         for (i = 0; i < 64; i++) {
590                             tmp = q->tone_level_idx_base[ch][sb][i / 8] -
591                                   q->tone_level_idx_hi1[ch][2][i / 8][i % 8] -
592                                   q->tone_level_idx_hi2[ch][sb - 4];
593                             q->tone_level_idx[ch][sb][i] = tmp & 0xff;
594                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
595                                 q->tone_level[ch][sb][i] = 0;
596                             else
597                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
598                     }
599                 } else {
600                     for (ch = 0; ch < q->nb_channels; ch++)
601                         for (i = 0; i < 64; i++) {
602                             tmp = q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
603                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
604                                 q->tone_level[ch][sb][i] = 0;
605                             else
606                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
607                         }
608                 }
609             }
610         }
611     }
612
613     return;
614 }
615
616
617 /**
618  * Related to synthesis filter
619  * Called by process_subpacket_11
620  * c is built with data from subpacket 11
621  * Most of this function is used only if superblock_type_2_3 == 0, never seen it in samples
622  *
623  * @param tone_level_idx
624  * @param tone_level_idx_temp
625  * @param coding_method        q->coding_method[0][0][0]
626  * @param nb_channels          number of channels
627  * @param c                    coming from subpacket 11, passed as 8*c
628  * @param superblocktype_2_3   flag based on superblock packet type
629  * @param cm_table_select      q->cm_table_select
630  */
631 static void fill_coding_method_array (sb_int8_array tone_level_idx, sb_int8_array tone_level_idx_temp,
632                 sb_int8_array coding_method, int nb_channels,
633                 int c, int superblocktype_2_3, int cm_table_select)
634 {
635     int ch, sb, j;
636     int tmp, acc, esp_40, comp;
637     int add1, add2, add3, add4;
638     int64_t multres;
639
640     if (!superblocktype_2_3) {
641         /* This case is untested, no samples available */
642         SAMPLES_NEEDED
643         for (ch = 0; ch < nb_channels; ch++)
644             for (sb = 0; sb < 30; sb++) {
645                 for (j = 1; j < 63; j++) {  // The loop only iterates to 63 so the code doesn't overflow the buffer
646                     add1 = tone_level_idx[ch][sb][j] - 10;
647                     if (add1 < 0)
648                         add1 = 0;
649                     add2 = add3 = add4 = 0;
650                     if (sb > 1) {
651                         add2 = tone_level_idx[ch][sb - 2][j] + tone_level_idx_offset_table[sb][0] - 6;
652                         if (add2 < 0)
653                             add2 = 0;
654                     }
655                     if (sb > 0) {
656                         add3 = tone_level_idx[ch][sb - 1][j] + tone_level_idx_offset_table[sb][1] - 6;
657                         if (add3 < 0)
658                             add3 = 0;
659                     }
660                     if (sb < 29) {
661                         add4 = tone_level_idx[ch][sb + 1][j] + tone_level_idx_offset_table[sb][3] - 6;
662                         if (add4 < 0)
663                             add4 = 0;
664                     }
665                     tmp = tone_level_idx[ch][sb][j + 1] * 2 - add4 - add3 - add2 - add1;
666                     if (tmp < 0)
667                         tmp = 0;
668                     tone_level_idx_temp[ch][sb][j + 1] = tmp & 0xff;
669                 }
670                 tone_level_idx_temp[ch][sb][0] = tone_level_idx_temp[ch][sb][1];
671             }
672             acc = 0;
673             for (ch = 0; ch < nb_channels; ch++)
674                 for (sb = 0; sb < 30; sb++)
675                     for (j = 0; j < 64; j++)
676                         acc += tone_level_idx_temp[ch][sb][j];
677
678             multres = 0x66666667 * (acc * 10);
679             esp_40 = (multres >> 32) / 8 + ((multres & 0xffffffff) >> 31);
680             for (ch = 0;  ch < nb_channels; ch++)
681                 for (sb = 0; sb < 30; sb++)
682                     for (j = 0; j < 64; j++) {
683                         comp = tone_level_idx_temp[ch][sb][j]* esp_40 * 10;
684                         if (comp < 0)
685                             comp += 0xff;
686                         comp /= 256; // signed shift
687                         switch(sb) {
688                             case 0:
689                                 if (comp < 30)
690                                     comp = 30;
691                                 comp += 15;
692                                 break;
693                             case 1:
694                                 if (comp < 24)
695                                     comp = 24;
696                                 comp += 10;
697                                 break;
698                             case 2:
699                             case 3:
700                             case 4:
701                                 if (comp < 16)
702                                     comp = 16;
703                         }
704                         if (comp <= 5)
705                             tmp = 0;
706                         else if (comp <= 10)
707                             tmp = 10;
708                         else if (comp <= 16)
709                             tmp = 16;
710                         else if (comp <= 24)
711                             tmp = -1;
712                         else
713                             tmp = 0;
714                         coding_method[ch][sb][j] = ((tmp & 0xfffa) + 30 )& 0xff;
715                     }
716             for (sb = 0; sb < 30; sb++)
717                 fix_coding_method_array(sb, nb_channels, coding_method);
718             for (ch = 0; ch < nb_channels; ch++)
719                 for (sb = 0; sb < 30; sb++)
720                     for (j = 0; j < 64; j++)
721                         if (sb >= 10) {
722                             if (coding_method[ch][sb][j] < 10)
723                                 coding_method[ch][sb][j] = 10;
724                         } else {
725                             if (sb >= 2) {
726                                 if (coding_method[ch][sb][j] < 16)
727                                     coding_method[ch][sb][j] = 16;
728                             } else {
729                                 if (coding_method[ch][sb][j] < 30)
730                                     coding_method[ch][sb][j] = 30;
731                             }
732                         }
733     } else { // superblocktype_2_3 != 0
734         for (ch = 0; ch < nb_channels; ch++)
735             for (sb = 0; sb < 30; sb++)
736                 for (j = 0; j < 64; j++)
737                     coding_method[ch][sb][j] = coding_method_table[cm_table_select][sb];
738     }
739
740     return;
741 }
742
743
744 /**
745  *
746  * Called by process_subpacket_11 to process more data from subpacket 11 with sb 0-8
747  * Called by process_subpacket_12 to process data from subpacket 12 with sb 8-sb_used
748  *
749  * @param q         context
750  * @param gb        bitreader context
751  * @param length    packet length in bits
752  * @param sb_min    lower subband processed (sb_min included)
753  * @param sb_max    higher subband processed (sb_max excluded)
754  */
755 static void synthfilt_build_sb_samples (QDM2Context *q, GetBitContext *gb, int length, int sb_min, int sb_max)
756 {
757     int sb, j, k, n, ch, run, channels;
758     int joined_stereo, zero_encoding, chs;
759     int type34_first;
760     float type34_div = 0;
761     float type34_predictor;
762     float samples[10], sign_bits[16];
763
764     if (length == 0) {
765         // If no data use noise
766         for (sb=sb_min; sb < sb_max; sb++)
767             build_sb_samples_from_noise (q, sb);
768
769         return;
770     }
771
772     for (sb = sb_min; sb < sb_max; sb++) {
773         FIX_NOISE_IDX(q->noise_idx);
774
775         channels = q->nb_channels;
776
777         if (q->nb_channels <= 1 || sb < 12)
778             joined_stereo = 0;
779         else if (sb >= 24)
780             joined_stereo = 1;
781         else
782             joined_stereo = (get_bits_left(gb) >= 1) ? get_bits1 (gb) : 0;
783
784         if (joined_stereo) {
785             if (get_bits_left(gb) >= 16)
786                 for (j = 0; j < 16; j++)
787                     sign_bits[j] = get_bits1 (gb);
788
789             for (j = 0; j < 64; j++)
790                 if (q->coding_method[1][sb][j] > q->coding_method[0][sb][j])
791                     q->coding_method[0][sb][j] = q->coding_method[1][sb][j];
792
793             fix_coding_method_array(sb, q->nb_channels, q->coding_method);
794             channels = 1;
795         }
796
797         for (ch = 0; ch < channels; ch++) {
798             zero_encoding = (get_bits_left(gb) >= 1) ? get_bits1(gb) : 0;
799             type34_predictor = 0.0;
800             type34_first = 1;
801
802             for (j = 0; j < 128; ) {
803                 switch (q->coding_method[ch][sb][j / 2]) {
804                     case 8:
805                         if (get_bits_left(gb) >= 10) {
806                             if (zero_encoding) {
807                                 for (k = 0; k < 5; k++) {
808                                     if ((j + 2 * k) >= 128)
809                                         break;
810                                     samples[2 * k] = get_bits1(gb) ? dequant_1bit[joined_stereo][2 * get_bits1(gb)] : 0;
811                                 }
812                             } else {
813                                 n = get_bits(gb, 8);
814                                 for (k = 0; k < 5; k++)
815                                     samples[2 * k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
816                             }
817                             for (k = 0; k < 5; k++)
818                                 samples[2 * k + 1] = SB_DITHERING_NOISE(sb,q->noise_idx);
819                         } else {
820                             for (k = 0; k < 10; k++)
821                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
822                         }
823                         run = 10;
824                         break;
825
826                     case 10:
827                         if (get_bits_left(gb) >= 1) {
828                             float f = 0.81;
829
830                             if (get_bits1(gb))
831                                 f = -f;
832                             f -= noise_samples[((sb + 1) * (j +5 * ch + 1)) & 127] * 9.0 / 40.0;
833                             samples[0] = f;
834                         } else {
835                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
836                         }
837                         run = 1;
838                         break;
839
840                     case 16:
841                         if (get_bits_left(gb) >= 10) {
842                             if (zero_encoding) {
843                                 for (k = 0; k < 5; k++) {
844                                     if ((j + k) >= 128)
845                                         break;
846                                     samples[k] = (get_bits1(gb) == 0) ? 0 : dequant_1bit[joined_stereo][2 * get_bits1(gb)];
847                                 }
848                             } else {
849                                 n = get_bits (gb, 8);
850                                 for (k = 0; k < 5; k++)
851                                     samples[k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
852                             }
853                         } else {
854                             for (k = 0; k < 5; k++)
855                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
856                         }
857                         run = 5;
858                         break;
859
860                     case 24:
861                         if (get_bits_left(gb) >= 7) {
862                             n = get_bits(gb, 7);
863                             for (k = 0; k < 3; k++)
864                                 samples[k] = (random_dequant_type24[n][k] - 2.0) * 0.5;
865                         } else {
866                             for (k = 0; k < 3; k++)
867                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
868                         }
869                         run = 3;
870                         break;
871
872                     case 30:
873                         if (get_bits_left(gb) >= 4) {
874                             unsigned index = qdm2_get_vlc(gb, &vlc_tab_type30, 0, 1);
875                             if (index < FF_ARRAY_ELEMS(type30_dequant)) {
876                                 samples[0] = type30_dequant[index];
877                             } else
878                                 samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
879                         } else
880                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
881
882                         run = 1;
883                         break;
884
885                     case 34:
886                         if (get_bits_left(gb) >= 7) {
887                             if (type34_first) {
888                                 type34_div = (float)(1 << get_bits(gb, 2));
889                                 samples[0] = ((float)get_bits(gb, 5) - 16.0) / 15.0;
890                                 type34_predictor = samples[0];
891                                 type34_first = 0;
892                             } else {
893                                 unsigned index = qdm2_get_vlc(gb, &vlc_tab_type34, 0, 1);
894                                 if (index < FF_ARRAY_ELEMS(type34_delta)) {
895                                     samples[0] = type34_delta[index] / type34_div + type34_predictor;
896                                     type34_predictor = samples[0];
897                                 } else
898                                     samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
899                             }
900                         } else {
901                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
902                         }
903                         run = 1;
904                         break;
905
906                     default:
907                         samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
908                         run = 1;
909                         break;
910                 }
911
912                 if (joined_stereo) {
913                     float tmp[10][MPA_MAX_CHANNELS];
914
915                     for (k = 0; k < run; k++) {
916                         tmp[k][0] = samples[k];
917                         tmp[k][1] = (sign_bits[(j + k) / 8]) ? -samples[k] : samples[k];
918                     }
919                     for (chs = 0; chs < q->nb_channels; chs++)
920                         for (k = 0; k < run; k++)
921                             if ((j + k) < 128)
922                                 q->sb_samples[chs][j + k][sb] = q->tone_level[chs][sb][((j + k)/2)] * tmp[k][chs];
923                 } else {
924                     for (k = 0; k < run; k++)
925                         if ((j + k) < 128)
926                             q->sb_samples[ch][j + k][sb] = q->tone_level[ch][sb][(j + k)/2] * samples[k];
927                 }
928
929                 j += run;
930             } // j loop
931         } // channel loop
932     } // subband loop
933 }
934
935
936 /**
937  * Init the first element of a channel in quantized_coeffs with data from packet 10 (quantized_coeffs[ch][0]).
938  * This is similar to process_subpacket_9, but for a single channel and for element [0]
939  * same VLC tables as process_subpacket_9 are used.
940  *
941  * @param quantized_coeffs    pointer to quantized_coeffs[ch][0]
942  * @param gb        bitreader context
943  */
944 static void init_quantized_coeffs_elem0 (int8_t *quantized_coeffs, GetBitContext *gb)
945 {
946     int i, k, run, level, diff;
947
948     if (get_bits_left(gb) < 16)
949         return;
950     level = qdm2_get_vlc(gb, &vlc_tab_level, 0, 2);
951
952     quantized_coeffs[0] = level;
953
954     for (i = 0; i < 7; ) {
955         if (get_bits_left(gb) < 16)
956             break;
957         run = qdm2_get_vlc(gb, &vlc_tab_run, 0, 1) + 1;
958
959         if (get_bits_left(gb) < 16)
960             break;
961         diff = qdm2_get_se_vlc(&vlc_tab_diff, gb, 2);
962
963         for (k = 1; k <= run; k++)
964             quantized_coeffs[i + k] = (level + ((k * diff) / run));
965
966         level += diff;
967         i += run;
968     }
969 }
970
971
972 /**
973  * Related to synthesis filter, process data from packet 10
974  * Init part of quantized_coeffs via function init_quantized_coeffs_elem0
975  * Init tone_level_idx_hi1, tone_level_idx_hi2, tone_level_idx_mid with data from packet 10
976  *
977  * @param q         context
978  * @param gb        bitreader context
979  */
980 static void init_tone_level_dequantization (QDM2Context *q, GetBitContext *gb)
981 {
982     int sb, j, k, n, ch;
983
984     for (ch = 0; ch < q->nb_channels; ch++) {
985         init_quantized_coeffs_elem0(q->quantized_coeffs[ch][0], gb);
986
987         if (get_bits_left(gb) < 16) {
988             memset(q->quantized_coeffs[ch][0], 0, 8);
989             break;
990         }
991     }
992
993     n = q->sub_sampling + 1;
994
995     for (sb = 0; sb < n; sb++)
996         for (ch = 0; ch < q->nb_channels; ch++)
997             for (j = 0; j < 8; j++) {
998                 if (get_bits_left(gb) < 1)
999                     break;
1000                 if (get_bits1(gb)) {
1001                     for (k=0; k < 8; k++) {
1002                         if (get_bits_left(gb) < 16)
1003                             break;
1004                         q->tone_level_idx_hi1[ch][sb][j][k] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi1, 0, 2);
1005                     }
1006                 } else {
1007                     for (k=0; k < 8; k++)
1008                         q->tone_level_idx_hi1[ch][sb][j][k] = 0;
1009                 }
1010             }
1011
1012     n = QDM2_SB_USED(q->sub_sampling) - 4;
1013
1014     for (sb = 0; sb < n; sb++)
1015         for (ch = 0; ch < q->nb_channels; ch++) {
1016             if (get_bits_left(gb) < 16)
1017                 break;
1018             q->tone_level_idx_hi2[ch][sb] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi2, 0, 2);
1019             if (sb > 19)
1020                 q->tone_level_idx_hi2[ch][sb] -= 16;
1021             else
1022                 for (j = 0; j < 8; j++)
1023                     q->tone_level_idx_mid[ch][sb][j] = -16;
1024         }
1025
1026     n = QDM2_SB_USED(q->sub_sampling) - 5;
1027
1028     for (sb = 0; sb < n; sb++)
1029         for (ch = 0; ch < q->nb_channels; ch++)
1030             for (j = 0; j < 8; j++) {
1031                 if (get_bits_left(gb) < 16)
1032                     break;
1033                 q->tone_level_idx_mid[ch][sb][j] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_mid, 0, 2) - 32;
1034             }
1035 }
1036
1037 /**
1038  * Process subpacket 9, init quantized_coeffs with data from it
1039  *
1040  * @param q       context
1041  * @param node    pointer to node with packet
1042  */
1043 static void process_subpacket_9 (QDM2Context *q, QDM2SubPNode *node)
1044 {
1045     GetBitContext gb;
1046     int i, j, k, n, ch, run, level, diff;
1047
1048     init_get_bits(&gb, node->packet->data, node->packet->size*8);
1049
1050     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1; // same as averagesomething function
1051
1052     for (i = 1; i < n; i++)
1053         for (ch=0; ch < q->nb_channels; ch++) {
1054             level = qdm2_get_vlc(&gb, &vlc_tab_level, 0, 2);
1055             q->quantized_coeffs[ch][i][0] = level;
1056
1057             for (j = 0; j < (8 - 1); ) {
1058                 run = qdm2_get_vlc(&gb, &vlc_tab_run, 0, 1) + 1;
1059                 diff = qdm2_get_se_vlc(&vlc_tab_diff, &gb, 2);
1060
1061                 for (k = 1; k <= run; k++)
1062                     q->quantized_coeffs[ch][i][j + k] = (level + ((k*diff) / run));
1063
1064                 level += diff;
1065                 j += run;
1066             }
1067         }
1068
1069     for (ch = 0; ch < q->nb_channels; ch++)
1070         for (i = 0; i < 8; i++)
1071             q->quantized_coeffs[ch][0][i] = 0;
1072 }
1073
1074
1075 /**
1076  * Process subpacket 10 if not null, else
1077  *
1078  * @param q         context
1079  * @param node      pointer to node with packet
1080  */
1081 static void process_subpacket_10 (QDM2Context *q, QDM2SubPNode *node)
1082 {
1083     GetBitContext gb;
1084
1085     if (node) {
1086         init_get_bits(&gb, node->packet->data, node->packet->size * 8);
1087         init_tone_level_dequantization(q, &gb);
1088         fill_tone_level_array(q, 1);
1089     } else {
1090         fill_tone_level_array(q, 0);
1091     }
1092 }
1093
1094
1095 /**
1096  * Process subpacket 11
1097  *
1098  * @param q         context
1099  * @param node      pointer to node with packet
1100  */
1101 static void process_subpacket_11 (QDM2Context *q, QDM2SubPNode *node)
1102 {
1103     GetBitContext gb;
1104     int length = 0;
1105
1106     if (node) {
1107         length = node->packet->size * 8;
1108         init_get_bits(&gb, node->packet->data, length);
1109     }
1110
1111     if (length >= 32) {
1112         int c = get_bits (&gb, 13);
1113
1114         if (c > 3)
1115             fill_coding_method_array (q->tone_level_idx, q->tone_level_idx_temp, q->coding_method,
1116                                       q->nb_channels, 8*c, q->superblocktype_2_3, q->cm_table_select);
1117     }
1118
1119     synthfilt_build_sb_samples(q, &gb, length, 0, 8);
1120 }
1121
1122
1123 /**
1124  * Process subpacket 12
1125  *
1126  * @param q         context
1127  * @param node      pointer to node with packet
1128  */
1129 static void process_subpacket_12 (QDM2Context *q, QDM2SubPNode *node)
1130 {
1131     GetBitContext gb;
1132     int length = 0;
1133
1134     if (node) {
1135         length = node->packet->size * 8;
1136         init_get_bits(&gb, node->packet->data, length);
1137     }
1138
1139     synthfilt_build_sb_samples(q, &gb, length, 8, QDM2_SB_USED(q->sub_sampling));
1140 }
1141
1142 /*
1143  * Process new subpackets for synthesis filter
1144  *
1145  * @param q       context
1146  * @param list    list with synthesis filter packets (list D)
1147  */
1148 static void process_synthesis_subpackets (QDM2Context *q, QDM2SubPNode *list)
1149 {
1150     QDM2SubPNode *nodes[4];
1151
1152     nodes[0] = qdm2_search_subpacket_type_in_list(list, 9);
1153     if (nodes[0] != NULL)
1154         process_subpacket_9(q, nodes[0]);
1155
1156     nodes[1] = qdm2_search_subpacket_type_in_list(list, 10);
1157     if (nodes[1] != NULL)
1158         process_subpacket_10(q, nodes[1]);
1159     else
1160         process_subpacket_10(q, NULL);
1161
1162     nodes[2] = qdm2_search_subpacket_type_in_list(list, 11);
1163     if (nodes[0] != NULL && nodes[1] != NULL && nodes[2] != NULL)
1164         process_subpacket_11(q, nodes[2]);
1165     else
1166         process_subpacket_11(q, NULL);
1167
1168     nodes[3] = qdm2_search_subpacket_type_in_list(list, 12);
1169     if (nodes[0] != NULL && nodes[1] != NULL && nodes[3] != NULL)
1170         process_subpacket_12(q, nodes[3]);
1171     else
1172         process_subpacket_12(q, NULL);
1173 }
1174
1175
1176 /*
1177  * Decode superblock, fill packet lists.
1178  *
1179  * @param q    context
1180  */
1181 static void qdm2_decode_super_block (QDM2Context *q)
1182 {
1183     GetBitContext gb;
1184     QDM2SubPacket header, *packet;
1185     int i, packet_bytes, sub_packet_size, sub_packets_D;
1186     unsigned int next_index = 0;
1187
1188     memset(q->tone_level_idx_hi1, 0, sizeof(q->tone_level_idx_hi1));
1189     memset(q->tone_level_idx_mid, 0, sizeof(q->tone_level_idx_mid));
1190     memset(q->tone_level_idx_hi2, 0, sizeof(q->tone_level_idx_hi2));
1191
1192     q->sub_packets_B = 0;
1193     sub_packets_D = 0;
1194
1195     average_quantized_coeffs(q); // average elements in quantized_coeffs[max_ch][10][8]
1196
1197     init_get_bits(&gb, q->compressed_data, q->compressed_size*8);
1198     qdm2_decode_sub_packet_header(&gb, &header);
1199
1200     if (header.type < 2 || header.type >= 8) {
1201         q->has_errors = 1;
1202         av_log(NULL,AV_LOG_ERROR,"bad superblock type\n");
1203         return;
1204     }
1205
1206     q->superblocktype_2_3 = (header.type == 2 || header.type == 3);
1207     packet_bytes = (q->compressed_size - get_bits_count(&gb) / 8);
1208
1209     init_get_bits(&gb, header.data, header.size*8);
1210
1211     if (header.type == 2 || header.type == 4 || header.type == 5) {
1212         int csum  = 257 * get_bits(&gb, 8);
1213             csum +=   2 * get_bits(&gb, 8);
1214
1215         csum = qdm2_packet_checksum(q->compressed_data, q->checksum_size, csum);
1216
1217         if (csum != 0) {
1218             q->has_errors = 1;
1219             av_log(NULL,AV_LOG_ERROR,"bad packet checksum\n");
1220             return;
1221         }
1222     }
1223
1224     q->sub_packet_list_B[0].packet = NULL;
1225     q->sub_packet_list_D[0].packet = NULL;
1226
1227     for (i = 0; i < 6; i++)
1228         if (--q->fft_level_exp[i] < 0)
1229             q->fft_level_exp[i] = 0;
1230
1231     for (i = 0; packet_bytes > 0; i++) {
1232         int j;
1233
1234         if (i >= FF_ARRAY_ELEMS(q->sub_packet_list_A)) {
1235             SAMPLES_NEEDED_2("too many packet bytes");
1236             return;
1237         }
1238
1239         q->sub_packet_list_A[i].next = NULL;
1240
1241         if (i > 0) {
1242             q->sub_packet_list_A[i - 1].next = &q->sub_packet_list_A[i];
1243
1244             /* seek to next block */
1245             init_get_bits(&gb, header.data, header.size*8);
1246             skip_bits(&gb, next_index*8);
1247
1248             if (next_index >= header.size)
1249                 break;
1250         }
1251
1252         /* decode subpacket */
1253         packet = &q->sub_packets[i];
1254         qdm2_decode_sub_packet_header(&gb, packet);
1255         next_index = packet->size + get_bits_count(&gb) / 8;
1256         sub_packet_size = ((packet->size > 0xff) ? 1 : 0) + packet->size + 2;
1257
1258         if (packet->type == 0)
1259             break;
1260
1261         if (sub_packet_size > packet_bytes) {
1262             if (packet->type != 10 && packet->type != 11 && packet->type != 12)
1263                 break;
1264             packet->size += packet_bytes - sub_packet_size;
1265         }
1266
1267         packet_bytes -= sub_packet_size;
1268
1269         /* add subpacket to 'all subpackets' list */
1270         q->sub_packet_list_A[i].packet = packet;
1271
1272         /* add subpacket to related list */
1273         if (packet->type == 8) {
1274             SAMPLES_NEEDED_2("packet type 8");
1275             return;
1276         } else if (packet->type >= 9 && packet->type <= 12) {
1277             /* packets for MPEG Audio like Synthesis Filter */
1278             QDM2_LIST_ADD(q->sub_packet_list_D, sub_packets_D, packet);
1279         } else if (packet->type == 13) {
1280             for (j = 0; j < 6; j++)
1281                 q->fft_level_exp[j] = get_bits(&gb, 6);
1282         } else if (packet->type == 14) {
1283             for (j = 0; j < 6; j++)
1284                 q->fft_level_exp[j] = qdm2_get_vlc(&gb, &fft_level_exp_vlc, 0, 2);
1285         } else if (packet->type == 15) {
1286             SAMPLES_NEEDED_2("packet type 15")
1287             return;
1288         } else if (packet->type >= 16 && packet->type < 48 && !fft_subpackets[packet->type - 16]) {
1289             /* packets for FFT */
1290             QDM2_LIST_ADD(q->sub_packet_list_B, q->sub_packets_B, packet);
1291         }
1292     } // Packet bytes loop
1293
1294 /* **************************************************************** */
1295     if (q->sub_packet_list_D[0].packet != NULL) {
1296         process_synthesis_subpackets(q, q->sub_packet_list_D);
1297         q->do_synth_filter = 1;
1298     } else if (q->do_synth_filter) {
1299         process_subpacket_10(q, NULL);
1300         process_subpacket_11(q, NULL);
1301         process_subpacket_12(q, NULL);
1302     }
1303 /* **************************************************************** */
1304 }
1305
1306
1307 static void qdm2_fft_init_coefficient (QDM2Context *q, int sub_packet,
1308                        int offset, int duration, int channel,
1309                        int exp, int phase)
1310 {
1311     if (q->fft_coefs_min_index[duration] < 0)
1312         q->fft_coefs_min_index[duration] = q->fft_coefs_index;
1313
1314     q->fft_coefs[q->fft_coefs_index].sub_packet = ((sub_packet >= 16) ? (sub_packet - 16) : sub_packet);
1315     q->fft_coefs[q->fft_coefs_index].channel = channel;
1316     q->fft_coefs[q->fft_coefs_index].offset = offset;
1317     q->fft_coefs[q->fft_coefs_index].exp = exp;
1318     q->fft_coefs[q->fft_coefs_index].phase = phase;
1319     q->fft_coefs_index++;
1320 }
1321
1322
1323 static void qdm2_fft_decode_tones (QDM2Context *q, int duration, GetBitContext *gb, int b)
1324 {
1325     int channel, stereo, phase, exp;
1326     int local_int_4,  local_int_8,  stereo_phase,  local_int_10;
1327     int local_int_14, stereo_exp, local_int_20, local_int_28;
1328     int n, offset;
1329
1330     local_int_4 = 0;
1331     local_int_28 = 0;
1332     local_int_20 = 2;
1333     local_int_8 = (4 - duration);
1334     local_int_10 = 1 << (q->group_order - duration - 1);
1335     offset = 1;
1336
1337     while (1) {
1338         if (q->superblocktype_2_3) {
1339             while ((n = qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2)) < 2) {
1340                 offset = 1;
1341                 if (n == 0) {
1342                     local_int_4 += local_int_10;
1343                     local_int_28 += (1 << local_int_8);
1344                 } else {
1345                     local_int_4 += 8*local_int_10;
1346                     local_int_28 += (8 << local_int_8);
1347                 }
1348             }
1349             offset += (n - 2);
1350         } else {
1351             offset += qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2);
1352             while (offset >= (local_int_10 - 1)) {
1353                 offset += (1 - (local_int_10 - 1));
1354                 local_int_4  += local_int_10;
1355                 local_int_28 += (1 << local_int_8);
1356             }
1357         }
1358
1359         if (local_int_4 >= q->group_size)
1360             return;
1361
1362         local_int_14 = (offset >> local_int_8);
1363         if (local_int_14 >= FF_ARRAY_ELEMS(fft_level_index_table))
1364             return;
1365
1366         if (q->nb_channels > 1) {
1367             channel = get_bits1(gb);
1368             stereo = get_bits1(gb);
1369         } else {
1370             channel = 0;
1371             stereo = 0;
1372         }
1373
1374         exp = qdm2_get_vlc(gb, (b ? &fft_level_exp_vlc : &fft_level_exp_alt_vlc), 0, 2);
1375         exp += q->fft_level_exp[fft_level_index_table[local_int_14]];
1376         exp = (exp < 0) ? 0 : exp;
1377
1378         phase = get_bits(gb, 3);
1379         stereo_exp = 0;
1380         stereo_phase = 0;
1381
1382         if (stereo) {
1383             stereo_exp = (exp - qdm2_get_vlc(gb, &fft_stereo_exp_vlc, 0, 1));
1384             stereo_phase = (phase - qdm2_get_vlc(gb, &fft_stereo_phase_vlc, 0, 1));
1385             if (stereo_phase < 0)
1386                 stereo_phase += 8;
1387         }
1388
1389         if (q->frequency_range > (local_int_14 + 1)) {
1390             int sub_packet = (local_int_20 + local_int_28);
1391
1392             qdm2_fft_init_coefficient(q, sub_packet, offset, duration, channel, exp, phase);
1393             if (stereo)
1394                 qdm2_fft_init_coefficient(q, sub_packet, offset, duration, (1 - channel), stereo_exp, stereo_phase);
1395         }
1396
1397         offset++;
1398     }
1399 }
1400
1401
1402 static void qdm2_decode_fft_packets (QDM2Context *q)
1403 {
1404     int i, j, min, max, value, type, unknown_flag;
1405     GetBitContext gb;
1406
1407     if (q->sub_packet_list_B[0].packet == NULL)
1408         return;
1409
1410     /* reset minimum indexes for FFT coefficients */
1411     q->fft_coefs_index = 0;
1412     for (i=0; i < 5; i++)
1413         q->fft_coefs_min_index[i] = -1;
1414
1415     /* process subpackets ordered by type, largest type first */
1416     for (i = 0, max = 256; i < q->sub_packets_B; i++) {
1417         QDM2SubPacket *packet= NULL;
1418
1419         /* find subpacket with largest type less than max */
1420         for (j = 0, min = 0; j < q->sub_packets_B; j++) {
1421             value = q->sub_packet_list_B[j].packet->type;
1422             if (value > min && value < max) {
1423                 min = value;
1424                 packet = q->sub_packet_list_B[j].packet;
1425             }
1426         }
1427
1428         max = min;
1429
1430         /* check for errors (?) */
1431         if (!packet)
1432             return;
1433
1434         if (i == 0 && (packet->type < 16 || packet->type >= 48 || fft_subpackets[packet->type - 16]))
1435             return;
1436
1437         /* decode FFT tones */
1438         init_get_bits (&gb, packet->data, packet->size*8);
1439
1440         if (packet->type >= 32 && packet->type < 48 && !fft_subpackets[packet->type - 16])
1441             unknown_flag = 1;
1442         else
1443             unknown_flag = 0;
1444
1445         type = packet->type;
1446
1447         if ((type >= 17 && type < 24) || (type >= 33 && type < 40)) {
1448             int duration = q->sub_sampling + 5 - (type & 15);
1449
1450             if (duration >= 0 && duration < 4)
1451                 qdm2_fft_decode_tones(q, duration, &gb, unknown_flag);
1452         } else if (type == 31) {
1453             for (j=0; j < 4; j++)
1454                 qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1455         } else if (type == 46) {
1456             for (j=0; j < 6; j++)
1457                 q->fft_level_exp[j] = get_bits(&gb, 6);
1458             for (j=0; j < 4; j++)
1459             qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1460         }
1461     } // Loop on B packets
1462
1463     /* calculate maximum indexes for FFT coefficients */
1464     for (i = 0, j = -1; i < 5; i++)
1465         if (q->fft_coefs_min_index[i] >= 0) {
1466             if (j >= 0)
1467                 q->fft_coefs_max_index[j] = q->fft_coefs_min_index[i];
1468             j = i;
1469         }
1470     if (j >= 0)
1471         q->fft_coefs_max_index[j] = q->fft_coefs_index;
1472 }
1473
1474
1475 static void qdm2_fft_generate_tone (QDM2Context *q, FFTTone *tone)
1476 {
1477    float level, f[6];
1478    int i;
1479    QDM2Complex c;
1480    const double iscale = 2.0*M_PI / 512.0;
1481
1482     tone->phase += tone->phase_shift;
1483
1484     /* calculate current level (maximum amplitude) of tone */
1485     level = fft_tone_envelope_table[tone->duration][tone->time_index] * tone->level;
1486     c.im = level * sin(tone->phase*iscale);
1487     c.re = level * cos(tone->phase*iscale);
1488
1489     /* generate FFT coefficients for tone */
1490     if (tone->duration >= 3 || tone->cutoff >= 3) {
1491         tone->complex[0].im += c.im;
1492         tone->complex[0].re += c.re;
1493         tone->complex[1].im -= c.im;
1494         tone->complex[1].re -= c.re;
1495     } else {
1496         f[1] = -tone->table[4];
1497         f[0] =  tone->table[3] - tone->table[0];
1498         f[2] =  1.0 - tone->table[2] - tone->table[3];
1499         f[3] =  tone->table[1] + tone->table[4] - 1.0;
1500         f[4] =  tone->table[0] - tone->table[1];
1501         f[5] =  tone->table[2];
1502         for (i = 0; i < 2; i++) {
1503             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].re += c.re * f[i];
1504             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].im += c.im *((tone->cutoff <= i) ? -f[i] : f[i]);
1505         }
1506         for (i = 0; i < 4; i++) {
1507             tone->complex[i].re += c.re * f[i+2];
1508             tone->complex[i].im += c.im * f[i+2];
1509         }
1510     }
1511
1512     /* copy the tone if it has not yet died out */
1513     if (++tone->time_index < ((1 << (5 - tone->duration)) - 1)) {
1514       memcpy(&q->fft_tones[q->fft_tone_end], tone, sizeof(FFTTone));
1515       q->fft_tone_end = (q->fft_tone_end + 1) % 1000;
1516     }
1517 }
1518
1519
1520 static void qdm2_fft_tone_synthesizer (QDM2Context *q, int sub_packet)
1521 {
1522     int i, j, ch;
1523     const double iscale = 0.25 * M_PI;
1524
1525     for (ch = 0; ch < q->channels; ch++) {
1526         memset(q->fft.complex[ch], 0, q->fft_size * sizeof(QDM2Complex));
1527     }
1528
1529
1530     /* apply FFT tones with duration 4 (1 FFT period) */
1531     if (q->fft_coefs_min_index[4] >= 0)
1532         for (i = q->fft_coefs_min_index[4]; i < q->fft_coefs_max_index[4]; i++) {
1533             float level;
1534             QDM2Complex c;
1535
1536             if (q->fft_coefs[i].sub_packet != sub_packet)
1537                 break;
1538
1539             ch = (q->channels == 1) ? 0 : q->fft_coefs[i].channel;
1540             level = (q->fft_coefs[i].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[i].exp & 63];
1541
1542             c.re = level * cos(q->fft_coefs[i].phase * iscale);
1543             c.im = level * sin(q->fft_coefs[i].phase * iscale);
1544             q->fft.complex[ch][q->fft_coefs[i].offset + 0].re += c.re;
1545             q->fft.complex[ch][q->fft_coefs[i].offset + 0].im += c.im;
1546             q->fft.complex[ch][q->fft_coefs[i].offset + 1].re -= c.re;
1547             q->fft.complex[ch][q->fft_coefs[i].offset + 1].im -= c.im;
1548         }
1549
1550     /* generate existing FFT tones */
1551     for (i = q->fft_tone_end; i != q->fft_tone_start; ) {
1552         qdm2_fft_generate_tone(q, &q->fft_tones[q->fft_tone_start]);
1553         q->fft_tone_start = (q->fft_tone_start + 1) % 1000;
1554     }
1555
1556     /* create and generate new FFT tones with duration 0 (long) to 3 (short) */
1557     for (i = 0; i < 4; i++)
1558         if (q->fft_coefs_min_index[i] >= 0) {
1559             for (j = q->fft_coefs_min_index[i]; j < q->fft_coefs_max_index[i]; j++) {
1560                 int offset, four_i;
1561                 FFTTone tone;
1562
1563                 if (q->fft_coefs[j].sub_packet != sub_packet)
1564                     break;
1565
1566                 four_i = (4 - i);
1567                 offset = q->fft_coefs[j].offset >> four_i;
1568                 ch = (q->channels == 1) ? 0 : q->fft_coefs[j].channel;
1569
1570                 if (offset < q->frequency_range) {
1571                     if (offset < 2)
1572                         tone.cutoff = offset;
1573                     else
1574                         tone.cutoff = (offset >= 60) ? 3 : 2;
1575
1576                     tone.level = (q->fft_coefs[j].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[j].exp & 63];
1577                     tone.complex = &q->fft.complex[ch][offset];
1578                     tone.table = fft_tone_sample_table[i][q->fft_coefs[j].offset - (offset << four_i)];
1579                     tone.phase = 64 * q->fft_coefs[j].phase - (offset << 8) - 128;
1580                     tone.phase_shift = (2 * q->fft_coefs[j].offset + 1) << (7 - four_i);
1581                     tone.duration = i;
1582                     tone.time_index = 0;
1583
1584                     qdm2_fft_generate_tone(q, &tone);
1585                 }
1586             }
1587             q->fft_coefs_min_index[i] = j;
1588         }
1589 }
1590
1591
1592 static void qdm2_calculate_fft (QDM2Context *q, int channel, int sub_packet)
1593 {
1594     const float gain = (q->channels == 1 && q->nb_channels == 2) ? 0.5f : 1.0f;
1595     float *out = q->output_buffer + channel;
1596     int i;
1597     q->fft.complex[channel][0].re *= 2.0f;
1598     q->fft.complex[channel][0].im = 0.0f;
1599     q->rdft_ctx.rdft_calc(&q->rdft_ctx, (FFTSample *)q->fft.complex[channel]);
1600     /* add samples to output buffer */
1601     for (i = 0; i < FFALIGN(q->fft_size, 8); i++) {
1602         out[0]           += q->fft.complex[channel][i].re * gain;
1603         out[q->channels] += q->fft.complex[channel][i].im * gain;
1604         out += 2 * q->channels;
1605     }
1606 }
1607
1608
1609 /**
1610  * @param q        context
1611  * @param index    subpacket number
1612  */
1613 static void qdm2_synthesis_filter (QDM2Context *q, int index)
1614 {
1615     int i, k, ch, sb_used, sub_sampling, dither_state = 0;
1616
1617     /* copy sb_samples */
1618     sb_used = QDM2_SB_USED(q->sub_sampling);
1619
1620     for (ch = 0; ch < q->channels; ch++)
1621         for (i = 0; i < 8; i++)
1622             for (k=sb_used; k < SBLIMIT; k++)
1623                 q->sb_samples[ch][(8 * index) + i][k] = 0;
1624
1625     for (ch = 0; ch < q->nb_channels; ch++) {
1626         float *samples_ptr = q->samples + ch;
1627
1628         for (i = 0; i < 8; i++) {
1629             ff_mpa_synth_filter_float(&q->mpadsp,
1630                 q->synth_buf[ch], &(q->synth_buf_offset[ch]),
1631                 ff_mpa_synth_window_float, &dither_state,
1632                 samples_ptr, q->nb_channels,
1633                 q->sb_samples[ch][(8 * index) + i]);
1634             samples_ptr += 32 * q->nb_channels;
1635         }
1636     }
1637
1638     /* add samples to output buffer */
1639     sub_sampling = (4 >> q->sub_sampling);
1640
1641     for (ch = 0; ch < q->channels; ch++)
1642         for (i = 0; i < q->frame_size; i++)
1643             q->output_buffer[q->channels * i + ch] += (1 << 23) * q->samples[q->nb_channels * sub_sampling * i + ch];
1644 }
1645
1646
1647 /**
1648  * Init static data (does not depend on specific file)
1649  *
1650  * @param q    context
1651  */
1652 static av_cold void qdm2_init(QDM2Context *q) {
1653     static int initialized = 0;
1654
1655     if (initialized != 0)
1656         return;
1657     initialized = 1;
1658
1659     qdm2_init_vlc();
1660     ff_mpa_synth_init_float(ff_mpa_synth_window_float);
1661     softclip_table_init();
1662     rnd_table_init();
1663     init_noise_samples();
1664
1665     av_log(NULL, AV_LOG_DEBUG, "init done\n");
1666 }
1667
1668
1669 /**
1670  * Init parameters from codec extradata
1671  */
1672 static av_cold int qdm2_decode_init(AVCodecContext *avctx)
1673 {
1674     QDM2Context *s = avctx->priv_data;
1675     uint8_t *extradata;
1676     int extradata_size;
1677     int tmp_val, tmp, size;
1678
1679     /* extradata parsing
1680
1681     Structure:
1682     wave {
1683         frma (QDM2)
1684         QDCA
1685         QDCP
1686     }
1687
1688     32  size (including this field)
1689     32  tag (=frma)
1690     32  type (=QDM2 or QDMC)
1691
1692     32  size (including this field, in bytes)
1693     32  tag (=QDCA) // maybe mandatory parameters
1694     32  unknown (=1)
1695     32  channels (=2)
1696     32  samplerate (=44100)
1697     32  bitrate (=96000)
1698     32  block size (=4096)
1699     32  frame size (=256) (for one channel)
1700     32  packet size (=1300)
1701
1702     32  size (including this field, in bytes)
1703     32  tag (=QDCP) // maybe some tuneable parameters
1704     32  float1 (=1.0)
1705     32  zero ?
1706     32  float2 (=1.0)
1707     32  float3 (=1.0)
1708     32  unknown (27)
1709     32  unknown (8)
1710     32  zero ?
1711     */
1712
1713     if (!avctx->extradata || (avctx->extradata_size < 48)) {
1714         av_log(avctx, AV_LOG_ERROR, "extradata missing or truncated\n");
1715         return -1;
1716     }
1717
1718     extradata = avctx->extradata;
1719     extradata_size = avctx->extradata_size;
1720
1721     while (extradata_size > 7) {
1722         if (!memcmp(extradata, "frmaQDM", 7))
1723             break;
1724         extradata++;
1725         extradata_size--;
1726     }
1727
1728     if (extradata_size < 12) {
1729         av_log(avctx, AV_LOG_ERROR, "not enough extradata (%i)\n",
1730                extradata_size);
1731         return -1;
1732     }
1733
1734     if (memcmp(extradata, "frmaQDM", 7)) {
1735         av_log(avctx, AV_LOG_ERROR, "invalid headers, QDM? not found\n");
1736         return -1;
1737     }
1738
1739     if (extradata[7] == 'C') {
1740 //        s->is_qdmc = 1;
1741         av_log(avctx, AV_LOG_ERROR, "stream is QDMC version 1, which is not supported\n");
1742         return -1;
1743     }
1744
1745     extradata += 8;
1746     extradata_size -= 8;
1747
1748     size = AV_RB32(extradata);
1749
1750     if(size > extradata_size){
1751         av_log(avctx, AV_LOG_ERROR, "extradata size too small, %i < %i\n",
1752                extradata_size, size);
1753         return -1;
1754     }
1755
1756     extradata += 4;
1757     av_log(avctx, AV_LOG_DEBUG, "size: %d\n", size);
1758     if (AV_RB32(extradata) != MKBETAG('Q','D','C','A')) {
1759         av_log(avctx, AV_LOG_ERROR, "invalid extradata, expecting QDCA\n");
1760         return -1;
1761     }
1762
1763     extradata += 8;
1764
1765     avctx->channels = s->nb_channels = s->channels = AV_RB32(extradata);
1766     extradata += 4;
1767     if (s->channels <= 0 || s->channels > MPA_MAX_CHANNELS)
1768         return AVERROR_INVALIDDATA;
1769     avctx->channel_layout = avctx->channels == 2 ? AV_CH_LAYOUT_STEREO :
1770                                                    AV_CH_LAYOUT_MONO;
1771
1772     avctx->sample_rate = AV_RB32(extradata);
1773     extradata += 4;
1774
1775     avctx->bit_rate = AV_RB32(extradata);
1776     extradata += 4;
1777
1778     s->group_size = AV_RB32(extradata);
1779     extradata += 4;
1780
1781     s->fft_size = AV_RB32(extradata);
1782     extradata += 4;
1783
1784     s->checksum_size = AV_RB32(extradata);
1785     if (s->checksum_size >= 1U << 28) {
1786         av_log(avctx, AV_LOG_ERROR, "data block size too large (%u)\n", s->checksum_size);
1787         return AVERROR_INVALIDDATA;
1788     }
1789
1790     s->fft_order = av_log2(s->fft_size) + 1;
1791
1792     // something like max decodable tones
1793     s->group_order = av_log2(s->group_size) + 1;
1794     s->frame_size = s->group_size / 16; // 16 iterations per super block
1795     if (s->frame_size > QDM2_MAX_FRAME_SIZE)
1796         return AVERROR_INVALIDDATA;
1797
1798     s->sub_sampling = s->fft_order - 7;
1799     s->frequency_range = 255 / (1 << (2 - s->sub_sampling));
1800
1801     switch ((s->sub_sampling * 2 + s->channels - 1)) {
1802         case 0: tmp = 40; break;
1803         case 1: tmp = 48; break;
1804         case 2: tmp = 56; break;
1805         case 3: tmp = 72; break;
1806         case 4: tmp = 80; break;
1807         case 5: tmp = 100;break;
1808         default: tmp=s->sub_sampling; break;
1809     }
1810     tmp_val = 0;
1811     if ((tmp * 1000) < avctx->bit_rate)  tmp_val = 1;
1812     if ((tmp * 1440) < avctx->bit_rate)  tmp_val = 2;
1813     if ((tmp * 1760) < avctx->bit_rate)  tmp_val = 3;
1814     if ((tmp * 2240) < avctx->bit_rate)  tmp_val = 4;
1815     s->cm_table_select = tmp_val;
1816
1817     if (s->sub_sampling == 0)
1818         tmp = 7999;
1819     else
1820         tmp = ((-(s->sub_sampling -1)) & 8000) + 20000;
1821     /*
1822     0: 7999 -> 0
1823     1: 20000 -> 2
1824     2: 28000 -> 2
1825     */
1826     if (tmp < 8000)
1827         s->coeff_per_sb_select = 0;
1828     else if (tmp <= 16000)
1829         s->coeff_per_sb_select = 1;
1830     else
1831         s->coeff_per_sb_select = 2;
1832
1833     // Fail on unknown fft order
1834     if ((s->fft_order < 7) || (s->fft_order > 9)) {
1835         av_log(avctx, AV_LOG_ERROR, "Unknown FFT order (%d), contact the developers!\n", s->fft_order);
1836         return -1;
1837     }
1838
1839     ff_rdft_init(&s->rdft_ctx, s->fft_order, IDFT_C2R);
1840     ff_mpadsp_init(&s->mpadsp);
1841
1842     qdm2_init(s);
1843
1844     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
1845
1846     return 0;
1847 }
1848
1849
1850 static av_cold int qdm2_decode_close(AVCodecContext *avctx)
1851 {
1852     QDM2Context *s = avctx->priv_data;
1853
1854     ff_rdft_end(&s->rdft_ctx);
1855
1856     return 0;
1857 }
1858
1859
1860 static int qdm2_decode (QDM2Context *q, const uint8_t *in, int16_t *out)
1861 {
1862     int ch, i;
1863     const int frame_size = (q->frame_size * q->channels);
1864
1865     /* select input buffer */
1866     q->compressed_data = in;
1867     q->compressed_size = q->checksum_size;
1868
1869     /* copy old block, clear new block of output samples */
1870     memmove(q->output_buffer, &q->output_buffer[frame_size], frame_size * sizeof(float));
1871     memset(&q->output_buffer[frame_size], 0, frame_size * sizeof(float));
1872
1873     /* decode block of QDM2 compressed data */
1874     if (q->sub_packet == 0) {
1875         q->has_errors = 0; // zero it for a new super block
1876         av_log(NULL,AV_LOG_DEBUG,"Superblock follows\n");
1877         qdm2_decode_super_block(q);
1878     }
1879
1880     /* parse subpackets */
1881     if (!q->has_errors) {
1882         if (q->sub_packet == 2)
1883             qdm2_decode_fft_packets(q);
1884
1885         qdm2_fft_tone_synthesizer(q, q->sub_packet);
1886     }
1887
1888     /* sound synthesis stage 1 (FFT) */
1889     for (ch = 0; ch < q->channels; ch++) {
1890         qdm2_calculate_fft(q, ch, q->sub_packet);
1891
1892         if (!q->has_errors && q->sub_packet_list_C[0].packet != NULL) {
1893             SAMPLES_NEEDED_2("has errors, and C list is not empty")
1894             return -1;
1895         }
1896     }
1897
1898     /* sound synthesis stage 2 (MPEG audio like synthesis filter) */
1899     if (!q->has_errors && q->do_synth_filter)
1900         qdm2_synthesis_filter(q, q->sub_packet);
1901
1902     q->sub_packet = (q->sub_packet + 1) % 16;
1903
1904     /* clip and convert output float[] to 16bit signed samples */
1905     for (i = 0; i < frame_size; i++) {
1906         int value = (int)q->output_buffer[i];
1907
1908         if (value > SOFTCLIP_THRESHOLD)
1909             value = (value >  HARDCLIP_THRESHOLD) ?  32767 :  softclip_table[ value - SOFTCLIP_THRESHOLD];
1910         else if (value < -SOFTCLIP_THRESHOLD)
1911             value = (value < -HARDCLIP_THRESHOLD) ? -32767 : -softclip_table[-value - SOFTCLIP_THRESHOLD];
1912
1913         out[i] = value;
1914     }
1915
1916     return 0;
1917 }
1918
1919
1920 static int qdm2_decode_frame(AVCodecContext *avctx, void *data,
1921                              int *got_frame_ptr, AVPacket *avpkt)
1922 {
1923     AVFrame *frame     = data;
1924     const uint8_t *buf = avpkt->data;
1925     int buf_size = avpkt->size;
1926     QDM2Context *s = avctx->priv_data;
1927     int16_t *out;
1928     int i, ret;
1929
1930     if(!buf)
1931         return 0;
1932     if(buf_size < s->checksum_size)
1933         return -1;
1934
1935     /* get output buffer */
1936     frame->nb_samples = 16 * s->frame_size;
1937     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0) {
1938         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1939         return ret;
1940     }
1941     out = (int16_t *)frame->data[0];
1942
1943     for (i = 0; i < 16; i++) {
1944         if (qdm2_decode(s, buf, out) < 0)
1945             return -1;
1946         out += s->channels * s->frame_size;
1947     }
1948
1949     *got_frame_ptr = 1;
1950
1951     return s->checksum_size;
1952 }
1953
1954 AVCodec ff_qdm2_decoder =
1955 {
1956     .name           = "qdm2",
1957     .type           = AVMEDIA_TYPE_AUDIO,
1958     .id             = AV_CODEC_ID_QDM2,
1959     .priv_data_size = sizeof(QDM2Context),
1960     .init           = qdm2_decode_init,
1961     .close          = qdm2_decode_close,
1962     .decode         = qdm2_decode_frame,
1963     .capabilities   = CODEC_CAP_DR1,
1964     .long_name      = NULL_IF_CONFIG_SMALL("QDesign Music Codec 2"),
1965 };