error_resilience: guess_dc: check malloc failure
[ffmpeg.git] / libavcodec / qdm2.c
1 /*
2  * QDM2 compatible decoder
3  * Copyright (c) 2003 Ewald Snel
4  * Copyright (c) 2005 Benjamin Larsson
5  * Copyright (c) 2005 Alex Beregszaszi
6  * Copyright (c) 2005 Roberto Togni
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * QDM2 decoder
28  * @author Ewald Snel, Benjamin Larsson, Alex Beregszaszi, Roberto Togni
29  *
30  * The decoder is not perfect yet, there are still some distortions
31  * especially on files encoded with 16 or 8 subbands.
32  */
33
34 #include <math.h>
35 #include <stddef.h>
36 #include <stdio.h>
37
38 #define BITSTREAM_READER_LE
39 #include "avcodec.h"
40 #include "get_bits.h"
41 #include "dsputil.h"
42 #include "rdft.h"
43 #include "mpegaudiodsp.h"
44 #include "mpegaudio.h"
45
46 #include "qdm2data.h"
47 #include "qdm2_tablegen.h"
48
49 #undef NDEBUG
50 #include <assert.h>
51
52
53 #define QDM2_LIST_ADD(list, size, packet) \
54 do { \
55       if (size > 0) { \
56     list[size - 1].next = &list[size]; \
57       } \
58       list[size].packet = packet; \
59       list[size].next = NULL; \
60       size++; \
61 } while(0)
62
63 // Result is 8, 16 or 30
64 #define QDM2_SB_USED(sub_sampling) (((sub_sampling) >= 2) ? 30 : 8 << (sub_sampling))
65
66 #define FIX_NOISE_IDX(noise_idx) \
67   if ((noise_idx) >= 3840) \
68     (noise_idx) -= 3840; \
69
70 #define SB_DITHERING_NOISE(sb,noise_idx) (noise_table[(noise_idx)++] * sb_noise_attenuation[(sb)])
71
72 #define SAMPLES_NEEDED \
73      av_log (NULL,AV_LOG_INFO,"This file triggers some untested code. Please contact the developers.\n");
74
75 #define SAMPLES_NEEDED_2(why) \
76      av_log (NULL,AV_LOG_INFO,"This file triggers some missing code. Please contact the developers.\nPosition: %s\n",why);
77
78 #define QDM2_MAX_FRAME_SIZE 512
79
80 typedef int8_t sb_int8_array[2][30][64];
81
82 /**
83  * Subpacket
84  */
85 typedef struct {
86     int type;            ///< subpacket type
87     unsigned int size;   ///< subpacket size
88     const uint8_t *data; ///< pointer to subpacket data (points to input data buffer, it's not a private copy)
89 } QDM2SubPacket;
90
91 /**
92  * A node in the subpacket list
93  */
94 typedef struct QDM2SubPNode {
95     QDM2SubPacket *packet;      ///< packet
96     struct QDM2SubPNode *next; ///< pointer to next packet in the list, NULL if leaf node
97 } QDM2SubPNode;
98
99 typedef struct {
100     float re;
101     float im;
102 } QDM2Complex;
103
104 typedef struct {
105     float level;
106     QDM2Complex *complex;
107     const float *table;
108     int   phase;
109     int   phase_shift;
110     int   duration;
111     short time_index;
112     short cutoff;
113 } FFTTone;
114
115 typedef struct {
116     int16_t sub_packet;
117     uint8_t channel;
118     int16_t offset;
119     int16_t exp;
120     uint8_t phase;
121 } FFTCoefficient;
122
123 typedef struct {
124     DECLARE_ALIGNED(32, QDM2Complex, complex)[MPA_MAX_CHANNELS][256];
125 } QDM2FFT;
126
127 /**
128  * QDM2 decoder context
129  */
130 typedef struct {
131     AVFrame frame;
132
133     /// Parameters from codec header, do not change during playback
134     int nb_channels;         ///< number of channels
135     int channels;            ///< number of channels
136     int group_size;          ///< size of frame group (16 frames per group)
137     int fft_size;            ///< size of FFT, in complex numbers
138     int checksum_size;       ///< size of data block, used also for checksum
139
140     /// Parameters built from header parameters, do not change during playback
141     int group_order;         ///< order of frame group
142     int fft_order;           ///< order of FFT (actually fftorder+1)
143     int frame_size;          ///< size of data frame
144     int frequency_range;
145     int sub_sampling;        ///< subsampling: 0=25%, 1=50%, 2=100% */
146     int coeff_per_sb_select; ///< selector for "num. of coeffs. per subband" tables. Can be 0, 1, 2
147     int cm_table_select;     ///< selector for "coding method" tables. Can be 0, 1 (from init: 0-4)
148
149     /// Packets and packet lists
150     QDM2SubPacket sub_packets[16];      ///< the packets themselves
151     QDM2SubPNode sub_packet_list_A[16]; ///< list of all packets
152     QDM2SubPNode sub_packet_list_B[16]; ///< FFT packets B are on list
153     int sub_packets_B;                  ///< number of packets on 'B' list
154     QDM2SubPNode sub_packet_list_C[16]; ///< packets with errors?
155     QDM2SubPNode sub_packet_list_D[16]; ///< DCT packets
156
157     /// FFT and tones
158     FFTTone fft_tones[1000];
159     int fft_tone_start;
160     int fft_tone_end;
161     FFTCoefficient fft_coefs[1000];
162     int fft_coefs_index;
163     int fft_coefs_min_index[5];
164     int fft_coefs_max_index[5];
165     int fft_level_exp[6];
166     RDFTContext rdft_ctx;
167     QDM2FFT fft;
168
169     /// I/O data
170     const uint8_t *compressed_data;
171     int compressed_size;
172     float output_buffer[QDM2_MAX_FRAME_SIZE * MPA_MAX_CHANNELS * 2];
173
174     /// Synthesis filter
175     MPADSPContext mpadsp;
176     DECLARE_ALIGNED(32, float, synth_buf)[MPA_MAX_CHANNELS][512*2];
177     int synth_buf_offset[MPA_MAX_CHANNELS];
178     DECLARE_ALIGNED(32, float, sb_samples)[MPA_MAX_CHANNELS][128][SBLIMIT];
179     DECLARE_ALIGNED(32, float, samples)[MPA_MAX_CHANNELS * MPA_FRAME_SIZE];
180
181     /// Mixed temporary data used in decoding
182     float tone_level[MPA_MAX_CHANNELS][30][64];
183     int8_t coding_method[MPA_MAX_CHANNELS][30][64];
184     int8_t quantized_coeffs[MPA_MAX_CHANNELS][10][8];
185     int8_t tone_level_idx_base[MPA_MAX_CHANNELS][30][8];
186     int8_t tone_level_idx_hi1[MPA_MAX_CHANNELS][3][8][8];
187     int8_t tone_level_idx_mid[MPA_MAX_CHANNELS][26][8];
188     int8_t tone_level_idx_hi2[MPA_MAX_CHANNELS][26];
189     int8_t tone_level_idx[MPA_MAX_CHANNELS][30][64];
190     int8_t tone_level_idx_temp[MPA_MAX_CHANNELS][30][64];
191
192     // Flags
193     int has_errors;         ///< packet has errors
194     int superblocktype_2_3; ///< select fft tables and some algorithm based on superblock type
195     int do_synth_filter;    ///< used to perform or skip synthesis filter
196
197     int sub_packet;
198     int noise_idx; ///< index for dithering noise table
199 } QDM2Context;
200
201
202 static VLC vlc_tab_level;
203 static VLC vlc_tab_diff;
204 static VLC vlc_tab_run;
205 static VLC fft_level_exp_alt_vlc;
206 static VLC fft_level_exp_vlc;
207 static VLC fft_stereo_exp_vlc;
208 static VLC fft_stereo_phase_vlc;
209 static VLC vlc_tab_tone_level_idx_hi1;
210 static VLC vlc_tab_tone_level_idx_mid;
211 static VLC vlc_tab_tone_level_idx_hi2;
212 static VLC vlc_tab_type30;
213 static VLC vlc_tab_type34;
214 static VLC vlc_tab_fft_tone_offset[5];
215
216 static const uint16_t qdm2_vlc_offs[] = {
217     0,260,566,598,894,1166,1230,1294,1678,1950,2214,2278,2310,2570,2834,3124,3448,3838,
218 };
219
220 static av_cold void qdm2_init_vlc(void)
221 {
222     static int vlcs_initialized = 0;
223     static VLC_TYPE qdm2_table[3838][2];
224
225     if (!vlcs_initialized) {
226
227         vlc_tab_level.table = &qdm2_table[qdm2_vlc_offs[0]];
228         vlc_tab_level.table_allocated = qdm2_vlc_offs[1] - qdm2_vlc_offs[0];
229         init_vlc (&vlc_tab_level, 8, 24,
230             vlc_tab_level_huffbits, 1, 1,
231             vlc_tab_level_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
232
233         vlc_tab_diff.table = &qdm2_table[qdm2_vlc_offs[1]];
234         vlc_tab_diff.table_allocated = qdm2_vlc_offs[2] - qdm2_vlc_offs[1];
235         init_vlc (&vlc_tab_diff, 8, 37,
236             vlc_tab_diff_huffbits, 1, 1,
237             vlc_tab_diff_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
238
239         vlc_tab_run.table = &qdm2_table[qdm2_vlc_offs[2]];
240         vlc_tab_run.table_allocated = qdm2_vlc_offs[3] - qdm2_vlc_offs[2];
241         init_vlc (&vlc_tab_run, 5, 6,
242             vlc_tab_run_huffbits, 1, 1,
243             vlc_tab_run_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
244
245         fft_level_exp_alt_vlc.table = &qdm2_table[qdm2_vlc_offs[3]];
246         fft_level_exp_alt_vlc.table_allocated = qdm2_vlc_offs[4] - qdm2_vlc_offs[3];
247         init_vlc (&fft_level_exp_alt_vlc, 8, 28,
248             fft_level_exp_alt_huffbits, 1, 1,
249             fft_level_exp_alt_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
250
251
252         fft_level_exp_vlc.table = &qdm2_table[qdm2_vlc_offs[4]];
253         fft_level_exp_vlc.table_allocated = qdm2_vlc_offs[5] - qdm2_vlc_offs[4];
254         init_vlc (&fft_level_exp_vlc, 8, 20,
255             fft_level_exp_huffbits, 1, 1,
256             fft_level_exp_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
257
258         fft_stereo_exp_vlc.table = &qdm2_table[qdm2_vlc_offs[5]];
259         fft_stereo_exp_vlc.table_allocated = qdm2_vlc_offs[6] - qdm2_vlc_offs[5];
260         init_vlc (&fft_stereo_exp_vlc, 6, 7,
261             fft_stereo_exp_huffbits, 1, 1,
262             fft_stereo_exp_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
263
264         fft_stereo_phase_vlc.table = &qdm2_table[qdm2_vlc_offs[6]];
265         fft_stereo_phase_vlc.table_allocated = qdm2_vlc_offs[7] - qdm2_vlc_offs[6];
266         init_vlc (&fft_stereo_phase_vlc, 6, 9,
267             fft_stereo_phase_huffbits, 1, 1,
268             fft_stereo_phase_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
269
270         vlc_tab_tone_level_idx_hi1.table = &qdm2_table[qdm2_vlc_offs[7]];
271         vlc_tab_tone_level_idx_hi1.table_allocated = qdm2_vlc_offs[8] - qdm2_vlc_offs[7];
272         init_vlc (&vlc_tab_tone_level_idx_hi1, 8, 20,
273             vlc_tab_tone_level_idx_hi1_huffbits, 1, 1,
274             vlc_tab_tone_level_idx_hi1_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
275
276         vlc_tab_tone_level_idx_mid.table = &qdm2_table[qdm2_vlc_offs[8]];
277         vlc_tab_tone_level_idx_mid.table_allocated = qdm2_vlc_offs[9] - qdm2_vlc_offs[8];
278         init_vlc (&vlc_tab_tone_level_idx_mid, 8, 24,
279             vlc_tab_tone_level_idx_mid_huffbits, 1, 1,
280             vlc_tab_tone_level_idx_mid_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
281
282         vlc_tab_tone_level_idx_hi2.table = &qdm2_table[qdm2_vlc_offs[9]];
283         vlc_tab_tone_level_idx_hi2.table_allocated = qdm2_vlc_offs[10] - qdm2_vlc_offs[9];
284         init_vlc (&vlc_tab_tone_level_idx_hi2, 8, 24,
285             vlc_tab_tone_level_idx_hi2_huffbits, 1, 1,
286             vlc_tab_tone_level_idx_hi2_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
287
288         vlc_tab_type30.table = &qdm2_table[qdm2_vlc_offs[10]];
289         vlc_tab_type30.table_allocated = qdm2_vlc_offs[11] - qdm2_vlc_offs[10];
290         init_vlc (&vlc_tab_type30, 6, 9,
291             vlc_tab_type30_huffbits, 1, 1,
292             vlc_tab_type30_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
293
294         vlc_tab_type34.table = &qdm2_table[qdm2_vlc_offs[11]];
295         vlc_tab_type34.table_allocated = qdm2_vlc_offs[12] - qdm2_vlc_offs[11];
296         init_vlc (&vlc_tab_type34, 5, 10,
297             vlc_tab_type34_huffbits, 1, 1,
298             vlc_tab_type34_huffcodes, 1, 1, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
299
300         vlc_tab_fft_tone_offset[0].table = &qdm2_table[qdm2_vlc_offs[12]];
301         vlc_tab_fft_tone_offset[0].table_allocated = qdm2_vlc_offs[13] - qdm2_vlc_offs[12];
302         init_vlc (&vlc_tab_fft_tone_offset[0], 8, 23,
303             vlc_tab_fft_tone_offset_0_huffbits, 1, 1,
304             vlc_tab_fft_tone_offset_0_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
305
306         vlc_tab_fft_tone_offset[1].table = &qdm2_table[qdm2_vlc_offs[13]];
307         vlc_tab_fft_tone_offset[1].table_allocated = qdm2_vlc_offs[14] - qdm2_vlc_offs[13];
308         init_vlc (&vlc_tab_fft_tone_offset[1], 8, 28,
309             vlc_tab_fft_tone_offset_1_huffbits, 1, 1,
310             vlc_tab_fft_tone_offset_1_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
311
312         vlc_tab_fft_tone_offset[2].table = &qdm2_table[qdm2_vlc_offs[14]];
313         vlc_tab_fft_tone_offset[2].table_allocated = qdm2_vlc_offs[15] - qdm2_vlc_offs[14];
314         init_vlc (&vlc_tab_fft_tone_offset[2], 8, 32,
315             vlc_tab_fft_tone_offset_2_huffbits, 1, 1,
316             vlc_tab_fft_tone_offset_2_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
317
318         vlc_tab_fft_tone_offset[3].table = &qdm2_table[qdm2_vlc_offs[15]];
319         vlc_tab_fft_tone_offset[3].table_allocated = qdm2_vlc_offs[16] - qdm2_vlc_offs[15];
320         init_vlc (&vlc_tab_fft_tone_offset[3], 8, 35,
321             vlc_tab_fft_tone_offset_3_huffbits, 1, 1,
322             vlc_tab_fft_tone_offset_3_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
323
324         vlc_tab_fft_tone_offset[4].table = &qdm2_table[qdm2_vlc_offs[16]];
325         vlc_tab_fft_tone_offset[4].table_allocated = qdm2_vlc_offs[17] - qdm2_vlc_offs[16];
326         init_vlc (&vlc_tab_fft_tone_offset[4], 8, 38,
327             vlc_tab_fft_tone_offset_4_huffbits, 1, 1,
328             vlc_tab_fft_tone_offset_4_huffcodes, 2, 2, INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
329
330         vlcs_initialized=1;
331     }
332 }
333
334 static int qdm2_get_vlc (GetBitContext *gb, VLC *vlc, int flag, int depth)
335 {
336     int value;
337
338     value = get_vlc2(gb, vlc->table, vlc->bits, depth);
339
340     /* stage-2, 3 bits exponent escape sequence */
341     if (value-- == 0)
342         value = get_bits (gb, get_bits (gb, 3) + 1);
343
344     /* stage-3, optional */
345     if (flag) {
346         int tmp;
347
348         if (value >= 60) {
349             av_log(0, AV_LOG_ERROR, "value %d in qdm2_get_vlc too large\n", value);
350             return 0;
351         }
352
353         tmp= vlc_stage3_values[value];
354
355         if ((value & ~3) > 0)
356             tmp += get_bits (gb, (value >> 2));
357         value = tmp;
358     }
359
360     return value;
361 }
362
363
364 static int qdm2_get_se_vlc (VLC *vlc, GetBitContext *gb, int depth)
365 {
366     int value = qdm2_get_vlc (gb, vlc, 0, depth);
367
368     return (value & 1) ? ((value + 1) >> 1) : -(value >> 1);
369 }
370
371
372 /**
373  * QDM2 checksum
374  *
375  * @param data      pointer to data to be checksum'ed
376  * @param length    data length
377  * @param value     checksum value
378  *
379  * @return          0 if checksum is OK
380  */
381 static uint16_t qdm2_packet_checksum (const uint8_t *data, int length, int value) {
382     int i;
383
384     for (i=0; i < length; i++)
385         value -= data[i];
386
387     return (uint16_t)(value & 0xffff);
388 }
389
390
391 /**
392  * Fill a QDM2SubPacket structure with packet type, size, and data pointer.
393  *
394  * @param gb            bitreader context
395  * @param sub_packet    packet under analysis
396  */
397 static void qdm2_decode_sub_packet_header (GetBitContext *gb, QDM2SubPacket *sub_packet)
398 {
399     sub_packet->type = get_bits (gb, 8);
400
401     if (sub_packet->type == 0) {
402         sub_packet->size = 0;
403         sub_packet->data = NULL;
404     } else {
405         sub_packet->size = get_bits (gb, 8);
406
407       if (sub_packet->type & 0x80) {
408           sub_packet->size <<= 8;
409           sub_packet->size  |= get_bits (gb, 8);
410           sub_packet->type  &= 0x7f;
411       }
412
413       if (sub_packet->type == 0x7f)
414           sub_packet->type |= (get_bits (gb, 8) << 8);
415
416       sub_packet->data = &gb->buffer[get_bits_count(gb) / 8]; // FIXME: this depends on bitreader internal data
417     }
418
419     av_log(NULL,AV_LOG_DEBUG,"Subpacket: type=%d size=%d start_offs=%x\n",
420         sub_packet->type, sub_packet->size, get_bits_count(gb) / 8);
421 }
422
423
424 /**
425  * Return node pointer to first packet of requested type in list.
426  *
427  * @param list    list of subpackets to be scanned
428  * @param type    type of searched subpacket
429  * @return        node pointer for subpacket if found, else NULL
430  */
431 static QDM2SubPNode* qdm2_search_subpacket_type_in_list (QDM2SubPNode *list, int type)
432 {
433     while (list != NULL && list->packet != NULL) {
434         if (list->packet->type == type)
435             return list;
436         list = list->next;
437     }
438     return NULL;
439 }
440
441
442 /**
443  * Replace 8 elements with their average value.
444  * Called by qdm2_decode_superblock before starting subblock decoding.
445  *
446  * @param q       context
447  */
448 static void average_quantized_coeffs (QDM2Context *q)
449 {
450     int i, j, n, ch, sum;
451
452     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1;
453
454     for (ch = 0; ch < q->nb_channels; ch++)
455         for (i = 0; i < n; i++) {
456             sum = 0;
457
458             for (j = 0; j < 8; j++)
459                 sum += q->quantized_coeffs[ch][i][j];
460
461             sum /= 8;
462             if (sum > 0)
463                 sum--;
464
465             for (j=0; j < 8; j++)
466                 q->quantized_coeffs[ch][i][j] = sum;
467         }
468 }
469
470
471 /**
472  * Build subband samples with noise weighted by q->tone_level.
473  * Called by synthfilt_build_sb_samples.
474  *
475  * @param q     context
476  * @param sb    subband index
477  */
478 static void build_sb_samples_from_noise (QDM2Context *q, int sb)
479 {
480     int ch, j;
481
482     FIX_NOISE_IDX(q->noise_idx);
483
484     if (!q->nb_channels)
485         return;
486
487     for (ch = 0; ch < q->nb_channels; ch++)
488         for (j = 0; j < 64; j++) {
489             q->sb_samples[ch][j * 2][sb] = SB_DITHERING_NOISE(sb,q->noise_idx) * q->tone_level[ch][sb][j];
490             q->sb_samples[ch][j * 2 + 1][sb] = SB_DITHERING_NOISE(sb,q->noise_idx) * q->tone_level[ch][sb][j];
491         }
492 }
493
494
495 /**
496  * Called while processing data from subpackets 11 and 12.
497  * Used after making changes to coding_method array.
498  *
499  * @param sb               subband index
500  * @param channels         number of channels
501  * @param coding_method    q->coding_method[0][0][0]
502  */
503 static void fix_coding_method_array (int sb, int channels, sb_int8_array coding_method)
504 {
505     int j,k;
506     int ch;
507     int run, case_val;
508     static const int switchtable[23] = {0,5,1,5,5,5,5,5,2,5,5,5,5,5,5,5,3,5,5,5,5,5,4};
509
510     for (ch = 0; ch < channels; ch++) {
511         for (j = 0; j < 64; ) {
512             if((coding_method[ch][sb][j] - 8) > 22) {
513                 run = 1;
514                 case_val = 8;
515             } else {
516                 switch (switchtable[coding_method[ch][sb][j]-8]) {
517                     case 0: run = 10; case_val = 10; break;
518                     case 1: run = 1; case_val = 16; break;
519                     case 2: run = 5; case_val = 24; break;
520                     case 3: run = 3; case_val = 30; break;
521                     case 4: run = 1; case_val = 30; break;
522                     case 5: run = 1; case_val = 8; break;
523                     default: run = 1; case_val = 8; break;
524                 }
525             }
526             for (k = 0; k < run; k++)
527                 if (j + k < 128)
528                     if (coding_method[ch][sb + (j + k) / 64][(j + k) % 64] > coding_method[ch][sb][j])
529                         if (k > 0) {
530                            SAMPLES_NEEDED
531                             //not debugged, almost never used
532                             memset(&coding_method[ch][sb][j + k], case_val, k * sizeof(int8_t));
533                             memset(&coding_method[ch][sb][j + k], case_val, 3 * sizeof(int8_t));
534                         }
535             j += run;
536         }
537     }
538 }
539
540
541 /**
542  * Related to synthesis filter
543  * Called by process_subpacket_10
544  *
545  * @param q       context
546  * @param flag    1 if called after getting data from subpacket 10, 0 if no subpacket 10
547  */
548 static void fill_tone_level_array (QDM2Context *q, int flag)
549 {
550     int i, sb, ch, sb_used;
551     int tmp, tab;
552
553     // This should never happen
554     if (q->nb_channels <= 0)
555         return;
556
557     for (ch = 0; ch < q->nb_channels; ch++)
558         for (sb = 0; sb < 30; sb++)
559             for (i = 0; i < 8; i++) {
560                 if ((tab=coeff_per_sb_for_dequant[q->coeff_per_sb_select][sb]) < (last_coeff[q->coeff_per_sb_select] - 1))
561                     tmp = q->quantized_coeffs[ch][tab + 1][i] * dequant_table[q->coeff_per_sb_select][tab + 1][sb]+
562                           q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
563                 else
564                     tmp = q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
565                 if(tmp < 0)
566                     tmp += 0xff;
567                 q->tone_level_idx_base[ch][sb][i] = (tmp / 256) & 0xff;
568             }
569
570     sb_used = QDM2_SB_USED(q->sub_sampling);
571
572     if ((q->superblocktype_2_3 != 0) && !flag) {
573         for (sb = 0; sb < sb_used; sb++)
574             for (ch = 0; ch < q->nb_channels; ch++)
575                 for (i = 0; i < 64; i++) {
576                     q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
577                     if (q->tone_level_idx[ch][sb][i] < 0)
578                         q->tone_level[ch][sb][i] = 0;
579                     else
580                         q->tone_level[ch][sb][i] = fft_tone_level_table[0][q->tone_level_idx[ch][sb][i] & 0x3f];
581                 }
582     } else {
583         tab = q->superblocktype_2_3 ? 0 : 1;
584         for (sb = 0; sb < sb_used; sb++) {
585             if ((sb >= 4) && (sb <= 23)) {
586                 for (ch = 0; ch < q->nb_channels; ch++)
587                     for (i = 0; i < 64; i++) {
588                         tmp = q->tone_level_idx_base[ch][sb][i / 8] -
589                               q->tone_level_idx_hi1[ch][sb / 8][i / 8][i % 8] -
590                               q->tone_level_idx_mid[ch][sb - 4][i / 8] -
591                               q->tone_level_idx_hi2[ch][sb - 4];
592                         q->tone_level_idx[ch][sb][i] = tmp & 0xff;
593                         if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
594                             q->tone_level[ch][sb][i] = 0;
595                         else
596                             q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
597                 }
598             } else {
599                 if (sb > 4) {
600                     for (ch = 0; ch < q->nb_channels; ch++)
601                         for (i = 0; i < 64; i++) {
602                             tmp = q->tone_level_idx_base[ch][sb][i / 8] -
603                                   q->tone_level_idx_hi1[ch][2][i / 8][i % 8] -
604                                   q->tone_level_idx_hi2[ch][sb - 4];
605                             q->tone_level_idx[ch][sb][i] = tmp & 0xff;
606                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
607                                 q->tone_level[ch][sb][i] = 0;
608                             else
609                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
610                     }
611                 } else {
612                     for (ch = 0; ch < q->nb_channels; ch++)
613                         for (i = 0; i < 64; i++) {
614                             tmp = q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
615                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
616                                 q->tone_level[ch][sb][i] = 0;
617                             else
618                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
619                         }
620                 }
621             }
622         }
623     }
624
625     return;
626 }
627
628
629 /**
630  * Related to synthesis filter
631  * Called by process_subpacket_11
632  * c is built with data from subpacket 11
633  * Most of this function is used only if superblock_type_2_3 == 0, never seen it in samples
634  *
635  * @param tone_level_idx
636  * @param tone_level_idx_temp
637  * @param coding_method        q->coding_method[0][0][0]
638  * @param nb_channels          number of channels
639  * @param c                    coming from subpacket 11, passed as 8*c
640  * @param superblocktype_2_3   flag based on superblock packet type
641  * @param cm_table_select      q->cm_table_select
642  */
643 static void fill_coding_method_array (sb_int8_array tone_level_idx, sb_int8_array tone_level_idx_temp,
644                 sb_int8_array coding_method, int nb_channels,
645                 int c, int superblocktype_2_3, int cm_table_select)
646 {
647     int ch, sb, j;
648     int tmp, acc, esp_40, comp;
649     int add1, add2, add3, add4;
650     int64_t multres;
651
652     // This should never happen
653     if (nb_channels <= 0)
654         return;
655
656     if (!superblocktype_2_3) {
657         /* This case is untested, no samples available */
658         SAMPLES_NEEDED
659         for (ch = 0; ch < nb_channels; ch++)
660             for (sb = 0; sb < 30; sb++) {
661                 for (j = 1; j < 63; j++) {  // The loop only iterates to 63 so the code doesn't overflow the buffer
662                     add1 = tone_level_idx[ch][sb][j] - 10;
663                     if (add1 < 0)
664                         add1 = 0;
665                     add2 = add3 = add4 = 0;
666                     if (sb > 1) {
667                         add2 = tone_level_idx[ch][sb - 2][j] + tone_level_idx_offset_table[sb][0] - 6;
668                         if (add2 < 0)
669                             add2 = 0;
670                     }
671                     if (sb > 0) {
672                         add3 = tone_level_idx[ch][sb - 1][j] + tone_level_idx_offset_table[sb][1] - 6;
673                         if (add3 < 0)
674                             add3 = 0;
675                     }
676                     if (sb < 29) {
677                         add4 = tone_level_idx[ch][sb + 1][j] + tone_level_idx_offset_table[sb][3] - 6;
678                         if (add4 < 0)
679                             add4 = 0;
680                     }
681                     tmp = tone_level_idx[ch][sb][j + 1] * 2 - add4 - add3 - add2 - add1;
682                     if (tmp < 0)
683                         tmp = 0;
684                     tone_level_idx_temp[ch][sb][j + 1] = tmp & 0xff;
685                 }
686                 tone_level_idx_temp[ch][sb][0] = tone_level_idx_temp[ch][sb][1];
687             }
688             acc = 0;
689             for (ch = 0; ch < nb_channels; ch++)
690                 for (sb = 0; sb < 30; sb++)
691                     for (j = 0; j < 64; j++)
692                         acc += tone_level_idx_temp[ch][sb][j];
693
694             multres = 0x66666667 * (acc * 10);
695             esp_40 = (multres >> 32) / 8 + ((multres & 0xffffffff) >> 31);
696             for (ch = 0;  ch < nb_channels; ch++)
697                 for (sb = 0; sb < 30; sb++)
698                     for (j = 0; j < 64; j++) {
699                         comp = tone_level_idx_temp[ch][sb][j]* esp_40 * 10;
700                         if (comp < 0)
701                             comp += 0xff;
702                         comp /= 256; // signed shift
703                         switch(sb) {
704                             case 0:
705                                 if (comp < 30)
706                                     comp = 30;
707                                 comp += 15;
708                                 break;
709                             case 1:
710                                 if (comp < 24)
711                                     comp = 24;
712                                 comp += 10;
713                                 break;
714                             case 2:
715                             case 3:
716                             case 4:
717                                 if (comp < 16)
718                                     comp = 16;
719                         }
720                         if (comp <= 5)
721                             tmp = 0;
722                         else if (comp <= 10)
723                             tmp = 10;
724                         else if (comp <= 16)
725                             tmp = 16;
726                         else if (comp <= 24)
727                             tmp = -1;
728                         else
729                             tmp = 0;
730                         coding_method[ch][sb][j] = ((tmp & 0xfffa) + 30 )& 0xff;
731                     }
732             for (sb = 0; sb < 30; sb++)
733                 fix_coding_method_array(sb, nb_channels, coding_method);
734             for (ch = 0; ch < nb_channels; ch++)
735                 for (sb = 0; sb < 30; sb++)
736                     for (j = 0; j < 64; j++)
737                         if (sb >= 10) {
738                             if (coding_method[ch][sb][j] < 10)
739                                 coding_method[ch][sb][j] = 10;
740                         } else {
741                             if (sb >= 2) {
742                                 if (coding_method[ch][sb][j] < 16)
743                                     coding_method[ch][sb][j] = 16;
744                             } else {
745                                 if (coding_method[ch][sb][j] < 30)
746                                     coding_method[ch][sb][j] = 30;
747                             }
748                         }
749     } else { // superblocktype_2_3 != 0
750         for (ch = 0; ch < nb_channels; ch++)
751             for (sb = 0; sb < 30; sb++)
752                 for (j = 0; j < 64; j++)
753                     coding_method[ch][sb][j] = coding_method_table[cm_table_select][sb];
754     }
755
756     return;
757 }
758
759
760 /**
761  *
762  * Called by process_subpacket_11 to process more data from subpacket 11 with sb 0-8
763  * Called by process_subpacket_12 to process data from subpacket 12 with sb 8-sb_used
764  *
765  * @param q         context
766  * @param gb        bitreader context
767  * @param length    packet length in bits
768  * @param sb_min    lower subband processed (sb_min included)
769  * @param sb_max    higher subband processed (sb_max excluded)
770  */
771 static int synthfilt_build_sb_samples (QDM2Context *q, GetBitContext *gb, int length, int sb_min, int sb_max)
772 {
773     int sb, j, k, n, ch, run, channels;
774     int joined_stereo, zero_encoding, chs;
775     int type34_first;
776     float type34_div = 0;
777     float type34_predictor;
778     float samples[10], sign_bits[16];
779
780     if (length == 0) {
781         // If no data use noise
782         for (sb=sb_min; sb < sb_max; sb++)
783             build_sb_samples_from_noise (q, sb);
784
785         return 0;
786     }
787
788     for (sb = sb_min; sb < sb_max; sb++) {
789         FIX_NOISE_IDX(q->noise_idx);
790
791         channels = q->nb_channels;
792
793         if (q->nb_channels <= 1 || sb < 12)
794             joined_stereo = 0;
795         else if (sb >= 24)
796             joined_stereo = 1;
797         else
798             joined_stereo = (get_bits_left(gb) >= 1) ? get_bits1 (gb) : 0;
799
800         if (joined_stereo) {
801             if (get_bits_left(gb) >= 16)
802                 for (j = 0; j < 16; j++)
803                     sign_bits[j] = get_bits1 (gb);
804
805             for (j = 0; j < 64; j++)
806                 if (q->coding_method[1][sb][j] > q->coding_method[0][sb][j])
807                     q->coding_method[0][sb][j] = q->coding_method[1][sb][j];
808
809             fix_coding_method_array(sb, q->nb_channels, q->coding_method);
810             channels = 1;
811         }
812
813         for (ch = 0; ch < channels; ch++) {
814             zero_encoding = (get_bits_left(gb) >= 1) ? get_bits1(gb) : 0;
815             type34_predictor = 0.0;
816             type34_first = 1;
817
818             for (j = 0; j < 128; ) {
819                 switch (q->coding_method[ch][sb][j / 2]) {
820                     case 8:
821                         if (get_bits_left(gb) >= 10) {
822                             if (zero_encoding) {
823                                 for (k = 0; k < 5; k++) {
824                                     if ((j + 2 * k) >= 128)
825                                         break;
826                                     samples[2 * k] = get_bits1(gb) ? dequant_1bit[joined_stereo][2 * get_bits1(gb)] : 0;
827                                 }
828                             } else {
829                                 n = get_bits(gb, 8);
830                                 for (k = 0; k < 5; k++)
831                                     samples[2 * k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
832                             }
833                             for (k = 0; k < 5; k++)
834                                 samples[2 * k + 1] = SB_DITHERING_NOISE(sb,q->noise_idx);
835                         } else {
836                             for (k = 0; k < 10; k++)
837                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
838                         }
839                         run = 10;
840                         break;
841
842                     case 10:
843                         if (get_bits_left(gb) >= 1) {
844                             float f = 0.81;
845
846                             if (get_bits1(gb))
847                                 f = -f;
848                             f -= noise_samples[((sb + 1) * (j +5 * ch + 1)) & 127] * 9.0 / 40.0;
849                             samples[0] = f;
850                         } else {
851                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
852                         }
853                         run = 1;
854                         break;
855
856                     case 16:
857                         if (get_bits_left(gb) >= 10) {
858                             if (zero_encoding) {
859                                 for (k = 0; k < 5; k++) {
860                                     if ((j + k) >= 128)
861                                         break;
862                                     samples[k] = (get_bits1(gb) == 0) ? 0 : dequant_1bit[joined_stereo][2 * get_bits1(gb)];
863                                 }
864                             } else {
865                                 n = get_bits (gb, 8);
866                                 for (k = 0; k < 5; k++)
867                                     samples[k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
868                             }
869                         } else {
870                             for (k = 0; k < 5; k++)
871                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
872                         }
873                         run = 5;
874                         break;
875
876                     case 24:
877                         if (get_bits_left(gb) >= 7) {
878                             n = get_bits(gb, 7);
879                             for (k = 0; k < 3; k++)
880                                 samples[k] = (random_dequant_type24[n][k] - 2.0) * 0.5;
881                         } else {
882                             for (k = 0; k < 3; k++)
883                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
884                         }
885                         run = 3;
886                         break;
887
888                     case 30:
889                         if (get_bits_left(gb) >= 4) {
890                             unsigned index = qdm2_get_vlc(gb, &vlc_tab_type30, 0, 1);
891                             if (index >= FF_ARRAY_ELEMS(type30_dequant)) {
892                                 av_log(NULL, AV_LOG_ERROR, "index %d out of type30_dequant array\n", index);
893                                 return AVERROR_INVALIDDATA;
894                             }
895                             samples[0] = type30_dequant[index];
896                         } else
897                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
898
899                         run = 1;
900                         break;
901
902                     case 34:
903                         if (get_bits_left(gb) >= 7) {
904                             if (type34_first) {
905                                 type34_div = (float)(1 << get_bits(gb, 2));
906                                 samples[0] = ((float)get_bits(gb, 5) - 16.0) / 15.0;
907                                 type34_predictor = samples[0];
908                                 type34_first = 0;
909                             } else {
910                                 unsigned index = qdm2_get_vlc(gb, &vlc_tab_type34, 0, 1);
911                                 if (index >= FF_ARRAY_ELEMS(type34_delta)) {
912                                     av_log(NULL, AV_LOG_ERROR, "index %d out of type34_delta array\n", index);
913                                     return AVERROR_INVALIDDATA;
914                                 }
915                                 samples[0] = type34_delta[index] / type34_div + type34_predictor;
916                                 type34_predictor = samples[0];
917                             }
918                         } else {
919                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
920                         }
921                         run = 1;
922                         break;
923
924                     default:
925                         samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
926                         run = 1;
927                         break;
928                 }
929
930                 if (joined_stereo) {
931                     float tmp[10][MPA_MAX_CHANNELS];
932
933                     for (k = 0; k < run; k++) {
934                         tmp[k][0] = samples[k];
935                         tmp[k][1] = (sign_bits[(j + k) / 8]) ? -samples[k] : samples[k];
936                     }
937                     for (chs = 0; chs < q->nb_channels; chs++)
938                         for (k = 0; k < run; k++)
939                             if ((j + k) < 128)
940                                 q->sb_samples[chs][j + k][sb] = q->tone_level[chs][sb][((j + k)/2)] * tmp[k][chs];
941                 } else {
942                     for (k = 0; k < run; k++)
943                         if ((j + k) < 128)
944                             q->sb_samples[ch][j + k][sb] = q->tone_level[ch][sb][(j + k)/2] * samples[k];
945                 }
946
947                 j += run;
948             } // j loop
949         } // channel loop
950     } // subband loop
951     return 0;
952 }
953
954
955 /**
956  * Init the first element of a channel in quantized_coeffs with data from packet 10 (quantized_coeffs[ch][0]).
957  * This is similar to process_subpacket_9, but for a single channel and for element [0]
958  * same VLC tables as process_subpacket_9 are used.
959  *
960  * @param quantized_coeffs    pointer to quantized_coeffs[ch][0]
961  * @param gb        bitreader context
962  */
963 static int init_quantized_coeffs_elem0 (int8_t *quantized_coeffs, GetBitContext *gb)
964 {
965     int i, k, run, level, diff;
966
967     if (get_bits_left(gb) < 16)
968         return -1;
969     level = qdm2_get_vlc(gb, &vlc_tab_level, 0, 2);
970
971     quantized_coeffs[0] = level;
972
973     for (i = 0; i < 7; ) {
974         if (get_bits_left(gb) < 16)
975             return -1;
976         run = qdm2_get_vlc(gb, &vlc_tab_run, 0, 1) + 1;
977
978         if (i + run >= 8)
979             return -1;
980
981         if (get_bits_left(gb) < 16)
982             return -1;
983         diff = qdm2_get_se_vlc(&vlc_tab_diff, gb, 2);
984
985         for (k = 1; k <= run; k++)
986             quantized_coeffs[i + k] = (level + ((k * diff) / run));
987
988         level += diff;
989         i += run;
990     }
991     return 0;
992 }
993
994
995 /**
996  * Related to synthesis filter, process data from packet 10
997  * Init part of quantized_coeffs via function init_quantized_coeffs_elem0
998  * Init tone_level_idx_hi1, tone_level_idx_hi2, tone_level_idx_mid with data from packet 10
999  *
1000  * @param q         context
1001  * @param gb        bitreader context
1002  */
1003 static void init_tone_level_dequantization (QDM2Context *q, GetBitContext *gb)
1004 {
1005     int sb, j, k, n, ch;
1006
1007     for (ch = 0; ch < q->nb_channels; ch++) {
1008         init_quantized_coeffs_elem0(q->quantized_coeffs[ch][0], gb);
1009
1010         if (get_bits_left(gb) < 16) {
1011             memset(q->quantized_coeffs[ch][0], 0, 8);
1012             break;
1013         }
1014     }
1015
1016     n = q->sub_sampling + 1;
1017
1018     for (sb = 0; sb < n; sb++)
1019         for (ch = 0; ch < q->nb_channels; ch++)
1020             for (j = 0; j < 8; j++) {
1021                 if (get_bits_left(gb) < 1)
1022                     break;
1023                 if (get_bits1(gb)) {
1024                     for (k=0; k < 8; k++) {
1025                         if (get_bits_left(gb) < 16)
1026                             break;
1027                         q->tone_level_idx_hi1[ch][sb][j][k] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi1, 0, 2);
1028                     }
1029                 } else {
1030                     for (k=0; k < 8; k++)
1031                         q->tone_level_idx_hi1[ch][sb][j][k] = 0;
1032                 }
1033             }
1034
1035     n = QDM2_SB_USED(q->sub_sampling) - 4;
1036
1037     for (sb = 0; sb < n; sb++)
1038         for (ch = 0; ch < q->nb_channels; ch++) {
1039             if (get_bits_left(gb) < 16)
1040                 break;
1041             q->tone_level_idx_hi2[ch][sb] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi2, 0, 2);
1042             if (sb > 19)
1043                 q->tone_level_idx_hi2[ch][sb] -= 16;
1044             else
1045                 for (j = 0; j < 8; j++)
1046                     q->tone_level_idx_mid[ch][sb][j] = -16;
1047         }
1048
1049     n = QDM2_SB_USED(q->sub_sampling) - 5;
1050
1051     for (sb = 0; sb < n; sb++)
1052         for (ch = 0; ch < q->nb_channels; ch++)
1053             for (j = 0; j < 8; j++) {
1054                 if (get_bits_left(gb) < 16)
1055                     break;
1056                 q->tone_level_idx_mid[ch][sb][j] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_mid, 0, 2) - 32;
1057             }
1058 }
1059
1060 /**
1061  * Process subpacket 9, init quantized_coeffs with data from it
1062  *
1063  * @param q       context
1064  * @param node    pointer to node with packet
1065  */
1066 static int process_subpacket_9 (QDM2Context *q, QDM2SubPNode *node)
1067 {
1068     GetBitContext gb;
1069     int i, j, k, n, ch, run, level, diff;
1070
1071     init_get_bits(&gb, node->packet->data, node->packet->size*8);
1072
1073     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1; // same as averagesomething function
1074
1075     for (i = 1; i < n; i++)
1076         for (ch=0; ch < q->nb_channels; ch++) {
1077             level = qdm2_get_vlc(&gb, &vlc_tab_level, 0, 2);
1078             q->quantized_coeffs[ch][i][0] = level;
1079
1080             for (j = 0; j < (8 - 1); ) {
1081                 run = qdm2_get_vlc(&gb, &vlc_tab_run, 0, 1) + 1;
1082                 diff = qdm2_get_se_vlc(&vlc_tab_diff, &gb, 2);
1083
1084                 if (j + run >= 8)
1085                     return -1;
1086
1087                 for (k = 1; k <= run; k++)
1088                     q->quantized_coeffs[ch][i][j + k] = (level + ((k*diff) / run));
1089
1090                 level += diff;
1091                 j += run;
1092             }
1093         }
1094
1095     for (ch = 0; ch < q->nb_channels; ch++)
1096         for (i = 0; i < 8; i++)
1097             q->quantized_coeffs[ch][0][i] = 0;
1098
1099     return 0;
1100 }
1101
1102
1103 /**
1104  * Process subpacket 10 if not null, else
1105  *
1106  * @param q         context
1107  * @param node      pointer to node with packet
1108  */
1109 static void process_subpacket_10 (QDM2Context *q, QDM2SubPNode *node)
1110 {
1111     GetBitContext gb;
1112
1113     if (node) {
1114         init_get_bits(&gb, node->packet->data, node->packet->size * 8);
1115         init_tone_level_dequantization(q, &gb);
1116         fill_tone_level_array(q, 1);
1117     } else {
1118         fill_tone_level_array(q, 0);
1119     }
1120 }
1121
1122
1123 /**
1124  * Process subpacket 11
1125  *
1126  * @param q         context
1127  * @param node      pointer to node with packet
1128  */
1129 static void process_subpacket_11 (QDM2Context *q, QDM2SubPNode *node)
1130 {
1131     GetBitContext gb;
1132     int length = 0;
1133
1134     if (node) {
1135         length = node->packet->size * 8;
1136         init_get_bits(&gb, node->packet->data, length);
1137     }
1138
1139     if (length >= 32) {
1140         int c = get_bits (&gb, 13);
1141
1142         if (c > 3)
1143             fill_coding_method_array (q->tone_level_idx, q->tone_level_idx_temp, q->coding_method,
1144                                       q->nb_channels, 8*c, q->superblocktype_2_3, q->cm_table_select);
1145     }
1146
1147     synthfilt_build_sb_samples(q, &gb, length, 0, 8);
1148 }
1149
1150
1151 /**
1152  * Process subpacket 12
1153  *
1154  * @param q         context
1155  * @param node      pointer to node with packet
1156  */
1157 static void process_subpacket_12 (QDM2Context *q, QDM2SubPNode *node)
1158 {
1159     GetBitContext gb;
1160     int length = 0;
1161
1162     if (node) {
1163         length = node->packet->size * 8;
1164         init_get_bits(&gb, node->packet->data, length);
1165     }
1166
1167     synthfilt_build_sb_samples(q, &gb, length, 8, QDM2_SB_USED(q->sub_sampling));
1168 }
1169
1170 /*
1171  * Process new subpackets for synthesis filter
1172  *
1173  * @param q       context
1174  * @param list    list with synthesis filter packets (list D)
1175  */
1176 static void process_synthesis_subpackets (QDM2Context *q, QDM2SubPNode *list)
1177 {
1178     QDM2SubPNode *nodes[4];
1179
1180     nodes[0] = qdm2_search_subpacket_type_in_list(list, 9);
1181     if (nodes[0] != NULL)
1182         process_subpacket_9(q, nodes[0]);
1183
1184     nodes[1] = qdm2_search_subpacket_type_in_list(list, 10);
1185     if (nodes[1] != NULL)
1186         process_subpacket_10(q, nodes[1]);
1187     else
1188         process_subpacket_10(q, NULL);
1189
1190     nodes[2] = qdm2_search_subpacket_type_in_list(list, 11);
1191     if (nodes[0] != NULL && nodes[1] != NULL && nodes[2] != NULL)
1192         process_subpacket_11(q, nodes[2]);
1193     else
1194         process_subpacket_11(q, NULL);
1195
1196     nodes[3] = qdm2_search_subpacket_type_in_list(list, 12);
1197     if (nodes[0] != NULL && nodes[1] != NULL && nodes[3] != NULL)
1198         process_subpacket_12(q, nodes[3]);
1199     else
1200         process_subpacket_12(q, NULL);
1201 }
1202
1203
1204 /*
1205  * Decode superblock, fill packet lists.
1206  *
1207  * @param q    context
1208  */
1209 static void qdm2_decode_super_block (QDM2Context *q)
1210 {
1211     GetBitContext gb;
1212     QDM2SubPacket header, *packet;
1213     int i, packet_bytes, sub_packet_size, sub_packets_D;
1214     unsigned int next_index = 0;
1215
1216     memset(q->tone_level_idx_hi1, 0, sizeof(q->tone_level_idx_hi1));
1217     memset(q->tone_level_idx_mid, 0, sizeof(q->tone_level_idx_mid));
1218     memset(q->tone_level_idx_hi2, 0, sizeof(q->tone_level_idx_hi2));
1219
1220     q->sub_packets_B = 0;
1221     sub_packets_D = 0;
1222
1223     average_quantized_coeffs(q); // average elements in quantized_coeffs[max_ch][10][8]
1224
1225     init_get_bits(&gb, q->compressed_data, q->compressed_size*8);
1226     qdm2_decode_sub_packet_header(&gb, &header);
1227
1228     if (header.type < 2 || header.type >= 8) {
1229         q->has_errors = 1;
1230         av_log(NULL,AV_LOG_ERROR,"bad superblock type\n");
1231         return;
1232     }
1233
1234     q->superblocktype_2_3 = (header.type == 2 || header.type == 3);
1235     packet_bytes = (q->compressed_size - get_bits_count(&gb) / 8);
1236
1237     init_get_bits(&gb, header.data, header.size*8);
1238
1239     if (header.type == 2 || header.type == 4 || header.type == 5) {
1240         int csum  = 257 * get_bits(&gb, 8);
1241             csum +=   2 * get_bits(&gb, 8);
1242
1243         csum = qdm2_packet_checksum(q->compressed_data, q->checksum_size, csum);
1244
1245         if (csum != 0) {
1246             q->has_errors = 1;
1247             av_log(NULL,AV_LOG_ERROR,"bad packet checksum\n");
1248             return;
1249         }
1250     }
1251
1252     q->sub_packet_list_B[0].packet = NULL;
1253     q->sub_packet_list_D[0].packet = NULL;
1254
1255     for (i = 0; i < 6; i++)
1256         if (--q->fft_level_exp[i] < 0)
1257             q->fft_level_exp[i] = 0;
1258
1259     for (i = 0; packet_bytes > 0; i++) {
1260         int j;
1261
1262         q->sub_packet_list_A[i].next = NULL;
1263
1264         if (i > 0) {
1265             q->sub_packet_list_A[i - 1].next = &q->sub_packet_list_A[i];
1266
1267             /* seek to next block */
1268             init_get_bits(&gb, header.data, header.size*8);
1269             skip_bits(&gb, next_index*8);
1270
1271             if (next_index >= header.size)
1272                 break;
1273         }
1274
1275         /* decode subpacket */
1276         packet = &q->sub_packets[i];
1277         qdm2_decode_sub_packet_header(&gb, packet);
1278         next_index = packet->size + get_bits_count(&gb) / 8;
1279         sub_packet_size = ((packet->size > 0xff) ? 1 : 0) + packet->size + 2;
1280
1281         if (packet->type == 0)
1282             break;
1283
1284         if (sub_packet_size > packet_bytes) {
1285             if (packet->type != 10 && packet->type != 11 && packet->type != 12)
1286                 break;
1287             packet->size += packet_bytes - sub_packet_size;
1288         }
1289
1290         packet_bytes -= sub_packet_size;
1291
1292         /* add subpacket to 'all subpackets' list */
1293         q->sub_packet_list_A[i].packet = packet;
1294
1295         /* add subpacket to related list */
1296         if (packet->type == 8) {
1297             SAMPLES_NEEDED_2("packet type 8");
1298             return;
1299         } else if (packet->type >= 9 && packet->type <= 12) {
1300             /* packets for MPEG Audio like Synthesis Filter */
1301             QDM2_LIST_ADD(q->sub_packet_list_D, sub_packets_D, packet);
1302         } else if (packet->type == 13) {
1303             for (j = 0; j < 6; j++)
1304                 q->fft_level_exp[j] = get_bits(&gb, 6);
1305         } else if (packet->type == 14) {
1306             for (j = 0; j < 6; j++)
1307                 q->fft_level_exp[j] = qdm2_get_vlc(&gb, &fft_level_exp_vlc, 0, 2);
1308         } else if (packet->type == 15) {
1309             SAMPLES_NEEDED_2("packet type 15")
1310             return;
1311         } else if (packet->type >= 16 && packet->type < 48 && !fft_subpackets[packet->type - 16]) {
1312             /* packets for FFT */
1313             QDM2_LIST_ADD(q->sub_packet_list_B, q->sub_packets_B, packet);
1314         }
1315     } // Packet bytes loop
1316
1317 /* **************************************************************** */
1318     if (q->sub_packet_list_D[0].packet != NULL) {
1319         process_synthesis_subpackets(q, q->sub_packet_list_D);
1320         q->do_synth_filter = 1;
1321     } else if (q->do_synth_filter) {
1322         process_subpacket_10(q, NULL);
1323         process_subpacket_11(q, NULL);
1324         process_subpacket_12(q, NULL);
1325     }
1326 /* **************************************************************** */
1327 }
1328
1329
1330 static void qdm2_fft_init_coefficient (QDM2Context *q, int sub_packet,
1331                        int offset, int duration, int channel,
1332                        int exp, int phase)
1333 {
1334     if (q->fft_coefs_min_index[duration] < 0)
1335         q->fft_coefs_min_index[duration] = q->fft_coefs_index;
1336
1337     q->fft_coefs[q->fft_coefs_index].sub_packet = ((sub_packet >= 16) ? (sub_packet - 16) : sub_packet);
1338     q->fft_coefs[q->fft_coefs_index].channel = channel;
1339     q->fft_coefs[q->fft_coefs_index].offset = offset;
1340     q->fft_coefs[q->fft_coefs_index].exp = exp;
1341     q->fft_coefs[q->fft_coefs_index].phase = phase;
1342     q->fft_coefs_index++;
1343 }
1344
1345
1346 static void qdm2_fft_decode_tones (QDM2Context *q, int duration, GetBitContext *gb, int b)
1347 {
1348     int channel, stereo, phase, exp;
1349     int local_int_4,  local_int_8,  stereo_phase,  local_int_10;
1350     int local_int_14, stereo_exp, local_int_20, local_int_28;
1351     int n, offset;
1352
1353     local_int_4 = 0;
1354     local_int_28 = 0;
1355     local_int_20 = 2;
1356     local_int_8 = (4 - duration);
1357     local_int_10 = 1 << (q->group_order - duration - 1);
1358     offset = 1;
1359
1360     while (get_bits_left(gb)>0) {
1361         if (q->superblocktype_2_3) {
1362             while ((n = qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2)) < 2) {
1363                 if (get_bits_left(gb)<0) {
1364                     if(local_int_4 < q->group_size)
1365                         av_log(0, AV_LOG_ERROR, "overread in qdm2_fft_decode_tones()\n");
1366                     return;
1367                 }
1368                 offset = 1;
1369                 if (n == 0) {
1370                     local_int_4 += local_int_10;
1371                     local_int_28 += (1 << local_int_8);
1372                 } else {
1373                     local_int_4 += 8*local_int_10;
1374                     local_int_28 += (8 << local_int_8);
1375                 }
1376             }
1377             offset += (n - 2);
1378         } else {
1379             offset += qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2);
1380             while (offset >= (local_int_10 - 1)) {
1381                 offset += (1 - (local_int_10 - 1));
1382                 local_int_4  += local_int_10;
1383                 local_int_28 += (1 << local_int_8);
1384             }
1385         }
1386
1387         if (local_int_4 >= q->group_size)
1388             return;
1389
1390         local_int_14 = (offset >> local_int_8);
1391         if (local_int_14 >= FF_ARRAY_ELEMS(fft_level_index_table))
1392             return;
1393
1394         if (q->nb_channels > 1) {
1395             channel = get_bits1(gb);
1396             stereo = get_bits1(gb);
1397         } else {
1398             channel = 0;
1399             stereo = 0;
1400         }
1401
1402         exp = qdm2_get_vlc(gb, (b ? &fft_level_exp_vlc : &fft_level_exp_alt_vlc), 0, 2);
1403         exp += q->fft_level_exp[fft_level_index_table[local_int_14]];
1404         exp = (exp < 0) ? 0 : exp;
1405
1406         phase = get_bits(gb, 3);
1407         stereo_exp = 0;
1408         stereo_phase = 0;
1409
1410         if (stereo) {
1411             stereo_exp = (exp - qdm2_get_vlc(gb, &fft_stereo_exp_vlc, 0, 1));
1412             stereo_phase = (phase - qdm2_get_vlc(gb, &fft_stereo_phase_vlc, 0, 1));
1413             if (stereo_phase < 0)
1414                 stereo_phase += 8;
1415         }
1416
1417         if (q->frequency_range > (local_int_14 + 1)) {
1418             int sub_packet = (local_int_20 + local_int_28);
1419
1420             qdm2_fft_init_coefficient(q, sub_packet, offset, duration, channel, exp, phase);
1421             if (stereo)
1422                 qdm2_fft_init_coefficient(q, sub_packet, offset, duration, (1 - channel), stereo_exp, stereo_phase);
1423         }
1424
1425         offset++;
1426     }
1427 }
1428
1429
1430 static void qdm2_decode_fft_packets (QDM2Context *q)
1431 {
1432     int i, j, min, max, value, type, unknown_flag;
1433     GetBitContext gb;
1434
1435     if (q->sub_packet_list_B[0].packet == NULL)
1436         return;
1437
1438     /* reset minimum indexes for FFT coefficients */
1439     q->fft_coefs_index = 0;
1440     for (i=0; i < 5; i++)
1441         q->fft_coefs_min_index[i] = -1;
1442
1443     /* process subpackets ordered by type, largest type first */
1444     for (i = 0, max = 256; i < q->sub_packets_B; i++) {
1445         QDM2SubPacket *packet= NULL;
1446
1447         /* find subpacket with largest type less than max */
1448         for (j = 0, min = 0; j < q->sub_packets_B; j++) {
1449             value = q->sub_packet_list_B[j].packet->type;
1450             if (value > min && value < max) {
1451                 min = value;
1452                 packet = q->sub_packet_list_B[j].packet;
1453             }
1454         }
1455
1456         max = min;
1457
1458         /* check for errors (?) */
1459         if (!packet)
1460             return;
1461
1462         if (i == 0 && (packet->type < 16 || packet->type >= 48 || fft_subpackets[packet->type - 16]))
1463             return;
1464
1465         /* decode FFT tones */
1466         init_get_bits (&gb, packet->data, packet->size*8);
1467
1468         if (packet->type >= 32 && packet->type < 48 && !fft_subpackets[packet->type - 16])
1469             unknown_flag = 1;
1470         else
1471             unknown_flag = 0;
1472
1473         type = packet->type;
1474
1475         if ((type >= 17 && type < 24) || (type >= 33 && type < 40)) {
1476             int duration = q->sub_sampling + 5 - (type & 15);
1477
1478             if (duration >= 0 && duration < 4)
1479                 qdm2_fft_decode_tones(q, duration, &gb, unknown_flag);
1480         } else if (type == 31) {
1481             for (j=0; j < 4; j++)
1482                 qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1483         } else if (type == 46) {
1484             for (j=0; j < 6; j++)
1485                 q->fft_level_exp[j] = get_bits(&gb, 6);
1486             for (j=0; j < 4; j++)
1487             qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1488         }
1489     } // Loop on B packets
1490
1491     /* calculate maximum indexes for FFT coefficients */
1492     for (i = 0, j = -1; i < 5; i++)
1493         if (q->fft_coefs_min_index[i] >= 0) {
1494             if (j >= 0)
1495                 q->fft_coefs_max_index[j] = q->fft_coefs_min_index[i];
1496             j = i;
1497         }
1498     if (j >= 0)
1499         q->fft_coefs_max_index[j] = q->fft_coefs_index;
1500 }
1501
1502
1503 static void qdm2_fft_generate_tone (QDM2Context *q, FFTTone *tone)
1504 {
1505    float level, f[6];
1506    int i;
1507    QDM2Complex c;
1508    const double iscale = 2.0*M_PI / 512.0;
1509
1510     tone->phase += tone->phase_shift;
1511
1512     /* calculate current level (maximum amplitude) of tone */
1513     level = fft_tone_envelope_table[tone->duration][tone->time_index] * tone->level;
1514     c.im = level * sin(tone->phase*iscale);
1515     c.re = level * cos(tone->phase*iscale);
1516
1517     /* generate FFT coefficients for tone */
1518     if (tone->duration >= 3 || tone->cutoff >= 3) {
1519         tone->complex[0].im += c.im;
1520         tone->complex[0].re += c.re;
1521         tone->complex[1].im -= c.im;
1522         tone->complex[1].re -= c.re;
1523     } else {
1524         f[1] = -tone->table[4];
1525         f[0] =  tone->table[3] - tone->table[0];
1526         f[2] =  1.0 - tone->table[2] - tone->table[3];
1527         f[3] =  tone->table[1] + tone->table[4] - 1.0;
1528         f[4] =  tone->table[0] - tone->table[1];
1529         f[5] =  tone->table[2];
1530         for (i = 0; i < 2; i++) {
1531             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].re += c.re * f[i];
1532             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].im += c.im *((tone->cutoff <= i) ? -f[i] : f[i]);
1533         }
1534         for (i = 0; i < 4; i++) {
1535             tone->complex[i].re += c.re * f[i+2];
1536             tone->complex[i].im += c.im * f[i+2];
1537         }
1538     }
1539
1540     /* copy the tone if it has not yet died out */
1541     if (++tone->time_index < ((1 << (5 - tone->duration)) - 1)) {
1542       memcpy(&q->fft_tones[q->fft_tone_end], tone, sizeof(FFTTone));
1543       q->fft_tone_end = (q->fft_tone_end + 1) % 1000;
1544     }
1545 }
1546
1547
1548 static void qdm2_fft_tone_synthesizer (QDM2Context *q, int sub_packet)
1549 {
1550     int i, j, ch;
1551     const double iscale = 0.25 * M_PI;
1552
1553     for (ch = 0; ch < q->channels; ch++) {
1554         memset(q->fft.complex[ch], 0, q->fft_size * sizeof(QDM2Complex));
1555     }
1556
1557
1558     /* apply FFT tones with duration 4 (1 FFT period) */
1559     if (q->fft_coefs_min_index[4] >= 0)
1560         for (i = q->fft_coefs_min_index[4]; i < q->fft_coefs_max_index[4]; i++) {
1561             float level;
1562             QDM2Complex c;
1563
1564             if (q->fft_coefs[i].sub_packet != sub_packet)
1565                 break;
1566
1567             ch = (q->channels == 1) ? 0 : q->fft_coefs[i].channel;
1568             level = (q->fft_coefs[i].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[i].exp & 63];
1569
1570             c.re = level * cos(q->fft_coefs[i].phase * iscale);
1571             c.im = level * sin(q->fft_coefs[i].phase * iscale);
1572             q->fft.complex[ch][q->fft_coefs[i].offset + 0].re += c.re;
1573             q->fft.complex[ch][q->fft_coefs[i].offset + 0].im += c.im;
1574             q->fft.complex[ch][q->fft_coefs[i].offset + 1].re -= c.re;
1575             q->fft.complex[ch][q->fft_coefs[i].offset + 1].im -= c.im;
1576         }
1577
1578     /* generate existing FFT tones */
1579     for (i = q->fft_tone_end; i != q->fft_tone_start; ) {
1580         qdm2_fft_generate_tone(q, &q->fft_tones[q->fft_tone_start]);
1581         q->fft_tone_start = (q->fft_tone_start + 1) % 1000;
1582     }
1583
1584     /* create and generate new FFT tones with duration 0 (long) to 3 (short) */
1585     for (i = 0; i < 4; i++)
1586         if (q->fft_coefs_min_index[i] >= 0) {
1587             for (j = q->fft_coefs_min_index[i]; j < q->fft_coefs_max_index[i]; j++) {
1588                 int offset, four_i;
1589                 FFTTone tone;
1590
1591                 if (q->fft_coefs[j].sub_packet != sub_packet)
1592                     break;
1593
1594                 four_i = (4 - i);
1595                 offset = q->fft_coefs[j].offset >> four_i;
1596                 ch = (q->channels == 1) ? 0 : q->fft_coefs[j].channel;
1597
1598                 if (offset < q->frequency_range) {
1599                     if (offset < 2)
1600                         tone.cutoff = offset;
1601                     else
1602                         tone.cutoff = (offset >= 60) ? 3 : 2;
1603
1604                     tone.level = (q->fft_coefs[j].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[j].exp & 63];
1605                     tone.complex = &q->fft.complex[ch][offset];
1606                     tone.table = fft_tone_sample_table[i][q->fft_coefs[j].offset - (offset << four_i)];
1607                     tone.phase = 64 * q->fft_coefs[j].phase - (offset << 8) - 128;
1608                     tone.phase_shift = (2 * q->fft_coefs[j].offset + 1) << (7 - four_i);
1609                     tone.duration = i;
1610                     tone.time_index = 0;
1611
1612                     qdm2_fft_generate_tone(q, &tone);
1613                 }
1614             }
1615             q->fft_coefs_min_index[i] = j;
1616         }
1617 }
1618
1619
1620 static void qdm2_calculate_fft (QDM2Context *q, int channel, int sub_packet)
1621 {
1622     const float gain = (q->channels == 1 && q->nb_channels == 2) ? 0.5f : 1.0f;
1623     float *out = q->output_buffer + channel;
1624     int i;
1625     q->fft.complex[channel][0].re *= 2.0f;
1626     q->fft.complex[channel][0].im = 0.0f;
1627     q->rdft_ctx.rdft_calc(&q->rdft_ctx, (FFTSample *)q->fft.complex[channel]);
1628     /* add samples to output buffer */
1629     for (i = 0; i < FFALIGN(q->fft_size, 8); i++) {
1630         out[0]           += q->fft.complex[channel][i].re * gain;
1631         out[q->channels] += q->fft.complex[channel][i].im * gain;
1632         out += 2 * q->channels;
1633     }
1634 }
1635
1636
1637 /**
1638  * @param q        context
1639  * @param index    subpacket number
1640  */
1641 static void qdm2_synthesis_filter (QDM2Context *q, int index)
1642 {
1643     int i, k, ch, sb_used, sub_sampling, dither_state = 0;
1644
1645     /* copy sb_samples */
1646     sb_used = QDM2_SB_USED(q->sub_sampling);
1647
1648     for (ch = 0; ch < q->channels; ch++)
1649         for (i = 0; i < 8; i++)
1650             for (k=sb_used; k < SBLIMIT; k++)
1651                 q->sb_samples[ch][(8 * index) + i][k] = 0;
1652
1653     for (ch = 0; ch < q->nb_channels; ch++) {
1654         float *samples_ptr = q->samples + ch;
1655
1656         for (i = 0; i < 8; i++) {
1657             ff_mpa_synth_filter_float(&q->mpadsp,
1658                 q->synth_buf[ch], &(q->synth_buf_offset[ch]),
1659                 ff_mpa_synth_window_float, &dither_state,
1660                 samples_ptr, q->nb_channels,
1661                 q->sb_samples[ch][(8 * index) + i]);
1662             samples_ptr += 32 * q->nb_channels;
1663         }
1664     }
1665
1666     /* add samples to output buffer */
1667     sub_sampling = (4 >> q->sub_sampling);
1668
1669     for (ch = 0; ch < q->channels; ch++)
1670         for (i = 0; i < q->frame_size; i++)
1671             q->output_buffer[q->channels * i + ch] += (1 << 23) * q->samples[q->nb_channels * sub_sampling * i + ch];
1672 }
1673
1674
1675 /**
1676  * Init static data (does not depend on specific file)
1677  *
1678  * @param q    context
1679  */
1680 static av_cold void qdm2_init(QDM2Context *q) {
1681     static int initialized = 0;
1682
1683     if (initialized != 0)
1684         return;
1685     initialized = 1;
1686
1687     qdm2_init_vlc();
1688     ff_mpa_synth_init_float(ff_mpa_synth_window_float);
1689     softclip_table_init();
1690     rnd_table_init();
1691     init_noise_samples();
1692
1693     av_log(NULL, AV_LOG_DEBUG, "init done\n");
1694 }
1695
1696
1697 /**
1698  * Init parameters from codec extradata
1699  */
1700 static av_cold int qdm2_decode_init(AVCodecContext *avctx)
1701 {
1702     QDM2Context *s = avctx->priv_data;
1703     uint8_t *extradata;
1704     int extradata_size;
1705     int tmp_val, tmp, size;
1706
1707     /* extradata parsing
1708
1709     Structure:
1710     wave {
1711         frma (QDM2)
1712         QDCA
1713         QDCP
1714     }
1715
1716     32  size (including this field)
1717     32  tag (=frma)
1718     32  type (=QDM2 or QDMC)
1719
1720     32  size (including this field, in bytes)
1721     32  tag (=QDCA) // maybe mandatory parameters
1722     32  unknown (=1)
1723     32  channels (=2)
1724     32  samplerate (=44100)
1725     32  bitrate (=96000)
1726     32  block size (=4096)
1727     32  frame size (=256) (for one channel)
1728     32  packet size (=1300)
1729
1730     32  size (including this field, in bytes)
1731     32  tag (=QDCP) // maybe some tuneable parameters
1732     32  float1 (=1.0)
1733     32  zero ?
1734     32  float2 (=1.0)
1735     32  float3 (=1.0)
1736     32  unknown (27)
1737     32  unknown (8)
1738     32  zero ?
1739     */
1740
1741     if (!avctx->extradata || (avctx->extradata_size < 48)) {
1742         av_log(avctx, AV_LOG_ERROR, "extradata missing or truncated\n");
1743         return -1;
1744     }
1745
1746     extradata = avctx->extradata;
1747     extradata_size = avctx->extradata_size;
1748
1749     while (extradata_size > 7) {
1750         if (!memcmp(extradata, "frmaQDM", 7))
1751             break;
1752         extradata++;
1753         extradata_size--;
1754     }
1755
1756     if (extradata_size < 12) {
1757         av_log(avctx, AV_LOG_ERROR, "not enough extradata (%i)\n",
1758                extradata_size);
1759         return -1;
1760     }
1761
1762     if (memcmp(extradata, "frmaQDM", 7)) {
1763         av_log(avctx, AV_LOG_ERROR, "invalid headers, QDM? not found\n");
1764         return -1;
1765     }
1766
1767     if (extradata[7] == 'C') {
1768 //        s->is_qdmc = 1;
1769         av_log(avctx, AV_LOG_ERROR, "stream is QDMC version 1, which is not supported\n");
1770         return -1;
1771     }
1772
1773     extradata += 8;
1774     extradata_size -= 8;
1775
1776     size = AV_RB32(extradata);
1777
1778     if(size > extradata_size){
1779         av_log(avctx, AV_LOG_ERROR, "extradata size too small, %i < %i\n",
1780                extradata_size, size);
1781         return -1;
1782     }
1783
1784     extradata += 4;
1785     av_log(avctx, AV_LOG_DEBUG, "size: %d\n", size);
1786     if (AV_RB32(extradata) != MKBETAG('Q','D','C','A')) {
1787         av_log(avctx, AV_LOG_ERROR, "invalid extradata, expecting QDCA\n");
1788         return -1;
1789     }
1790
1791     extradata += 8;
1792
1793     avctx->channels = s->nb_channels = s->channels = AV_RB32(extradata);
1794     extradata += 4;
1795     if (s->channels > MPA_MAX_CHANNELS) {
1796         av_log(avctx, AV_LOG_ERROR, "Too many channels\n");
1797         return AVERROR_INVALIDDATA;
1798     }
1799
1800     avctx->sample_rate = AV_RB32(extradata);
1801     extradata += 4;
1802
1803     avctx->bit_rate = AV_RB32(extradata);
1804     extradata += 4;
1805
1806     s->group_size = AV_RB32(extradata);
1807     extradata += 4;
1808
1809     s->fft_size = AV_RB32(extradata);
1810     extradata += 4;
1811
1812     s->checksum_size = AV_RB32(extradata);
1813     if (s->checksum_size >= 1U << 28) {
1814         av_log(avctx, AV_LOG_ERROR, "data block size too large (%u)\n", s->checksum_size);
1815         return AVERROR_INVALIDDATA;
1816     }
1817
1818     s->fft_order = av_log2(s->fft_size) + 1;
1819
1820     // something like max decodable tones
1821     s->group_order = av_log2(s->group_size) + 1;
1822     s->frame_size = s->group_size / 16; // 16 iterations per super block
1823
1824     if (s->frame_size > QDM2_MAX_FRAME_SIZE)
1825         return AVERROR_INVALIDDATA;
1826
1827     s->sub_sampling = s->fft_order - 7;
1828     s->frequency_range = 255 / (1 << (2 - s->sub_sampling));
1829
1830     switch ((s->sub_sampling * 2 + s->channels - 1)) {
1831         case 0: tmp = 40; break;
1832         case 1: tmp = 48; break;
1833         case 2: tmp = 56; break;
1834         case 3: tmp = 72; break;
1835         case 4: tmp = 80; break;
1836         case 5: tmp = 100;break;
1837         default: tmp=s->sub_sampling; break;
1838     }
1839     tmp_val = 0;
1840     if ((tmp * 1000) < avctx->bit_rate)  tmp_val = 1;
1841     if ((tmp * 1440) < avctx->bit_rate)  tmp_val = 2;
1842     if ((tmp * 1760) < avctx->bit_rate)  tmp_val = 3;
1843     if ((tmp * 2240) < avctx->bit_rate)  tmp_val = 4;
1844     s->cm_table_select = tmp_val;
1845
1846     if (s->sub_sampling == 0)
1847         tmp = 7999;
1848     else
1849         tmp = ((-(s->sub_sampling -1)) & 8000) + 20000;
1850     /*
1851     0: 7999 -> 0
1852     1: 20000 -> 2
1853     2: 28000 -> 2
1854     */
1855     if (tmp < 8000)
1856         s->coeff_per_sb_select = 0;
1857     else if (tmp <= 16000)
1858         s->coeff_per_sb_select = 1;
1859     else
1860         s->coeff_per_sb_select = 2;
1861
1862     // Fail on unknown fft order
1863     if ((s->fft_order < 7) || (s->fft_order > 9)) {
1864         av_log(avctx, AV_LOG_ERROR, "Unknown FFT order (%d), contact the developers!\n", s->fft_order);
1865         return -1;
1866     }
1867
1868     ff_rdft_init(&s->rdft_ctx, s->fft_order, IDFT_C2R);
1869     ff_mpadsp_init(&s->mpadsp);
1870
1871     qdm2_init(s);
1872
1873     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
1874
1875     avcodec_get_frame_defaults(&s->frame);
1876     avctx->coded_frame = &s->frame;
1877
1878     return 0;
1879 }
1880
1881
1882 static av_cold int qdm2_decode_close(AVCodecContext *avctx)
1883 {
1884     QDM2Context *s = avctx->priv_data;
1885
1886     ff_rdft_end(&s->rdft_ctx);
1887
1888     return 0;
1889 }
1890
1891
1892 static int qdm2_decode (QDM2Context *q, const uint8_t *in, int16_t *out)
1893 {
1894     int ch, i;
1895     const int frame_size = (q->frame_size * q->channels);
1896
1897     if((unsigned)frame_size > FF_ARRAY_ELEMS(q->output_buffer)/2)
1898         return -1;
1899
1900     /* select input buffer */
1901     q->compressed_data = in;
1902     q->compressed_size = q->checksum_size;
1903
1904     /* copy old block, clear new block of output samples */
1905     memmove(q->output_buffer, &q->output_buffer[frame_size], frame_size * sizeof(float));
1906     memset(&q->output_buffer[frame_size], 0, frame_size * sizeof(float));
1907
1908     /* decode block of QDM2 compressed data */
1909     if (q->sub_packet == 0) {
1910         q->has_errors = 0; // zero it for a new super block
1911         av_log(NULL,AV_LOG_DEBUG,"Superblock follows\n");
1912         qdm2_decode_super_block(q);
1913     }
1914
1915     /* parse subpackets */
1916     if (!q->has_errors) {
1917         if (q->sub_packet == 2)
1918             qdm2_decode_fft_packets(q);
1919
1920         qdm2_fft_tone_synthesizer(q, q->sub_packet);
1921     }
1922
1923     /* sound synthesis stage 1 (FFT) */
1924     for (ch = 0; ch < q->channels; ch++) {
1925         qdm2_calculate_fft(q, ch, q->sub_packet);
1926
1927         if (!q->has_errors && q->sub_packet_list_C[0].packet != NULL) {
1928             SAMPLES_NEEDED_2("has errors, and C list is not empty")
1929             return -1;
1930         }
1931     }
1932
1933     /* sound synthesis stage 2 (MPEG audio like synthesis filter) */
1934     if (!q->has_errors && q->do_synth_filter)
1935         qdm2_synthesis_filter(q, q->sub_packet);
1936
1937     q->sub_packet = (q->sub_packet + 1) % 16;
1938
1939     /* clip and convert output float[] to 16bit signed samples */
1940     for (i = 0; i < frame_size; i++) {
1941         int value = (int)q->output_buffer[i];
1942
1943         if (value > SOFTCLIP_THRESHOLD)
1944             value = (value >  HARDCLIP_THRESHOLD) ?  32767 :  softclip_table[ value - SOFTCLIP_THRESHOLD];
1945         else if (value < -SOFTCLIP_THRESHOLD)
1946             value = (value < -HARDCLIP_THRESHOLD) ? -32767 : -softclip_table[-value - SOFTCLIP_THRESHOLD];
1947
1948         out[i] = value;
1949     }
1950
1951     return 0;
1952 }
1953
1954
1955 static int qdm2_decode_frame(AVCodecContext *avctx, void *data,
1956                              int *got_frame_ptr, AVPacket *avpkt)
1957 {
1958     const uint8_t *buf = avpkt->data;
1959     int buf_size = avpkt->size;
1960     QDM2Context *s = avctx->priv_data;
1961     int16_t *out;
1962     int i, ret;
1963
1964     if(!buf)
1965         return 0;
1966     if(buf_size < s->checksum_size)
1967         return -1;
1968
1969     /* get output buffer */
1970     s->frame.nb_samples = 16 * s->frame_size;
1971     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
1972         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1973         return ret;
1974     }
1975     out = (int16_t *)s->frame.data[0];
1976
1977     for (i = 0; i < 16; i++) {
1978         if (qdm2_decode(s, buf, out) < 0)
1979             return -1;
1980         out += s->channels * s->frame_size;
1981     }
1982
1983     *got_frame_ptr   = 1;
1984     *(AVFrame *)data = s->frame;
1985
1986     return s->checksum_size;
1987 }
1988
1989 AVCodec ff_qdm2_decoder =
1990 {
1991     .name           = "qdm2",
1992     .type           = AVMEDIA_TYPE_AUDIO,
1993     .id             = AV_CODEC_ID_QDM2,
1994     .priv_data_size = sizeof(QDM2Context),
1995     .init           = qdm2_decode_init,
1996     .close          = qdm2_decode_close,
1997     .decode         = qdm2_decode_frame,
1998     .capabilities   = CODEC_CAP_DR1,
1999     .long_name      = NULL_IF_CONFIG_SMALL("QDesign Music Codec 2"),
2000 };