Drop pointless assert.h #includes
[ffmpeg.git] / libavcodec / qdm2.c
1 /*
2  * QDM2 compatible decoder
3  * Copyright (c) 2003 Ewald Snel
4  * Copyright (c) 2005 Benjamin Larsson
5  * Copyright (c) 2005 Alex Beregszaszi
6  * Copyright (c) 2005 Roberto Togni
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * QDM2 decoder
28  * @author Ewald Snel, Benjamin Larsson, Alex Beregszaszi, Roberto Togni
29  *
30  * The decoder is not perfect yet, there are still some distortions
31  * especially on files encoded with 16 or 8 subbands.
32  */
33
34 #include <math.h>
35 #include <stddef.h>
36 #include <stdio.h>
37
38 #define BITSTREAM_READER_LE
39 #include "libavutil/channel_layout.h"
40 #include "avcodec.h"
41 #include "get_bits.h"
42 #include "internal.h"
43 #include "rdft.h"
44 #include "mpegaudiodsp.h"
45 #include "mpegaudio.h"
46
47 #include "qdm2data.h"
48 #include "qdm2_tablegen.h"
49
50
51 #define QDM2_LIST_ADD(list, size, packet) \
52 do { \
53       if (size > 0) { \
54     list[size - 1].next = &list[size]; \
55       } \
56       list[size].packet = packet; \
57       list[size].next = NULL; \
58       size++; \
59 } while(0)
60
61 // Result is 8, 16 or 30
62 #define QDM2_SB_USED(sub_sampling) (((sub_sampling) >= 2) ? 30 : 8 << (sub_sampling))
63
64 #define FIX_NOISE_IDX(noise_idx) \
65   if ((noise_idx) >= 3840) \
66     (noise_idx) -= 3840; \
67
68 #define SB_DITHERING_NOISE(sb,noise_idx) (noise_table[(noise_idx)++] * sb_noise_attenuation[(sb)])
69
70 #define SAMPLES_NEEDED \
71      av_log (NULL,AV_LOG_INFO,"This file triggers some untested code. Please contact the developers.\n");
72
73 #define SAMPLES_NEEDED_2(why) \
74      av_log (NULL,AV_LOG_INFO,"This file triggers some missing code. Please contact the developers.\nPosition: %s\n",why);
75
76 #define QDM2_MAX_FRAME_SIZE 512
77
78 typedef int8_t sb_int8_array[2][30][64];
79
80 /**
81  * Subpacket
82  */
83 typedef struct QDM2SubPacket {
84     int type;            ///< subpacket type
85     unsigned int size;   ///< subpacket size
86     const uint8_t *data; ///< pointer to subpacket data (points to input data buffer, it's not a private copy)
87 } QDM2SubPacket;
88
89 /**
90  * A node in the subpacket list
91  */
92 typedef struct QDM2SubPNode {
93     QDM2SubPacket *packet;      ///< packet
94     struct QDM2SubPNode *next; ///< pointer to next packet in the list, NULL if leaf node
95 } QDM2SubPNode;
96
97 typedef struct QDM2Complex {
98     float re;
99     float im;
100 } QDM2Complex;
101
102 typedef struct FFTTone {
103     float level;
104     QDM2Complex *complex;
105     const float *table;
106     int   phase;
107     int   phase_shift;
108     int   duration;
109     short time_index;
110     short cutoff;
111 } FFTTone;
112
113 typedef struct FFTCoefficient {
114     int16_t sub_packet;
115     uint8_t channel;
116     int16_t offset;
117     int16_t exp;
118     uint8_t phase;
119 } FFTCoefficient;
120
121 typedef struct QDM2FFT {
122     DECLARE_ALIGNED(32, QDM2Complex, complex)[MPA_MAX_CHANNELS][256];
123 } QDM2FFT;
124
125 /**
126  * QDM2 decoder context
127  */
128 typedef struct QDM2Context {
129     /// Parameters from codec header, do not change during playback
130     int nb_channels;         ///< number of channels
131     int channels;            ///< number of channels
132     int group_size;          ///< size of frame group (16 frames per group)
133     int fft_size;            ///< size of FFT, in complex numbers
134     int checksum_size;       ///< size of data block, used also for checksum
135
136     /// Parameters built from header parameters, do not change during playback
137     int group_order;         ///< order of frame group
138     int fft_order;           ///< order of FFT (actually fftorder+1)
139     int frame_size;          ///< size of data frame
140     int frequency_range;
141     int sub_sampling;        ///< subsampling: 0=25%, 1=50%, 2=100% */
142     int coeff_per_sb_select; ///< selector for "num. of coeffs. per subband" tables. Can be 0, 1, 2
143     int cm_table_select;     ///< selector for "coding method" tables. Can be 0, 1 (from init: 0-4)
144
145     /// Packets and packet lists
146     QDM2SubPacket sub_packets[16];      ///< the packets themselves
147     QDM2SubPNode sub_packet_list_A[16]; ///< list of all packets
148     QDM2SubPNode sub_packet_list_B[16]; ///< FFT packets B are on list
149     int sub_packets_B;                  ///< number of packets on 'B' list
150     QDM2SubPNode sub_packet_list_C[16]; ///< packets with errors?
151     QDM2SubPNode sub_packet_list_D[16]; ///< DCT packets
152
153     /// FFT and tones
154     FFTTone fft_tones[1000];
155     int fft_tone_start;
156     int fft_tone_end;
157     FFTCoefficient fft_coefs[1000];
158     int fft_coefs_index;
159     int fft_coefs_min_index[5];
160     int fft_coefs_max_index[5];
161     int fft_level_exp[6];
162     RDFTContext rdft_ctx;
163     QDM2FFT fft;
164
165     /// I/O data
166     const uint8_t *compressed_data;
167     int compressed_size;
168     float output_buffer[QDM2_MAX_FRAME_SIZE * 2];
169
170     /// Synthesis filter
171     MPADSPContext mpadsp;
172     DECLARE_ALIGNED(32, float, synth_buf)[MPA_MAX_CHANNELS][512*2];
173     int synth_buf_offset[MPA_MAX_CHANNELS];
174     DECLARE_ALIGNED(32, float, sb_samples)[MPA_MAX_CHANNELS][128][SBLIMIT];
175     DECLARE_ALIGNED(32, float, samples)[MPA_MAX_CHANNELS * MPA_FRAME_SIZE];
176
177     /// Mixed temporary data used in decoding
178     float tone_level[MPA_MAX_CHANNELS][30][64];
179     int8_t coding_method[MPA_MAX_CHANNELS][30][64];
180     int8_t quantized_coeffs[MPA_MAX_CHANNELS][10][8];
181     int8_t tone_level_idx_base[MPA_MAX_CHANNELS][30][8];
182     int8_t tone_level_idx_hi1[MPA_MAX_CHANNELS][3][8][8];
183     int8_t tone_level_idx_mid[MPA_MAX_CHANNELS][26][8];
184     int8_t tone_level_idx_hi2[MPA_MAX_CHANNELS][26];
185     int8_t tone_level_idx[MPA_MAX_CHANNELS][30][64];
186     int8_t tone_level_idx_temp[MPA_MAX_CHANNELS][30][64];
187
188     // Flags
189     int has_errors;         ///< packet has errors
190     int superblocktype_2_3; ///< select fft tables and some algorithm based on superblock type
191     int do_synth_filter;    ///< used to perform or skip synthesis filter
192
193     int sub_packet;
194     int noise_idx; ///< index for dithering noise table
195 } QDM2Context;
196
197
198 static VLC vlc_tab_level;
199 static VLC vlc_tab_diff;
200 static VLC vlc_tab_run;
201 static VLC fft_level_exp_alt_vlc;
202 static VLC fft_level_exp_vlc;
203 static VLC fft_stereo_exp_vlc;
204 static VLC fft_stereo_phase_vlc;
205 static VLC vlc_tab_tone_level_idx_hi1;
206 static VLC vlc_tab_tone_level_idx_mid;
207 static VLC vlc_tab_tone_level_idx_hi2;
208 static VLC vlc_tab_type30;
209 static VLC vlc_tab_type34;
210 static VLC vlc_tab_fft_tone_offset[5];
211
212 static const uint16_t qdm2_vlc_offs[] = {
213     0,260,566,598,894,1166,1230,1294,1678,1950,2214,2278,2310,2570,2834,3124,3448,3838,
214 };
215
216 static const int switchtable[23] = {
217     0, 5, 1, 5, 5, 5, 5, 5, 2, 5, 5, 5, 5, 5, 5, 5, 3, 5, 5, 5, 5, 5, 4
218 };
219
220 static av_cold void qdm2_init_vlc(void)
221 {
222     static VLC_TYPE qdm2_table[3838][2];
223
224     vlc_tab_level.table           = &qdm2_table[qdm2_vlc_offs[0]];
225     vlc_tab_level.table_allocated = qdm2_vlc_offs[1] - qdm2_vlc_offs[0];
226     init_vlc(&vlc_tab_level, 8, 24,
227              vlc_tab_level_huffbits, 1, 1,
228              vlc_tab_level_huffcodes, 2, 2,
229              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
230
231     vlc_tab_diff.table           = &qdm2_table[qdm2_vlc_offs[1]];
232     vlc_tab_diff.table_allocated = qdm2_vlc_offs[2] - qdm2_vlc_offs[1];
233     init_vlc(&vlc_tab_diff, 8, 37,
234              vlc_tab_diff_huffbits, 1, 1,
235              vlc_tab_diff_huffcodes, 2, 2,
236              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
237
238     vlc_tab_run.table           = &qdm2_table[qdm2_vlc_offs[2]];
239     vlc_tab_run.table_allocated = qdm2_vlc_offs[3] - qdm2_vlc_offs[2];
240     init_vlc(&vlc_tab_run, 5, 6,
241              vlc_tab_run_huffbits, 1, 1,
242              vlc_tab_run_huffcodes, 1, 1,
243              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
244
245     fft_level_exp_alt_vlc.table           = &qdm2_table[qdm2_vlc_offs[3]];
246     fft_level_exp_alt_vlc.table_allocated = qdm2_vlc_offs[4] -
247                                             qdm2_vlc_offs[3];
248     init_vlc(&fft_level_exp_alt_vlc, 8, 28,
249              fft_level_exp_alt_huffbits, 1, 1,
250              fft_level_exp_alt_huffcodes, 2, 2,
251              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
252
253     fft_level_exp_vlc.table           = &qdm2_table[qdm2_vlc_offs[4]];
254     fft_level_exp_vlc.table_allocated = qdm2_vlc_offs[5] - qdm2_vlc_offs[4];
255     init_vlc(&fft_level_exp_vlc, 8, 20,
256              fft_level_exp_huffbits, 1, 1,
257              fft_level_exp_huffcodes, 2, 2,
258              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
259
260     fft_stereo_exp_vlc.table           = &qdm2_table[qdm2_vlc_offs[5]];
261     fft_stereo_exp_vlc.table_allocated = qdm2_vlc_offs[6] -
262                                          qdm2_vlc_offs[5];
263     init_vlc(&fft_stereo_exp_vlc, 6, 7,
264              fft_stereo_exp_huffbits, 1, 1,
265              fft_stereo_exp_huffcodes, 1, 1,
266              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
267
268     fft_stereo_phase_vlc.table           = &qdm2_table[qdm2_vlc_offs[6]];
269     fft_stereo_phase_vlc.table_allocated = qdm2_vlc_offs[7] -
270                                            qdm2_vlc_offs[6];
271     init_vlc(&fft_stereo_phase_vlc, 6, 9,
272              fft_stereo_phase_huffbits, 1, 1,
273              fft_stereo_phase_huffcodes, 1, 1,
274              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
275
276     vlc_tab_tone_level_idx_hi1.table =
277         &qdm2_table[qdm2_vlc_offs[7]];
278     vlc_tab_tone_level_idx_hi1.table_allocated = qdm2_vlc_offs[8] -
279                                                  qdm2_vlc_offs[7];
280     init_vlc(&vlc_tab_tone_level_idx_hi1, 8, 20,
281              vlc_tab_tone_level_idx_hi1_huffbits, 1, 1,
282              vlc_tab_tone_level_idx_hi1_huffcodes, 2, 2,
283              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
284
285     vlc_tab_tone_level_idx_mid.table =
286         &qdm2_table[qdm2_vlc_offs[8]];
287     vlc_tab_tone_level_idx_mid.table_allocated = qdm2_vlc_offs[9] -
288                                                  qdm2_vlc_offs[8];
289     init_vlc(&vlc_tab_tone_level_idx_mid, 8, 24,
290              vlc_tab_tone_level_idx_mid_huffbits, 1, 1,
291              vlc_tab_tone_level_idx_mid_huffcodes, 2, 2,
292              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
293
294     vlc_tab_tone_level_idx_hi2.table =
295         &qdm2_table[qdm2_vlc_offs[9]];
296     vlc_tab_tone_level_idx_hi2.table_allocated = qdm2_vlc_offs[10] -
297                                                  qdm2_vlc_offs[9];
298     init_vlc(&vlc_tab_tone_level_idx_hi2, 8, 24,
299              vlc_tab_tone_level_idx_hi2_huffbits, 1, 1,
300              vlc_tab_tone_level_idx_hi2_huffcodes, 2, 2,
301              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
302
303     vlc_tab_type30.table           = &qdm2_table[qdm2_vlc_offs[10]];
304     vlc_tab_type30.table_allocated = qdm2_vlc_offs[11] - qdm2_vlc_offs[10];
305     init_vlc(&vlc_tab_type30, 6, 9,
306              vlc_tab_type30_huffbits, 1, 1,
307              vlc_tab_type30_huffcodes, 1, 1,
308              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
309
310     vlc_tab_type34.table           = &qdm2_table[qdm2_vlc_offs[11]];
311     vlc_tab_type34.table_allocated = qdm2_vlc_offs[12] - qdm2_vlc_offs[11];
312     init_vlc(&vlc_tab_type34, 5, 10,
313              vlc_tab_type34_huffbits, 1, 1,
314              vlc_tab_type34_huffcodes, 1, 1,
315              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
316
317     vlc_tab_fft_tone_offset[0].table =
318         &qdm2_table[qdm2_vlc_offs[12]];
319     vlc_tab_fft_tone_offset[0].table_allocated = qdm2_vlc_offs[13] -
320                                                  qdm2_vlc_offs[12];
321     init_vlc(&vlc_tab_fft_tone_offset[0], 8, 23,
322              vlc_tab_fft_tone_offset_0_huffbits, 1, 1,
323              vlc_tab_fft_tone_offset_0_huffcodes, 2, 2,
324              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
325
326     vlc_tab_fft_tone_offset[1].table =
327         &qdm2_table[qdm2_vlc_offs[13]];
328     vlc_tab_fft_tone_offset[1].table_allocated = qdm2_vlc_offs[14] -
329                                                  qdm2_vlc_offs[13];
330     init_vlc(&vlc_tab_fft_tone_offset[1], 8, 28,
331              vlc_tab_fft_tone_offset_1_huffbits, 1, 1,
332              vlc_tab_fft_tone_offset_1_huffcodes, 2, 2,
333              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
334
335     vlc_tab_fft_tone_offset[2].table =
336         &qdm2_table[qdm2_vlc_offs[14]];
337     vlc_tab_fft_tone_offset[2].table_allocated = qdm2_vlc_offs[15] -
338                                                  qdm2_vlc_offs[14];
339     init_vlc(&vlc_tab_fft_tone_offset[2], 8, 32,
340              vlc_tab_fft_tone_offset_2_huffbits, 1, 1,
341              vlc_tab_fft_tone_offset_2_huffcodes, 2, 2,
342              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
343
344     vlc_tab_fft_tone_offset[3].table =
345         &qdm2_table[qdm2_vlc_offs[15]];
346     vlc_tab_fft_tone_offset[3].table_allocated = qdm2_vlc_offs[16] -
347                                                  qdm2_vlc_offs[15];
348     init_vlc(&vlc_tab_fft_tone_offset[3], 8, 35,
349              vlc_tab_fft_tone_offset_3_huffbits, 1, 1,
350              vlc_tab_fft_tone_offset_3_huffcodes, 2, 2,
351              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
352
353     vlc_tab_fft_tone_offset[4].table =
354         &qdm2_table[qdm2_vlc_offs[16]];
355     vlc_tab_fft_tone_offset[4].table_allocated = qdm2_vlc_offs[17] -
356                                                  qdm2_vlc_offs[16];
357     init_vlc(&vlc_tab_fft_tone_offset[4], 8, 38,
358              vlc_tab_fft_tone_offset_4_huffbits, 1, 1,
359              vlc_tab_fft_tone_offset_4_huffcodes, 2, 2,
360              INIT_VLC_USE_NEW_STATIC | INIT_VLC_LE);
361 }
362
363 static int qdm2_get_vlc(GetBitContext *gb, VLC *vlc, int flag, int depth)
364 {
365     int value;
366
367     value = get_vlc2(gb, vlc->table, vlc->bits, depth);
368
369     /* stage-2, 3 bits exponent escape sequence */
370     if (value-- == 0)
371         value = get_bits(gb, get_bits(gb, 3) + 1);
372
373     /* stage-3, optional */
374     if (flag) {
375         int tmp = vlc_stage3_values[value];
376
377         if ((value & ~3) > 0)
378             tmp += get_bits(gb, (value >> 2));
379         value = tmp;
380     }
381
382     return value;
383 }
384
385 static int qdm2_get_se_vlc(VLC *vlc, GetBitContext *gb, int depth)
386 {
387     int value = qdm2_get_vlc(gb, vlc, 0, depth);
388
389     return (value & 1) ? ((value + 1) >> 1) : -(value >> 1);
390 }
391
392 /**
393  * QDM2 checksum
394  *
395  * @param data      pointer to data to be checksum'ed
396  * @param length    data length
397  * @param value     checksum value
398  *
399  * @return          0 if checksum is OK
400  */
401 static uint16_t qdm2_packet_checksum(const uint8_t *data, int length, int value)
402 {
403     int i;
404
405     for (i = 0; i < length; i++)
406         value -= data[i];
407
408     return (uint16_t)(value & 0xffff);
409 }
410
411 /**
412  * Fill a QDM2SubPacket structure with packet type, size, and data pointer.
413  *
414  * @param gb            bitreader context
415  * @param sub_packet    packet under analysis
416  */
417 static void qdm2_decode_sub_packet_header(GetBitContext *gb,
418                                           QDM2SubPacket *sub_packet)
419 {
420     sub_packet->type = get_bits(gb, 8);
421
422     if (sub_packet->type == 0) {
423         sub_packet->size = 0;
424         sub_packet->data = NULL;
425     } else {
426         sub_packet->size = get_bits(gb, 8);
427
428         if (sub_packet->type & 0x80) {
429             sub_packet->size <<= 8;
430             sub_packet->size  |= get_bits(gb, 8);
431             sub_packet->type  &= 0x7f;
432         }
433
434         if (sub_packet->type == 0x7f)
435             sub_packet->type |= (get_bits(gb, 8) << 8);
436
437         // FIXME: this depends on bitreader-internal data
438         sub_packet->data = &gb->buffer[get_bits_count(gb) / 8];
439     }
440
441     av_log(NULL, AV_LOG_DEBUG, "Subpacket: type=%d size=%d start_offs=%x\n",
442            sub_packet->type, sub_packet->size, get_bits_count(gb) / 8);
443 }
444
445 /**
446  * Return node pointer to first packet of requested type in list.
447  *
448  * @param list    list of subpackets to be scanned
449  * @param type    type of searched subpacket
450  * @return        node pointer for subpacket if found, else NULL
451  */
452 static QDM2SubPNode *qdm2_search_subpacket_type_in_list(QDM2SubPNode *list,
453                                                         int type)
454 {
455     while (list && list->packet) {
456         if (list->packet->type == type)
457             return list;
458         list = list->next;
459     }
460     return NULL;
461 }
462
463 /**
464  * Replace 8 elements with their average value.
465  * Called by qdm2_decode_superblock before starting subblock decoding.
466  *
467  * @param q       context
468  */
469 static void average_quantized_coeffs(QDM2Context *q)
470 {
471     int i, j, n, ch, sum;
472
473     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1;
474
475     for (ch = 0; ch < q->nb_channels; ch++)
476         for (i = 0; i < n; i++) {
477             sum = 0;
478
479             for (j = 0; j < 8; j++)
480                 sum += q->quantized_coeffs[ch][i][j];
481
482             sum /= 8;
483             if (sum > 0)
484                 sum--;
485
486             for (j = 0; j < 8; j++)
487                 q->quantized_coeffs[ch][i][j] = sum;
488         }
489 }
490
491 /**
492  * Build subband samples with noise weighted by q->tone_level.
493  * Called by synthfilt_build_sb_samples.
494  *
495  * @param q     context
496  * @param sb    subband index
497  */
498 static void build_sb_samples_from_noise(QDM2Context *q, int sb)
499 {
500     int ch, j;
501
502     FIX_NOISE_IDX(q->noise_idx);
503
504     if (!q->nb_channels)
505         return;
506
507     for (ch = 0; ch < q->nb_channels; ch++) {
508         for (j = 0; j < 64; j++) {
509             q->sb_samples[ch][j * 2][sb] =
510                 SB_DITHERING_NOISE(sb, q->noise_idx) * q->tone_level[ch][sb][j];
511             q->sb_samples[ch][j * 2 + 1][sb] =
512                 SB_DITHERING_NOISE(sb, q->noise_idx) * q->tone_level[ch][sb][j];
513         }
514     }
515 }
516
517 /**
518  * Called while processing data from subpackets 11 and 12.
519  * Used after making changes to coding_method array.
520  *
521  * @param sb               subband index
522  * @param channels         number of channels
523  * @param coding_method    q->coding_method[0][0][0]
524  */
525 static int fix_coding_method_array(int sb, int channels,
526                                    sb_int8_array coding_method)
527 {
528     int j, k;
529     int ch;
530     int run, case_val;
531
532     for (ch = 0; ch < channels; ch++) {
533         for (j = 0; j < 64; ) {
534             if (coding_method[ch][sb][j] < 8)
535                 return -1;
536             if ((coding_method[ch][sb][j] - 8) > 22) {
537                 run      = 1;
538                 case_val = 8;
539             } else {
540                 switch (switchtable[coding_method[ch][sb][j] - 8]) {
541                 case 0: run  = 10;
542                     case_val = 10;
543                     break;
544                 case 1: run  = 1;
545                     case_val = 16;
546                     break;
547                 case 2: run  = 5;
548                     case_val = 24;
549                     break;
550                 case 3: run  = 3;
551                     case_val = 30;
552                     break;
553                 case 4: run  = 1;
554                     case_val = 30;
555                     break;
556                 case 5: run  = 1;
557                     case_val = 8;
558                     break;
559                 default: run = 1;
560                     case_val = 8;
561                     break;
562                 }
563             }
564             for (k = 0; k < run; k++) {
565                 if (j + k < 128) {
566                     if (coding_method[ch][sb + (j + k) / 64][(j + k) % 64] > coding_method[ch][sb][j]) {
567                         if (k > 0) {
568                             SAMPLES_NEEDED
569                             //not debugged, almost never used
570                             memset(&coding_method[ch][sb][j + k], case_val,
571                                    k *sizeof(int8_t));
572                             memset(&coding_method[ch][sb][j + k], case_val,
573                                    3 * sizeof(int8_t));
574                         }
575                     }
576                 }
577             }
578             j += run;
579         }
580     }
581     return 0;
582 }
583
584 /**
585  * Related to synthesis filter
586  * Called by process_subpacket_10
587  *
588  * @param q       context
589  * @param flag    1 if called after getting data from subpacket 10, 0 if no subpacket 10
590  */
591 static void fill_tone_level_array(QDM2Context *q, int flag)
592 {
593     int i, sb, ch, sb_used;
594     int tmp, tab;
595
596     for (ch = 0; ch < q->nb_channels; ch++)
597         for (sb = 0; sb < 30; sb++)
598             for (i = 0; i < 8; i++) {
599                 if ((tab=coeff_per_sb_for_dequant[q->coeff_per_sb_select][sb]) < (last_coeff[q->coeff_per_sb_select] - 1))
600                     tmp = q->quantized_coeffs[ch][tab + 1][i] * dequant_table[q->coeff_per_sb_select][tab + 1][sb]+
601                           q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
602                 else
603                     tmp = q->quantized_coeffs[ch][tab][i] * dequant_table[q->coeff_per_sb_select][tab][sb];
604                 if(tmp < 0)
605                     tmp += 0xff;
606                 q->tone_level_idx_base[ch][sb][i] = (tmp / 256) & 0xff;
607             }
608
609     sb_used = QDM2_SB_USED(q->sub_sampling);
610
611     if ((q->superblocktype_2_3 != 0) && !flag) {
612         for (sb = 0; sb < sb_used; sb++)
613             for (ch = 0; ch < q->nb_channels; ch++)
614                 for (i = 0; i < 64; i++) {
615                     q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
616                     if (q->tone_level_idx[ch][sb][i] < 0)
617                         q->tone_level[ch][sb][i] = 0;
618                     else
619                         q->tone_level[ch][sb][i] = fft_tone_level_table[0][q->tone_level_idx[ch][sb][i] & 0x3f];
620                 }
621     } else {
622         tab = q->superblocktype_2_3 ? 0 : 1;
623         for (sb = 0; sb < sb_used; sb++) {
624             if ((sb >= 4) && (sb <= 23)) {
625                 for (ch = 0; ch < q->nb_channels; ch++)
626                     for (i = 0; i < 64; i++) {
627                         tmp = q->tone_level_idx_base[ch][sb][i / 8] -
628                               q->tone_level_idx_hi1[ch][sb / 8][i / 8][i % 8] -
629                               q->tone_level_idx_mid[ch][sb - 4][i / 8] -
630                               q->tone_level_idx_hi2[ch][sb - 4];
631                         q->tone_level_idx[ch][sb][i] = tmp & 0xff;
632                         if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
633                             q->tone_level[ch][sb][i] = 0;
634                         else
635                             q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
636                 }
637             } else {
638                 if (sb > 4) {
639                     for (ch = 0; ch < q->nb_channels; ch++)
640                         for (i = 0; i < 64; i++) {
641                             tmp = q->tone_level_idx_base[ch][sb][i / 8] -
642                                   q->tone_level_idx_hi1[ch][2][i / 8][i % 8] -
643                                   q->tone_level_idx_hi2[ch][sb - 4];
644                             q->tone_level_idx[ch][sb][i] = tmp & 0xff;
645                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
646                                 q->tone_level[ch][sb][i] = 0;
647                             else
648                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
649                     }
650                 } else {
651                     for (ch = 0; ch < q->nb_channels; ch++)
652                         for (i = 0; i < 64; i++) {
653                             tmp = q->tone_level_idx[ch][sb][i] = q->tone_level_idx_base[ch][sb][i / 8];
654                             if ((tmp < 0) || (!q->superblocktype_2_3 && !tmp))
655                                 q->tone_level[ch][sb][i] = 0;
656                             else
657                                 q->tone_level[ch][sb][i] = fft_tone_level_table[tab][tmp & 0x3f];
658                         }
659                 }
660             }
661         }
662     }
663 }
664
665 /**
666  * Related to synthesis filter
667  * Called by process_subpacket_11
668  * c is built with data from subpacket 11
669  * Most of this function is used only if superblock_type_2_3 == 0,
670  * never seen it in samples.
671  *
672  * @param tone_level_idx
673  * @param tone_level_idx_temp
674  * @param coding_method        q->coding_method[0][0][0]
675  * @param nb_channels          number of channels
676  * @param c                    coming from subpacket 11, passed as 8*c
677  * @param superblocktype_2_3   flag based on superblock packet type
678  * @param cm_table_select      q->cm_table_select
679  */
680 static void fill_coding_method_array(sb_int8_array tone_level_idx,
681                                      sb_int8_array tone_level_idx_temp,
682                                      sb_int8_array coding_method,
683                                      int nb_channels,
684                                      int c, int superblocktype_2_3,
685                                      int cm_table_select)
686 {
687     int ch, sb, j;
688     int tmp, acc, esp_40, comp;
689     int add1, add2, add3, add4;
690     int64_t multres;
691
692     if (!superblocktype_2_3) {
693         /* This case is untested, no samples available */
694         SAMPLES_NEEDED
695         for (ch = 0; ch < nb_channels; ch++)
696             for (sb = 0; sb < 30; sb++) {
697                 for (j = 1; j < 63; j++) {  // The loop only iterates to 63 so the code doesn't overflow the buffer
698                     add1 = tone_level_idx[ch][sb][j] - 10;
699                     if (add1 < 0)
700                         add1 = 0;
701                     add2 = add3 = add4 = 0;
702                     if (sb > 1) {
703                         add2 = tone_level_idx[ch][sb - 2][j] + tone_level_idx_offset_table[sb][0] - 6;
704                         if (add2 < 0)
705                             add2 = 0;
706                     }
707                     if (sb > 0) {
708                         add3 = tone_level_idx[ch][sb - 1][j] + tone_level_idx_offset_table[sb][1] - 6;
709                         if (add3 < 0)
710                             add3 = 0;
711                     }
712                     if (sb < 29) {
713                         add4 = tone_level_idx[ch][sb + 1][j] + tone_level_idx_offset_table[sb][3] - 6;
714                         if (add4 < 0)
715                             add4 = 0;
716                     }
717                     tmp = tone_level_idx[ch][sb][j + 1] * 2 - add4 - add3 - add2 - add1;
718                     if (tmp < 0)
719                         tmp = 0;
720                     tone_level_idx_temp[ch][sb][j + 1] = tmp & 0xff;
721                 }
722                 tone_level_idx_temp[ch][sb][0] = tone_level_idx_temp[ch][sb][1];
723             }
724             acc = 0;
725             for (ch = 0; ch < nb_channels; ch++)
726                 for (sb = 0; sb < 30; sb++)
727                     for (j = 0; j < 64; j++)
728                         acc += tone_level_idx_temp[ch][sb][j];
729
730             multres = 0x66666667LL * (acc * 10);
731             esp_40 = (multres >> 32) / 8 + ((multres & 0xffffffff) >> 31);
732             for (ch = 0;  ch < nb_channels; ch++)
733                 for (sb = 0; sb < 30; sb++)
734                     for (j = 0; j < 64; j++) {
735                         comp = tone_level_idx_temp[ch][sb][j]* esp_40 * 10;
736                         if (comp < 0)
737                             comp += 0xff;
738                         comp /= 256; // signed shift
739                         switch(sb) {
740                             case 0:
741                                 if (comp < 30)
742                                     comp = 30;
743                                 comp += 15;
744                                 break;
745                             case 1:
746                                 if (comp < 24)
747                                     comp = 24;
748                                 comp += 10;
749                                 break;
750                             case 2:
751                             case 3:
752                             case 4:
753                                 if (comp < 16)
754                                     comp = 16;
755                         }
756                         if (comp <= 5)
757                             tmp = 0;
758                         else if (comp <= 10)
759                             tmp = 10;
760                         else if (comp <= 16)
761                             tmp = 16;
762                         else if (comp <= 24)
763                             tmp = -1;
764                         else
765                             tmp = 0;
766                         coding_method[ch][sb][j] = ((tmp & 0xfffa) + 30 )& 0xff;
767                     }
768             for (sb = 0; sb < 30; sb++)
769                 fix_coding_method_array(sb, nb_channels, coding_method);
770             for (ch = 0; ch < nb_channels; ch++)
771                 for (sb = 0; sb < 30; sb++)
772                     for (j = 0; j < 64; j++)
773                         if (sb >= 10) {
774                             if (coding_method[ch][sb][j] < 10)
775                                 coding_method[ch][sb][j] = 10;
776                         } else {
777                             if (sb >= 2) {
778                                 if (coding_method[ch][sb][j] < 16)
779                                     coding_method[ch][sb][j] = 16;
780                             } else {
781                                 if (coding_method[ch][sb][j] < 30)
782                                     coding_method[ch][sb][j] = 30;
783                             }
784                         }
785     } else { // superblocktype_2_3 != 0
786         for (ch = 0; ch < nb_channels; ch++)
787             for (sb = 0; sb < 30; sb++)
788                 for (j = 0; j < 64; j++)
789                     coding_method[ch][sb][j] = coding_method_table[cm_table_select][sb];
790     }
791 }
792
793 /**
794  * Called by process_subpacket_11 to process more data from subpacket 11
795  * with sb 0-8.
796  * Called by process_subpacket_12 to process data from subpacket 12 with
797  * sb 8-sb_used.
798  *
799  * @param q         context
800  * @param gb        bitreader context
801  * @param length    packet length in bits
802  * @param sb_min    lower subband processed (sb_min included)
803  * @param sb_max    higher subband processed (sb_max excluded)
804  */
805 static void synthfilt_build_sb_samples(QDM2Context *q, GetBitContext *gb,
806                                        int length, int sb_min, int sb_max)
807 {
808     int sb, j, k, n, ch, run, channels;
809     int joined_stereo, zero_encoding;
810     int type34_first;
811     float type34_div = 0;
812     float type34_predictor;
813     float samples[10], sign_bits[16];
814
815     if (length == 0) {
816         // If no data use noise
817         for (sb=sb_min; sb < sb_max; sb++)
818             build_sb_samples_from_noise(q, sb);
819
820         return;
821     }
822
823     for (sb = sb_min; sb < sb_max; sb++) {
824         channels = q->nb_channels;
825
826         if (q->nb_channels <= 1 || sb < 12)
827             joined_stereo = 0;
828         else if (sb >= 24)
829             joined_stereo = 1;
830         else
831             joined_stereo = (get_bits_left(gb) >= 1) ? get_bits1(gb) : 0;
832
833         if (joined_stereo) {
834             if (get_bits_left(gb) >= 16)
835                 for (j = 0; j < 16; j++)
836                     sign_bits[j] = get_bits1(gb);
837
838             for (j = 0; j < 64; j++)
839                 if (q->coding_method[1][sb][j] > q->coding_method[0][sb][j])
840                     q->coding_method[0][sb][j] = q->coding_method[1][sb][j];
841
842             if (fix_coding_method_array(sb, q->nb_channels,
843                                             q->coding_method)) {
844                 build_sb_samples_from_noise(q, sb);
845                 continue;
846             }
847             channels = 1;
848         }
849
850         for (ch = 0; ch < channels; ch++) {
851             FIX_NOISE_IDX(q->noise_idx);
852             zero_encoding = (get_bits_left(gb) >= 1) ? get_bits1(gb) : 0;
853             type34_predictor = 0.0;
854             type34_first = 1;
855
856             for (j = 0; j < 128; ) {
857                 switch (q->coding_method[ch][sb][j / 2]) {
858                     case 8:
859                         if (get_bits_left(gb) >= 10) {
860                             if (zero_encoding) {
861                                 for (k = 0; k < 5; k++) {
862                                     if ((j + 2 * k) >= 128)
863                                         break;
864                                     samples[2 * k] = get_bits1(gb) ? dequant_1bit[joined_stereo][2 * get_bits1(gb)] : 0;
865                                 }
866                             } else {
867                                 n = get_bits(gb, 8);
868                                 for (k = 0; k < 5; k++)
869                                     samples[2 * k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
870                             }
871                             for (k = 0; k < 5; k++)
872                                 samples[2 * k + 1] = SB_DITHERING_NOISE(sb,q->noise_idx);
873                         } else {
874                             for (k = 0; k < 10; k++)
875                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
876                         }
877                         run = 10;
878                         break;
879
880                     case 10:
881                         if (get_bits_left(gb) >= 1) {
882                             float f = 0.81;
883
884                             if (get_bits1(gb))
885                                 f = -f;
886                             f -= noise_samples[((sb + 1) * (j +5 * ch + 1)) & 127] * 9.0 / 40.0;
887                             samples[0] = f;
888                         } else {
889                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
890                         }
891                         run = 1;
892                         break;
893
894                     case 16:
895                         if (get_bits_left(gb) >= 10) {
896                             if (zero_encoding) {
897                                 for (k = 0; k < 5; k++) {
898                                     if ((j + k) >= 128)
899                                         break;
900                                     samples[k] = (get_bits1(gb) == 0) ? 0 : dequant_1bit[joined_stereo][2 * get_bits1(gb)];
901                                 }
902                             } else {
903                                 n = get_bits (gb, 8);
904                                 for (k = 0; k < 5; k++)
905                                     samples[k] = dequant_1bit[joined_stereo][random_dequant_index[n][k]];
906                             }
907                         } else {
908                             for (k = 0; k < 5; k++)
909                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
910                         }
911                         run = 5;
912                         break;
913
914                     case 24:
915                         if (get_bits_left(gb) >= 7) {
916                             n = get_bits(gb, 7);
917                             for (k = 0; k < 3; k++)
918                                 samples[k] = (random_dequant_type24[n][k] - 2.0) * 0.5;
919                         } else {
920                             for (k = 0; k < 3; k++)
921                                 samples[k] = SB_DITHERING_NOISE(sb,q->noise_idx);
922                         }
923                         run = 3;
924                         break;
925
926                     case 30:
927                         if (get_bits_left(gb) >= 4) {
928                             unsigned index = qdm2_get_vlc(gb, &vlc_tab_type30, 0, 1);
929                             if (index < FF_ARRAY_ELEMS(type30_dequant)) {
930                                 samples[0] = type30_dequant[index];
931                             } else
932                                 samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
933                         } else
934                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
935
936                         run = 1;
937                         break;
938
939                     case 34:
940                         if (get_bits_left(gb) >= 7) {
941                             if (type34_first) {
942                                 type34_div = (float)(1 << get_bits(gb, 2));
943                                 samples[0] = ((float)get_bits(gb, 5) - 16.0) / 15.0;
944                                 type34_predictor = samples[0];
945                                 type34_first = 0;
946                             } else {
947                                 unsigned index = qdm2_get_vlc(gb, &vlc_tab_type34, 0, 1);
948                                 if (index < FF_ARRAY_ELEMS(type34_delta)) {
949                                     samples[0] = type34_delta[index] / type34_div + type34_predictor;
950                                     type34_predictor = samples[0];
951                                 } else
952                                     samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
953                             }
954                         } else {
955                             samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
956                         }
957                         run = 1;
958                         break;
959
960                     default:
961                         samples[0] = SB_DITHERING_NOISE(sb,q->noise_idx);
962                         run = 1;
963                         break;
964                 }
965
966                 if (joined_stereo) {
967                     for (k = 0; k < run && j + k < 128; k++) {
968                         q->sb_samples[0][j + k][sb] =
969                             q->tone_level[0][sb][(j + k) / 2] * samples[k];
970                         if (q->nb_channels == 2) {
971                             if (sign_bits[(j + k) / 8])
972                                 q->sb_samples[1][j + k][sb] =
973                                     q->tone_level[1][sb][(j + k) / 2] * -samples[k];
974                             else
975                                 q->sb_samples[1][j + k][sb] =
976                                     q->tone_level[1][sb][(j + k) / 2] * samples[k];
977                         }
978                     }
979                 } else {
980                     for (k = 0; k < run; k++)
981                         if ((j + k) < 128)
982                             q->sb_samples[ch][j + k][sb] = q->tone_level[ch][sb][(j + k)/2] * samples[k];
983                 }
984
985                 j += run;
986             } // j loop
987         } // channel loop
988     } // subband loop
989 }
990
991 /**
992  * Init the first element of a channel in quantized_coeffs with data
993  * from packet 10 (quantized_coeffs[ch][0]).
994  * This is similar to process_subpacket_9, but for a single channel
995  * and for element [0]
996  * same VLC tables as process_subpacket_9 are used.
997  *
998  * @param quantized_coeffs    pointer to quantized_coeffs[ch][0]
999  * @param gb        bitreader context
1000  */
1001 static void init_quantized_coeffs_elem0(int8_t *quantized_coeffs,
1002                                         GetBitContext *gb)
1003 {
1004     int i, k, run, level, diff;
1005
1006     if (get_bits_left(gb) < 16)
1007         return;
1008     level = qdm2_get_vlc(gb, &vlc_tab_level, 0, 2);
1009
1010     quantized_coeffs[0] = level;
1011
1012     for (i = 0; i < 7; ) {
1013         if (get_bits_left(gb) < 16)
1014             break;
1015         run = qdm2_get_vlc(gb, &vlc_tab_run, 0, 1) + 1;
1016
1017         if (get_bits_left(gb) < 16)
1018             break;
1019         diff = qdm2_get_se_vlc(&vlc_tab_diff, gb, 2);
1020
1021         for (k = 1; k <= run; k++)
1022             quantized_coeffs[i + k] = (level + ((k * diff) / run));
1023
1024         level += diff;
1025         i += run;
1026     }
1027 }
1028
1029 /**
1030  * Related to synthesis filter, process data from packet 10
1031  * Init part of quantized_coeffs via function init_quantized_coeffs_elem0
1032  * Init tone_level_idx_hi1, tone_level_idx_hi2, tone_level_idx_mid with
1033  * data from packet 10
1034  *
1035  * @param q         context
1036  * @param gb        bitreader context
1037  */
1038 static void init_tone_level_dequantization(QDM2Context *q, GetBitContext *gb)
1039 {
1040     int sb, j, k, n, ch;
1041
1042     for (ch = 0; ch < q->nb_channels; ch++) {
1043         init_quantized_coeffs_elem0(q->quantized_coeffs[ch][0], gb);
1044
1045         if (get_bits_left(gb) < 16) {
1046             memset(q->quantized_coeffs[ch][0], 0, 8);
1047             break;
1048         }
1049     }
1050
1051     n = q->sub_sampling + 1;
1052
1053     for (sb = 0; sb < n; sb++)
1054         for (ch = 0; ch < q->nb_channels; ch++)
1055             for (j = 0; j < 8; j++) {
1056                 if (get_bits_left(gb) < 1)
1057                     break;
1058                 if (get_bits1(gb)) {
1059                     for (k=0; k < 8; k++) {
1060                         if (get_bits_left(gb) < 16)
1061                             break;
1062                         q->tone_level_idx_hi1[ch][sb][j][k] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi1, 0, 2);
1063                     }
1064                 } else {
1065                     for (k=0; k < 8; k++)
1066                         q->tone_level_idx_hi1[ch][sb][j][k] = 0;
1067                 }
1068             }
1069
1070     n = QDM2_SB_USED(q->sub_sampling) - 4;
1071
1072     for (sb = 0; sb < n; sb++)
1073         for (ch = 0; ch < q->nb_channels; ch++) {
1074             if (get_bits_left(gb) < 16)
1075                 break;
1076             q->tone_level_idx_hi2[ch][sb] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_hi2, 0, 2);
1077             if (sb > 19)
1078                 q->tone_level_idx_hi2[ch][sb] -= 16;
1079             else
1080                 for (j = 0; j < 8; j++)
1081                     q->tone_level_idx_mid[ch][sb][j] = -16;
1082         }
1083
1084     n = QDM2_SB_USED(q->sub_sampling) - 5;
1085
1086     for (sb = 0; sb < n; sb++)
1087         for (ch = 0; ch < q->nb_channels; ch++)
1088             for (j = 0; j < 8; j++) {
1089                 if (get_bits_left(gb) < 16)
1090                     break;
1091                 q->tone_level_idx_mid[ch][sb][j] = qdm2_get_vlc(gb, &vlc_tab_tone_level_idx_mid, 0, 2) - 32;
1092             }
1093 }
1094
1095 /**
1096  * Process subpacket 9, init quantized_coeffs with data from it
1097  *
1098  * @param q       context
1099  * @param node    pointer to node with packet
1100  */
1101 static void process_subpacket_9(QDM2Context *q, QDM2SubPNode *node)
1102 {
1103     GetBitContext gb;
1104     int i, j, k, n, ch, run, level, diff;
1105
1106     init_get_bits(&gb, node->packet->data, node->packet->size * 8);
1107
1108     n = coeff_per_sb_for_avg[q->coeff_per_sb_select][QDM2_SB_USED(q->sub_sampling) - 1] + 1;
1109
1110     for (i = 1; i < n; i++)
1111         for (ch = 0; ch < q->nb_channels; ch++) {
1112             level = qdm2_get_vlc(&gb, &vlc_tab_level, 0, 2);
1113             q->quantized_coeffs[ch][i][0] = level;
1114
1115             for (j = 0; j < (8 - 1); ) {
1116                 run  = qdm2_get_vlc(&gb, &vlc_tab_run, 0, 1) + 1;
1117                 diff = qdm2_get_se_vlc(&vlc_tab_diff, &gb, 2);
1118
1119                 for (k = 1; k <= run; k++)
1120                     q->quantized_coeffs[ch][i][j + k] = (level + ((k * diff) / run));
1121
1122                 level += diff;
1123                 j     += run;
1124             }
1125         }
1126
1127     for (ch = 0; ch < q->nb_channels; ch++)
1128         for (i = 0; i < 8; i++)
1129             q->quantized_coeffs[ch][0][i] = 0;
1130 }
1131
1132 /**
1133  * Process subpacket 10 if not null, else
1134  *
1135  * @param q         context
1136  * @param node      pointer to node with packet
1137  */
1138 static void process_subpacket_10(QDM2Context *q, QDM2SubPNode *node)
1139 {
1140     GetBitContext gb;
1141
1142     if (node) {
1143         init_get_bits(&gb, node->packet->data, node->packet->size * 8);
1144         init_tone_level_dequantization(q, &gb);
1145         fill_tone_level_array(q, 1);
1146     } else {
1147         fill_tone_level_array(q, 0);
1148     }
1149 }
1150
1151 /**
1152  * Process subpacket 11
1153  *
1154  * @param q         context
1155  * @param node      pointer to node with packet
1156  */
1157 static void process_subpacket_11(QDM2Context *q, QDM2SubPNode *node)
1158 {
1159     GetBitContext gb;
1160     int length = 0;
1161
1162     if (node) {
1163         length = node->packet->size * 8;
1164         init_get_bits(&gb, node->packet->data, length);
1165     }
1166
1167     if (length >= 32) {
1168         int c = get_bits(&gb, 13);
1169
1170         if (c > 3)
1171             fill_coding_method_array(q->tone_level_idx,
1172                                      q->tone_level_idx_temp, q->coding_method,
1173                                      q->nb_channels, 8 * c,
1174                                      q->superblocktype_2_3, q->cm_table_select);
1175     }
1176
1177     synthfilt_build_sb_samples(q, &gb, length, 0, 8);
1178 }
1179
1180 /**
1181  * Process subpacket 12
1182  *
1183  * @param q         context
1184  * @param node      pointer to node with packet
1185  */
1186 static void process_subpacket_12(QDM2Context *q, QDM2SubPNode *node)
1187 {
1188     GetBitContext gb;
1189     int length = 0;
1190
1191     if (node) {
1192         length = node->packet->size * 8;
1193         init_get_bits(&gb, node->packet->data, length);
1194     }
1195
1196     synthfilt_build_sb_samples(q, &gb, length, 8, QDM2_SB_USED(q->sub_sampling));
1197 }
1198
1199 /*
1200  * Process new subpackets for synthesis filter
1201  *
1202  * @param q       context
1203  * @param list    list with synthesis filter packets (list D)
1204  */
1205 static void process_synthesis_subpackets(QDM2Context *q, QDM2SubPNode *list)
1206 {
1207     QDM2SubPNode *nodes[4];
1208
1209     nodes[0] = qdm2_search_subpacket_type_in_list(list, 9);
1210     if (nodes[0])
1211         process_subpacket_9(q, nodes[0]);
1212
1213     nodes[1] = qdm2_search_subpacket_type_in_list(list, 10);
1214     if (nodes[1])
1215         process_subpacket_10(q, nodes[1]);
1216     else
1217         process_subpacket_10(q, NULL);
1218
1219     nodes[2] = qdm2_search_subpacket_type_in_list(list, 11);
1220     if (nodes[0] && nodes[1] && nodes[2])
1221         process_subpacket_11(q, nodes[2]);
1222     else
1223         process_subpacket_11(q, NULL);
1224
1225     nodes[3] = qdm2_search_subpacket_type_in_list(list, 12);
1226     if (nodes[0] && nodes[1] && nodes[3])
1227         process_subpacket_12(q, nodes[3]);
1228     else
1229         process_subpacket_12(q, NULL);
1230 }
1231
1232 /*
1233  * Decode superblock, fill packet lists.
1234  *
1235  * @param q    context
1236  */
1237 static void qdm2_decode_super_block(QDM2Context *q)
1238 {
1239     GetBitContext gb;
1240     QDM2SubPacket header, *packet;
1241     int i, packet_bytes, sub_packet_size, sub_packets_D;
1242     unsigned int next_index = 0;
1243
1244     memset(q->tone_level_idx_hi1, 0, sizeof(q->tone_level_idx_hi1));
1245     memset(q->tone_level_idx_mid, 0, sizeof(q->tone_level_idx_mid));
1246     memset(q->tone_level_idx_hi2, 0, sizeof(q->tone_level_idx_hi2));
1247
1248     q->sub_packets_B = 0;
1249     sub_packets_D    = 0;
1250
1251     average_quantized_coeffs(q); // average elements in quantized_coeffs[max_ch][10][8]
1252
1253     init_get_bits(&gb, q->compressed_data, q->compressed_size * 8);
1254     qdm2_decode_sub_packet_header(&gb, &header);
1255
1256     if (header.type < 2 || header.type >= 8) {
1257         q->has_errors = 1;
1258         av_log(NULL, AV_LOG_ERROR, "bad superblock type\n");
1259         return;
1260     }
1261
1262     q->superblocktype_2_3 = (header.type == 2 || header.type == 3);
1263     packet_bytes          = (q->compressed_size - get_bits_count(&gb) / 8);
1264
1265     init_get_bits(&gb, header.data, header.size * 8);
1266
1267     if (header.type == 2 || header.type == 4 || header.type == 5) {
1268         int csum = 257 * get_bits(&gb, 8);
1269         csum += 2 * get_bits(&gb, 8);
1270
1271         csum = qdm2_packet_checksum(q->compressed_data, q->checksum_size, csum);
1272
1273         if (csum != 0) {
1274             q->has_errors = 1;
1275             av_log(NULL, AV_LOG_ERROR, "bad packet checksum\n");
1276             return;
1277         }
1278     }
1279
1280     q->sub_packet_list_B[0].packet = NULL;
1281     q->sub_packet_list_D[0].packet = NULL;
1282
1283     for (i = 0; i < 6; i++)
1284         if (--q->fft_level_exp[i] < 0)
1285             q->fft_level_exp[i] = 0;
1286
1287     for (i = 0; packet_bytes > 0; i++) {
1288         int j;
1289
1290         if (i >= FF_ARRAY_ELEMS(q->sub_packet_list_A)) {
1291             SAMPLES_NEEDED_2("too many packet bytes");
1292             return;
1293         }
1294
1295         q->sub_packet_list_A[i].next = NULL;
1296
1297         if (i > 0) {
1298             q->sub_packet_list_A[i - 1].next = &q->sub_packet_list_A[i];
1299
1300             /* seek to next block */
1301             init_get_bits(&gb, header.data, header.size * 8);
1302             skip_bits(&gb, next_index * 8);
1303
1304             if (next_index >= header.size)
1305                 break;
1306         }
1307
1308         /* decode subpacket */
1309         packet = &q->sub_packets[i];
1310         qdm2_decode_sub_packet_header(&gb, packet);
1311         next_index      = packet->size + get_bits_count(&gb) / 8;
1312         sub_packet_size = ((packet->size > 0xff) ? 1 : 0) + packet->size + 2;
1313
1314         if (packet->type == 0)
1315             break;
1316
1317         if (sub_packet_size > packet_bytes) {
1318             if (packet->type != 10 && packet->type != 11 && packet->type != 12)
1319                 break;
1320             packet->size += packet_bytes - sub_packet_size;
1321         }
1322
1323         packet_bytes -= sub_packet_size;
1324
1325         /* add subpacket to 'all subpackets' list */
1326         q->sub_packet_list_A[i].packet = packet;
1327
1328         /* add subpacket to related list */
1329         if (packet->type == 8) {
1330             SAMPLES_NEEDED_2("packet type 8");
1331             return;
1332         } else if (packet->type >= 9 && packet->type <= 12) {
1333             /* packets for MPEG Audio like Synthesis Filter */
1334             QDM2_LIST_ADD(q->sub_packet_list_D, sub_packets_D, packet);
1335         } else if (packet->type == 13) {
1336             for (j = 0; j < 6; j++)
1337                 q->fft_level_exp[j] = get_bits(&gb, 6);
1338         } else if (packet->type == 14) {
1339             for (j = 0; j < 6; j++)
1340                 q->fft_level_exp[j] = qdm2_get_vlc(&gb, &fft_level_exp_vlc, 0, 2);
1341         } else if (packet->type == 15) {
1342             SAMPLES_NEEDED_2("packet type 15")
1343             return;
1344         } else if (packet->type >= 16 && packet->type < 48 &&
1345                    !fft_subpackets[packet->type - 16]) {
1346             /* packets for FFT */
1347             QDM2_LIST_ADD(q->sub_packet_list_B, q->sub_packets_B, packet);
1348         }
1349     } // Packet bytes loop
1350
1351     if (q->sub_packet_list_D[0].packet) {
1352         process_synthesis_subpackets(q, q->sub_packet_list_D);
1353         q->do_synth_filter = 1;
1354     } else if (q->do_synth_filter) {
1355         process_subpacket_10(q, NULL);
1356         process_subpacket_11(q, NULL);
1357         process_subpacket_12(q, NULL);
1358     }
1359 }
1360
1361 static void qdm2_fft_init_coefficient(QDM2Context *q, int sub_packet,
1362                                       int offset, int duration, int channel,
1363                                       int exp, int phase)
1364 {
1365     if (q->fft_coefs_min_index[duration] < 0)
1366         q->fft_coefs_min_index[duration] = q->fft_coefs_index;
1367
1368     q->fft_coefs[q->fft_coefs_index].sub_packet =
1369         ((sub_packet >= 16) ? (sub_packet - 16) : sub_packet);
1370     q->fft_coefs[q->fft_coefs_index].channel = channel;
1371     q->fft_coefs[q->fft_coefs_index].offset  = offset;
1372     q->fft_coefs[q->fft_coefs_index].exp     = exp;
1373     q->fft_coefs[q->fft_coefs_index].phase   = phase;
1374     q->fft_coefs_index++;
1375 }
1376
1377 static void qdm2_fft_decode_tones(QDM2Context *q, int duration,
1378                                   GetBitContext *gb, int b)
1379 {
1380     int channel, stereo, phase, exp;
1381     int local_int_4, local_int_8, stereo_phase, local_int_10;
1382     int local_int_14, stereo_exp, local_int_20, local_int_28;
1383     int n, offset;
1384
1385     local_int_4  = 0;
1386     local_int_28 = 0;
1387     local_int_20 = 2;
1388     local_int_8  = (4 - duration);
1389     local_int_10 = 1 << (q->group_order - duration - 1);
1390     offset       = 1;
1391
1392     while (1) {
1393         if (q->superblocktype_2_3) {
1394             while ((n = qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2)) < 2) {
1395                 offset = 1;
1396                 if (n == 0) {
1397                     local_int_4  += local_int_10;
1398                     local_int_28 += (1 << local_int_8);
1399                 } else {
1400                     local_int_4  += 8 * local_int_10;
1401                     local_int_28 += (8 << local_int_8);
1402                 }
1403             }
1404             offset += (n - 2);
1405         } else {
1406             offset += qdm2_get_vlc(gb, &vlc_tab_fft_tone_offset[local_int_8], 1, 2);
1407             while (offset >= (local_int_10 - 1)) {
1408                 offset       += (1 - (local_int_10 - 1));
1409                 local_int_4  += local_int_10;
1410                 local_int_28 += (1 << local_int_8);
1411             }
1412         }
1413
1414         if (local_int_4 >= q->group_size)
1415             return;
1416
1417         local_int_14 = (offset >> local_int_8);
1418         if (local_int_14 >= FF_ARRAY_ELEMS(fft_level_index_table))
1419             return;
1420
1421         if (q->nb_channels > 1) {
1422             channel = get_bits1(gb);
1423             stereo  = get_bits1(gb);
1424         } else {
1425             channel = 0;
1426             stereo  = 0;
1427         }
1428
1429         exp  = qdm2_get_vlc(gb, (b ? &fft_level_exp_vlc : &fft_level_exp_alt_vlc), 0, 2);
1430         exp += q->fft_level_exp[fft_level_index_table[local_int_14]];
1431         exp  = (exp < 0) ? 0 : exp;
1432
1433         phase        = get_bits(gb, 3);
1434         stereo_exp   = 0;
1435         stereo_phase = 0;
1436
1437         if (stereo) {
1438             stereo_exp   = (exp - qdm2_get_vlc(gb, &fft_stereo_exp_vlc, 0, 1));
1439             stereo_phase = (phase - qdm2_get_vlc(gb, &fft_stereo_phase_vlc, 0, 1));
1440             if (stereo_phase < 0)
1441                 stereo_phase += 8;
1442         }
1443
1444         if (q->frequency_range > (local_int_14 + 1)) {
1445             int sub_packet = (local_int_20 + local_int_28);
1446
1447             qdm2_fft_init_coefficient(q, sub_packet, offset, duration,
1448                                       channel, exp, phase);
1449             if (stereo)
1450                 qdm2_fft_init_coefficient(q, sub_packet, offset, duration,
1451                                           1 - channel,
1452                                           stereo_exp, stereo_phase);
1453         }
1454         offset++;
1455     }
1456 }
1457
1458 static void qdm2_decode_fft_packets(QDM2Context *q)
1459 {
1460     int i, j, min, max, value, type, unknown_flag;
1461     GetBitContext gb;
1462
1463     if (!q->sub_packet_list_B[0].packet)
1464         return;
1465
1466     /* reset minimum indexes for FFT coefficients */
1467     q->fft_coefs_index = 0;
1468     for (i = 0; i < 5; i++)
1469         q->fft_coefs_min_index[i] = -1;
1470
1471     /* process subpackets ordered by type, largest type first */
1472     for (i = 0, max = 256; i < q->sub_packets_B; i++) {
1473         QDM2SubPacket *packet = NULL;
1474
1475         /* find subpacket with largest type less than max */
1476         for (j = 0, min = 0; j < q->sub_packets_B; j++) {
1477             value = q->sub_packet_list_B[j].packet->type;
1478             if (value > min && value < max) {
1479                 min    = value;
1480                 packet = q->sub_packet_list_B[j].packet;
1481             }
1482         }
1483
1484         max = min;
1485
1486         /* check for errors (?) */
1487         if (!packet)
1488             return;
1489
1490         if (i == 0 &&
1491             (packet->type < 16 || packet->type >= 48 ||
1492              fft_subpackets[packet->type - 16]))
1493             return;
1494
1495         /* decode FFT tones */
1496         init_get_bits(&gb, packet->data, packet->size * 8);
1497
1498         if (packet->type >= 32 && packet->type < 48 && !fft_subpackets[packet->type - 16])
1499             unknown_flag = 1;
1500         else
1501             unknown_flag = 0;
1502
1503         type = packet->type;
1504
1505         if ((type >= 17 && type < 24) || (type >= 33 && type < 40)) {
1506             int duration = q->sub_sampling + 5 - (type & 15);
1507
1508             if (duration >= 0 && duration < 4)
1509                 qdm2_fft_decode_tones(q, duration, &gb, unknown_flag);
1510         } else if (type == 31) {
1511             for (j = 0; j < 4; j++)
1512                 qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1513         } else if (type == 46) {
1514             for (j = 0; j < 6; j++)
1515                 q->fft_level_exp[j] = get_bits(&gb, 6);
1516             for (j = 0; j < 4; j++)
1517                 qdm2_fft_decode_tones(q, j, &gb, unknown_flag);
1518         }
1519     } // Loop on B packets
1520
1521     /* calculate maximum indexes for FFT coefficients */
1522     for (i = 0, j = -1; i < 5; i++)
1523         if (q->fft_coefs_min_index[i] >= 0) {
1524             if (j >= 0)
1525                 q->fft_coefs_max_index[j] = q->fft_coefs_min_index[i];
1526             j = i;
1527         }
1528     if (j >= 0)
1529         q->fft_coefs_max_index[j] = q->fft_coefs_index;
1530 }
1531
1532 static void qdm2_fft_generate_tone(QDM2Context *q, FFTTone *tone)
1533 {
1534     float level, f[6];
1535     int i;
1536     QDM2Complex c;
1537     const double iscale = 2.0 * M_PI / 512.0;
1538
1539     tone->phase += tone->phase_shift;
1540
1541     /* calculate current level (maximum amplitude) of tone */
1542     level = fft_tone_envelope_table[tone->duration][tone->time_index] * tone->level;
1543     c.im  = level * sin(tone->phase * iscale);
1544     c.re  = level * cos(tone->phase * iscale);
1545
1546     /* generate FFT coefficients for tone */
1547     if (tone->duration >= 3 || tone->cutoff >= 3) {
1548         tone->complex[0].im += c.im;
1549         tone->complex[0].re += c.re;
1550         tone->complex[1].im -= c.im;
1551         tone->complex[1].re -= c.re;
1552     } else {
1553         f[1] = -tone->table[4];
1554         f[0] = tone->table[3] - tone->table[0];
1555         f[2] = 1.0 - tone->table[2] - tone->table[3];
1556         f[3] = tone->table[1] + tone->table[4] - 1.0;
1557         f[4] = tone->table[0] - tone->table[1];
1558         f[5] = tone->table[2];
1559         for (i = 0; i < 2; i++) {
1560             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].re +=
1561                 c.re * f[i];
1562             tone->complex[fft_cutoff_index_table[tone->cutoff][i]].im +=
1563                 c.im * ((tone->cutoff <= i) ? -f[i] : f[i]);
1564         }
1565         for (i = 0; i < 4; i++) {
1566             tone->complex[i].re += c.re * f[i + 2];
1567             tone->complex[i].im += c.im * f[i + 2];
1568         }
1569     }
1570
1571     /* copy the tone if it has not yet died out */
1572     if (++tone->time_index < ((1 << (5 - tone->duration)) - 1)) {
1573         memcpy(&q->fft_tones[q->fft_tone_end], tone, sizeof(FFTTone));
1574         q->fft_tone_end = (q->fft_tone_end + 1) % 1000;
1575     }
1576 }
1577
1578 static void qdm2_fft_tone_synthesizer(QDM2Context *q, int sub_packet)
1579 {
1580     int i, j, ch;
1581     const double iscale = 0.25 * M_PI;
1582
1583     for (ch = 0; ch < q->channels; ch++) {
1584         memset(q->fft.complex[ch], 0, q->fft_size * sizeof(QDM2Complex));
1585     }
1586
1587
1588     /* apply FFT tones with duration 4 (1 FFT period) */
1589     if (q->fft_coefs_min_index[4] >= 0)
1590         for (i = q->fft_coefs_min_index[4]; i < q->fft_coefs_max_index[4]; i++) {
1591             float level;
1592             QDM2Complex c;
1593
1594             if (q->fft_coefs[i].sub_packet != sub_packet)
1595                 break;
1596
1597             ch = (q->channels == 1) ? 0 : q->fft_coefs[i].channel;
1598             level = (q->fft_coefs[i].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[i].exp & 63];
1599
1600             c.re = level * cos(q->fft_coefs[i].phase * iscale);
1601             c.im = level * sin(q->fft_coefs[i].phase * iscale);
1602             q->fft.complex[ch][q->fft_coefs[i].offset + 0].re += c.re;
1603             q->fft.complex[ch][q->fft_coefs[i].offset + 0].im += c.im;
1604             q->fft.complex[ch][q->fft_coefs[i].offset + 1].re -= c.re;
1605             q->fft.complex[ch][q->fft_coefs[i].offset + 1].im -= c.im;
1606         }
1607
1608     /* generate existing FFT tones */
1609     for (i = q->fft_tone_end; i != q->fft_tone_start; ) {
1610         qdm2_fft_generate_tone(q, &q->fft_tones[q->fft_tone_start]);
1611         q->fft_tone_start = (q->fft_tone_start + 1) % 1000;
1612     }
1613
1614     /* create and generate new FFT tones with duration 0 (long) to 3 (short) */
1615     for (i = 0; i < 4; i++)
1616         if (q->fft_coefs_min_index[i] >= 0) {
1617             for (j = q->fft_coefs_min_index[i]; j < q->fft_coefs_max_index[i]; j++) {
1618                 int offset, four_i;
1619                 FFTTone tone;
1620
1621                 if (q->fft_coefs[j].sub_packet != sub_packet)
1622                     break;
1623
1624                 four_i = (4 - i);
1625                 offset = q->fft_coefs[j].offset >> four_i;
1626                 ch = (q->channels == 1) ? 0 : q->fft_coefs[j].channel;
1627
1628                 if (offset < q->frequency_range) {
1629                     if (offset < 2)
1630                         tone.cutoff = offset;
1631                     else
1632                         tone.cutoff = (offset >= 60) ? 3 : 2;
1633
1634                     tone.level = (q->fft_coefs[j].exp < 0) ? 0.0 : fft_tone_level_table[q->superblocktype_2_3 ? 0 : 1][q->fft_coefs[j].exp & 63];
1635                     tone.complex = &q->fft.complex[ch][offset];
1636                     tone.table = fft_tone_sample_table[i][q->fft_coefs[j].offset - (offset << four_i)];
1637                     tone.phase = 64 * q->fft_coefs[j].phase - (offset << 8) - 128;
1638                     tone.phase_shift = (2 * q->fft_coefs[j].offset + 1) << (7 - four_i);
1639                     tone.duration = i;
1640                     tone.time_index = 0;
1641
1642                     qdm2_fft_generate_tone(q, &tone);
1643                 }
1644             }
1645             q->fft_coefs_min_index[i] = j;
1646         }
1647 }
1648
1649 static void qdm2_calculate_fft(QDM2Context *q, int channel, int sub_packet)
1650 {
1651     const float gain = (q->channels == 1 && q->nb_channels == 2) ? 0.5f : 1.0f;
1652     float *out       = q->output_buffer + channel;
1653     int i;
1654     q->fft.complex[channel][0].re *= 2.0f;
1655     q->fft.complex[channel][0].im  = 0.0f;
1656     q->rdft_ctx.rdft_calc(&q->rdft_ctx, (FFTSample *)q->fft.complex[channel]);
1657     /* add samples to output buffer */
1658     for (i = 0; i < FFALIGN(q->fft_size, 8); i++) {
1659         out[0]           += q->fft.complex[channel][i].re * gain;
1660         out[q->channels] += q->fft.complex[channel][i].im * gain;
1661         out              += 2 * q->channels;
1662     }
1663 }
1664
1665 /**
1666  * @param q        context
1667  * @param index    subpacket number
1668  */
1669 static void qdm2_synthesis_filter(QDM2Context *q, int index)
1670 {
1671     int i, k, ch, sb_used, sub_sampling, dither_state = 0;
1672
1673     /* copy sb_samples */
1674     sb_used = QDM2_SB_USED(q->sub_sampling);
1675
1676     for (ch = 0; ch < q->channels; ch++)
1677         for (i = 0; i < 8; i++)
1678             for (k = sb_used; k < SBLIMIT; k++)
1679                 q->sb_samples[ch][(8 * index) + i][k] = 0;
1680
1681     for (ch = 0; ch < q->nb_channels; ch++) {
1682         float *samples_ptr = q->samples + ch;
1683
1684         for (i = 0; i < 8; i++) {
1685             ff_mpa_synth_filter_float(&q->mpadsp,
1686                                       q->synth_buf[ch], &(q->synth_buf_offset[ch]),
1687                                       ff_mpa_synth_window_float, &dither_state,
1688                                       samples_ptr, q->nb_channels,
1689                                       q->sb_samples[ch][(8 * index) + i]);
1690             samples_ptr += 32 * q->nb_channels;
1691         }
1692     }
1693
1694     /* add samples to output buffer */
1695     sub_sampling = (4 >> q->sub_sampling);
1696
1697     for (ch = 0; ch < q->channels; ch++)
1698         for (i = 0; i < q->frame_size; i++)
1699             q->output_buffer[q->channels * i + ch] += (1 << 23) * q->samples[q->nb_channels * sub_sampling * i + ch];
1700 }
1701
1702 /**
1703  * Init static data (does not depend on specific file)
1704  *
1705  * @param q    context
1706  */
1707 static av_cold void qdm2_init_static_data(AVCodec *codec) {
1708     qdm2_init_vlc();
1709     ff_mpa_synth_init_float(ff_mpa_synth_window_float);
1710     softclip_table_init();
1711     rnd_table_init();
1712     init_noise_samples();
1713 }
1714
1715 /**
1716  * Init parameters from codec extradata
1717  */
1718 static av_cold int qdm2_decode_init(AVCodecContext *avctx)
1719 {
1720     QDM2Context *s = avctx->priv_data;
1721     uint8_t *extradata;
1722     int extradata_size;
1723     int tmp_val, tmp, size;
1724
1725     /* extradata parsing
1726
1727     Structure:
1728     wave {
1729         frma (QDM2)
1730         QDCA
1731         QDCP
1732     }
1733
1734     32  size (including this field)
1735     32  tag (=frma)
1736     32  type (=QDM2 or QDMC)
1737
1738     32  size (including this field, in bytes)
1739     32  tag (=QDCA) // maybe mandatory parameters
1740     32  unknown (=1)
1741     32  channels (=2)
1742     32  samplerate (=44100)
1743     32  bitrate (=96000)
1744     32  block size (=4096)
1745     32  frame size (=256) (for one channel)
1746     32  packet size (=1300)
1747
1748     32  size (including this field, in bytes)
1749     32  tag (=QDCP) // maybe some tuneable parameters
1750     32  float1 (=1.0)
1751     32  zero ?
1752     32  float2 (=1.0)
1753     32  float3 (=1.0)
1754     32  unknown (27)
1755     32  unknown (8)
1756     32  zero ?
1757     */
1758
1759     if (!avctx->extradata || (avctx->extradata_size < 48)) {
1760         av_log(avctx, AV_LOG_ERROR, "extradata missing or truncated\n");
1761         return AVERROR_INVALIDDATA;
1762     }
1763
1764     extradata      = avctx->extradata;
1765     extradata_size = avctx->extradata_size;
1766
1767     while (extradata_size > 7) {
1768         if (!memcmp(extradata, "frmaQDM", 7))
1769             break;
1770         extradata++;
1771         extradata_size--;
1772     }
1773
1774     if (extradata_size < 12) {
1775         av_log(avctx, AV_LOG_ERROR, "not enough extradata (%i)\n",
1776                extradata_size);
1777         return AVERROR_INVALIDDATA;
1778     }
1779
1780     if (memcmp(extradata, "frmaQDM", 7)) {
1781         av_log(avctx, AV_LOG_ERROR, "invalid headers, QDM? not found\n");
1782         return AVERROR_INVALIDDATA;
1783     }
1784
1785     if (extradata[7] == 'C') {
1786 //        s->is_qdmc = 1;
1787         avpriv_report_missing_feature(avctx, "QDMC version 1");
1788         return AVERROR_PATCHWELCOME;
1789     }
1790
1791     extradata += 8;
1792     extradata_size -= 8;
1793
1794     size = AV_RB32(extradata);
1795
1796     if(size > extradata_size){
1797         av_log(avctx, AV_LOG_ERROR, "extradata size too small, %i < %i\n",
1798                extradata_size, size);
1799         return AVERROR_INVALIDDATA;
1800     }
1801
1802     extradata += 4;
1803     av_log(avctx, AV_LOG_DEBUG, "size: %d\n", size);
1804     if (AV_RB32(extradata) != MKBETAG('Q','D','C','A')) {
1805         av_log(avctx, AV_LOG_ERROR, "invalid extradata, expecting QDCA\n");
1806         return AVERROR_INVALIDDATA;
1807     }
1808
1809     extradata += 8;
1810
1811     avctx->channels = s->nb_channels = s->channels = AV_RB32(extradata);
1812     extradata += 4;
1813     if (s->channels <= 0 || s->channels > MPA_MAX_CHANNELS)
1814         return AVERROR_INVALIDDATA;
1815     avctx->channel_layout = avctx->channels == 2 ? AV_CH_LAYOUT_STEREO :
1816                                                    AV_CH_LAYOUT_MONO;
1817
1818     avctx->sample_rate = AV_RB32(extradata);
1819     extradata += 4;
1820
1821     avctx->bit_rate = AV_RB32(extradata);
1822     extradata += 4;
1823
1824     s->group_size = AV_RB32(extradata);
1825     extradata += 4;
1826
1827     s->fft_size = AV_RB32(extradata);
1828     extradata += 4;
1829
1830     s->checksum_size = AV_RB32(extradata);
1831     if (s->checksum_size >= 1U << 28) {
1832         av_log(avctx, AV_LOG_ERROR, "data block size too large (%u)\n", s->checksum_size);
1833         return AVERROR_INVALIDDATA;
1834     }
1835
1836     s->fft_order = av_log2(s->fft_size) + 1;
1837
1838     // something like max decodable tones
1839     s->group_order = av_log2(s->group_size) + 1;
1840     s->frame_size = s->group_size / 16; // 16 iterations per super block
1841     if (s->frame_size > QDM2_MAX_FRAME_SIZE)
1842         return AVERROR_INVALIDDATA;
1843
1844     s->sub_sampling = s->fft_order - 7;
1845     s->frequency_range = 255 / (1 << (2 - s->sub_sampling));
1846
1847     switch ((s->sub_sampling * 2 + s->channels - 1)) {
1848         case 0: tmp = 40; break;
1849         case 1: tmp = 48; break;
1850         case 2: tmp = 56; break;
1851         case 3: tmp = 72; break;
1852         case 4: tmp = 80; break;
1853         case 5: tmp = 100;break;
1854         default: tmp=s->sub_sampling; break;
1855     }
1856     tmp_val = 0;
1857     if ((tmp * 1000) < avctx->bit_rate)  tmp_val = 1;
1858     if ((tmp * 1440) < avctx->bit_rate)  tmp_val = 2;
1859     if ((tmp * 1760) < avctx->bit_rate)  tmp_val = 3;
1860     if ((tmp * 2240) < avctx->bit_rate)  tmp_val = 4;
1861     s->cm_table_select = tmp_val;
1862
1863     if (s->sub_sampling == 0)
1864         tmp = 7999;
1865     else
1866         tmp = ((-(s->sub_sampling -1)) & 8000) + 20000;
1867     /*
1868     0: 7999 -> 0
1869     1: 20000 -> 2
1870     2: 28000 -> 2
1871     */
1872     if (tmp < 8000)
1873         s->coeff_per_sb_select = 0;
1874     else if (tmp <= 16000)
1875         s->coeff_per_sb_select = 1;
1876     else
1877         s->coeff_per_sb_select = 2;
1878
1879     // Fail on unknown fft order
1880     if ((s->fft_order < 7) || (s->fft_order > 9)) {
1881         avpriv_request_sample(avctx, "Unknown FFT order %d", s->fft_order);
1882         return AVERROR_PATCHWELCOME;
1883     }
1884     if (s->fft_size != (1 << (s->fft_order - 1))) {
1885         av_log(avctx, AV_LOG_ERROR, "FFT size %d not power of 2.\n", s->fft_size);
1886         return AVERROR_INVALIDDATA;
1887     }
1888
1889     ff_rdft_init(&s->rdft_ctx, s->fft_order, IDFT_C2R);
1890     ff_mpadsp_init(&s->mpadsp);
1891
1892     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
1893
1894     return 0;
1895 }
1896
1897 static av_cold int qdm2_decode_close(AVCodecContext *avctx)
1898 {
1899     QDM2Context *s = avctx->priv_data;
1900
1901     ff_rdft_end(&s->rdft_ctx);
1902
1903     return 0;
1904 }
1905
1906 static int qdm2_decode(QDM2Context *q, const uint8_t *in, int16_t *out)
1907 {
1908     int ch, i;
1909     const int frame_size = (q->frame_size * q->channels);
1910
1911     /* select input buffer */
1912     q->compressed_data = in;
1913     q->compressed_size = q->checksum_size;
1914
1915     /* copy old block, clear new block of output samples */
1916     memmove(q->output_buffer, &q->output_buffer[frame_size], frame_size * sizeof(float));
1917     memset(&q->output_buffer[frame_size], 0, frame_size * sizeof(float));
1918
1919     /* decode block of QDM2 compressed data */
1920     if (q->sub_packet == 0) {
1921         q->has_errors = 0; // zero it for a new super block
1922         av_log(NULL,AV_LOG_DEBUG,"Superblock follows\n");
1923         qdm2_decode_super_block(q);
1924     }
1925
1926     /* parse subpackets */
1927     if (!q->has_errors) {
1928         if (q->sub_packet == 2)
1929             qdm2_decode_fft_packets(q);
1930
1931         qdm2_fft_tone_synthesizer(q, q->sub_packet);
1932     }
1933
1934     /* sound synthesis stage 1 (FFT) */
1935     for (ch = 0; ch < q->channels; ch++) {
1936         qdm2_calculate_fft(q, ch, q->sub_packet);
1937
1938         if (!q->has_errors && q->sub_packet_list_C[0].packet) {
1939             SAMPLES_NEEDED_2("has errors, and C list is not empty")
1940             return -1;
1941         }
1942     }
1943
1944     /* sound synthesis stage 2 (MPEG audio like synthesis filter) */
1945     if (!q->has_errors && q->do_synth_filter)
1946         qdm2_synthesis_filter(q, q->sub_packet);
1947
1948     q->sub_packet = (q->sub_packet + 1) % 16;
1949
1950     /* clip and convert output float[] to 16bit signed samples */
1951     for (i = 0; i < frame_size; i++) {
1952         int value = (int)q->output_buffer[i];
1953
1954         if (value > SOFTCLIP_THRESHOLD)
1955             value = (value >  HARDCLIP_THRESHOLD) ?  32767 :  softclip_table[ value - SOFTCLIP_THRESHOLD];
1956         else if (value < -SOFTCLIP_THRESHOLD)
1957             value = (value < -HARDCLIP_THRESHOLD) ? -32767 : -softclip_table[-value - SOFTCLIP_THRESHOLD];
1958
1959         out[i] = value;
1960     }
1961
1962     return 0;
1963 }
1964
1965 static int qdm2_decode_frame(AVCodecContext *avctx, void *data,
1966                              int *got_frame_ptr, AVPacket *avpkt)
1967 {
1968     AVFrame *frame     = data;
1969     const uint8_t *buf = avpkt->data;
1970     int buf_size = avpkt->size;
1971     QDM2Context *s = avctx->priv_data;
1972     int16_t *out;
1973     int i, ret;
1974
1975     if(!buf)
1976         return 0;
1977     if(buf_size < s->checksum_size)
1978         return -1;
1979
1980     /* get output buffer */
1981     frame->nb_samples = 16 * s->frame_size;
1982     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0) {
1983         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
1984         return ret;
1985     }
1986     out = (int16_t *)frame->data[0];
1987
1988     for (i = 0; i < 16; i++) {
1989         if ((ret = qdm2_decode(s, buf, out)) < 0)
1990             return ret;
1991         out += s->channels * s->frame_size;
1992     }
1993
1994     *got_frame_ptr = 1;
1995
1996     return s->checksum_size;
1997 }
1998
1999 AVCodec ff_qdm2_decoder = {
2000     .name             = "qdm2",
2001     .long_name        = NULL_IF_CONFIG_SMALL("QDesign Music Codec 2"),
2002     .type             = AVMEDIA_TYPE_AUDIO,
2003     .id               = AV_CODEC_ID_QDM2,
2004     .priv_data_size   = sizeof(QDM2Context),
2005     .init             = qdm2_decode_init,
2006     .init_static_data = qdm2_init_static_data,
2007     .close            = qdm2_decode_close,
2008     .decode           = qdm2_decode_frame,
2009     .capabilities     = AV_CODEC_CAP_DR1,
2010 };