vorbisdec: remove AVCODEC_MAX_AUDIO_FRAME_SIZE check
[ffmpeg.git] / libavcodec / vorbisdec.c
1 /*
2  * This file is part of Libav.
3  *
4  * Libav is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * Libav is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with Libav; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 /**
20  * @file
21  * Vorbis I decoder
22  * @author Denes Balatoni  ( dbalatoni programozo hu )
23  */
24
25 #include <inttypes.h>
26 #include <math.h>
27
28 #define ALT_BITSTREAM_READER_LE
29 #include "avcodec.h"
30 #include "get_bits.h"
31 #include "dsputil.h"
32 #include "fft.h"
33 #include "fmtconvert.h"
34
35 #include "vorbis.h"
36 #include "xiph.h"
37
38 #define V_NB_BITS 8
39 #define V_NB_BITS2 11
40 #define V_MAX_VLCS (1 << 16)
41 #define V_MAX_PARTITIONS (1 << 20)
42
43 #undef NDEBUG
44 #include <assert.h>
45
46 typedef struct {
47     uint8_t      dimensions;
48     uint8_t      lookup_type;
49     uint8_t      maxdepth;
50     VLC          vlc;
51     float       *codevectors;
52     unsigned int nb_bits;
53 } vorbis_codebook;
54
55 typedef union  vorbis_floor_u  vorbis_floor_data;
56 typedef struct vorbis_floor0_s vorbis_floor0;
57 typedef struct vorbis_floor1_s vorbis_floor1;
58 struct vorbis_context_s;
59 typedef
60 int (* vorbis_floor_decode_func)
61     (struct vorbis_context_s *, vorbis_floor_data *, float *);
62 typedef struct {
63     uint8_t floor_type;
64     vorbis_floor_decode_func decode;
65     union vorbis_floor_u {
66         struct vorbis_floor0_s {
67             uint8_t       order;
68             uint16_t      rate;
69             uint16_t      bark_map_size;
70             int32_t      *map[2];
71             uint32_t      map_size[2];
72             uint8_t       amplitude_bits;
73             uint8_t       amplitude_offset;
74             uint8_t       num_books;
75             uint8_t      *book_list;
76             float        *lsp;
77         } t0;
78         struct vorbis_floor1_s {
79             uint8_t       partitions;
80             uint8_t       partition_class[32];
81             uint8_t       class_dimensions[16];
82             uint8_t       class_subclasses[16];
83             uint8_t       class_masterbook[16];
84             int16_t       subclass_books[16][8];
85             uint8_t       multiplier;
86             uint16_t      x_list_dim;
87             vorbis_floor1_entry *list;
88         } t1;
89     } data;
90 } vorbis_floor;
91
92 typedef struct {
93     uint16_t      type;
94     uint32_t      begin;
95     uint32_t      end;
96     unsigned      partition_size;
97     uint8_t       classifications;
98     uint8_t       classbook;
99     int16_t       books[64][8];
100     uint8_t       maxpass;
101     uint16_t      ptns_to_read;
102     uint8_t      *classifs;
103 } vorbis_residue;
104
105 typedef struct {
106     uint8_t       submaps;
107     uint16_t      coupling_steps;
108     uint8_t      *magnitude;
109     uint8_t      *angle;
110     uint8_t      *mux;
111     uint8_t       submap_floor[16];
112     uint8_t       submap_residue[16];
113 } vorbis_mapping;
114
115 typedef struct {
116     uint8_t       blockflag;
117     uint16_t      windowtype;
118     uint16_t      transformtype;
119     uint8_t       mapping;
120 } vorbis_mode;
121
122 typedef struct vorbis_context_s {
123     AVCodecContext *avccontext;
124     GetBitContext gb;
125     DSPContext dsp;
126     FmtConvertContext fmt_conv;
127
128     FFTContext mdct[2];
129     uint8_t       first_frame;
130     uint32_t      version;
131     uint8_t       audio_channels;
132     uint32_t      audio_samplerate;
133     uint32_t      bitrate_maximum;
134     uint32_t      bitrate_nominal;
135     uint32_t      bitrate_minimum;
136     uint32_t      blocksize[2];
137     const float  *win[2];
138     uint16_t      codebook_count;
139     vorbis_codebook *codebooks;
140     uint8_t       floor_count;
141     vorbis_floor *floors;
142     uint8_t       residue_count;
143     vorbis_residue *residues;
144     uint8_t       mapping_count;
145     vorbis_mapping *mappings;
146     uint8_t       mode_count;
147     vorbis_mode  *modes;
148     uint8_t       mode_number; // mode number for the current packet
149     uint8_t       previous_window;
150     float        *channel_residues;
151     float        *channel_floors;
152     float        *saved;
153     float         scale_bias; // for float->int conversion
154 } vorbis_context;
155
156 /* Helper functions */
157
158 #define BARK(x) \
159     (13.1f * atan(0.00074f * (x)) + 2.24f * atan(1.85e-8f * (x) * (x)) + 1e-4f * (x))
160
161 static const char idx_err_str[] = "Index value %d out of range (0 - %d) for %s at %s:%i\n";
162 #define VALIDATE_INDEX(idx, limit) \
163     if (idx >= limit) {\
164         av_log(vc->avccontext, AV_LOG_ERROR,\
165                idx_err_str,\
166                (int)(idx), (int)(limit - 1), #idx, __FILE__, __LINE__);\
167         return AVERROR_INVALIDDATA;\
168     }
169 #define GET_VALIDATED_INDEX(idx, bits, limit) \
170     {\
171         idx = get_bits(gb, bits);\
172         VALIDATE_INDEX(idx, limit)\
173     }
174
175 static float vorbisfloat2float(unsigned val)
176 {
177     double mant = val & 0x1fffff;
178     long exp    = (val & 0x7fe00000L) >> 21;
179     if (val & 0x80000000)
180         mant = -mant;
181     return ldexp(mant, exp - 20 - 768);
182 }
183
184
185 // Free all allocated memory -----------------------------------------
186
187 static void vorbis_free(vorbis_context *vc)
188 {
189     int i;
190
191     av_freep(&vc->channel_residues);
192     av_freep(&vc->channel_floors);
193     av_freep(&vc->saved);
194
195     for (i = 0; i < vc->residue_count; i++)
196         av_free(vc->residues[i].classifs);
197     av_freep(&vc->residues);
198     av_freep(&vc->modes);
199
200     ff_mdct_end(&vc->mdct[0]);
201     ff_mdct_end(&vc->mdct[1]);
202
203     for (i = 0; i < vc->codebook_count; ++i) {
204         av_free(vc->codebooks[i].codevectors);
205         free_vlc(&vc->codebooks[i].vlc);
206     }
207     av_freep(&vc->codebooks);
208
209     for (i = 0; i < vc->floor_count; ++i) {
210         if (vc->floors[i].floor_type == 0) {
211             av_free(vc->floors[i].data.t0.map[0]);
212             av_free(vc->floors[i].data.t0.map[1]);
213             av_free(vc->floors[i].data.t0.book_list);
214             av_free(vc->floors[i].data.t0.lsp);
215         } else {
216             av_free(vc->floors[i].data.t1.list);
217         }
218     }
219     av_freep(&vc->floors);
220
221     for (i = 0; i < vc->mapping_count; ++i) {
222         av_free(vc->mappings[i].magnitude);
223         av_free(vc->mappings[i].angle);
224         av_free(vc->mappings[i].mux);
225     }
226     av_freep(&vc->mappings);
227 }
228
229 // Parse setup header -------------------------------------------------
230
231 // Process codebooks part
232
233 static int vorbis_parse_setup_hdr_codebooks(vorbis_context *vc)
234 {
235     unsigned cb;
236     uint8_t  *tmp_vlc_bits;
237     uint32_t *tmp_vlc_codes;
238     GetBitContext *gb = &vc->gb;
239     uint16_t *codebook_multiplicands;
240     int ret = 0;
241
242     vc->codebook_count = get_bits(gb, 8) + 1;
243
244     av_dlog(NULL, " Codebooks: %d \n", vc->codebook_count);
245
246     vc->codebooks = av_mallocz(vc->codebook_count * sizeof(*vc->codebooks));
247     tmp_vlc_bits  = av_mallocz(V_MAX_VLCS * sizeof(*tmp_vlc_bits));
248     tmp_vlc_codes = av_mallocz(V_MAX_VLCS * sizeof(*tmp_vlc_codes));
249     codebook_multiplicands = av_malloc(V_MAX_VLCS * sizeof(*codebook_multiplicands));
250
251     for (cb = 0; cb < vc->codebook_count; ++cb) {
252         vorbis_codebook *codebook_setup = &vc->codebooks[cb];
253         unsigned ordered, t, entries, used_entries = 0;
254
255         av_dlog(NULL, " %u. Codebook\n", cb);
256
257         if (get_bits(gb, 24) != 0x564342) {
258             av_log(vc->avccontext, AV_LOG_ERROR,
259                    " %u. Codebook setup data corrupt.\n", cb);
260             ret = AVERROR_INVALIDDATA;
261             goto error;
262         }
263
264         codebook_setup->dimensions=get_bits(gb, 16);
265         if (codebook_setup->dimensions > 16 || codebook_setup->dimensions == 0) {
266             av_log(vc->avccontext, AV_LOG_ERROR,
267                    " %u. Codebook's dimension is invalid (%d).\n",
268                    cb, codebook_setup->dimensions);
269             ret = AVERROR_INVALIDDATA;
270             goto error;
271         }
272         entries = get_bits(gb, 24);
273         if (entries > V_MAX_VLCS) {
274             av_log(vc->avccontext, AV_LOG_ERROR,
275                    " %u. Codebook has too many entries (%u).\n",
276                    cb, entries);
277             ret = AVERROR_INVALIDDATA;
278             goto error;
279         }
280
281         ordered = get_bits1(gb);
282
283         av_dlog(NULL, " codebook_dimensions %d, codebook_entries %u\n",
284                 codebook_setup->dimensions, entries);
285
286         if (!ordered) {
287             unsigned ce, flag;
288             unsigned sparse = get_bits1(gb);
289
290             av_dlog(NULL, " not ordered \n");
291
292             if (sparse) {
293                 av_dlog(NULL, " sparse \n");
294
295                 used_entries = 0;
296                 for (ce = 0; ce < entries; ++ce) {
297                     flag = get_bits1(gb);
298                     if (flag) {
299                         tmp_vlc_bits[ce] = get_bits(gb, 5) + 1;
300                         ++used_entries;
301                     } else
302                         tmp_vlc_bits[ce] = 0;
303                 }
304             } else {
305                 av_dlog(NULL, " not sparse \n");
306
307                 used_entries = entries;
308                 for (ce = 0; ce < entries; ++ce)
309                     tmp_vlc_bits[ce] = get_bits(gb, 5) + 1;
310             }
311         } else {
312             unsigned current_entry  = 0;
313             unsigned current_length = get_bits(gb, 5) + 1;
314
315             av_dlog(NULL, " ordered, current length: %u\n", current_length);  //FIXME
316
317             used_entries = entries;
318             for (; current_entry < used_entries && current_length <= 32; ++current_length) {
319                 unsigned i, number;
320
321                 av_dlog(NULL, " number bits: %u ", ilog(entries - current_entry));
322
323                 number = get_bits(gb, ilog(entries - current_entry));
324
325                 av_dlog(NULL, " number: %u\n", number);
326
327                 for (i = current_entry; i < number+current_entry; ++i)
328                     if (i < used_entries)
329                         tmp_vlc_bits[i] = current_length;
330
331                 current_entry+=number;
332             }
333             if (current_entry>used_entries) {
334                 av_log(vc->avccontext, AV_LOG_ERROR, " More codelengths than codes in codebook. \n");
335                 ret = AVERROR_INVALIDDATA;
336                 goto error;
337             }
338         }
339
340         codebook_setup->lookup_type = get_bits(gb, 4);
341
342         av_dlog(NULL, " lookup type: %d : %s \n", codebook_setup->lookup_type,
343                 codebook_setup->lookup_type ? "vq" : "no lookup");
344
345 // If the codebook is used for (inverse) VQ, calculate codevectors.
346
347         if (codebook_setup->lookup_type == 1) {
348             unsigned i, j, k;
349             unsigned codebook_lookup_values = ff_vorbis_nth_root(entries, codebook_setup->dimensions);
350
351             float codebook_minimum_value = vorbisfloat2float(get_bits_long(gb, 32));
352             float codebook_delta_value   = vorbisfloat2float(get_bits_long(gb, 32));
353             unsigned codebook_value_bits = get_bits(gb, 4) + 1;
354             unsigned codebook_sequence_p = get_bits1(gb);
355
356             av_dlog(NULL, " We expect %d numbers for building the codevectors. \n",
357                     codebook_lookup_values);
358             av_dlog(NULL, "  delta %f minmum %f \n",
359                     codebook_delta_value, codebook_minimum_value);
360
361             for (i = 0; i < codebook_lookup_values; ++i) {
362                 codebook_multiplicands[i] = get_bits(gb, codebook_value_bits);
363
364                 av_dlog(NULL, " multiplicands*delta+minmum : %e \n",
365                         (float)codebook_multiplicands[i] * codebook_delta_value + codebook_minimum_value);
366                 av_dlog(NULL, " multiplicand %u\n", codebook_multiplicands[i]);
367             }
368
369 // Weed out unused vlcs and build codevector vector
370             codebook_setup->codevectors = used_entries ? av_mallocz(used_entries *
371                                                                     codebook_setup->dimensions *
372                                                                     sizeof(*codebook_setup->codevectors))
373                                                        : NULL;
374             for (j = 0, i = 0; i < entries; ++i) {
375                 unsigned dim = codebook_setup->dimensions;
376
377                 if (tmp_vlc_bits[i]) {
378                     float last = 0.0;
379                     unsigned lookup_offset = i;
380
381                     av_dlog(vc->avccontext, "Lookup offset %u ,", i);
382
383                     for (k = 0; k < dim; ++k) {
384                         unsigned multiplicand_offset = lookup_offset % codebook_lookup_values;
385                         codebook_setup->codevectors[j * dim + k] = codebook_multiplicands[multiplicand_offset] * codebook_delta_value + codebook_minimum_value + last;
386                         if (codebook_sequence_p)
387                             last = codebook_setup->codevectors[j * dim + k];
388                         lookup_offset/=codebook_lookup_values;
389                     }
390                     tmp_vlc_bits[j] = tmp_vlc_bits[i];
391
392                     av_dlog(vc->avccontext, "real lookup offset %u, vector: ", j);
393                     for (k = 0; k < dim; ++k)
394                         av_dlog(vc->avccontext, " %f ",
395                                 codebook_setup->codevectors[j * dim + k]);
396                     av_dlog(vc->avccontext, "\n");
397
398                     ++j;
399                 }
400             }
401             if (j != used_entries) {
402                 av_log(vc->avccontext, AV_LOG_ERROR, "Bug in codevector vector building code. \n");
403                 ret = AVERROR_INVALIDDATA;
404                 goto error;
405             }
406             entries = used_entries;
407         } else if (codebook_setup->lookup_type >= 2) {
408             av_log(vc->avccontext, AV_LOG_ERROR, "Codebook lookup type not supported. \n");
409             ret = AVERROR_INVALIDDATA;
410             goto error;
411         }
412
413 // Initialize VLC table
414         if (ff_vorbis_len2vlc(tmp_vlc_bits, tmp_vlc_codes, entries)) {
415             av_log(vc->avccontext, AV_LOG_ERROR, " Invalid code lengths while generating vlcs. \n");
416             ret = AVERROR_INVALIDDATA;
417             goto error;
418         }
419         codebook_setup->maxdepth = 0;
420         for (t = 0; t < entries; ++t)
421             if (tmp_vlc_bits[t] >= codebook_setup->maxdepth)
422                 codebook_setup->maxdepth = tmp_vlc_bits[t];
423
424         if (codebook_setup->maxdepth > 3 * V_NB_BITS)
425             codebook_setup->nb_bits = V_NB_BITS2;
426         else
427             codebook_setup->nb_bits = V_NB_BITS;
428
429         codebook_setup->maxdepth = (codebook_setup->maxdepth+codebook_setup->nb_bits - 1) / codebook_setup->nb_bits;
430
431         if ((ret = init_vlc(&codebook_setup->vlc, codebook_setup->nb_bits,
432                             entries, tmp_vlc_bits, sizeof(*tmp_vlc_bits),
433                             sizeof(*tmp_vlc_bits), tmp_vlc_codes,
434                             sizeof(*tmp_vlc_codes), sizeof(*tmp_vlc_codes),
435                             INIT_VLC_LE))) {
436             av_log(vc->avccontext, AV_LOG_ERROR, " Error generating vlc tables. \n");
437             goto error;
438         }
439     }
440
441     av_free(tmp_vlc_bits);
442     av_free(tmp_vlc_codes);
443     av_free(codebook_multiplicands);
444     return 0;
445
446 // Error:
447 error:
448     av_free(tmp_vlc_bits);
449     av_free(tmp_vlc_codes);
450     av_free(codebook_multiplicands);
451     return ret;
452 }
453
454 // Process time domain transforms part (unused in Vorbis I)
455
456 static int vorbis_parse_setup_hdr_tdtransforms(vorbis_context *vc)
457 {
458     GetBitContext *gb = &vc->gb;
459     unsigned i, vorbis_time_count = get_bits(gb, 6) + 1;
460
461     for (i = 0; i < vorbis_time_count; ++i) {
462         unsigned vorbis_tdtransform = get_bits(gb, 16);
463
464         av_dlog(NULL, " Vorbis time domain transform %u: %u\n",
465                 vorbis_time_count, vorbis_tdtransform);
466
467         if (vorbis_tdtransform) {
468             av_log(vc->avccontext, AV_LOG_ERROR, "Vorbis time domain transform data nonzero. \n");
469             return AVERROR_INVALIDDATA;
470         }
471     }
472     return 0;
473 }
474
475 // Process floors part
476
477 static int vorbis_floor0_decode(vorbis_context *vc,
478                                 vorbis_floor_data *vfu, float *vec);
479 static void create_map(vorbis_context *vc, unsigned floor_number);
480 static int vorbis_floor1_decode(vorbis_context *vc,
481                                 vorbis_floor_data *vfu, float *vec);
482 static int vorbis_parse_setup_hdr_floors(vorbis_context *vc)
483 {
484     GetBitContext *gb = &vc->gb;
485     int i,j,k;
486
487     vc->floor_count = get_bits(gb, 6) + 1;
488
489     vc->floors = av_mallocz(vc->floor_count * sizeof(*vc->floors));
490
491     for (i = 0; i < vc->floor_count; ++i) {
492         vorbis_floor *floor_setup = &vc->floors[i];
493
494         floor_setup->floor_type = get_bits(gb, 16);
495
496         av_dlog(NULL, " %d. floor type %d \n", i, floor_setup->floor_type);
497
498         if (floor_setup->floor_type == 1) {
499             int maximum_class = -1;
500             unsigned rangebits, rangemax, floor1_values = 2;
501
502             floor_setup->decode = vorbis_floor1_decode;
503
504             floor_setup->data.t1.partitions = get_bits(gb, 5);
505
506             av_dlog(NULL, " %d.floor: %d partitions \n",
507                     i, floor_setup->data.t1.partitions);
508
509             for (j = 0; j < floor_setup->data.t1.partitions; ++j) {
510                 floor_setup->data.t1.partition_class[j] = get_bits(gb, 4);
511                 if (floor_setup->data.t1.partition_class[j] > maximum_class)
512                     maximum_class = floor_setup->data.t1.partition_class[j];
513
514                 av_dlog(NULL, " %d. floor %d partition class %d \n",
515                         i, j, floor_setup->data.t1.partition_class[j]);
516
517             }
518
519             av_dlog(NULL, " maximum class %d \n", maximum_class);
520
521             for (j = 0; j <= maximum_class; ++j) {
522                 floor_setup->data.t1.class_dimensions[j] = get_bits(gb, 3) + 1;
523                 floor_setup->data.t1.class_subclasses[j] = get_bits(gb, 2);
524
525                 av_dlog(NULL, " %d floor %d class dim: %d subclasses %d \n", i, j,
526                         floor_setup->data.t1.class_dimensions[j],
527                         floor_setup->data.t1.class_subclasses[j]);
528
529                 if (floor_setup->data.t1.class_subclasses[j]) {
530                     GET_VALIDATED_INDEX(floor_setup->data.t1.class_masterbook[j], 8, vc->codebook_count)
531
532                     av_dlog(NULL, "   masterbook: %d \n", floor_setup->data.t1.class_masterbook[j]);
533                 }
534
535                 for (k = 0; k < (1 << floor_setup->data.t1.class_subclasses[j]); ++k) {
536                     int16_t bits = get_bits(gb, 8) - 1;
537                     if (bits != -1)
538                         VALIDATE_INDEX(bits, vc->codebook_count)
539                     floor_setup->data.t1.subclass_books[j][k] = bits;
540
541                     av_dlog(NULL, "    book %d. : %d \n", k, floor_setup->data.t1.subclass_books[j][k]);
542                 }
543             }
544
545             floor_setup->data.t1.multiplier = get_bits(gb, 2) + 1;
546             floor_setup->data.t1.x_list_dim = 2;
547
548             for (j = 0; j < floor_setup->data.t1.partitions; ++j)
549                 floor_setup->data.t1.x_list_dim+=floor_setup->data.t1.class_dimensions[floor_setup->data.t1.partition_class[j]];
550
551             floor_setup->data.t1.list = av_mallocz(floor_setup->data.t1.x_list_dim *
552                                                    sizeof(*floor_setup->data.t1.list));
553
554
555             rangebits = get_bits(gb, 4);
556             rangemax = (1 << rangebits);
557             if (rangemax > vc->blocksize[1] / 2) {
558                 av_log(vc->avccontext, AV_LOG_ERROR,
559                        "Floor value is too large for blocksize: %u (%"PRIu32")\n",
560                        rangemax, vc->blocksize[1] / 2);
561                 return AVERROR_INVALIDDATA;
562             }
563             floor_setup->data.t1.list[0].x = 0;
564             floor_setup->data.t1.list[1].x = rangemax;
565
566             for (j = 0; j < floor_setup->data.t1.partitions; ++j) {
567                 for (k = 0; k < floor_setup->data.t1.class_dimensions[floor_setup->data.t1.partition_class[j]]; ++k, ++floor1_values) {
568                     floor_setup->data.t1.list[floor1_values].x = get_bits(gb, rangebits);
569
570                     av_dlog(NULL, " %u. floor1 Y coord. %d\n", floor1_values,
571                             floor_setup->data.t1.list[floor1_values].x);
572                 }
573             }
574
575 // Precalculate order of x coordinates - needed for decode
576             ff_vorbis_ready_floor1_list(floor_setup->data.t1.list, floor_setup->data.t1.x_list_dim);
577         } else if (floor_setup->floor_type == 0) {
578             unsigned max_codebook_dim = 0;
579
580             floor_setup->decode = vorbis_floor0_decode;
581
582             floor_setup->data.t0.order          = get_bits(gb,  8);
583             floor_setup->data.t0.rate           = get_bits(gb, 16);
584             floor_setup->data.t0.bark_map_size  = get_bits(gb, 16);
585             floor_setup->data.t0.amplitude_bits = get_bits(gb,  6);
586             /* zero would result in a div by zero later *
587              * 2^0 - 1 == 0                             */
588             if (floor_setup->data.t0.amplitude_bits == 0) {
589                 av_log(vc->avccontext, AV_LOG_ERROR,
590                        "Floor 0 amplitude bits is 0.\n");
591                 return AVERROR_INVALIDDATA;
592             }
593             floor_setup->data.t0.amplitude_offset = get_bits(gb, 8);
594             floor_setup->data.t0.num_books        = get_bits(gb, 4) + 1;
595
596             /* allocate mem for booklist */
597             floor_setup->data.t0.book_list =
598                 av_malloc(floor_setup->data.t0.num_books);
599             if (!floor_setup->data.t0.book_list)
600                 return AVERROR(ENOMEM);
601             /* read book indexes */
602             {
603                 int idx;
604                 unsigned book_idx;
605                 for (idx = 0; idx < floor_setup->data.t0.num_books; ++idx) {
606                     GET_VALIDATED_INDEX(book_idx, 8, vc->codebook_count)
607                     floor_setup->data.t0.book_list[idx] = book_idx;
608                     if (vc->codebooks[book_idx].dimensions > max_codebook_dim)
609                         max_codebook_dim = vc->codebooks[book_idx].dimensions;
610                 }
611             }
612
613             create_map(vc, i);
614
615             /* codebook dim is for padding if codebook dim doesn't *
616              * divide order+1 then we need to read more data       */
617             floor_setup->data.t0.lsp =
618                 av_malloc((floor_setup->data.t0.order + 1 + max_codebook_dim)
619                           * sizeof(*floor_setup->data.t0.lsp));
620             if (!floor_setup->data.t0.lsp)
621                 return AVERROR(ENOMEM);
622
623             /* debug output parsed headers */
624             av_dlog(NULL, "floor0 order: %u\n", floor_setup->data.t0.order);
625             av_dlog(NULL, "floor0 rate: %u\n", floor_setup->data.t0.rate);
626             av_dlog(NULL, "floor0 bark map size: %u\n",
627                     floor_setup->data.t0.bark_map_size);
628             av_dlog(NULL, "floor0 amplitude bits: %u\n",
629                     floor_setup->data.t0.amplitude_bits);
630             av_dlog(NULL, "floor0 amplitude offset: %u\n",
631                     floor_setup->data.t0.amplitude_offset);
632             av_dlog(NULL, "floor0 number of books: %u\n",
633                     floor_setup->data.t0.num_books);
634             av_dlog(NULL, "floor0 book list pointer: %p\n",
635                     floor_setup->data.t0.book_list);
636             {
637                 int idx;
638                 for (idx = 0; idx < floor_setup->data.t0.num_books; ++idx) {
639                     av_dlog(NULL, "  Book %d: %u\n", idx + 1,
640                             floor_setup->data.t0.book_list[idx]);
641                 }
642             }
643         } else {
644             av_log(vc->avccontext, AV_LOG_ERROR, "Invalid floor type!\n");
645             return AVERROR_INVALIDDATA;
646         }
647     }
648     return 0;
649 }
650
651 // Process residues part
652
653 static int vorbis_parse_setup_hdr_residues(vorbis_context *vc)
654 {
655     GetBitContext *gb = &vc->gb;
656     unsigned i, j, k;
657
658     vc->residue_count = get_bits(gb, 6)+1;
659     vc->residues      = av_mallocz(vc->residue_count * sizeof(*vc->residues));
660
661     av_dlog(NULL, " There are %d residues. \n", vc->residue_count);
662
663     for (i = 0; i < vc->residue_count; ++i) {
664         vorbis_residue *res_setup = &vc->residues[i];
665         uint8_t cascade[64];
666         unsigned high_bits, low_bits;
667
668         res_setup->type = get_bits(gb, 16);
669
670         av_dlog(NULL, " %u. residue type %d\n", i, res_setup->type);
671
672         res_setup->begin          = get_bits(gb, 24);
673         res_setup->end            = get_bits(gb, 24);
674         res_setup->partition_size = get_bits(gb, 24) + 1;
675         /* Validations to prevent a buffer overflow later. */
676         if (res_setup->begin>res_setup->end ||
677             res_setup->end > vc->avccontext->channels * vc->blocksize[1] / 2 ||
678             (res_setup->end-res_setup->begin) / res_setup->partition_size > V_MAX_PARTITIONS) {
679             av_log(vc->avccontext, AV_LOG_ERROR,
680                    "partition out of bounds: type, begin, end, size, blocksize: %"PRIu16", %"PRIu32", %"PRIu32", %u, %"PRIu32"\n",
681                    res_setup->type, res_setup->begin, res_setup->end,
682                    res_setup->partition_size, vc->blocksize[1] / 2);
683             return AVERROR_INVALIDDATA;
684         }
685
686         res_setup->classifications = get_bits(gb, 6) + 1;
687         GET_VALIDATED_INDEX(res_setup->classbook, 8, vc->codebook_count)
688
689         res_setup->ptns_to_read =
690             (res_setup->end - res_setup->begin) / res_setup->partition_size;
691         res_setup->classifs = av_malloc(res_setup->ptns_to_read *
692                                         vc->audio_channels *
693                                         sizeof(*res_setup->classifs));
694         if (!res_setup->classifs)
695             return AVERROR(ENOMEM);
696
697         av_dlog(NULL, "    begin %d end %d part.size %d classif.s %d classbook %d \n",
698                 res_setup->begin, res_setup->end, res_setup->partition_size,
699                 res_setup->classifications, res_setup->classbook);
700
701         for (j = 0; j < res_setup->classifications; ++j) {
702             high_bits = 0;
703             low_bits  = get_bits(gb, 3);
704             if (get_bits1(gb))
705                 high_bits = get_bits(gb, 5);
706             cascade[j] = (high_bits << 3) + low_bits;
707
708             av_dlog(NULL, "     %u class cascade depth: %d\n", j, ilog(cascade[j]));
709         }
710
711         res_setup->maxpass = 0;
712         for (j = 0; j < res_setup->classifications; ++j) {
713             for (k = 0; k < 8; ++k) {
714                 if (cascade[j]&(1 << k)) {
715                     GET_VALIDATED_INDEX(res_setup->books[j][k], 8, vc->codebook_count)
716
717                     av_dlog(NULL, "     %u class cascade depth %u book: %d\n",
718                             j, k, res_setup->books[j][k]);
719
720                     if (k>res_setup->maxpass)
721                         res_setup->maxpass = k;
722                 } else {
723                     res_setup->books[j][k] = -1;
724                 }
725             }
726         }
727     }
728     return 0;
729 }
730
731 // Process mappings part
732
733 static int vorbis_parse_setup_hdr_mappings(vorbis_context *vc)
734 {
735     GetBitContext *gb = &vc->gb;
736     unsigned i, j;
737
738     vc->mapping_count = get_bits(gb, 6)+1;
739     vc->mappings      = av_mallocz(vc->mapping_count * sizeof(*vc->mappings));
740
741     av_dlog(NULL, " There are %d mappings. \n", vc->mapping_count);
742
743     for (i = 0; i < vc->mapping_count; ++i) {
744         vorbis_mapping *mapping_setup = &vc->mappings[i];
745
746         if (get_bits(gb, 16)) {
747             av_log(vc->avccontext, AV_LOG_ERROR, "Other mappings than type 0 are not compliant with the Vorbis I specification. \n");
748             return AVERROR_INVALIDDATA;
749         }
750         if (get_bits1(gb)) {
751             mapping_setup->submaps = get_bits(gb, 4) + 1;
752         } else {
753             mapping_setup->submaps = 1;
754         }
755
756         if (get_bits1(gb)) {
757             mapping_setup->coupling_steps = get_bits(gb, 8) + 1;
758             mapping_setup->magnitude      = av_mallocz(mapping_setup->coupling_steps *
759                                                        sizeof(*mapping_setup->magnitude));
760             mapping_setup->angle          = av_mallocz(mapping_setup->coupling_steps *
761                                                        sizeof(*mapping_setup->angle));
762             for (j = 0; j < mapping_setup->coupling_steps; ++j) {
763                 GET_VALIDATED_INDEX(mapping_setup->magnitude[j], ilog(vc->audio_channels - 1), vc->audio_channels)
764                 GET_VALIDATED_INDEX(mapping_setup->angle[j],     ilog(vc->audio_channels - 1), vc->audio_channels)
765             }
766         } else {
767             mapping_setup->coupling_steps = 0;
768         }
769
770         av_dlog(NULL, "   %u mapping coupling steps: %d\n",
771                 i, mapping_setup->coupling_steps);
772
773         if (get_bits(gb, 2)) {
774             av_log(vc->avccontext, AV_LOG_ERROR, "%u. mapping setup data invalid.\n", i);
775             return AVERROR_INVALIDDATA; // following spec.
776         }
777
778         if (mapping_setup->submaps>1) {
779             mapping_setup->mux = av_mallocz(vc->audio_channels *
780                                             sizeof(*mapping_setup->mux));
781             for (j = 0; j < vc->audio_channels; ++j)
782                 mapping_setup->mux[j] = get_bits(gb, 4);
783         }
784
785         for (j = 0; j < mapping_setup->submaps; ++j) {
786             skip_bits(gb, 8); // FIXME check?
787             GET_VALIDATED_INDEX(mapping_setup->submap_floor[j],   8, vc->floor_count)
788             GET_VALIDATED_INDEX(mapping_setup->submap_residue[j], 8, vc->residue_count)
789
790             av_dlog(NULL, "   %u mapping %u submap : floor %d, residue %d\n", i, j,
791                     mapping_setup->submap_floor[j],
792                     mapping_setup->submap_residue[j]);
793         }
794     }
795     return 0;
796 }
797
798 // Process modes part
799
800 static void create_map(vorbis_context *vc, unsigned floor_number)
801 {
802     vorbis_floor *floors = vc->floors;
803     vorbis_floor0 *vf;
804     int idx;
805     int blockflag, n;
806     int32_t *map;
807
808     for (blockflag = 0; blockflag < 2; ++blockflag) {
809         n = vc->blocksize[blockflag] / 2;
810         floors[floor_number].data.t0.map[blockflag] =
811             av_malloc((n + 1) * sizeof(int32_t)); // n + sentinel
812
813         map =  floors[floor_number].data.t0.map[blockflag];
814         vf  = &floors[floor_number].data.t0;
815
816         for (idx = 0; idx < n; ++idx) {
817             map[idx] = floor(BARK((vf->rate * idx) / (2.0f * n)) *
818                              ((vf->bark_map_size) /
819                               BARK(vf->rate / 2.0f)));
820             if (vf->bark_map_size-1 < map[idx])
821                 map[idx] = vf->bark_map_size - 1;
822         }
823         map[n] = -1;
824         vf->map_size[blockflag] = n;
825     }
826
827     for (idx = 0; idx <= n; ++idx) {
828         av_dlog(NULL, "floor0 map: map at pos %d is %d\n", idx, map[idx]);
829     }
830 }
831
832 static int vorbis_parse_setup_hdr_modes(vorbis_context *vc)
833 {
834     GetBitContext *gb = &vc->gb;
835     unsigned i;
836
837     vc->mode_count = get_bits(gb, 6) + 1;
838     vc->modes      = av_mallocz(vc->mode_count * sizeof(*vc->modes));
839
840     av_dlog(NULL, " There are %d modes.\n", vc->mode_count);
841
842     for (i = 0; i < vc->mode_count; ++i) {
843         vorbis_mode *mode_setup = &vc->modes[i];
844
845         mode_setup->blockflag     = get_bits1(gb);
846         mode_setup->windowtype    = get_bits(gb, 16); //FIXME check
847         mode_setup->transformtype = get_bits(gb, 16); //FIXME check
848         GET_VALIDATED_INDEX(mode_setup->mapping, 8, vc->mapping_count);
849
850         av_dlog(NULL, " %u mode: blockflag %d, windowtype %d, transformtype %d, mapping %d\n",
851                 i, mode_setup->blockflag, mode_setup->windowtype,
852                 mode_setup->transformtype, mode_setup->mapping);
853     }
854     return 0;
855 }
856
857 // Process the whole setup header using the functions above
858
859 static int vorbis_parse_setup_hdr(vorbis_context *vc)
860 {
861     GetBitContext *gb = &vc->gb;
862     int ret;
863
864     if ((get_bits(gb, 8) != 'v') || (get_bits(gb, 8) != 'o') ||
865         (get_bits(gb, 8) != 'r') || (get_bits(gb, 8) != 'b') ||
866         (get_bits(gb, 8) != 'i') || (get_bits(gb, 8) != 's')) {
867         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (no vorbis signature). \n");
868         return AVERROR_INVALIDDATA;
869     }
870
871     if ((ret = vorbis_parse_setup_hdr_codebooks(vc))) {
872         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (codebooks). \n");
873         return ret;
874     }
875     if ((ret = vorbis_parse_setup_hdr_tdtransforms(vc))) {
876         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (time domain transforms). \n");
877         return ret;
878     }
879     if ((ret = vorbis_parse_setup_hdr_floors(vc))) {
880         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (floors). \n");
881         return ret;
882     }
883     if ((ret = vorbis_parse_setup_hdr_residues(vc))) {
884         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (residues). \n");
885         return ret;
886     }
887     if ((ret = vorbis_parse_setup_hdr_mappings(vc))) {
888         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (mappings). \n");
889         return ret;
890     }
891     if ((ret = vorbis_parse_setup_hdr_modes(vc))) {
892         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (modes). \n");
893         return ret;
894     }
895     if (!get_bits1(gb)) {
896         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis setup header packet corrupt (framing flag). \n");
897         return AVERROR_INVALIDDATA; // framing flag bit unset error
898     }
899
900     return 0;
901 }
902
903 // Process the identification header
904
905 static int vorbis_parse_id_hdr(vorbis_context *vc)
906 {
907     GetBitContext *gb = &vc->gb;
908     unsigned bl0, bl1;
909
910     if ((get_bits(gb, 8) != 'v') || (get_bits(gb, 8) != 'o') ||
911         (get_bits(gb, 8) != 'r') || (get_bits(gb, 8) != 'b') ||
912         (get_bits(gb, 8) != 'i') || (get_bits(gb, 8) != 's')) {
913         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis id header packet corrupt (no vorbis signature). \n");
914         return AVERROR_INVALIDDATA;
915     }
916
917     vc->version        = get_bits_long(gb, 32);    //FIXME check 0
918     vc->audio_channels = get_bits(gb, 8);
919     if (vc->audio_channels <= 0) {
920         av_log(vc->avccontext, AV_LOG_ERROR, "Invalid number of channels\n");
921         return AVERROR_INVALIDDATA;
922     }
923     vc->audio_samplerate = get_bits_long(gb, 32);
924     if (vc->audio_samplerate <= 0) {
925         av_log(vc->avccontext, AV_LOG_ERROR, "Invalid samplerate\n");
926         return AVERROR_INVALIDDATA;
927     }
928     vc->bitrate_maximum = get_bits_long(gb, 32);
929     vc->bitrate_nominal = get_bits_long(gb, 32);
930     vc->bitrate_minimum = get_bits_long(gb, 32);
931     bl0 = get_bits(gb, 4);
932     bl1 = get_bits(gb, 4);
933     vc->blocksize[0] = (1 << bl0);
934     vc->blocksize[1] = (1 << bl1);
935     if (bl0 > 13 || bl0 < 6 || bl1 > 13 || bl1 < 6 || bl1 < bl0) {
936         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis id header packet corrupt (illegal blocksize). \n");
937         return AVERROR_INVALIDDATA;
938     }
939     vc->win[0] = ff_vorbis_vwin[bl0 - 6];
940     vc->win[1] = ff_vorbis_vwin[bl1 - 6];
941
942     if ((get_bits1(gb)) == 0) {
943         av_log(vc->avccontext, AV_LOG_ERROR, " Vorbis id header packet corrupt (framing flag not set). \n");
944         return AVERROR_INVALIDDATA;
945     }
946
947     vc->channel_residues =  av_malloc((vc->blocksize[1]  / 2) * vc->audio_channels * sizeof(*vc->channel_residues));
948     vc->channel_floors   =  av_malloc((vc->blocksize[1]  / 2) * vc->audio_channels * sizeof(*vc->channel_floors));
949     vc->saved            =  av_mallocz((vc->blocksize[1] / 4) * vc->audio_channels * sizeof(*vc->saved));
950     vc->previous_window  = 0;
951
952     ff_mdct_init(&vc->mdct[0], bl0, 1, -vc->scale_bias);
953     ff_mdct_init(&vc->mdct[1], bl1, 1, -vc->scale_bias);
954
955     av_dlog(NULL, " vorbis version %d \n audio_channels %d \n audio_samplerate %d \n bitrate_max %d \n bitrate_nom %d \n bitrate_min %d \n blk_0 %d blk_1 %d \n ",
956             vc->version, vc->audio_channels, vc->audio_samplerate, vc->bitrate_maximum, vc->bitrate_nominal, vc->bitrate_minimum, vc->blocksize[0], vc->blocksize[1]);
957
958 /*
959     BLK = vc->blocksize[0];
960     for (i = 0; i < BLK / 2; ++i) {
961         vc->win[0][i] = sin(0.5*3.14159265358*(sin(((float)i + 0.5) / (float)BLK*3.14159265358))*(sin(((float)i + 0.5) / (float)BLK*3.14159265358)));
962     }
963 */
964
965     return 0;
966 }
967
968 // Process the extradata using the functions above (identification header, setup header)
969
970 static av_cold int vorbis_decode_init(AVCodecContext *avccontext)
971 {
972     vorbis_context *vc = avccontext->priv_data;
973     uint8_t *headers   = avccontext->extradata;
974     int headers_len    = avccontext->extradata_size;
975     uint8_t *header_start[3];
976     int header_len[3];
977     GetBitContext *gb = &(vc->gb);
978     int hdr_type, ret;
979
980     vc->avccontext = avccontext;
981     dsputil_init(&vc->dsp, avccontext);
982     ff_fmt_convert_init(&vc->fmt_conv, avccontext);
983
984     if (avccontext->request_sample_fmt == AV_SAMPLE_FMT_FLT) {
985         avccontext->sample_fmt = AV_SAMPLE_FMT_FLT;
986         vc->scale_bias = 1.0f;
987     } else {
988         avccontext->sample_fmt = AV_SAMPLE_FMT_S16;
989         vc->scale_bias = 32768.0f;
990     }
991
992     if (!headers_len) {
993         av_log(avccontext, AV_LOG_ERROR, "Extradata missing.\n");
994         return AVERROR_INVALIDDATA;
995     }
996
997     if ((ret = avpriv_split_xiph_headers(headers, headers_len, 30, header_start, header_len)) < 0) {
998         av_log(avccontext, AV_LOG_ERROR, "Extradata corrupt.\n");
999         return ret;
1000     }
1001
1002     init_get_bits(gb, header_start[0], header_len[0]*8);
1003     hdr_type = get_bits(gb, 8);
1004     if (hdr_type != 1) {
1005         av_log(avccontext, AV_LOG_ERROR, "First header is not the id header.\n");
1006         return AVERROR_INVALIDDATA;
1007     }
1008     if ((ret = vorbis_parse_id_hdr(vc))) {
1009         av_log(avccontext, AV_LOG_ERROR, "Id header corrupt.\n");
1010         vorbis_free(vc);
1011         return ret;
1012     }
1013
1014     init_get_bits(gb, header_start[2], header_len[2]*8);
1015     hdr_type = get_bits(gb, 8);
1016     if (hdr_type != 5) {
1017         av_log(avccontext, AV_LOG_ERROR, "Third header is not the setup header.\n");
1018         vorbis_free(vc);
1019         return AVERROR_INVALIDDATA;
1020     }
1021     if ((ret = vorbis_parse_setup_hdr(vc))) {
1022         av_log(avccontext, AV_LOG_ERROR, "Setup header corrupt.\n");
1023         vorbis_free(vc);
1024         return ret;
1025     }
1026
1027     if (vc->audio_channels > 8)
1028         avccontext->channel_layout = 0;
1029     else
1030         avccontext->channel_layout = ff_vorbis_channel_layouts[vc->audio_channels - 1];
1031
1032     avccontext->channels    = vc->audio_channels;
1033     avccontext->sample_rate = vc->audio_samplerate;
1034     avccontext->frame_size  = FFMIN(vc->blocksize[0], vc->blocksize[1]) >> 2;
1035
1036     return 0;
1037 }
1038
1039 // Decode audiopackets -------------------------------------------------
1040
1041 // Read and decode floor
1042
1043 static int vorbis_floor0_decode(vorbis_context *vc,
1044                                 vorbis_floor_data *vfu, float *vec)
1045 {
1046     vorbis_floor0 *vf = &vfu->t0;
1047     float *lsp = vf->lsp;
1048     unsigned amplitude, book_idx;
1049     unsigned blockflag = vc->modes[vc->mode_number].blockflag;
1050
1051     amplitude = get_bits(&vc->gb, vf->amplitude_bits);
1052     if (amplitude > 0) {
1053         float last = 0;
1054         unsigned idx, lsp_len = 0;
1055         vorbis_codebook codebook;
1056
1057         book_idx = get_bits(&vc->gb, ilog(vf->num_books));
1058         if (book_idx >= vf->num_books) {
1059             av_log(vc->avccontext, AV_LOG_ERROR,
1060                     "floor0 dec: booknumber too high!\n");
1061             book_idx =  0;
1062         }
1063         av_dlog(NULL, "floor0 dec: booknumber: %u\n", book_idx);
1064         codebook = vc->codebooks[vf->book_list[book_idx]];
1065         /* Invalid codebook! */
1066         if (!codebook.codevectors)
1067             return AVERROR_INVALIDDATA;
1068
1069         while (lsp_len<vf->order) {
1070             int vec_off;
1071
1072             av_dlog(NULL, "floor0 dec: book dimension: %d\n", codebook.dimensions);
1073             av_dlog(NULL, "floor0 dec: maximum depth: %d\n", codebook.maxdepth);
1074             /* read temp vector */
1075             vec_off = get_vlc2(&vc->gb, codebook.vlc.table,
1076                                codebook.nb_bits, codebook.maxdepth)
1077                       * codebook.dimensions;
1078             av_dlog(NULL, "floor0 dec: vector offset: %d\n", vec_off);
1079             /* copy each vector component and add last to it */
1080             for (idx = 0; idx < codebook.dimensions; ++idx)
1081                 lsp[lsp_len+idx] = codebook.codevectors[vec_off+idx] + last;
1082             last = lsp[lsp_len+idx-1]; /* set last to last vector component */
1083
1084             lsp_len += codebook.dimensions;
1085         }
1086         /* DEBUG: output lsp coeffs */
1087         {
1088             int idx;
1089             for (idx = 0; idx < lsp_len; ++idx)
1090                 av_dlog(NULL, "floor0 dec: coeff at %d is %f\n", idx, lsp[idx]);
1091         }
1092
1093         /* synthesize floor output vector */
1094         {
1095             int i;
1096             int order = vf->order;
1097             float wstep = M_PI / vf->bark_map_size;
1098
1099             for (i = 0; i < order; i++)
1100                 lsp[i] = 2.0f * cos(lsp[i]);
1101
1102             av_dlog(NULL, "floor0 synth: map_size = %"PRIu32"; m = %d; wstep = %f\n",
1103                     vf->map_size[blockflag], order, wstep);
1104
1105             i = 0;
1106             while (i < vf->map_size[blockflag]) {
1107                 int j, iter_cond = vf->map[blockflag][i];
1108                 float p = 0.5f;
1109                 float q = 0.5f;
1110                 float two_cos_w = 2.0f * cos(wstep * iter_cond); // needed all times
1111
1112                 /* similar part for the q and p products */
1113                 for (j = 0; j + 1 < order; j += 2) {
1114                     q *= lsp[j]     - two_cos_w;
1115                     p *= lsp[j + 1] - two_cos_w;
1116                 }
1117                 if (j == order) { // even order
1118                     p *= p * (2.0f - two_cos_w);
1119                     q *= q * (2.0f + two_cos_w);
1120                 } else { // odd order
1121                     q *= two_cos_w-lsp[j]; // one more time for q
1122
1123                     /* final step and square */
1124                     p *= p * (4.f - two_cos_w * two_cos_w);
1125                     q *= q;
1126                 }
1127
1128                 /* calculate linear floor value */
1129                 q = exp((((amplitude*vf->amplitude_offset) /
1130                           (((1 << vf->amplitude_bits) - 1) * sqrt(p + q)))
1131                          - vf->amplitude_offset) * .11512925f);
1132
1133                 /* fill vector */
1134                 do {
1135                     vec[i] = q; ++i;
1136                 } while (vf->map[blockflag][i] == iter_cond);
1137             }
1138         }
1139     } else {
1140         /* this channel is unused */
1141         return 1;
1142     }
1143
1144     av_dlog(NULL, " Floor0 decoded\n");
1145
1146     return 0;
1147 }
1148
1149 static int vorbis_floor1_decode(vorbis_context *vc,
1150                                 vorbis_floor_data *vfu, float *vec)
1151 {
1152     vorbis_floor1 *vf = &vfu->t1;
1153     GetBitContext *gb = &vc->gb;
1154     uint16_t range_v[4] = { 256, 128, 86, 64 };
1155     unsigned range = range_v[vf->multiplier - 1];
1156     uint16_t floor1_Y[258];
1157     uint16_t floor1_Y_final[258];
1158     int floor1_flag[258];
1159     unsigned class, cdim, cbits, csub, cval, offset, i, j;
1160     int book, adx, ady, dy, off, predicted, err;
1161
1162
1163     if (!get_bits1(gb)) // silence
1164         return 1;
1165
1166 // Read values (or differences) for the floor's points
1167
1168     floor1_Y[0] = get_bits(gb, ilog(range - 1));
1169     floor1_Y[1] = get_bits(gb, ilog(range - 1));
1170
1171     av_dlog(NULL, "floor 0 Y %d floor 1 Y %d \n", floor1_Y[0], floor1_Y[1]);
1172
1173     offset = 2;
1174     for (i = 0; i < vf->partitions; ++i) {
1175         class = vf->partition_class[i];
1176         cdim   = vf->class_dimensions[class];
1177         cbits  = vf->class_subclasses[class];
1178         csub = (1 << cbits) - 1;
1179         cval = 0;
1180
1181         av_dlog(NULL, "Cbits %u\n", cbits);
1182
1183         if (cbits) // this reads all subclasses for this partition's class
1184             cval = get_vlc2(gb, vc->codebooks[vf->class_masterbook[class]].vlc.table,
1185                             vc->codebooks[vf->class_masterbook[class]].nb_bits, 3);
1186
1187         for (j = 0; j < cdim; ++j) {
1188             book = vf->subclass_books[class][cval & csub];
1189
1190             av_dlog(NULL, "book %d Cbits %u cval %u  bits:%d\n",
1191                     book, cbits, cval, get_bits_count(gb));
1192
1193             cval = cval >> cbits;
1194             if (book > -1) {
1195                 floor1_Y[offset+j] = get_vlc2(gb, vc->codebooks[book].vlc.table,
1196                 vc->codebooks[book].nb_bits, 3);
1197             } else {
1198                 floor1_Y[offset+j] = 0;
1199             }
1200
1201             av_dlog(NULL, " floor(%d) = %d \n",
1202                     vf->list[offset+j].x, floor1_Y[offset+j]);
1203         }
1204         offset+=cdim;
1205     }
1206
1207 // Amplitude calculation from the differences
1208
1209     floor1_flag[0] = 1;
1210     floor1_flag[1] = 1;
1211     floor1_Y_final[0] = floor1_Y[0];
1212     floor1_Y_final[1] = floor1_Y[1];
1213
1214     for (i = 2; i < vf->x_list_dim; ++i) {
1215         unsigned val, highroom, lowroom, room, high_neigh_offs, low_neigh_offs;
1216
1217         low_neigh_offs  = vf->list[i].low;
1218         high_neigh_offs = vf->list[i].high;
1219         dy  = floor1_Y_final[high_neigh_offs] - floor1_Y_final[low_neigh_offs];  // render_point begin
1220         adx = vf->list[high_neigh_offs].x - vf->list[low_neigh_offs].x;
1221         ady = FFABS(dy);
1222         err = ady * (vf->list[i].x - vf->list[low_neigh_offs].x);
1223         off = err / adx;
1224         if (dy < 0) {
1225             predicted = floor1_Y_final[low_neigh_offs] - off;
1226         } else {
1227             predicted = floor1_Y_final[low_neigh_offs] + off;
1228         } // render_point end
1229
1230         val = floor1_Y[i];
1231         highroom = range-predicted;
1232         lowroom  = predicted;
1233         if (highroom < lowroom) {
1234             room = highroom * 2;
1235         } else {
1236             room = lowroom * 2;   // SPEC mispelling
1237         }
1238         if (val) {
1239             floor1_flag[low_neigh_offs]  = 1;
1240             floor1_flag[high_neigh_offs] = 1;
1241             floor1_flag[i]               = 1;
1242             if (val >= room) {
1243                 if (highroom > lowroom) {
1244                     floor1_Y_final[i] = val - lowroom + predicted;
1245                 } else {
1246                     floor1_Y_final[i] = predicted - val + highroom - 1;
1247                 }
1248             } else {
1249                 if (val & 1) {
1250                     floor1_Y_final[i] = predicted - (val + 1) / 2;
1251                 } else {
1252                     floor1_Y_final[i] = predicted + val / 2;
1253                 }
1254             }
1255         } else {
1256             floor1_flag[i]    = 0;
1257             floor1_Y_final[i] = predicted;
1258         }
1259
1260         av_dlog(NULL, " Decoded floor(%d) = %u / val %u\n",
1261                 vf->list[i].x, floor1_Y_final[i], val);
1262     }
1263
1264 // Curve synth - connect the calculated dots and convert from dB scale FIXME optimize ?
1265
1266     ff_vorbis_floor1_render_list(vf->list, vf->x_list_dim, floor1_Y_final, floor1_flag, vf->multiplier, vec, vf->list[1].x);
1267
1268     av_dlog(NULL, " Floor decoded\n");
1269
1270     return 0;
1271 }
1272
1273 // Read and decode residue
1274
1275 static av_always_inline int vorbis_residue_decode_internal(vorbis_context *vc,
1276                                                            vorbis_residue *vr,
1277                                                            unsigned ch,
1278                                                            uint8_t *do_not_decode,
1279                                                            float *vec,
1280                                                            unsigned vlen,
1281                                                            int vr_type)
1282 {
1283     GetBitContext *gb = &vc->gb;
1284     unsigned c_p_c        = vc->codebooks[vr->classbook].dimensions;
1285     unsigned ptns_to_read = vr->ptns_to_read;
1286     uint8_t *classifs = vr->classifs;
1287     unsigned pass, ch_used, i, j, k, l;
1288
1289     if (vr_type == 2) {
1290         for (j = 1; j < ch; ++j)
1291             do_not_decode[0] &= do_not_decode[j];  // FIXME - clobbering input
1292         if (do_not_decode[0])
1293             return 0;
1294         ch_used = 1;
1295     } else {
1296         ch_used = ch;
1297     }
1298
1299     av_dlog(NULL, " residue type 0/1/2 decode begin, ch: %d  cpc %d  \n", ch, c_p_c);
1300
1301     for (pass = 0; pass <= vr->maxpass; ++pass) { // FIXME OPTIMIZE?
1302         uint16_t voffset, partition_count, j_times_ptns_to_read;
1303
1304         voffset = vr->begin;
1305         for (partition_count = 0; partition_count < ptns_to_read;) {  // SPEC        error
1306             if (!pass) {
1307                 unsigned inverse_class = ff_inverse[vr->classifications];
1308                 for (j_times_ptns_to_read = 0, j = 0; j < ch_used; ++j) {
1309                     if (!do_not_decode[j]) {
1310                         unsigned temp = get_vlc2(gb, vc->codebooks[vr->classbook].vlc.table,
1311                                                  vc->codebooks[vr->classbook].nb_bits, 3);
1312
1313                         av_dlog(NULL, "Classword: %u\n", temp);
1314
1315                         assert(vr->classifications > 1 && temp <= 65536); //needed for inverse[]
1316                         for (i = 0; i < c_p_c; ++i) {
1317                             unsigned temp2;
1318
1319                             temp2 = (((uint64_t)temp) * inverse_class) >> 32;
1320                             if (partition_count + c_p_c - 1 - i < ptns_to_read)
1321                                 classifs[j_times_ptns_to_read + partition_count + c_p_c - 1 - i] = temp - temp2 * vr->classifications;
1322                             temp = temp2;
1323                         }
1324                     }
1325                     j_times_ptns_to_read += ptns_to_read;
1326                 }
1327             }
1328             for (i = 0; (i < c_p_c) && (partition_count < ptns_to_read); ++i) {
1329                 for (j_times_ptns_to_read = 0, j = 0; j < ch_used; ++j) {
1330                     unsigned voffs;
1331
1332                     if (!do_not_decode[j]) {
1333                         unsigned vqclass = classifs[j_times_ptns_to_read + partition_count];
1334                         int vqbook  = vr->books[vqclass][pass];
1335
1336                         if (vqbook >= 0 && vc->codebooks[vqbook].codevectors) {
1337                             unsigned coffs;
1338                             unsigned dim  = vc->codebooks[vqbook].dimensions;
1339                             unsigned step = dim == 1 ? vr->partition_size
1340                                                      : FASTDIV(vr->partition_size, dim);
1341                             vorbis_codebook codebook = vc->codebooks[vqbook];
1342
1343                             if (vr_type == 0) {
1344
1345                                 voffs = voffset+j*vlen;
1346                                 for (k = 0; k < step; ++k) {
1347                                     coffs = get_vlc2(gb, codebook.vlc.table, codebook.nb_bits, 3) * dim;
1348                                     for (l = 0; l < dim; ++l)
1349                                         vec[voffs + k + l * step] += codebook.codevectors[coffs + l];  // FPMATH
1350                                 }
1351                             } else if (vr_type == 1) {
1352                                 voffs = voffset + j * vlen;
1353                                 for (k = 0; k < step; ++k) {
1354                                     coffs = get_vlc2(gb, codebook.vlc.table, codebook.nb_bits, 3) * dim;
1355                                     for (l = 0; l < dim; ++l, ++voffs) {
1356                                         vec[voffs]+=codebook.codevectors[coffs+l];  // FPMATH
1357
1358                                         av_dlog(NULL, " pass %d offs: %d curr: %f change: %f cv offs.: %d  \n",
1359                                                 pass, voffs, vec[voffs], codebook.codevectors[coffs+l], coffs);
1360                                     }
1361                                 }
1362                             } else if (vr_type == 2 && ch == 2 && (voffset & 1) == 0 && (dim & 1) == 0) { // most frequent case optimized
1363                                 voffs = voffset >> 1;
1364
1365                                 if (dim == 2) {
1366                                     for (k = 0; k < step; ++k) {
1367                                         coffs = get_vlc2(gb, codebook.vlc.table, codebook.nb_bits, 3) * 2;
1368                                         vec[voffs + k       ] += codebook.codevectors[coffs    ];  // FPMATH
1369                                         vec[voffs + k + vlen] += codebook.codevectors[coffs + 1];  // FPMATH
1370                                     }
1371                                 } else if (dim == 4) {
1372                                     for (k = 0; k < step; ++k, voffs += 2) {
1373                                         coffs = get_vlc2(gb, codebook.vlc.table, codebook.nb_bits, 3) * 4;
1374                                         vec[voffs           ] += codebook.codevectors[coffs    ];  // FPMATH
1375                                         vec[voffs + 1       ] += codebook.codevectors[coffs + 2];  // FPMATH
1376                                         vec[voffs + vlen    ] += codebook.codevectors[coffs + 1];  // FPMATH
1377                                         vec[voffs + vlen + 1] += codebook.codevectors[coffs + 3];  // FPMATH
1378                                     }
1379                                 } else
1380                                 for (k = 0; k < step; ++k) {
1381                                     coffs = get_vlc2(gb, codebook.vlc.table, codebook.nb_bits, 3) * dim;
1382                                     for (l = 0; l < dim; l += 2, voffs++) {
1383                                         vec[voffs       ] += codebook.codevectors[coffs + l    ];  // FPMATH
1384                                         vec[voffs + vlen] += codebook.codevectors[coffs + l + 1];  // FPMATH
1385
1386                                         av_dlog(NULL, " pass %d offs: %d curr: %f change: %f cv offs.: %d+%d  \n",
1387                                                 pass, voffset / ch + (voffs % ch) * vlen,
1388                                                 vec[voffset / ch + (voffs % ch) * vlen],
1389                                                 codebook.codevectors[coffs + l], coffs, l);
1390                                     }
1391                                 }
1392
1393                             } else if (vr_type == 2) {
1394                                 voffs = voffset;
1395
1396                                 for (k = 0; k < step; ++k) {
1397                                     coffs = get_vlc2(gb, codebook.vlc.table, codebook.nb_bits, 3) * dim;
1398                                     for (l = 0; l < dim; ++l, ++voffs) {
1399                                         vec[voffs / ch + (voffs % ch) * vlen] += codebook.codevectors[coffs + l];  // FPMATH FIXME use if and counter instead of / and %
1400
1401                                         av_dlog(NULL, " pass %d offs: %d curr: %f change: %f cv offs.: %d+%d  \n",
1402                                                 pass, voffset / ch + (voffs % ch) * vlen,
1403                                                 vec[voffset / ch + (voffs % ch) * vlen],
1404                                                 codebook.codevectors[coffs + l], coffs, l);
1405                                     }
1406                                 }
1407                             }
1408                         }
1409                     }
1410                     j_times_ptns_to_read += ptns_to_read;
1411                 }
1412                 ++partition_count;
1413                 voffset += vr->partition_size;
1414             }
1415         }
1416     }
1417     return 0;
1418 }
1419
1420 static inline int vorbis_residue_decode(vorbis_context *vc, vorbis_residue *vr,
1421                                         unsigned ch,
1422                                         uint8_t *do_not_decode,
1423                                         float *vec, unsigned vlen)
1424 {
1425     if (vr->type == 2)
1426         return vorbis_residue_decode_internal(vc, vr, ch, do_not_decode, vec, vlen, 2);
1427     else if (vr->type == 1)
1428         return vorbis_residue_decode_internal(vc, vr, ch, do_not_decode, vec, vlen, 1);
1429     else if (vr->type == 0)
1430         return vorbis_residue_decode_internal(vc, vr, ch, do_not_decode, vec, vlen, 0);
1431     else {
1432         av_log(vc->avccontext, AV_LOG_ERROR, " Invalid residue type while residue decode?! \n");
1433         return AVERROR_INVALIDDATA;
1434     }
1435 }
1436
1437 void vorbis_inverse_coupling(float *mag, float *ang, int blocksize)
1438 {
1439     int i;
1440     for (i = 0;  i < blocksize;  i++) {
1441         if (mag[i] > 0.0) {
1442             if (ang[i] > 0.0) {
1443                 ang[i] = mag[i] - ang[i];
1444             } else {
1445                 float temp = ang[i];
1446                 ang[i]     = mag[i];
1447                 mag[i]    += temp;
1448             }
1449         } else {
1450             if (ang[i] > 0.0) {
1451                 ang[i] += mag[i];
1452             } else {
1453                 float temp = ang[i];
1454                 ang[i]     = mag[i];
1455                 mag[i]    -= temp;
1456             }
1457         }
1458     }
1459 }
1460
1461 // Decode the audio packet using the functions above
1462
1463 static int vorbis_parse_audio_packet(vorbis_context *vc)
1464 {
1465     GetBitContext *gb = &vc->gb;
1466     FFTContext *mdct;
1467     unsigned previous_window = vc->previous_window;
1468     unsigned mode_number, blockflag, blocksize;
1469     int i, j;
1470     uint8_t no_residue[255];
1471     uint8_t do_not_decode[255];
1472     vorbis_mapping *mapping;
1473     float *ch_res_ptr   = vc->channel_residues;
1474     float *ch_floor_ptr = vc->channel_floors;
1475     uint8_t res_chan[255];
1476     unsigned res_num = 0;
1477     int retlen  = 0;
1478
1479     if (get_bits1(gb)) {
1480         av_log(vc->avccontext, AV_LOG_ERROR, "Not a Vorbis I audio packet.\n");
1481         return AVERROR_INVALIDDATA; // packet type not audio
1482     }
1483
1484     if (vc->mode_count == 1) {
1485         mode_number = 0;
1486     } else {
1487         GET_VALIDATED_INDEX(mode_number, ilog(vc->mode_count-1), vc->mode_count)
1488     }
1489     vc->mode_number = mode_number;
1490     mapping = &vc->mappings[vc->modes[mode_number].mapping];
1491
1492     av_dlog(NULL, " Mode number: %u , mapping: %d , blocktype %d\n", mode_number,
1493             vc->modes[mode_number].mapping, vc->modes[mode_number].blockflag);
1494
1495     blockflag = vc->modes[mode_number].blockflag;
1496     blocksize = vc->blocksize[blockflag];
1497     if (blockflag)
1498         skip_bits(gb, 2); // previous_window, next_window
1499
1500     memset(ch_res_ptr,   0, sizeof(float) * vc->audio_channels * blocksize / 2); //FIXME can this be removed ?
1501     memset(ch_floor_ptr, 0, sizeof(float) * vc->audio_channels * blocksize / 2); //FIXME can this be removed ?
1502
1503 // Decode floor
1504
1505     for (i = 0; i < vc->audio_channels; ++i) {
1506         vorbis_floor *floor;
1507         int ret;
1508         if (mapping->submaps > 1) {
1509             floor = &vc->floors[mapping->submap_floor[mapping->mux[i]]];
1510         } else {
1511             floor = &vc->floors[mapping->submap_floor[0]];
1512         }
1513
1514         ret = floor->decode(vc, &floor->data, ch_floor_ptr);
1515
1516         if (ret < 0) {
1517             av_log(vc->avccontext, AV_LOG_ERROR, "Invalid codebook in vorbis_floor_decode.\n");
1518             return AVERROR_INVALIDDATA;
1519         }
1520         no_residue[i] = ret;
1521         ch_floor_ptr += blocksize / 2;
1522     }
1523
1524 // Nonzero vector propagate
1525
1526     for (i = mapping->coupling_steps - 1; i >= 0; --i) {
1527         if (!(no_residue[mapping->magnitude[i]] & no_residue[mapping->angle[i]])) {
1528             no_residue[mapping->magnitude[i]] = 0;
1529             no_residue[mapping->angle[i]]     = 0;
1530         }
1531     }
1532
1533 // Decode residue
1534
1535     for (i = 0; i < mapping->submaps; ++i) {
1536         vorbis_residue *residue;
1537         unsigned ch = 0;
1538
1539         for (j = 0; j < vc->audio_channels; ++j) {
1540             if ((mapping->submaps == 1) || (i == mapping->mux[j])) {
1541                 res_chan[j] = res_num;
1542                 if (no_residue[j]) {
1543                     do_not_decode[ch] = 1;
1544                 } else {
1545                     do_not_decode[ch] = 0;
1546                 }
1547                 ++ch;
1548                 ++res_num;
1549             }
1550         }
1551         residue = &vc->residues[mapping->submap_residue[i]];
1552         vorbis_residue_decode(vc, residue, ch, do_not_decode, ch_res_ptr, blocksize/2);
1553
1554         ch_res_ptr += ch * blocksize / 2;
1555     }
1556
1557 // Inverse coupling
1558
1559     for (i = mapping->coupling_steps - 1; i >= 0; --i) { //warning: i has to be signed
1560         float *mag, *ang;
1561
1562         mag = vc->channel_residues+res_chan[mapping->magnitude[i]] * blocksize / 2;
1563         ang = vc->channel_residues+res_chan[mapping->angle[i]]     * blocksize / 2;
1564         vc->dsp.vorbis_inverse_coupling(mag, ang, blocksize / 2);
1565     }
1566
1567 // Dotproduct, MDCT
1568
1569     mdct = &vc->mdct[blockflag];
1570
1571     for (j = vc->audio_channels-1;j >= 0; j--) {
1572         ch_floor_ptr = vc->channel_floors   + j           * blocksize / 2;
1573         ch_res_ptr   = vc->channel_residues + res_chan[j] * blocksize / 2;
1574         vc->dsp.vector_fmul(ch_floor_ptr, ch_floor_ptr, ch_res_ptr, blocksize / 2);
1575         mdct->imdct_half(mdct, ch_res_ptr, ch_floor_ptr);
1576     }
1577
1578 // Overlap/add, save data for next overlapping  FPMATH
1579
1580     retlen = (blocksize + vc->blocksize[previous_window]) / 4;
1581     for (j = 0; j < vc->audio_channels; j++) {
1582         unsigned bs0 = vc->blocksize[0];
1583         unsigned bs1 = vc->blocksize[1];
1584         float *residue    = vc->channel_residues + res_chan[j] * blocksize / 2;
1585         float *saved      = vc->saved + j * bs1 / 4;
1586         float *ret        = vc->channel_floors + j * retlen;
1587         float *buf        = residue;
1588         const float *win  = vc->win[blockflag & previous_window];
1589
1590         if (blockflag == previous_window) {
1591             vc->dsp.vector_fmul_window(ret, saved, buf, win, blocksize / 4);
1592         } else if (blockflag > previous_window) {
1593             vc->dsp.vector_fmul_window(ret, saved, buf, win, bs0 / 4);
1594             memcpy(ret+bs0/2, buf+bs0/4, ((bs1-bs0)/4) * sizeof(float));
1595         } else {
1596             memcpy(ret, saved, ((bs1 - bs0) / 4) * sizeof(float));
1597             vc->dsp.vector_fmul_window(ret + (bs1 - bs0) / 4, saved + (bs1 - bs0) / 4, buf, win, bs0 / 4);
1598         }
1599         memcpy(saved, buf + blocksize / 4, blocksize / 4 * sizeof(float));
1600     }
1601
1602     vc->previous_window = blockflag;
1603     return retlen;
1604 }
1605
1606 // Return the decoded audio packet through the standard api
1607
1608 static int vorbis_decode_frame(AVCodecContext *avccontext,
1609                                void *data, int *data_size,
1610                                AVPacket *avpkt)
1611 {
1612     const uint8_t *buf = avpkt->data;
1613     int buf_size       = avpkt->size;
1614     vorbis_context *vc = avccontext->priv_data;
1615     GetBitContext *gb = &(vc->gb);
1616     const float *channel_ptrs[255];
1617     int i, len, out_size;
1618
1619     av_dlog(NULL, "packet length %d \n", buf_size);
1620
1621     init_get_bits(gb, buf, buf_size*8);
1622
1623     if ((len = vorbis_parse_audio_packet(vc)) <= 0)
1624         return len;
1625
1626     if (!vc->first_frame) {
1627         vc->first_frame = 1;
1628         *data_size = 0;
1629         return buf_size;
1630     }
1631
1632     av_dlog(NULL, "parsed %d bytes %d bits, returned %d samples (*ch*bits) \n",
1633             get_bits_count(gb) / 8, get_bits_count(gb) % 8, len);
1634
1635     out_size = len * vc->audio_channels *
1636                av_get_bytes_per_sample(avccontext->sample_fmt);
1637     if (*data_size < out_size) {
1638         av_log(avccontext, AV_LOG_ERROR, "output buffer is too small\n");
1639         return AVERROR(EINVAL);
1640     }
1641
1642     if (vc->audio_channels > 8) {
1643         for (i = 0; i < vc->audio_channels; i++)
1644             channel_ptrs[i] = vc->channel_floors + i * len;
1645     } else {
1646         for (i = 0; i < vc->audio_channels; i++)
1647             channel_ptrs[i] = vc->channel_floors +
1648                               len * ff_vorbis_channel_layout_offsets[vc->audio_channels - 1][i];
1649     }
1650
1651     if (avccontext->sample_fmt == AV_SAMPLE_FMT_FLT)
1652         vc->fmt_conv.float_interleave(data, channel_ptrs, len, vc->audio_channels);
1653     else
1654         vc->fmt_conv.float_to_int16_interleave(data, channel_ptrs, len,
1655                                                vc->audio_channels);
1656
1657     *data_size = out_size;
1658
1659     return buf_size;
1660 }
1661
1662 // Close decoder
1663
1664 static av_cold int vorbis_decode_close(AVCodecContext *avccontext)
1665 {
1666     vorbis_context *vc = avccontext->priv_data;
1667
1668     vorbis_free(vc);
1669
1670     return 0;
1671 }
1672
1673 AVCodec ff_vorbis_decoder = {
1674     .name           = "vorbis",
1675     .type           = AVMEDIA_TYPE_AUDIO,
1676     .id             = CODEC_ID_VORBIS,
1677     .priv_data_size = sizeof(vorbis_context),
1678     .init           = vorbis_decode_init,
1679     .close          = vorbis_decode_close,
1680     .decode         = vorbis_decode_frame,
1681     .long_name = NULL_IF_CONFIG_SMALL("Vorbis"),
1682     .channel_layouts = ff_vorbis_channel_layouts,
1683     .sample_fmts = (const enum AVSampleFormat[]) {
1684         AV_SAMPLE_FMT_FLT, AV_SAMPLE_FMT_S16, AV_SAMPLE_FMT_NONE
1685     },
1686 };
1687