vorbisenc: check all allocations for failure
[ffmpeg.git] / libavcodec / vorbisenc.c
1 /*
2  * copyright (c) 2006 Oded Shimon <ods15@ods15.dyndns.org>
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 /**
22  * @file
23  * Native Vorbis encoder.
24  * @author Oded Shimon <ods15@ods15.dyndns.org>
25  */
26
27 #include <float.h>
28 #include "avcodec.h"
29 #include "dsputil.h"
30 #include "fft.h"
31 #include "vorbis.h"
32 #include "vorbis_enc_data.h"
33
34 #define BITSTREAM_WRITER_LE
35 #include "put_bits.h"
36
37 #undef NDEBUG
38 #include <assert.h>
39
40 typedef struct {
41     int nentries;
42     uint8_t *lens;
43     uint32_t *codewords;
44     int ndimentions;
45     float min;
46     float delta;
47     int seq_p;
48     int lookup;
49     int *quantlist;
50     float *dimentions;
51     float *pow2;
52 } vorbis_enc_codebook;
53
54 typedef struct {
55     int dim;
56     int subclass;
57     int masterbook;
58     int *books;
59 } vorbis_enc_floor_class;
60
61 typedef struct {
62     int partitions;
63     int *partition_to_class;
64     int nclasses;
65     vorbis_enc_floor_class *classes;
66     int multiplier;
67     int rangebits;
68     int values;
69     vorbis_floor1_entry *list;
70 } vorbis_enc_floor;
71
72 typedef struct {
73     int type;
74     int begin;
75     int end;
76     int partition_size;
77     int classifications;
78     int classbook;
79     int8_t (*books)[8];
80     float (*maxes)[2];
81 } vorbis_enc_residue;
82
83 typedef struct {
84     int submaps;
85     int *mux;
86     int *floor;
87     int *residue;
88     int coupling_steps;
89     int *magnitude;
90     int *angle;
91 } vorbis_enc_mapping;
92
93 typedef struct {
94     int blockflag;
95     int mapping;
96 } vorbis_enc_mode;
97
98 typedef struct {
99     int channels;
100     int sample_rate;
101     int log2_blocksize[2];
102     FFTContext mdct[2];
103     const float *win[2];
104     int have_saved;
105     float *saved;
106     float *samples;
107     float *floor;  // also used for tmp values for mdct
108     float *coeffs; // also used for residue after floor
109     float quality;
110
111     int ncodebooks;
112     vorbis_enc_codebook *codebooks;
113
114     int nfloors;
115     vorbis_enc_floor *floors;
116
117     int nresidues;
118     vorbis_enc_residue *residues;
119
120     int nmappings;
121     vorbis_enc_mapping *mappings;
122
123     int nmodes;
124     vorbis_enc_mode *modes;
125
126     int64_t sample_count;
127 } vorbis_enc_context;
128
129 #define MAX_CHANNELS     2
130 #define MAX_CODEBOOK_DIM 8
131
132 #define MAX_FLOOR_CLASS_DIM  4
133 #define NUM_FLOOR_PARTITIONS 8
134 #define MAX_FLOOR_VALUES     (MAX_FLOOR_CLASS_DIM*NUM_FLOOR_PARTITIONS+2)
135
136 #define RESIDUE_SIZE           1600
137 #define RESIDUE_PART_SIZE      32
138 #define NUM_RESIDUE_PARTITIONS (RESIDUE_SIZE/RESIDUE_PART_SIZE)
139
140 static inline void put_codeword(PutBitContext *pb, vorbis_enc_codebook *cb,
141                                 int entry)
142 {
143     assert(entry >= 0);
144     assert(entry < cb->nentries);
145     assert(cb->lens[entry]);
146     put_bits(pb, cb->lens[entry], cb->codewords[entry]);
147 }
148
149 static int cb_lookup_vals(int lookup, int dimentions, int entries)
150 {
151     if (lookup == 1)
152         return ff_vorbis_nth_root(entries, dimentions);
153     else if (lookup == 2)
154         return dimentions *entries;
155     return 0;
156 }
157
158 static int ready_codebook(vorbis_enc_codebook *cb)
159 {
160     int i;
161
162     ff_vorbis_len2vlc(cb->lens, cb->codewords, cb->nentries);
163
164     if (!cb->lookup) {
165         cb->pow2 = cb->dimentions = NULL;
166     } else {
167         int vals = cb_lookup_vals(cb->lookup, cb->ndimentions, cb->nentries);
168         cb->dimentions = av_malloc(sizeof(float) * cb->nentries * cb->ndimentions);
169         cb->pow2 = av_mallocz(sizeof(float) * cb->nentries);
170         if (!cb->dimentions || !cb->pow2)
171             return AVERROR(ENOMEM);
172         for (i = 0; i < cb->nentries; i++) {
173             float last = 0;
174             int j;
175             int div = 1;
176             for (j = 0; j < cb->ndimentions; j++) {
177                 int off;
178                 if (cb->lookup == 1)
179                     off = (i / div) % vals; // lookup type 1
180                 else
181                     off = i * cb->ndimentions + j; // lookup type 2
182
183                 cb->dimentions[i * cb->ndimentions + j] = last + cb->min + cb->quantlist[off] * cb->delta;
184                 if (cb->seq_p)
185                     last = cb->dimentions[i * cb->ndimentions + j];
186                 cb->pow2[i] += cb->dimentions[i * cb->ndimentions + j] * cb->dimentions[i * cb->ndimentions + j];
187                 div *= vals;
188             }
189             cb->pow2[i] /= 2.;
190         }
191     }
192     return 0;
193 }
194
195 static int ready_residue(vorbis_enc_residue *rc, vorbis_enc_context *venc)
196 {
197     int i;
198     assert(rc->type == 2);
199     rc->maxes = av_mallocz(sizeof(float[2]) * rc->classifications);
200     if (!rc->maxes)
201         return AVERROR(ENOMEM);
202     for (i = 0; i < rc->classifications; i++) {
203         int j;
204         vorbis_enc_codebook * cb;
205         for (j = 0; j < 8; j++)
206             if (rc->books[i][j] != -1)
207                 break;
208         if (j == 8) // zero
209             continue;
210         cb = &venc->codebooks[rc->books[i][j]];
211         assert(cb->ndimentions >= 2);
212         assert(cb->lookup);
213
214         for (j = 0; j < cb->nentries; j++) {
215             float a;
216             if (!cb->lens[j])
217                 continue;
218             a = fabs(cb->dimentions[j * cb->ndimentions]);
219             if (a > rc->maxes[i][0])
220                 rc->maxes[i][0] = a;
221             a = fabs(cb->dimentions[j * cb->ndimentions + 1]);
222             if (a > rc->maxes[i][1])
223                 rc->maxes[i][1] = a;
224         }
225     }
226     // small bias
227     for (i = 0; i < rc->classifications; i++) {
228         rc->maxes[i][0] += 0.8;
229         rc->maxes[i][1] += 0.8;
230     }
231     return 0;
232 }
233
234 static int create_vorbis_context(vorbis_enc_context *venc,
235                                  AVCodecContext *avccontext)
236 {
237     vorbis_enc_floor   *fc;
238     vorbis_enc_residue *rc;
239     vorbis_enc_mapping *mc;
240     int i, book, ret;
241
242     venc->channels    = avccontext->channels;
243     venc->sample_rate = avccontext->sample_rate;
244     venc->log2_blocksize[0] = venc->log2_blocksize[1] = 11;
245
246     venc->ncodebooks = FF_ARRAY_ELEMS(cvectors);
247     venc->codebooks  = av_malloc(sizeof(vorbis_enc_codebook) * venc->ncodebooks);
248     if (!venc->codebooks)
249         return AVERROR(ENOMEM);
250
251     // codebook 0..14 - floor1 book, values 0..255
252     // codebook 15 residue masterbook
253     // codebook 16..29 residue
254     for (book = 0; book < venc->ncodebooks; book++) {
255         vorbis_enc_codebook *cb = &venc->codebooks[book];
256         int vals;
257         cb->ndimentions = cvectors[book].dim;
258         cb->nentries    = cvectors[book].real_len;
259         cb->min         = cvectors[book].min;
260         cb->delta       = cvectors[book].delta;
261         cb->lookup      = cvectors[book].lookup;
262         cb->seq_p       = 0;
263
264         cb->lens      = av_malloc(sizeof(uint8_t)  * cb->nentries);
265         cb->codewords = av_malloc(sizeof(uint32_t) * cb->nentries);
266         if (!cb->lens || !cb->codewords)
267             return AVERROR(ENOMEM);
268         memcpy(cb->lens, cvectors[book].clens, cvectors[book].len);
269         memset(cb->lens + cvectors[book].len, 0, cb->nentries - cvectors[book].len);
270
271         if (cb->lookup) {
272             vals = cb_lookup_vals(cb->lookup, cb->ndimentions, cb->nentries);
273             cb->quantlist = av_malloc(sizeof(int) * vals);
274             if (!cb->quantlist)
275                 return AVERROR(ENOMEM);
276             for (i = 0; i < vals; i++)
277                 cb->quantlist[i] = cvectors[book].quant[i];
278         } else {
279             cb->quantlist = NULL;
280         }
281         if ((ret = ready_codebook(cb)) < 0)
282             return ret;
283     }
284
285     venc->nfloors = 1;
286     venc->floors  = av_malloc(sizeof(vorbis_enc_floor) * venc->nfloors);
287     if (!venc->floors)
288         return AVERROR(ENOMEM);
289
290     // just 1 floor
291     fc = &venc->floors[0];
292     fc->partitions         = NUM_FLOOR_PARTITIONS;
293     fc->partition_to_class = av_malloc(sizeof(int) * fc->partitions);
294     if (!fc->partition_to_class)
295         return AVERROR(ENOMEM);
296     fc->nclasses           = 0;
297     for (i = 0; i < fc->partitions; i++) {
298         static const int a[] = {0, 1, 2, 2, 3, 3, 4, 4};
299         fc->partition_to_class[i] = a[i];
300         fc->nclasses = FFMAX(fc->nclasses, fc->partition_to_class[i]);
301     }
302     fc->nclasses++;
303     fc->classes = av_malloc(sizeof(vorbis_enc_floor_class) * fc->nclasses);
304     if (!fc->classes)
305         return AVERROR(ENOMEM);
306     for (i = 0; i < fc->nclasses; i++) {
307         vorbis_enc_floor_class * c = &fc->classes[i];
308         int j, books;
309         c->dim        = floor_classes[i].dim;
310         c->subclass   = floor_classes[i].subclass;
311         c->masterbook = floor_classes[i].masterbook;
312         books         = (1 << c->subclass);
313         c->books      = av_malloc(sizeof(int) * books);
314         if (!c->books)
315             return AVERROR(ENOMEM);
316         for (j = 0; j < books; j++)
317             c->books[j] = floor_classes[i].nbooks[j];
318     }
319     fc->multiplier = 2;
320     fc->rangebits  = venc->log2_blocksize[0] - 1;
321
322     fc->values = 2;
323     for (i = 0; i < fc->partitions; i++)
324         fc->values += fc->classes[fc->partition_to_class[i]].dim;
325
326     fc->list = av_malloc(sizeof(vorbis_floor1_entry) * fc->values);
327     if (!fc->list)
328         return AVERROR(ENOMEM);
329     fc->list[0].x = 0;
330     fc->list[1].x = 1 << fc->rangebits;
331     for (i = 2; i < fc->values; i++) {
332         static const int a[] = {
333              93, 23,372,  6, 46,186,750, 14, 33, 65,
334             130,260,556,  3, 10, 18, 28, 39, 55, 79,
335             111,158,220,312,464,650,850
336         };
337         fc->list[i].x = a[i - 2];
338     }
339     ff_vorbis_ready_floor1_list(fc->list, fc->values);
340
341     venc->nresidues = 1;
342     venc->residues  = av_malloc(sizeof(vorbis_enc_residue) * venc->nresidues);
343     if (!venc->residues)
344         return AVERROR(ENOMEM);
345
346     // single residue
347     rc = &venc->residues[0];
348     rc->type            = 2;
349     rc->begin           = 0;
350     rc->end             = 1600;
351     rc->partition_size  = 32;
352     rc->classifications = 10;
353     rc->classbook       = 15;
354     rc->books           = av_malloc(sizeof(*rc->books) * rc->classifications);
355     if (!rc->books)
356         return AVERROR(ENOMEM);
357     {
358         static const int8_t a[10][8] = {
359             { -1, -1, -1, -1, -1, -1, -1, -1, },
360             { -1, -1, 16, -1, -1, -1, -1, -1, },
361             { -1, -1, 17, -1, -1, -1, -1, -1, },
362             { -1, -1, 18, -1, -1, -1, -1, -1, },
363             { -1, -1, 19, -1, -1, -1, -1, -1, },
364             { -1, -1, 20, -1, -1, -1, -1, -1, },
365             { -1, -1, 21, -1, -1, -1, -1, -1, },
366             { 22, 23, -1, -1, -1, -1, -1, -1, },
367             { 24, 25, -1, -1, -1, -1, -1, -1, },
368             { 26, 27, 28, -1, -1, -1, -1, -1, },
369         };
370         memcpy(rc->books, a, sizeof a);
371     }
372     if ((ret = ready_residue(rc, venc)) < 0)
373         return ret;
374
375     venc->nmappings = 1;
376     venc->mappings  = av_malloc(sizeof(vorbis_enc_mapping) * venc->nmappings);
377     if (!venc->mappings)
378         return AVERROR(ENOMEM);
379
380     // single mapping
381     mc = &venc->mappings[0];
382     mc->submaps = 1;
383     mc->mux     = av_malloc(sizeof(int) * venc->channels);
384     if (!mc->mux)
385         return AVERROR(ENOMEM);
386     for (i = 0; i < venc->channels; i++)
387         mc->mux[i] = 0;
388     mc->floor   = av_malloc(sizeof(int) * mc->submaps);
389     mc->residue = av_malloc(sizeof(int) * mc->submaps);
390     if (!mc->floor || !mc->residue)
391         return AVERROR(ENOMEM);
392     for (i = 0; i < mc->submaps; i++) {
393         mc->floor[i]   = 0;
394         mc->residue[i] = 0;
395     }
396     mc->coupling_steps = venc->channels == 2 ? 1 : 0;
397     mc->magnitude      = av_malloc(sizeof(int) * mc->coupling_steps);
398     mc->angle          = av_malloc(sizeof(int) * mc->coupling_steps);
399     if (!mc->magnitude || !mc->angle)
400         return AVERROR(ENOMEM);
401     if (mc->coupling_steps) {
402         mc->magnitude[0] = 0;
403         mc->angle[0]     = 1;
404     }
405
406     venc->nmodes = 1;
407     venc->modes  = av_malloc(sizeof(vorbis_enc_mode) * venc->nmodes);
408     if (!venc->modes)
409         return AVERROR(ENOMEM);
410
411     // single mode
412     venc->modes[0].blockflag = 0;
413     venc->modes[0].mapping   = 0;
414
415     venc->have_saved = 0;
416     venc->saved      = av_malloc(sizeof(float) * venc->channels * (1 << venc->log2_blocksize[1]) / 2);
417     venc->samples    = av_malloc(sizeof(float) * venc->channels * (1 << venc->log2_blocksize[1]));
418     venc->floor      = av_malloc(sizeof(float) * venc->channels * (1 << venc->log2_blocksize[1]) / 2);
419     venc->coeffs     = av_malloc(sizeof(float) * venc->channels * (1 << venc->log2_blocksize[1]) / 2);
420     if (!venc->saved || !venc->samples || !venc->floor || !venc->coeffs)
421         return AVERROR(ENOMEM);
422
423     venc->win[0] = ff_vorbis_vwin[venc->log2_blocksize[0] - 6];
424     venc->win[1] = ff_vorbis_vwin[venc->log2_blocksize[1] - 6];
425
426     if ((ret = ff_mdct_init(&venc->mdct[0], venc->log2_blocksize[0], 0, 1.0)) < 0)
427         return ret;
428     if ((ret = ff_mdct_init(&venc->mdct[1], venc->log2_blocksize[1], 0, 1.0)) < 0)
429         return ret;
430
431     return 0;
432 }
433
434 static void put_float(PutBitContext *pb, float f)
435 {
436     int exp, mant;
437     uint32_t res = 0;
438     mant = (int)ldexp(frexp(f, &exp), 20);
439     exp += 788 - 20;
440     if (mant < 0) {
441         res |= (1U << 31);
442         mant = -mant;
443     }
444     res |= mant | (exp << 21);
445     put_bits32(pb, res);
446 }
447
448 static void put_codebook_header(PutBitContext *pb, vorbis_enc_codebook *cb)
449 {
450     int i;
451     int ordered = 0;
452
453     put_bits(pb, 24, 0x564342); //magic
454     put_bits(pb, 16, cb->ndimentions);
455     put_bits(pb, 24, cb->nentries);
456
457     for (i = 1; i < cb->nentries; i++)
458         if (cb->lens[i] < cb->lens[i-1])
459             break;
460     if (i == cb->nentries)
461         ordered = 1;
462
463     put_bits(pb, 1, ordered);
464     if (ordered) {
465         int len = cb->lens[0];
466         put_bits(pb, 5, len - 1);
467         i = 0;
468         while (i < cb->nentries) {
469             int j;
470             for (j = 0; j+i < cb->nentries; j++)
471                 if (cb->lens[j+i] != len)
472                     break;
473             put_bits(pb, ilog(cb->nentries - i), j);
474             i += j;
475             len++;
476         }
477     } else {
478         int sparse = 0;
479         for (i = 0; i < cb->nentries; i++)
480             if (!cb->lens[i])
481                 break;
482         if (i != cb->nentries)
483             sparse = 1;
484         put_bits(pb, 1, sparse);
485
486         for (i = 0; i < cb->nentries; i++) {
487             if (sparse)
488                 put_bits(pb, 1, !!cb->lens[i]);
489             if (cb->lens[i])
490                 put_bits(pb, 5, cb->lens[i] - 1);
491         }
492     }
493
494     put_bits(pb, 4, cb->lookup);
495     if (cb->lookup) {
496         int tmp  = cb_lookup_vals(cb->lookup, cb->ndimentions, cb->nentries);
497         int bits = ilog(cb->quantlist[0]);
498
499         for (i = 1; i < tmp; i++)
500             bits = FFMAX(bits, ilog(cb->quantlist[i]));
501
502         put_float(pb, cb->min);
503         put_float(pb, cb->delta);
504
505         put_bits(pb, 4, bits - 1);
506         put_bits(pb, 1, cb->seq_p);
507
508         for (i = 0; i < tmp; i++)
509             put_bits(pb, bits, cb->quantlist[i]);
510     }
511 }
512
513 static void put_floor_header(PutBitContext *pb, vorbis_enc_floor *fc)
514 {
515     int i;
516
517     put_bits(pb, 16, 1); // type, only floor1 is supported
518
519     put_bits(pb, 5, fc->partitions);
520
521     for (i = 0; i < fc->partitions; i++)
522         put_bits(pb, 4, fc->partition_to_class[i]);
523
524     for (i = 0; i < fc->nclasses; i++) {
525         int j, books;
526
527         put_bits(pb, 3, fc->classes[i].dim - 1);
528         put_bits(pb, 2, fc->classes[i].subclass);
529
530         if (fc->classes[i].subclass)
531             put_bits(pb, 8, fc->classes[i].masterbook);
532
533         books = (1 << fc->classes[i].subclass);
534
535         for (j = 0; j < books; j++)
536             put_bits(pb, 8, fc->classes[i].books[j] + 1);
537     }
538
539     put_bits(pb, 2, fc->multiplier - 1);
540     put_bits(pb, 4, fc->rangebits);
541
542     for (i = 2; i < fc->values; i++)
543         put_bits(pb, fc->rangebits, fc->list[i].x);
544 }
545
546 static void put_residue_header(PutBitContext *pb, vorbis_enc_residue *rc)
547 {
548     int i;
549
550     put_bits(pb, 16, rc->type);
551
552     put_bits(pb, 24, rc->begin);
553     put_bits(pb, 24, rc->end);
554     put_bits(pb, 24, rc->partition_size - 1);
555     put_bits(pb, 6, rc->classifications - 1);
556     put_bits(pb, 8, rc->classbook);
557
558     for (i = 0; i < rc->classifications; i++) {
559         int j, tmp = 0;
560         for (j = 0; j < 8; j++)
561             tmp |= (rc->books[i][j] != -1) << j;
562
563         put_bits(pb, 3, tmp & 7);
564         put_bits(pb, 1, tmp > 7);
565
566         if (tmp > 7)
567             put_bits(pb, 5, tmp >> 3);
568     }
569
570     for (i = 0; i < rc->classifications; i++) {
571         int j;
572         for (j = 0; j < 8; j++)
573             if (rc->books[i][j] != -1)
574                 put_bits(pb, 8, rc->books[i][j]);
575     }
576 }
577
578 static int put_main_header(vorbis_enc_context *venc, uint8_t **out)
579 {
580     int i;
581     PutBitContext pb;
582     uint8_t buffer[50000] = {0}, *p = buffer;
583     int buffer_len = sizeof buffer;
584     int len, hlens[3];
585
586     // identification header
587     init_put_bits(&pb, p, buffer_len);
588     put_bits(&pb, 8, 1); //magic
589     for (i = 0; "vorbis"[i]; i++)
590         put_bits(&pb, 8, "vorbis"[i]);
591     put_bits32(&pb, 0); // version
592     put_bits(&pb,  8, venc->channels);
593     put_bits32(&pb, venc->sample_rate);
594     put_bits32(&pb, 0); // bitrate
595     put_bits32(&pb, 0); // bitrate
596     put_bits32(&pb, 0); // bitrate
597     put_bits(&pb,  4, venc->log2_blocksize[0]);
598     put_bits(&pb,  4, venc->log2_blocksize[1]);
599     put_bits(&pb,  1, 1); // framing
600
601     flush_put_bits(&pb);
602     hlens[0] = put_bits_count(&pb) >> 3;
603     buffer_len -= hlens[0];
604     p += hlens[0];
605
606     // comment header
607     init_put_bits(&pb, p, buffer_len);
608     put_bits(&pb, 8, 3); //magic
609     for (i = 0; "vorbis"[i]; i++)
610         put_bits(&pb, 8, "vorbis"[i]);
611     put_bits32(&pb, 0); // vendor length TODO
612     put_bits32(&pb, 0); // amount of comments
613     put_bits(&pb,  1, 1); // framing
614
615     flush_put_bits(&pb);
616     hlens[1] = put_bits_count(&pb) >> 3;
617     buffer_len -= hlens[1];
618     p += hlens[1];
619
620     // setup header
621     init_put_bits(&pb, p, buffer_len);
622     put_bits(&pb, 8, 5); //magic
623     for (i = 0; "vorbis"[i]; i++)
624         put_bits(&pb, 8, "vorbis"[i]);
625
626     // codebooks
627     put_bits(&pb, 8, venc->ncodebooks - 1);
628     for (i = 0; i < venc->ncodebooks; i++)
629         put_codebook_header(&pb, &venc->codebooks[i]);
630
631     // time domain, reserved, zero
632     put_bits(&pb,  6, 0);
633     put_bits(&pb, 16, 0);
634
635     // floors
636     put_bits(&pb, 6, venc->nfloors - 1);
637     for (i = 0; i < venc->nfloors; i++)
638         put_floor_header(&pb, &venc->floors[i]);
639
640     // residues
641     put_bits(&pb, 6, venc->nresidues - 1);
642     for (i = 0; i < venc->nresidues; i++)
643         put_residue_header(&pb, &venc->residues[i]);
644
645     // mappings
646     put_bits(&pb, 6, venc->nmappings - 1);
647     for (i = 0; i < venc->nmappings; i++) {
648         vorbis_enc_mapping *mc = &venc->mappings[i];
649         int j;
650         put_bits(&pb, 16, 0); // mapping type
651
652         put_bits(&pb, 1, mc->submaps > 1);
653         if (mc->submaps > 1)
654             put_bits(&pb, 4, mc->submaps - 1);
655
656         put_bits(&pb, 1, !!mc->coupling_steps);
657         if (mc->coupling_steps) {
658             put_bits(&pb, 8, mc->coupling_steps - 1);
659             for (j = 0; j < mc->coupling_steps; j++) {
660                 put_bits(&pb, ilog(venc->channels - 1), mc->magnitude[j]);
661                 put_bits(&pb, ilog(venc->channels - 1), mc->angle[j]);
662             }
663         }
664
665         put_bits(&pb, 2, 0); // reserved
666
667         if (mc->submaps > 1)
668             for (j = 0; j < venc->channels; j++)
669                 put_bits(&pb, 4, mc->mux[j]);
670
671         for (j = 0; j < mc->submaps; j++) {
672             put_bits(&pb, 8, 0); // reserved time configuration
673             put_bits(&pb, 8, mc->floor[j]);
674             put_bits(&pb, 8, mc->residue[j]);
675         }
676     }
677
678     // modes
679     put_bits(&pb, 6, venc->nmodes - 1);
680     for (i = 0; i < venc->nmodes; i++) {
681         put_bits(&pb, 1, venc->modes[i].blockflag);
682         put_bits(&pb, 16, 0); // reserved window type
683         put_bits(&pb, 16, 0); // reserved transform type
684         put_bits(&pb, 8, venc->modes[i].mapping);
685     }
686
687     put_bits(&pb, 1, 1); // framing
688
689     flush_put_bits(&pb);
690     hlens[2] = put_bits_count(&pb) >> 3;
691
692     len = hlens[0] + hlens[1] + hlens[2];
693     p = *out = av_mallocz(64 + len + len/255);
694     if (!p)
695         return AVERROR(ENOMEM);
696
697     *p++ = 2;
698     p += av_xiphlacing(p, hlens[0]);
699     p += av_xiphlacing(p, hlens[1]);
700     buffer_len = 0;
701     for (i = 0; i < 3; i++) {
702         memcpy(p, buffer + buffer_len, hlens[i]);
703         p += hlens[i];
704         buffer_len += hlens[i];
705     }
706
707     return p - *out;
708 }
709
710 static float get_floor_average(vorbis_enc_floor * fc, float *coeffs, int i)
711 {
712     int begin = fc->list[fc->list[FFMAX(i-1, 0)].sort].x;
713     int end   = fc->list[fc->list[FFMIN(i+1, fc->values - 1)].sort].x;
714     int j;
715     float average = 0;
716
717     for (j = begin; j < end; j++)
718         average += fabs(coeffs[j]);
719     return average / (end - begin);
720 }
721
722 static void floor_fit(vorbis_enc_context *venc, vorbis_enc_floor *fc,
723                       float *coeffs, uint16_t *posts, int samples)
724 {
725     int range = 255 / fc->multiplier + 1;
726     int i;
727     float tot_average = 0.;
728     float averages[MAX_FLOOR_VALUES];
729     for (i = 0; i < fc->values; i++) {
730         averages[i] = get_floor_average(fc, coeffs, i);
731         tot_average += averages[i];
732     }
733     tot_average /= fc->values;
734     tot_average /= venc->quality;
735
736     for (i = 0; i < fc->values; i++) {
737         int position  = fc->list[fc->list[i].sort].x;
738         float average = averages[i];
739         int j;
740
741         average = sqrt(tot_average * average) * pow(1.25f, position*0.005f); // MAGIC!
742         for (j = 0; j < range - 1; j++)
743             if (ff_vorbis_floor1_inverse_db_table[j * fc->multiplier] > average)
744                 break;
745         posts[fc->list[i].sort] = j;
746     }
747 }
748
749 static int render_point(int x0, int y0, int x1, int y1, int x)
750 {
751     return y0 +  (x - x0) * (y1 - y0) / (x1 - x0);
752 }
753
754 static void floor_encode(vorbis_enc_context *venc, vorbis_enc_floor *fc,
755                          PutBitContext *pb, uint16_t *posts,
756                          float *floor, int samples)
757 {
758     int range = 255 / fc->multiplier + 1;
759     int coded[MAX_FLOOR_VALUES]; // first 2 values are unused
760     int i, counter;
761
762     put_bits(pb, 1, 1); // non zero
763     put_bits(pb, ilog(range - 1), posts[0]);
764     put_bits(pb, ilog(range - 1), posts[1]);
765     coded[0] = coded[1] = 1;
766
767     for (i = 2; i < fc->values; i++) {
768         int predicted = render_point(fc->list[fc->list[i].low].x,
769                                      posts[fc->list[i].low],
770                                      fc->list[fc->list[i].high].x,
771                                      posts[fc->list[i].high],
772                                      fc->list[i].x);
773         int highroom = range - predicted;
774         int lowroom = predicted;
775         int room = FFMIN(highroom, lowroom);
776         if (predicted == posts[i]) {
777             coded[i] = 0; // must be used later as flag!
778             continue;
779         } else {
780             if (!coded[fc->list[i].low ])
781                 coded[fc->list[i].low ] = -1;
782             if (!coded[fc->list[i].high])
783                 coded[fc->list[i].high] = -1;
784         }
785         if (posts[i] > predicted) {
786             if (posts[i] - predicted > room)
787                 coded[i] = posts[i] - predicted + lowroom;
788             else
789                 coded[i] = (posts[i] - predicted) << 1;
790         } else {
791             if (predicted - posts[i] > room)
792                 coded[i] = predicted - posts[i] + highroom - 1;
793             else
794                 coded[i] = ((predicted - posts[i]) << 1) - 1;
795         }
796     }
797
798     counter = 2;
799     for (i = 0; i < fc->partitions; i++) {
800         vorbis_enc_floor_class * c = &fc->classes[fc->partition_to_class[i]];
801         int k, cval = 0, csub = 1<<c->subclass;
802         if (c->subclass) {
803             vorbis_enc_codebook * book = &venc->codebooks[c->masterbook];
804             int cshift = 0;
805             for (k = 0; k < c->dim; k++) {
806                 int l;
807                 for (l = 0; l < csub; l++) {
808                     int maxval = 1;
809                     if (c->books[l] != -1)
810                         maxval = venc->codebooks[c->books[l]].nentries;
811                     // coded could be -1, but this still works, cause that is 0
812                     if (coded[counter + k] < maxval)
813                         break;
814                 }
815                 assert(l != csub);
816                 cval   |= l << cshift;
817                 cshift += c->subclass;
818             }
819             put_codeword(pb, book, cval);
820         }
821         for (k = 0; k < c->dim; k++) {
822             int book  = c->books[cval & (csub-1)];
823             int entry = coded[counter++];
824             cval >>= c->subclass;
825             if (book == -1)
826                 continue;
827             if (entry == -1)
828                 entry = 0;
829             put_codeword(pb, &venc->codebooks[book], entry);
830         }
831     }
832
833     ff_vorbis_floor1_render_list(fc->list, fc->values, posts, coded,
834                                  fc->multiplier, floor, samples);
835 }
836
837 static float *put_vector(vorbis_enc_codebook *book, PutBitContext *pb,
838                          float *num)
839 {
840     int i, entry = -1;
841     float distance = FLT_MAX;
842     assert(book->dimentions);
843     for (i = 0; i < book->nentries; i++) {
844         float * vec = book->dimentions + i * book->ndimentions, d = book->pow2[i];
845         int j;
846         if (!book->lens[i])
847             continue;
848         for (j = 0; j < book->ndimentions; j++)
849             d -= vec[j] * num[j];
850         if (distance > d) {
851             entry    = i;
852             distance = d;
853         }
854     }
855     put_codeword(pb, book, entry);
856     return &book->dimentions[entry * book->ndimentions];
857 }
858
859 static void residue_encode(vorbis_enc_context *venc, vorbis_enc_residue *rc,
860                            PutBitContext *pb, float *coeffs, int samples,
861                            int real_ch)
862 {
863     int pass, i, j, p, k;
864     int psize      = rc->partition_size;
865     int partitions = (rc->end - rc->begin) / psize;
866     int channels   = (rc->type == 2) ? 1 : real_ch;
867     int classes[MAX_CHANNELS][NUM_RESIDUE_PARTITIONS];
868     int classwords = venc->codebooks[rc->classbook].ndimentions;
869
870     assert(rc->type == 2);
871     assert(real_ch == 2);
872     for (p = 0; p < partitions; p++) {
873         float max1 = 0., max2 = 0.;
874         int s = rc->begin + p * psize;
875         for (k = s; k < s + psize; k += 2) {
876             max1 = FFMAX(max1, fabs(coeffs[          k / real_ch]));
877             max2 = FFMAX(max2, fabs(coeffs[samples + k / real_ch]));
878         }
879
880         for (i = 0; i < rc->classifications - 1; i++)
881             if (max1 < rc->maxes[i][0] && max2 < rc->maxes[i][1])
882                 break;
883         classes[0][p] = i;
884     }
885
886     for (pass = 0; pass < 8; pass++) {
887         p = 0;
888         while (p < partitions) {
889             if (pass == 0)
890                 for (j = 0; j < channels; j++) {
891                     vorbis_enc_codebook * book = &venc->codebooks[rc->classbook];
892                     int entry = 0;
893                     for (i = 0; i < classwords; i++) {
894                         entry *= rc->classifications;
895                         entry += classes[j][p + i];
896                     }
897                     put_codeword(pb, book, entry);
898                 }
899             for (i = 0; i < classwords && p < partitions; i++, p++) {
900                 for (j = 0; j < channels; j++) {
901                     int nbook = rc->books[classes[j][p]][pass];
902                     vorbis_enc_codebook * book = &venc->codebooks[nbook];
903                     float *buf = coeffs + samples*j + rc->begin + p*psize;
904                     if (nbook == -1)
905                         continue;
906
907                     assert(rc->type == 0 || rc->type == 2);
908                     assert(!(psize % book->ndimentions));
909
910                     if (rc->type == 0) {
911                         for (k = 0; k < psize; k += book->ndimentions) {
912                             float *a = put_vector(book, pb, &buf[k]);
913                             int l;
914                             for (l = 0; l < book->ndimentions; l++)
915                                 buf[k + l] -= a[l];
916                         }
917                     } else {
918                         int s = rc->begin + p * psize, a1, b1;
919                         a1 = (s % real_ch) * samples;
920                         b1 =  s / real_ch;
921                         s  = real_ch * samples;
922                         for (k = 0; k < psize; k += book->ndimentions) {
923                             int dim, a2 = a1, b2 = b1;
924                             float vec[MAX_CODEBOOK_DIM], *pv = vec;
925                             for (dim = book->ndimentions; dim--; ) {
926                                 *pv++ = coeffs[a2 + b2];
927                                 if ((a2 += samples) == s) {
928                                     a2 = 0;
929                                     b2++;
930                                 }
931                             }
932                             pv = put_vector(book, pb, vec);
933                             for (dim = book->ndimentions; dim--; ) {
934                                 coeffs[a1 + b1] -= *pv++;
935                                 if ((a1 += samples) == s) {
936                                     a1 = 0;
937                                     b1++;
938                                 }
939                             }
940                         }
941                     }
942                 }
943             }
944         }
945     }
946 }
947
948 static int apply_window_and_mdct(vorbis_enc_context *venc, const signed short *audio,
949                                  int samples)
950 {
951     int i, j, channel;
952     const float * win = venc->win[0];
953     int window_len = 1 << (venc->log2_blocksize[0] - 1);
954     float n = (float)(1 << venc->log2_blocksize[0]) / 4.;
955     // FIXME use dsp
956
957     if (!venc->have_saved && !samples)
958         return 0;
959
960     if (venc->have_saved) {
961         for (channel = 0; channel < venc->channels; channel++)
962             memcpy(venc->samples + channel * window_len * 2,
963                    venc->saved + channel * window_len, sizeof(float) * window_len);
964     } else {
965         for (channel = 0; channel < venc->channels; channel++)
966             memset(venc->samples + channel * window_len * 2, 0,
967                    sizeof(float) * window_len);
968     }
969
970     if (samples) {
971         for (channel = 0; channel < venc->channels; channel++) {
972             float * offset = venc->samples + channel*window_len*2 + window_len;
973             j = channel;
974             for (i = 0; i < samples; i++, j += venc->channels)
975                 offset[i] = audio[j] / 32768. / n * win[window_len - i - 1];
976         }
977     } else {
978         for (channel = 0; channel < venc->channels; channel++)
979             memset(venc->samples + channel * window_len * 2 + window_len,
980                    0, sizeof(float) * window_len);
981     }
982
983     for (channel = 0; channel < venc->channels; channel++)
984         venc->mdct[0].mdct_calc(&venc->mdct[0], venc->coeffs + channel * window_len,
985                      venc->samples + channel * window_len * 2);
986
987     if (samples) {
988         for (channel = 0; channel < venc->channels; channel++) {
989             float *offset = venc->saved + channel * window_len;
990             j = channel;
991             for (i = 0; i < samples; i++, j += venc->channels)
992                 offset[i] = audio[j] / 32768. / n * win[i];
993         }
994         venc->have_saved = 1;
995     } else {
996         venc->have_saved = 0;
997     }
998     return 1;
999 }
1000
1001
1002 static int vorbis_encode_frame(AVCodecContext *avccontext,
1003                                unsigned char *packets,
1004                                int buf_size, void *data)
1005 {
1006     vorbis_enc_context *venc = avccontext->priv_data;
1007     const signed short *audio = data;
1008     int samples = data ? avccontext->frame_size : 0;
1009     vorbis_enc_mode *mode;
1010     vorbis_enc_mapping *mapping;
1011     PutBitContext pb;
1012     int i;
1013
1014     if (!apply_window_and_mdct(venc, audio, samples))
1015         return 0;
1016     samples = 1 << (venc->log2_blocksize[0] - 1);
1017
1018     init_put_bits(&pb, packets, buf_size);
1019
1020     put_bits(&pb, 1, 0); // magic bit
1021
1022     put_bits(&pb, ilog(venc->nmodes - 1), 0); // 0 bits, the mode
1023
1024     mode    = &venc->modes[0];
1025     mapping = &venc->mappings[mode->mapping];
1026     if (mode->blockflag) {
1027         put_bits(&pb, 1, 0);
1028         put_bits(&pb, 1, 0);
1029     }
1030
1031     for (i = 0; i < venc->channels; i++) {
1032         vorbis_enc_floor *fc = &venc->floors[mapping->floor[mapping->mux[i]]];
1033         uint16_t posts[MAX_FLOOR_VALUES];
1034         floor_fit(venc, fc, &venc->coeffs[i * samples], posts, samples);
1035         floor_encode(venc, fc, &pb, posts, &venc->floor[i * samples], samples);
1036     }
1037
1038     for (i = 0; i < venc->channels * samples; i++)
1039         venc->coeffs[i] /= venc->floor[i];
1040
1041     for (i = 0; i < mapping->coupling_steps; i++) {
1042         float *mag = venc->coeffs + mapping->magnitude[i] * samples;
1043         float *ang = venc->coeffs + mapping->angle[i]     * samples;
1044         int j;
1045         for (j = 0; j < samples; j++) {
1046             float a = ang[j];
1047             ang[j] -= mag[j];
1048             if (mag[j] > 0)
1049                 ang[j] = -ang[j];
1050             if (ang[j] < 0)
1051                 mag[j] = a;
1052         }
1053     }
1054
1055     residue_encode(venc, &venc->residues[mapping->residue[mapping->mux[0]]],
1056                    &pb, venc->coeffs, samples, venc->channels);
1057
1058     avccontext->coded_frame->pts = venc->sample_count;
1059     venc->sample_count += avccontext->frame_size;
1060     flush_put_bits(&pb);
1061     return put_bits_count(&pb) >> 3;
1062 }
1063
1064
1065 static av_cold int vorbis_encode_close(AVCodecContext *avccontext)
1066 {
1067     vorbis_enc_context *venc = avccontext->priv_data;
1068     int i;
1069
1070     if (venc->codebooks)
1071         for (i = 0; i < venc->ncodebooks; i++) {
1072             av_freep(&venc->codebooks[i].lens);
1073             av_freep(&venc->codebooks[i].codewords);
1074             av_freep(&venc->codebooks[i].quantlist);
1075             av_freep(&venc->codebooks[i].dimentions);
1076             av_freep(&venc->codebooks[i].pow2);
1077         }
1078     av_freep(&venc->codebooks);
1079
1080     if (venc->floors)
1081         for (i = 0; i < venc->nfloors; i++) {
1082             int j;
1083             if (venc->floors[i].classes)
1084                 for (j = 0; j < venc->floors[i].nclasses; j++)
1085                     av_freep(&venc->floors[i].classes[j].books);
1086             av_freep(&venc->floors[i].classes);
1087             av_freep(&venc->floors[i].partition_to_class);
1088             av_freep(&venc->floors[i].list);
1089         }
1090     av_freep(&venc->floors);
1091
1092     if (venc->residues)
1093         for (i = 0; i < venc->nresidues; i++) {
1094             av_freep(&venc->residues[i].books);
1095             av_freep(&venc->residues[i].maxes);
1096         }
1097     av_freep(&venc->residues);
1098
1099     if (venc->mappings)
1100         for (i = 0; i < venc->nmappings; i++) {
1101             av_freep(&venc->mappings[i].mux);
1102             av_freep(&venc->mappings[i].floor);
1103             av_freep(&venc->mappings[i].residue);
1104             av_freep(&venc->mappings[i].magnitude);
1105             av_freep(&venc->mappings[i].angle);
1106         }
1107     av_freep(&venc->mappings);
1108
1109     av_freep(&venc->modes);
1110
1111     av_freep(&venc->saved);
1112     av_freep(&venc->samples);
1113     av_freep(&venc->floor);
1114     av_freep(&venc->coeffs);
1115
1116     ff_mdct_end(&venc->mdct[0]);
1117     ff_mdct_end(&venc->mdct[1]);
1118
1119     av_freep(&avccontext->coded_frame);
1120     av_freep(&avccontext->extradata);
1121
1122     return 0 ;
1123 }
1124
1125 static av_cold int vorbis_encode_init(AVCodecContext *avccontext)
1126 {
1127     vorbis_enc_context *venc = avccontext->priv_data;
1128     int ret;
1129
1130     if (avccontext->channels != 2) {
1131         av_log(avccontext, AV_LOG_ERROR, "Current Libav Vorbis encoder only supports 2 channels.\n");
1132         return -1;
1133     }
1134
1135     if ((ret = create_vorbis_context(venc, avccontext)) < 0)
1136         goto error;
1137
1138     if (avccontext->flags & CODEC_FLAG_QSCALE)
1139         venc->quality = avccontext->global_quality / (float)FF_QP2LAMBDA / 10.;
1140     else
1141         venc->quality = 0.03;
1142     venc->quality *= venc->quality;
1143
1144     if ((ret = put_main_header(venc, (uint8_t**)&avccontext->extradata)) < 0)
1145         goto error;
1146     avccontext->extradata_size = ret;
1147
1148     avccontext->frame_size = 1 << (venc->log2_blocksize[0] - 1);
1149
1150     avccontext->coded_frame = avcodec_alloc_frame();
1151     if (!avccontext->coded_frame) {
1152         ret = AVERROR(ENOMEM);
1153         goto error;
1154     }
1155
1156     return 0;
1157 error:
1158     vorbis_encode_close(avccontext);
1159     return ret;
1160 }
1161
1162 AVCodec ff_vorbis_encoder = {
1163     .name           = "vorbis",
1164     .type           = AVMEDIA_TYPE_AUDIO,
1165     .id             = CODEC_ID_VORBIS,
1166     .priv_data_size = sizeof(vorbis_enc_context),
1167     .init           = vorbis_encode_init,
1168     .encode         = vorbis_encode_frame,
1169     .close          = vorbis_encode_close,
1170     .capabilities= CODEC_CAP_DELAY | CODEC_CAP_EXPERIMENTAL,
1171     .sample_fmts = (const enum AVSampleFormat[]){AV_SAMPLE_FMT_S16,AV_SAMPLE_FMT_NONE},
1172     .long_name = NULL_IF_CONFIG_SMALL("Vorbis"),
1173 };