lavc: add a native Opus decoder.
[ffmpeg.git] / libavcodec / opus.h
1 /*
2  * Opus decoder/demuxer common functions
3  * Copyright (c) 2012 Andrew D'Addesio
4  * Copyright (c) 2013-2014 Mozilla Corporation
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #ifndef AVCODEC_OPUS_H
24 #define AVCODEC_OPUS_H
25
26 #include <stdint.h>
27
28 #include "libavutil/audio_fifo.h"
29 #include "libavutil/float_dsp.h"
30 #include "libavutil/frame.h"
31
32 #include "libavresample/avresample.h"
33
34 #include "avcodec.h"
35 #include "get_bits.h"
36
37 #define MAX_FRAME_SIZE               1275
38 #define MAX_FRAMES                   48
39 #define MAX_PACKET_DUR               5760
40
41 #define CELT_SHORT_BLOCKSIZE         120
42 #define CELT_OVERLAP                 CELT_SHORT_BLOCKSIZE
43 #define CELT_MAX_LOG_BLOCKS          3
44 #define CELT_MAX_FRAME_SIZE          (CELT_SHORT_BLOCKSIZE * (1 << CELT_MAX_LOG_BLOCKS))
45 #define CELT_MAX_BANDS               21
46 #define CELT_VECTORS                 11
47 #define CELT_ALLOC_STEPS             6
48 #define CELT_FINE_OFFSET             21
49 #define CELT_MAX_FINE_BITS           8
50 #define CELT_NORM_SCALE              16384
51 #define CELT_QTHETA_OFFSET           4
52 #define CELT_QTHETA_OFFSET_TWOPHASE  16
53 #define CELT_DEEMPH_COEFF            0.85000610f
54 #define CELT_POSTFILTER_MINPERIOD    15
55 #define CELT_ENERGY_SILENCE          (-28.0f)
56
57 #define SILK_HISTORY                 322
58 #define SILK_MAX_LPC                 16
59
60 #define ROUND_MULL(a,b,s) (((MUL64(a, b) >> (s - 1)) + 1) >> 1)
61 #define ROUND_MUL16(a,b)  ((MUL16(a, b) + 16384) >> 15)
62 #define opus_ilog(i) (av_log2(i) + !!(i))
63
64 enum OpusMode {
65     OPUS_MODE_SILK,
66     OPUS_MODE_HYBRID,
67     OPUS_MODE_CELT
68 };
69
70 enum OpusBandwidth {
71     OPUS_BANDWIDTH_NARROWBAND,
72     OPUS_BANDWIDTH_MEDIUMBAND,
73     OPUS_BANDWIDTH_WIDEBAND,
74     OPUS_BANDWIDTH_SUPERWIDEBAND,
75     OPUS_BANDWIDTH_FULLBAND
76 };
77
78 typedef struct RawBitsContext {
79     const uint8_t *position;
80     unsigned int bytes;
81     unsigned int cachelen;
82     unsigned int cacheval;
83 } RawBitsContext;
84
85 typedef struct OpusRangeCoder {
86     GetBitContext gb;
87     RawBitsContext rb;
88     unsigned int range;
89     unsigned int value;
90     unsigned int total_read_bits;
91 } OpusRangeCoder;
92
93 typedef struct SilkContext SilkContext;
94
95 typedef struct CeltIMDCTContext CeltIMDCTContext;
96
97 typedef struct CeltContext CeltContext;
98
99 typedef struct OpusPacket {
100     int packet_size;                /** packet size */
101     int data_size;                  /** size of the useful data -- packet size - padding */
102     int code;                       /** packet code: specifies the frame layout */
103     int stereo;                     /** whether this packet is mono or stereo */
104     int vbr;                        /** vbr flag */
105     int config;                     /** configuration: tells the audio mode,
106                                      **                bandwidth, and frame duration */
107     int frame_count;                /** frame count */
108     int frame_offset[MAX_FRAMES];   /** frame offsets */
109     int frame_size[MAX_FRAMES];     /** frame sizes */
110     int frame_duration;             /** frame duration, in samples @ 48kHz */
111     enum OpusMode mode;             /** mode */
112     enum OpusBandwidth bandwidth;   /** bandwidth */
113 } OpusPacket;
114
115 typedef struct OpusStreamContext {
116     AVCodecContext *avctx;
117     int output_channels;
118
119     OpusRangeCoder rc;
120     OpusRangeCoder redundancy_rc;
121     SilkContext *silk;
122     CeltContext *celt;
123     AVFloatDSPContext *fdsp;
124
125     float silk_buf[2][960];
126     float *silk_output[2];
127     DECLARE_ALIGNED(32, float, celt_buf)[2][960];
128     float *celt_output[2];
129
130     float redundancy_buf[2][960];
131     float *redundancy_output[2];
132
133     /* data buffers for the final output data */
134     float *out[2];
135     int out_size;
136
137     float *out_dummy;
138     int    out_dummy_allocated_size;
139
140     AVAudioResampleContext *avr;
141     AVAudioFifo *celt_delay;
142     int silk_samplerate;
143     /* number of samples we still want to get from the resampler */
144     int delayed_samples;
145
146     OpusPacket packet;
147
148     int redundancy_idx;
149 } OpusStreamContext;
150
151 // a mapping between an opus stream and an output channel
152 typedef struct ChannelMap {
153     int stream_idx;
154     int channel_idx;
155
156     // when a single decoded channel is mapped to multiple output channels, we
157     // write to the first output directly and copy from it to the others
158     // this field is set to 1 for those copied output channels
159     int copy;
160     // this is the index of the output channel to copy from
161     int copy_idx;
162
163     // this channel is silent
164     int silence;
165 } ChannelMap;
166
167 typedef struct OpusContext {
168     OpusStreamContext *streams;
169     int             nb_streams;
170     int      nb_stereo_streams;
171
172     AVFloatDSPContext fdsp;
173     int16_t gain_i;
174     float   gain;
175
176     ChannelMap *channel_maps;
177 } OpusContext;
178
179 static av_always_inline void opus_rc_normalize(OpusRangeCoder *rc)
180 {
181     while (rc->range <= 1<<23) {
182         rc->value = ((rc->value << 8) | (get_bits(&rc->gb, 8) ^ 0xFF)) & ((1u << 31) - 1);
183         rc->range          <<= 8;
184         rc->total_read_bits += 8;
185     }
186 }
187
188 static av_always_inline void opus_rc_update(OpusRangeCoder *rc, unsigned int scale,
189                                           unsigned int low, unsigned int high,
190                                           unsigned int total)
191 {
192     rc->value -= scale * (total - high);
193     rc->range  = low ? scale * (high - low)
194                       : rc->range - scale * (total - high);
195     opus_rc_normalize(rc);
196 }
197
198 static av_always_inline unsigned int opus_rc_getsymbol(OpusRangeCoder *rc, const uint16_t *cdf)
199 {
200     unsigned int k, scale, total, symbol, low, high;
201
202     total = *cdf++;
203
204     scale   = rc->range / total;
205     symbol = rc->value / scale + 1;
206     symbol = total - FFMIN(symbol, total);
207
208     for (k = 0; cdf[k] <= symbol; k++);
209     high = cdf[k];
210     low  = k ? cdf[k-1] : 0;
211
212     opus_rc_update(rc, scale, low, high, total);
213
214     return k;
215 }
216
217 static av_always_inline unsigned int opus_rc_p2model(OpusRangeCoder *rc, unsigned int bits)
218 {
219     unsigned int k, scale;
220     scale = rc->range >> bits; // in this case, scale = symbol
221
222     if (rc->value >= scale) {
223         rc->value -= scale;
224         rc->range -= scale;
225         k = 0;
226     } else {
227         rc->range = scale;
228         k = 1;
229     }
230     opus_rc_normalize(rc);
231     return k;
232 }
233
234 /**
235  * CELT: estimate bits of entropy that have thus far been consumed for the
236  *       current CELT frame, to integer and fractional (1/8th bit) precision
237  */
238 static av_always_inline unsigned int opus_rc_tell(const OpusRangeCoder *rc)
239 {
240     return rc->total_read_bits - av_log2(rc->range) - 1;
241 }
242
243 static av_always_inline unsigned int opus_rc_tell_frac(const OpusRangeCoder *rc)
244 {
245     unsigned int i, total_bits, rcbuffer, range;
246
247     total_bits = rc->total_read_bits << 3;
248     rcbuffer   = av_log2(rc->range) + 1;
249     range      = rc->range >> (rcbuffer-16);
250
251     for (i = 0; i < 3; i++) {
252         int bit;
253         range = range * range >> 15;
254         bit = range >> 16;
255         rcbuffer = rcbuffer << 1 | bit;
256         range >>= bit;
257     }
258
259     return total_bits - rcbuffer;
260 }
261
262 /**
263  * CELT: read 1-25 raw bits at the end of the frame, backwards byte-wise
264  */
265 static av_always_inline unsigned int opus_getrawbits(OpusRangeCoder *rc, unsigned int count)
266 {
267     unsigned int value = 0;
268
269     while (rc->rb.bytes && rc->rb.cachelen < count) {
270         rc->rb.cacheval |= *--rc->rb.position << rc->rb.cachelen;
271         rc->rb.cachelen += 8;
272         rc->rb.bytes--;
273     }
274
275     value = rc->rb.cacheval & ((1<<count)-1);
276     rc->rb.cacheval    >>= count;
277     rc->rb.cachelen     -= count;
278     rc->total_read_bits += count;
279
280     return value;
281 }
282
283 /**
284  * CELT: read a uniform distribution
285  */
286 static av_always_inline unsigned int opus_rc_unimodel(OpusRangeCoder *rc, unsigned int size)
287 {
288     unsigned int bits, k, scale, total;
289
290     bits  = opus_ilog(size - 1);
291     total = (bits > 8) ? ((size - 1) >> (bits - 8)) + 1 : size;
292
293     scale  = rc->range / total;
294     k      = rc->value / scale + 1;
295     k      = total - FFMIN(k, total);
296     opus_rc_update(rc, scale, k, k + 1, total);
297
298     if (bits > 8) {
299         k = k << (bits - 8) | opus_getrawbits(rc, bits - 8);
300         return FFMIN(k, size - 1);
301     } else
302         return k;
303 }
304
305 static av_always_inline int opus_rc_laplace(OpusRangeCoder *rc, unsigned int symbol, int decay)
306 {
307     /* extends the range coder to model a Laplace distribution */
308     int value = 0;
309     unsigned int scale, low = 0, center;
310
311     scale  = rc->range >> 15;
312     center = rc->value / scale + 1;
313     center = (1 << 15) - FFMIN(center, 1 << 15);
314
315     if (center >= symbol) {
316         value++;
317         low = symbol;
318         symbol = 1 + ((32768 - 32 - symbol) * (16384-decay) >> 15);
319
320         while (symbol > 1 && center >= low + 2 * symbol) {
321             value++;
322             symbol *= 2;
323             low    += symbol;
324             symbol  = (((symbol - 2) * decay) >> 15) + 1;
325         }
326
327         if (symbol <= 1) {
328             int distance = (center - low) >> 1;
329             value += distance;
330             low   += 2 * distance;
331         }
332
333         if (center < low + symbol)
334             value *= -1;
335         else
336             low += symbol;
337     }
338
339     opus_rc_update(rc, scale, low, FFMIN(low + symbol, 32768), 32768);
340
341     return value;
342 }
343
344 static av_always_inline unsigned int opus_rc_stepmodel(OpusRangeCoder *rc, int k0)
345 {
346     /* Use a probability of 3 up to itheta=8192 and then use 1 after */
347     unsigned int k, scale, symbol, total = (k0+1)*3 + k0;
348     scale  = rc->range / total;
349     symbol = rc->value / scale + 1;
350     symbol = total - FFMIN(symbol, total);
351
352     k = (symbol < (k0+1)*3) ? symbol/3 : symbol - (k0+1)*2;
353
354     opus_rc_update(rc, scale, (k <= k0) ? 3*(k+0) : (k-1-k0) + 3*(k0+1),
355                    (k <= k0) ? 3*(k+1) : (k-0-k0) + 3*(k0+1), total);
356     return k;
357 }
358
359 static av_always_inline unsigned int opus_rc_trimodel(OpusRangeCoder *rc, int qn)
360 {
361     unsigned int k, scale, symbol, total, low, center;
362
363     total = ((qn>>1) + 1) * ((qn>>1) + 1);
364     scale   = rc->range / total;
365     center = rc->value / scale + 1;
366     center = total - FFMIN(center, total);
367
368     if (center < total >> 1) {
369         k      = (ff_sqrt(8 * center + 1) - 1) >> 1;
370         low    = k * (k + 1) >> 1;
371         symbol = k + 1;
372     } else {
373         k      = (2*(qn + 1) - ff_sqrt(8*(total - center - 1) + 1)) >> 1;
374         low    = total - ((qn + 1 - k) * (qn + 2 - k) >> 1);
375         symbol = qn + 1 - k;
376     }
377
378     opus_rc_update(rc, scale, low, low + symbol, total);
379
380     return k;
381 }
382
383 int ff_opus_parse_packet(OpusPacket *pkt, const uint8_t *buf, int buf_size,
384                          int self_delimited);
385
386 int ff_opus_parse_extradata(AVCodecContext *avctx, OpusContext *s);
387
388 int ff_silk_init(AVCodecContext *avctx, SilkContext **ps, int output_channels);
389 void ff_silk_free(SilkContext **ps);
390 void ff_silk_flush(SilkContext *s);
391
392 /**
393  * Decode the LP layer of one Opus frame (which may correspond to several SILK
394  * frames).
395  */
396 int ff_silk_decode_superframe(SilkContext *s, OpusRangeCoder *rc,
397                               float *output[2],
398                               enum OpusBandwidth bandwidth, int coded_channels,
399                               int duration_ms);
400
401 /**
402  * Init an iMDCT of the length 2 * 15 * (2^N)
403  */
404 int ff_celt_imdct_init(CeltIMDCTContext **s, int N);
405
406 /**
407  * Free an iMDCT.
408  */
409 void ff_celt_imdct_uninit(CeltIMDCTContext **s);
410
411 /**
412  * Calculate the middle half of the iMDCT
413  */
414 void ff_celt_imdct_half(CeltIMDCTContext *s, float *dst, const float *src,
415                         int src_stride, float scale);
416
417 int ff_celt_init(AVCodecContext *avctx, CeltContext **s, int output_channels);
418
419 void ff_celt_free(CeltContext **s);
420
421 void ff_celt_flush(CeltContext *s);
422
423 int ff_celt_decode_frame(CeltContext *s, OpusRangeCoder *rc,
424                          float **output, int coded_channels, int frame_size,
425                          int startband,  int endband);
426
427 extern const float ff_celt_window2[120];
428
429 #endif /* AVCODEC_OPUS_H */