aacenc: add support for encoding files using Long Term Prediction
[ffmpeg.git] / libavcodec / aac.h
1 /*
2  * AAC definitions and structures
3  * Copyright (c) 2005-2006 Oded Shimon ( ods15 ods15 dyndns org )
4  * Copyright (c) 2006-2007 Maxim Gavrilov ( maxim.gavrilov gmail com )
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * AAC definitions and structures
26  * @author Oded Shimon  ( ods15 ods15 dyndns org )
27  * @author Maxim Gavrilov ( maxim.gavrilov gmail com )
28  */
29
30 #ifndef AVCODEC_AAC_H
31 #define AVCODEC_AAC_H
32
33
34 #include "aac_defines.h"
35 #include "libavutil/float_dsp.h"
36 #include "libavutil/fixed_dsp.h"
37 #include "avcodec.h"
38 #if !USE_FIXED
39 #include "imdct15.h"
40 #endif
41 #include "fft.h"
42 #include "mpeg4audio.h"
43 #include "sbr.h"
44
45 #include <stdint.h>
46
47 #define MAX_CHANNELS 64
48 #define MAX_ELEM_ID 16
49
50 #define TNS_MAX_ORDER 20
51 #define MAX_LTP_LONG_SFB 40
52
53 #define CLIP_AVOIDANCE_FACTOR 0.95f
54
55 enum RawDataBlockType {
56     TYPE_SCE,
57     TYPE_CPE,
58     TYPE_CCE,
59     TYPE_LFE,
60     TYPE_DSE,
61     TYPE_PCE,
62     TYPE_FIL,
63     TYPE_END,
64 };
65
66 enum ExtensionPayloadID {
67     EXT_FILL,
68     EXT_FILL_DATA,
69     EXT_DATA_ELEMENT,
70     EXT_DYNAMIC_RANGE = 0xb,
71     EXT_SBR_DATA      = 0xd,
72     EXT_SBR_DATA_CRC  = 0xe,
73 };
74
75 enum WindowSequence {
76     ONLY_LONG_SEQUENCE,
77     LONG_START_SEQUENCE,
78     EIGHT_SHORT_SEQUENCE,
79     LONG_STOP_SEQUENCE,
80 };
81
82 enum BandType {
83     ZERO_BT        = 0,     ///< Scalefactors and spectral data are all zero.
84     FIRST_PAIR_BT  = 5,     ///< This and later band types encode two values (rather than four) with one code word.
85     ESC_BT         = 11,    ///< Spectral data are coded with an escape sequence.
86     RESERVED_BT    = 12,    ///< Band types following are encoded differently from others.
87     NOISE_BT       = 13,    ///< Spectral data are scaled white noise not coded in the bitstream.
88     INTENSITY_BT2  = 14,    ///< Scalefactor data are intensity stereo positions (out of phase).
89     INTENSITY_BT   = 15,    ///< Scalefactor data are intensity stereo positions (in phase).
90 };
91
92 #define IS_CODEBOOK_UNSIGNED(x) (((x) - 1) & 10)
93
94 enum ChannelPosition {
95     AAC_CHANNEL_OFF   = 0,
96     AAC_CHANNEL_FRONT = 1,
97     AAC_CHANNEL_SIDE  = 2,
98     AAC_CHANNEL_BACK  = 3,
99     AAC_CHANNEL_LFE   = 4,
100     AAC_CHANNEL_CC    = 5,
101 };
102
103 /**
104  * The point during decoding at which channel coupling is applied.
105  */
106 enum CouplingPoint {
107     BEFORE_TNS,
108     BETWEEN_TNS_AND_IMDCT,
109     AFTER_IMDCT = 3,
110 };
111
112 /**
113  * Output configuration status
114  */
115 enum OCStatus {
116     OC_NONE,        ///< Output unconfigured
117     OC_TRIAL_PCE,   ///< Output configuration under trial specified by an inband PCE
118     OC_TRIAL_FRAME, ///< Output configuration under trial specified by a frame header
119     OC_GLOBAL_HDR,  ///< Output configuration set in a global header but not yet locked
120     OC_LOCKED,      ///< Output configuration locked in place
121 };
122
123 typedef struct OutputConfiguration {
124     MPEG4AudioConfig m4ac;
125     uint8_t layout_map[MAX_ELEM_ID*4][3];
126     int layout_map_tags;
127     int channels;
128     uint64_t channel_layout;
129     enum OCStatus status;
130 } OutputConfiguration;
131
132 /**
133  * Predictor State
134  */
135 typedef struct PredictorState {
136     AAC_FLOAT cor0;
137     AAC_FLOAT cor1;
138     AAC_FLOAT var0;
139     AAC_FLOAT var1;
140     AAC_FLOAT r0;
141     AAC_FLOAT r1;
142     AAC_FLOAT k1;
143     AAC_FLOAT x_est;
144 } PredictorState;
145
146 #define MAX_PREDICTORS 672
147
148 #define SCALE_DIV_512    36    ///< scalefactor difference that corresponds to scale difference in 512 times
149 #define SCALE_ONE_POS   140    ///< scalefactor index that corresponds to scale=1.0
150 #define SCALE_MAX_POS   255    ///< scalefactor index maximum value
151 #define SCALE_MAX_DIFF   60    ///< maximum scalefactor difference allowed by standard
152 #define SCALE_DIFF_ZERO  60    ///< codebook index corresponding to zero scalefactor indices difference
153
154 #define NOISE_PRE       256    ///< preamble for NOISE_BT, put in bitstream with the first noise band
155 #define NOISE_PRE_BITS    9    ///< length of preamble
156 #define NOISE_OFFSET     90    ///< subtracted from global gain, used as offset for the preamble
157
158 /**
159  * Long Term Prediction
160  */
161 typedef struct LongTermPrediction {
162     int8_t present;
163     int16_t lag;
164     int coef_idx;
165     INTFLOAT coef;
166     int8_t used[MAX_LTP_LONG_SFB];
167 } LongTermPrediction;
168
169 /**
170  * Individual Channel Stream
171  */
172 typedef struct IndividualChannelStream {
173     uint8_t max_sfb;            ///< number of scalefactor bands per group
174     enum WindowSequence window_sequence[2];
175     uint8_t use_kb_window[2];   ///< If set, use Kaiser-Bessel window, otherwise use a sine window.
176     int num_window_groups;
177     uint8_t group_len[8];
178     LongTermPrediction ltp;
179     const uint16_t *swb_offset; ///< table of offsets to the lowest spectral coefficient of a scalefactor band, sfb, for a particular window
180     const uint8_t *swb_sizes;   ///< table of scalefactor band sizes for a particular window
181     int num_swb;                ///< number of scalefactor window bands
182     int num_windows;
183     int tns_max_bands;
184     int predictor_present;
185     int predictor_initialized;
186     int predictor_reset_group;
187     int predictor_reset_count[31];  ///< used by encoder to count prediction resets
188     uint8_t prediction_used[41];
189     uint8_t window_clipping[8]; ///< set if a certain window is near clipping
190     float clip_avoidance_factor; ///< set if any window is near clipping to the necessary atennuation factor to avoid it
191 } IndividualChannelStream;
192
193 /**
194  * Temporal Noise Shaping
195  */
196 typedef struct TemporalNoiseShaping {
197     int present;
198     int n_filt[8];
199     int length[8][4];
200     int direction[8][4];
201     int order[8][4];
202     int coef_idx[8][4][TNS_MAX_ORDER];
203     INTFLOAT coef[8][4][TNS_MAX_ORDER];
204 } TemporalNoiseShaping;
205
206 /**
207  * Dynamic Range Control - decoded from the bitstream but not processed further.
208  */
209 typedef struct DynamicRangeControl {
210     int pce_instance_tag;                           ///< Indicates with which program the DRC info is associated.
211     int dyn_rng_sgn[17];                            ///< DRC sign information; 0 - positive, 1 - negative
212     int dyn_rng_ctl[17];                            ///< DRC magnitude information
213     int exclude_mask[MAX_CHANNELS];                 ///< Channels to be excluded from DRC processing.
214     int band_incr;                                  ///< Number of DRC bands greater than 1 having DRC info.
215     int interpolation_scheme;                       ///< Indicates the interpolation scheme used in the SBR QMF domain.
216     int band_top[17];                               ///< Indicates the top of the i-th DRC band in units of 4 spectral lines.
217     int prog_ref_level;                             /**< A reference level for the long-term program audio level for all
218                                                      *   channels combined.
219                                                      */
220 } DynamicRangeControl;
221
222 typedef struct Pulse {
223     int num_pulse;
224     int start;
225     int pos[4];
226     int amp[4];
227 } Pulse;
228
229 /**
230  * coupling parameters
231  */
232 typedef struct ChannelCoupling {
233     enum CouplingPoint coupling_point;  ///< The point during decoding at which coupling is applied.
234     int num_coupled;       ///< number of target elements
235     enum RawDataBlockType type[8];   ///< Type of channel element to be coupled - SCE or CPE.
236     int id_select[8];      ///< element id
237     int ch_select[8];      /**< [0] shared list of gains; [1] list of gains for right channel;
238                             *   [2] list of gains for left channel; [3] lists of gains for both channels
239                             */
240     INTFLOAT gain[16][120];
241 } ChannelCoupling;
242
243 /**
244  * Single Channel Element - used for both SCE and LFE elements.
245  */
246 typedef struct SingleChannelElement {
247     IndividualChannelStream ics;
248     TemporalNoiseShaping tns;
249     Pulse pulse;
250     enum BandType band_type[128];                   ///< band types
251     enum BandType band_alt[128];                    ///< alternative band type (used by encoder)
252     int band_type_run_end[120];                     ///< band type run end points
253     INTFLOAT sf[120];                               ///< scalefactors
254     int sf_idx[128];                                ///< scalefactor indices (used by encoder)
255     uint8_t zeroes[128];                            ///< band is not coded (used by encoder)
256     uint8_t can_pns[128];                           ///< band is allowed to PNS (informative)
257     float  is_ener[128];                            ///< Intensity stereo pos (used by encoder)
258     float pns_ener[128];                            ///< Noise energy values (used by encoder)
259     DECLARE_ALIGNED(32, INTFLOAT, pcoeffs)[1024];   ///< coefficients for IMDCT, pristine
260     DECLARE_ALIGNED(32, INTFLOAT, coeffs)[1024];    ///< coefficients for IMDCT, maybe processed
261     DECLARE_ALIGNED(32, INTFLOAT, saved)[1536];     ///< overlap
262     DECLARE_ALIGNED(32, INTFLOAT, ret_buf)[2048];   ///< PCM output buffer
263     DECLARE_ALIGNED(16, INTFLOAT, ltp_state)[3072]; ///< time signal for LTP
264     DECLARE_ALIGNED(32, AAC_FLOAT, lcoeffs)[1024];  ///< MDCT of LTP coefficients (used by encoder)
265     DECLARE_ALIGNED(32, AAC_FLOAT, prcoeffs)[1024]; ///< Main prediction coefs (used by encoder)
266     PredictorState predictor_state[MAX_PREDICTORS];
267     INTFLOAT *ret;                                  ///< PCM output
268 } SingleChannelElement;
269
270 /**
271  * channel element - generic struct for SCE/CPE/CCE/LFE
272  */
273 typedef struct ChannelElement {
274     int present;
275     // CPE specific
276     int common_window;        ///< Set if channels share a common 'IndividualChannelStream' in bitstream.
277     int     ms_mode;          ///< Signals mid/side stereo flags coding mode (used by encoder)
278     uint8_t is_mode;          ///< Set if any bands have been encoded using intensity stereo (used by encoder)
279     uint8_t ms_mask[128];     ///< Set if mid/side stereo is used for each scalefactor window band
280     uint8_t is_mask[128];     ///< Set if intensity stereo is used (used by encoder)
281     // shared
282     SingleChannelElement ch[2];
283     // CCE specific
284     ChannelCoupling coup;
285     SpectralBandReplication sbr;
286 } ChannelElement;
287
288 /**
289  * main AAC context
290  */
291 struct AACContext {
292     AVClass        *class;
293     AVCodecContext *avctx;
294     AVFrame *frame;
295
296     int is_saved;                 ///< Set if elements have stored overlap from previous frame.
297     DynamicRangeControl che_drc;
298
299     /**
300      * @name Channel element related data
301      * @{
302      */
303     ChannelElement          *che[4][MAX_ELEM_ID];
304     ChannelElement  *tag_che_map[4][MAX_ELEM_ID];
305     int tags_mapped;
306     int warned_remapping_once;
307     /** @} */
308
309     /**
310      * @name temporary aligned temporary buffers
311      * (We do not want to have these on the stack.)
312      * @{
313      */
314     DECLARE_ALIGNED(32, INTFLOAT, buf_mdct)[1024];
315     /** @} */
316
317     /**
318      * @name Computed / set up during initialization
319      * @{
320      */
321     FFTContext mdct;
322     FFTContext mdct_small;
323     FFTContext mdct_ld;
324     FFTContext mdct_ltp;
325 #if USE_FIXED
326     AVFixedDSPContext *fdsp;
327 #else
328     IMDCT15Context *mdct480;
329     AVFloatDSPContext *fdsp;
330 #endif /* USE_FIXED */
331     int random_state;
332     /** @} */
333
334     /**
335      * @name Members used for output
336      * @{
337      */
338     SingleChannelElement *output_element[MAX_CHANNELS]; ///< Points to each SingleChannelElement
339     /** @} */
340
341
342     /**
343      * @name Japanese DTV specific extension
344      * @{
345      */
346     int force_dmono_mode;///< 0->not dmono, 1->use first channel, 2->use second channel
347     int dmono_mode;      ///< 0->not dmono, 1->use first channel, 2->use second channel
348     /** @} */
349
350     DECLARE_ALIGNED(32, INTFLOAT, temp)[128];
351
352     OutputConfiguration oc[2];
353     int warned_num_aac_frames;
354
355     /* aacdec functions pointers */
356     void (*imdct_and_windowing)(AACContext *ac, SingleChannelElement *sce);
357     void (*apply_ltp)(AACContext *ac, SingleChannelElement *sce);
358     void (*apply_tns)(INTFLOAT coef[1024], TemporalNoiseShaping *tns,
359                       IndividualChannelStream *ics, int decode);
360     void (*windowing_and_mdct_ltp)(AACContext *ac, INTFLOAT *out,
361                                    INTFLOAT *in, IndividualChannelStream *ics);
362     void (*update_ltp)(AACContext *ac, SingleChannelElement *sce);
363     void (*vector_pow43)(int *coefs, int len);
364     void (*subband_scale)(int *dst, int *src, int scale, int offset, int len);
365
366 };
367
368 void ff_aacdec_init_mips(AACContext *c);
369
370 #endif /* AVCODEC_AAC_H */