avcodec/gsmdec_template: Fix runtime error: signed integer overflow: -22527 * 99113...
[ffmpeg.git] / libavcodec / atrac3plusdec.c
1 /*
2  * ATRAC3+ compatible decoder
3  *
4  * Copyright (c) 2010-2013 Maxim Poliakovski
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * Sony ATRAC3+ compatible decoder.
26  *
27  * Container formats used to store its data:
28  * RIFF WAV (.at3) and Sony OpenMG (.oma, .aa3).
29  *
30  * Technical description of this codec can be found here:
31  * http://wiki.multimedia.cx/index.php?title=ATRAC3plus
32  *
33  * Kudos to Benjamin Larsson and Michael Karcher
34  * for their precious technical help!
35  */
36
37 #include <stdint.h>
38 #include <string.h>
39
40 #include "libavutil/channel_layout.h"
41 #include "libavutil/float_dsp.h"
42 #include "avcodec.h"
43 #include "get_bits.h"
44 #include "internal.h"
45 #include "atrac.h"
46 #include "atrac3plus.h"
47
48 typedef struct ATRAC3PContext {
49     GetBitContext gb;
50     AVFloatDSPContext *fdsp;
51
52     DECLARE_ALIGNED(32, float, samples)[2][ATRAC3P_FRAME_SAMPLES];  ///< quantized MDCT spectrum
53     DECLARE_ALIGNED(32, float, mdct_buf)[2][ATRAC3P_FRAME_SAMPLES]; ///< output of the IMDCT
54     DECLARE_ALIGNED(32, float, time_buf)[2][ATRAC3P_FRAME_SAMPLES]; ///< output of the gain compensation
55     DECLARE_ALIGNED(32, float, outp_buf)[2][ATRAC3P_FRAME_SAMPLES];
56
57     AtracGCContext gainc_ctx;   ///< gain compensation context
58     FFTContext mdct_ctx;
59     FFTContext ipqf_dct_ctx;    ///< IDCT context used by IPQF
60
61     Atrac3pChanUnitCtx *ch_units;   ///< global channel units
62
63     int num_channel_blocks;     ///< number of channel blocks
64     uint8_t channel_blocks[5];  ///< channel configuration descriptor
65     uint64_t my_channel_layout; ///< current channel layout
66 } ATRAC3PContext;
67
68 static av_cold int atrac3p_decode_close(AVCodecContext *avctx)
69 {
70     ATRAC3PContext *ctx = avctx->priv_data;
71
72     av_freep(&ctx->ch_units);
73     av_freep(&ctx->fdsp);
74
75     ff_mdct_end(&ctx->mdct_ctx);
76     ff_mdct_end(&ctx->ipqf_dct_ctx);
77
78     return 0;
79 }
80
81 static av_cold int set_channel_params(ATRAC3PContext *ctx,
82                                       AVCodecContext *avctx)
83 {
84     memset(ctx->channel_blocks, 0, sizeof(ctx->channel_blocks));
85
86     switch (avctx->channels) {
87     case 1:
88         if (avctx->channel_layout != AV_CH_FRONT_LEFT)
89             avctx->channel_layout = AV_CH_LAYOUT_MONO;
90
91         ctx->num_channel_blocks = 1;
92         ctx->channel_blocks[0]  = CH_UNIT_MONO;
93         break;
94     case 2:
95         avctx->channel_layout   = AV_CH_LAYOUT_STEREO;
96         ctx->num_channel_blocks = 1;
97         ctx->channel_blocks[0]  = CH_UNIT_STEREO;
98         break;
99     case 3:
100         avctx->channel_layout   = AV_CH_LAYOUT_SURROUND;
101         ctx->num_channel_blocks = 2;
102         ctx->channel_blocks[0]  = CH_UNIT_STEREO;
103         ctx->channel_blocks[1]  = CH_UNIT_MONO;
104         break;
105     case 4:
106         avctx->channel_layout   = AV_CH_LAYOUT_4POINT0;
107         ctx->num_channel_blocks = 3;
108         ctx->channel_blocks[0]  = CH_UNIT_STEREO;
109         ctx->channel_blocks[1]  = CH_UNIT_MONO;
110         ctx->channel_blocks[2]  = CH_UNIT_MONO;
111         break;
112     case 6:
113         avctx->channel_layout   = AV_CH_LAYOUT_5POINT1_BACK;
114         ctx->num_channel_blocks = 4;
115         ctx->channel_blocks[0]  = CH_UNIT_STEREO;
116         ctx->channel_blocks[1]  = CH_UNIT_MONO;
117         ctx->channel_blocks[2]  = CH_UNIT_STEREO;
118         ctx->channel_blocks[3]  = CH_UNIT_MONO;
119         break;
120     case 7:
121         avctx->channel_layout   = AV_CH_LAYOUT_6POINT1_BACK;
122         ctx->num_channel_blocks = 5;
123         ctx->channel_blocks[0]  = CH_UNIT_STEREO;
124         ctx->channel_blocks[1]  = CH_UNIT_MONO;
125         ctx->channel_blocks[2]  = CH_UNIT_STEREO;
126         ctx->channel_blocks[3]  = CH_UNIT_MONO;
127         ctx->channel_blocks[4]  = CH_UNIT_MONO;
128         break;
129     case 8:
130         avctx->channel_layout   = AV_CH_LAYOUT_7POINT1;
131         ctx->num_channel_blocks = 5;
132         ctx->channel_blocks[0]  = CH_UNIT_STEREO;
133         ctx->channel_blocks[1]  = CH_UNIT_MONO;
134         ctx->channel_blocks[2]  = CH_UNIT_STEREO;
135         ctx->channel_blocks[3]  = CH_UNIT_STEREO;
136         ctx->channel_blocks[4]  = CH_UNIT_MONO;
137         break;
138     default:
139         av_log(avctx, AV_LOG_ERROR,
140                "Unsupported channel count: %d!\n", avctx->channels);
141         return AVERROR_INVALIDDATA;
142     }
143
144     return 0;
145 }
146
147 static av_cold int atrac3p_decode_init(AVCodecContext *avctx)
148 {
149     ATRAC3PContext *ctx = avctx->priv_data;
150     int i, ch, ret;
151
152     if (!avctx->block_align) {
153         av_log(avctx, AV_LOG_ERROR, "block_align is not set\n");
154         return AVERROR(EINVAL);
155     }
156
157     ff_atrac3p_init_vlcs();
158
159     /* initialize IPQF */
160     ff_mdct_init(&ctx->ipqf_dct_ctx, 5, 1, 32.0 / 32768.0);
161
162     ff_atrac3p_init_imdct(avctx, &ctx->mdct_ctx);
163
164     ff_atrac_init_gain_compensation(&ctx->gainc_ctx, 6, 2);
165
166     ff_atrac3p_init_wave_synth();
167
168     if ((ret = set_channel_params(ctx, avctx)) < 0)
169         return ret;
170
171     ctx->my_channel_layout = avctx->channel_layout;
172
173     ctx->ch_units = av_mallocz_array(ctx->num_channel_blocks, sizeof(*ctx->ch_units));
174     ctx->fdsp = avpriv_float_dsp_alloc(avctx->flags & AV_CODEC_FLAG_BITEXACT);
175
176     if (!ctx->ch_units || !ctx->fdsp) {
177         atrac3p_decode_close(avctx);
178         return AVERROR(ENOMEM);
179     }
180
181     for (i = 0; i < ctx->num_channel_blocks; i++) {
182         for (ch = 0; ch < 2; ch++) {
183             ctx->ch_units[i].channels[ch].ch_num          = ch;
184             ctx->ch_units[i].channels[ch].wnd_shape       = &ctx->ch_units[i].channels[ch].wnd_shape_hist[0][0];
185             ctx->ch_units[i].channels[ch].wnd_shape_prev  = &ctx->ch_units[i].channels[ch].wnd_shape_hist[1][0];
186             ctx->ch_units[i].channels[ch].gain_data       = &ctx->ch_units[i].channels[ch].gain_data_hist[0][0];
187             ctx->ch_units[i].channels[ch].gain_data_prev  = &ctx->ch_units[i].channels[ch].gain_data_hist[1][0];
188             ctx->ch_units[i].channels[ch].tones_info      = &ctx->ch_units[i].channels[ch].tones_info_hist[0][0];
189             ctx->ch_units[i].channels[ch].tones_info_prev = &ctx->ch_units[i].channels[ch].tones_info_hist[1][0];
190         }
191
192         ctx->ch_units[i].waves_info      = &ctx->ch_units[i].wave_synth_hist[0];
193         ctx->ch_units[i].waves_info_prev = &ctx->ch_units[i].wave_synth_hist[1];
194     }
195
196     avctx->sample_fmt = AV_SAMPLE_FMT_FLTP;
197
198     return 0;
199 }
200
201 static void decode_residual_spectrum(Atrac3pChanUnitCtx *ctx,
202                                      float out[2][ATRAC3P_FRAME_SAMPLES],
203                                      int num_channels,
204                                      AVCodecContext *avctx)
205 {
206     int i, sb, ch, qu, nspeclines, RNG_index;
207     float *dst, q;
208     int16_t *src;
209     /* calculate RNG table index for each subband */
210     int sb_RNG_index[ATRAC3P_SUBBANDS] = { 0 };
211
212     if (ctx->mute_flag) {
213         for (ch = 0; ch < num_channels; ch++)
214             memset(out[ch], 0, ATRAC3P_FRAME_SAMPLES * sizeof(*out[ch]));
215         return;
216     }
217
218     for (qu = 0, RNG_index = 0; qu < ctx->used_quant_units; qu++)
219         RNG_index += ctx->channels[0].qu_sf_idx[qu] +
220                      ctx->channels[1].qu_sf_idx[qu];
221
222     for (sb = 0; sb < ctx->num_coded_subbands; sb++, RNG_index += 128)
223         sb_RNG_index[sb] = RNG_index & 0x3FC;
224
225     /* inverse quant and power compensation */
226     for (ch = 0; ch < num_channels; ch++) {
227         /* clear channel's residual spectrum */
228         memset(out[ch], 0, ATRAC3P_FRAME_SAMPLES * sizeof(*out[ch]));
229
230         for (qu = 0; qu < ctx->used_quant_units; qu++) {
231             src        = &ctx->channels[ch].spectrum[ff_atrac3p_qu_to_spec_pos[qu]];
232             dst        = &out[ch][ff_atrac3p_qu_to_spec_pos[qu]];
233             nspeclines = ff_atrac3p_qu_to_spec_pos[qu + 1] -
234                          ff_atrac3p_qu_to_spec_pos[qu];
235
236             if (ctx->channels[ch].qu_wordlen[qu] > 0) {
237                 q = ff_atrac3p_sf_tab[ctx->channels[ch].qu_sf_idx[qu]] *
238                     ff_atrac3p_mant_tab[ctx->channels[ch].qu_wordlen[qu]];
239                 for (i = 0; i < nspeclines; i++)
240                     dst[i] = src[i] * q;
241             }
242         }
243
244         for (sb = 0; sb < ctx->num_coded_subbands; sb++)
245             ff_atrac3p_power_compensation(ctx, ch, &out[ch][0],
246                                           sb_RNG_index[sb], sb);
247     }
248
249     if (ctx->unit_type == CH_UNIT_STEREO) {
250         for (sb = 0; sb < ctx->num_coded_subbands; sb++) {
251             if (ctx->swap_channels[sb]) {
252                 for (i = 0; i < ATRAC3P_SUBBAND_SAMPLES; i++)
253                     FFSWAP(float, out[0][sb * ATRAC3P_SUBBAND_SAMPLES + i],
254                                   out[1][sb * ATRAC3P_SUBBAND_SAMPLES + i]);
255             }
256
257             /* flip coefficients' sign if requested */
258             if (ctx->negate_coeffs[sb])
259                 for (i = 0; i < ATRAC3P_SUBBAND_SAMPLES; i++)
260                     out[1][sb * ATRAC3P_SUBBAND_SAMPLES + i] = -(out[1][sb * ATRAC3P_SUBBAND_SAMPLES + i]);
261         }
262     }
263 }
264
265 static void reconstruct_frame(ATRAC3PContext *ctx, Atrac3pChanUnitCtx *ch_unit,
266                               int num_channels, AVCodecContext *avctx)
267 {
268     int ch, sb;
269
270     for (ch = 0; ch < num_channels; ch++) {
271         for (sb = 0; sb < ch_unit->num_subbands; sb++) {
272             /* inverse transform and windowing */
273             ff_atrac3p_imdct(ctx->fdsp, &ctx->mdct_ctx,
274                              &ctx->samples[ch][sb * ATRAC3P_SUBBAND_SAMPLES],
275                              &ctx->mdct_buf[ch][sb * ATRAC3P_SUBBAND_SAMPLES],
276                              (ch_unit->channels[ch].wnd_shape_prev[sb] << 1) +
277                              ch_unit->channels[ch].wnd_shape[sb], sb);
278
279             /* gain compensation and overlapping */
280             ff_atrac_gain_compensation(&ctx->gainc_ctx,
281                                        &ctx->mdct_buf[ch][sb * ATRAC3P_SUBBAND_SAMPLES],
282                                        &ch_unit->prev_buf[ch][sb * ATRAC3P_SUBBAND_SAMPLES],
283                                        &ch_unit->channels[ch].gain_data_prev[sb],
284                                        &ch_unit->channels[ch].gain_data[sb],
285                                        ATRAC3P_SUBBAND_SAMPLES,
286                                        &ctx->time_buf[ch][sb * ATRAC3P_SUBBAND_SAMPLES]);
287         }
288
289         /* zero unused subbands in both output and overlapping buffers */
290         memset(&ch_unit->prev_buf[ch][ch_unit->num_subbands * ATRAC3P_SUBBAND_SAMPLES],
291                0,
292                (ATRAC3P_SUBBANDS - ch_unit->num_subbands) *
293                ATRAC3P_SUBBAND_SAMPLES *
294                sizeof(ch_unit->prev_buf[ch][ch_unit->num_subbands * ATRAC3P_SUBBAND_SAMPLES]));
295         memset(&ctx->time_buf[ch][ch_unit->num_subbands * ATRAC3P_SUBBAND_SAMPLES],
296                0,
297                (ATRAC3P_SUBBANDS - ch_unit->num_subbands) *
298                ATRAC3P_SUBBAND_SAMPLES *
299                sizeof(ctx->time_buf[ch][ch_unit->num_subbands * ATRAC3P_SUBBAND_SAMPLES]));
300
301         /* resynthesize and add tonal signal */
302         if (ch_unit->waves_info->tones_present ||
303             ch_unit->waves_info_prev->tones_present) {
304             for (sb = 0; sb < ch_unit->num_subbands; sb++)
305                 if (ch_unit->channels[ch].tones_info[sb].num_wavs ||
306                     ch_unit->channels[ch].tones_info_prev[sb].num_wavs) {
307                     ff_atrac3p_generate_tones(ch_unit, ctx->fdsp, ch, sb,
308                                               &ctx->time_buf[ch][sb * 128]);
309                 }
310         }
311
312         /* subband synthesis and acoustic signal output */
313         ff_atrac3p_ipqf(&ctx->ipqf_dct_ctx, &ch_unit->ipqf_ctx[ch],
314                         &ctx->time_buf[ch][0], &ctx->outp_buf[ch][0]);
315     }
316
317     /* swap window shape and gain control buffers. */
318     for (ch = 0; ch < num_channels; ch++) {
319         FFSWAP(uint8_t *, ch_unit->channels[ch].wnd_shape,
320                ch_unit->channels[ch].wnd_shape_prev);
321         FFSWAP(AtracGainInfo *, ch_unit->channels[ch].gain_data,
322                ch_unit->channels[ch].gain_data_prev);
323         FFSWAP(Atrac3pWavesData *, ch_unit->channels[ch].tones_info,
324                ch_unit->channels[ch].tones_info_prev);
325     }
326
327     FFSWAP(Atrac3pWaveSynthParams *, ch_unit->waves_info, ch_unit->waves_info_prev);
328 }
329
330 static int atrac3p_decode_frame(AVCodecContext *avctx, void *data,
331                                 int *got_frame_ptr, AVPacket *avpkt)
332 {
333     ATRAC3PContext *ctx = avctx->priv_data;
334     AVFrame *frame      = data;
335     int i, ret, ch_unit_id, ch_block = 0, out_ch_index = 0, channels_to_process;
336     float **samples_p = (float **)frame->extended_data;
337
338     frame->nb_samples = ATRAC3P_FRAME_SAMPLES;
339     if ((ret = ff_get_buffer(avctx, frame, 0)) < 0)
340         return ret;
341
342     if ((ret = init_get_bits8(&ctx->gb, avpkt->data, avpkt->size)) < 0)
343         return ret;
344
345     if (get_bits1(&ctx->gb)) {
346         av_log(avctx, AV_LOG_ERROR, "Invalid start bit!\n");
347         return AVERROR_INVALIDDATA;
348     }
349
350     while (get_bits_left(&ctx->gb) >= 2 &&
351            (ch_unit_id = get_bits(&ctx->gb, 2)) != CH_UNIT_TERMINATOR) {
352         if (ch_unit_id == CH_UNIT_EXTENSION) {
353             avpriv_report_missing_feature(avctx, "Channel unit extension");
354             return AVERROR_PATCHWELCOME;
355         }
356         if (ch_block >= ctx->num_channel_blocks ||
357             ctx->channel_blocks[ch_block] != ch_unit_id) {
358             av_log(avctx, AV_LOG_ERROR,
359                    "Frame data doesn't match channel configuration!\n");
360             return AVERROR_INVALIDDATA;
361         }
362
363         ctx->ch_units[ch_block].unit_type = ch_unit_id;
364         channels_to_process               = ch_unit_id + 1;
365
366         if ((ret = ff_atrac3p_decode_channel_unit(&ctx->gb,
367                                                   &ctx->ch_units[ch_block],
368                                                   channels_to_process,
369                                                   avctx)) < 0)
370             return ret;
371
372         decode_residual_spectrum(&ctx->ch_units[ch_block], ctx->samples,
373                                  channels_to_process, avctx);
374         reconstruct_frame(ctx, &ctx->ch_units[ch_block],
375                           channels_to_process, avctx);
376
377         for (i = 0; i < channels_to_process; i++)
378             memcpy(samples_p[out_ch_index + i], ctx->outp_buf[i],
379                    ATRAC3P_FRAME_SAMPLES * sizeof(**samples_p));
380
381         ch_block++;
382         out_ch_index += channels_to_process;
383     }
384
385     *got_frame_ptr = 1;
386
387     return avctx->codec_id == AV_CODEC_ID_ATRAC3P ? FFMIN(avctx->block_align, avpkt->size) : avpkt->size;
388 }
389
390 AVCodec ff_atrac3p_decoder = {
391     .name           = "atrac3plus",
392     .long_name      = NULL_IF_CONFIG_SMALL("ATRAC3+ (Adaptive TRansform Acoustic Coding 3+)"),
393     .type           = AVMEDIA_TYPE_AUDIO,
394     .id             = AV_CODEC_ID_ATRAC3P,
395     .capabilities   = AV_CODEC_CAP_DR1,
396     .priv_data_size = sizeof(ATRAC3PContext),
397     .init           = atrac3p_decode_init,
398     .close          = atrac3p_decode_close,
399     .decode         = atrac3p_decode_frame,
400 };
401
402 AVCodec ff_atrac3pal_decoder = {
403     .name           = "atrac3plusal",
404     .long_name      = NULL_IF_CONFIG_SMALL("ATRAC3+ AL (Adaptive TRansform Acoustic Coding 3+ Advanced Lossless)"),
405     .type           = AVMEDIA_TYPE_AUDIO,
406     .id             = AV_CODEC_ID_ATRAC3PAL,
407     .capabilities   = AV_CODEC_CAP_DR1,
408     .priv_data_size = sizeof(ATRAC3PContext),
409     .init           = atrac3p_decode_init,
410     .close          = atrac3p_decode_close,
411     .decode         = atrac3p_decode_frame,
412 };