nellymoserdec: fail if output buffer is too small
[ffmpeg.git] / libavcodec / nellymoserdec.c
1 /*
2  * NellyMoser audio decoder
3  * Copyright (c) 2007 a840bda5870ba11f19698ff6eb9581dfb0f95fa5,
4  *                    539459aeb7d425140b62a3ec7dbf6dc8e408a306, and
5  *                    520e17cd55896441042b14df2566a6eb610ed444
6  * Copyright (c) 2007 Loic Minier <lool at dooz.org>
7  *                    Benjamin Larsson
8  *
9  * Permission is hereby granted, free of charge, to any person obtaining a
10  * copy of this software and associated documentation files (the "Software"),
11  * to deal in the Software without restriction, including without limitation
12  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
13  * and/or sell copies of the Software, and to permit persons to whom the
14  * Software is furnished to do so, subject to the following conditions:
15  *
16  * The above copyright notice and this permission notice shall be included in
17  * all copies or substantial portions of the Software.
18  *
19  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
20  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
21  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
22  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
23  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
24  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
25  * DEALINGS IN THE SOFTWARE.
26  */
27
28 /**
29  * @file
30  * The 3 alphanumeric copyright notices are md5summed they are from the original
31  * implementors. The original code is available from http://code.google.com/p/nelly2pcm/
32  */
33
34 #include "nellymoser.h"
35 #include "libavutil/lfg.h"
36 #include "libavutil/random_seed.h"
37 #include "libavutil/audioconvert.h"
38 #include "avcodec.h"
39 #include "dsputil.h"
40 #include "fft.h"
41 #include "fmtconvert.h"
42 #include "sinewin.h"
43
44 #define ALT_BITSTREAM_READER_LE
45 #include "get_bits.h"
46
47
48 typedef struct NellyMoserDecodeContext {
49     AVCodecContext* avctx;
50     float          *float_buf;
51     float           state[NELLY_BUF_LEN];
52     AVLFG           random_state;
53     GetBitContext   gb;
54     float           scale_bias;
55     DSPContext      dsp;
56     FFTContext      imdct_ctx;
57     FmtConvertContext fmt_conv;
58     DECLARE_ALIGNED(32, float, imdct_out)[NELLY_BUF_LEN * 2];
59 } NellyMoserDecodeContext;
60
61 static void overlap_and_window(NellyMoserDecodeContext *s, float *state, float *audio, float *a_in)
62 {
63     int bot, top;
64
65     bot = 0;
66     top = NELLY_BUF_LEN-1;
67
68     while (bot < NELLY_BUF_LEN) {
69         audio[bot] = a_in [bot]*ff_sine_128[bot]
70                     +state[bot]*ff_sine_128[top];
71
72         bot++;
73         top--;
74     }
75     memcpy(state, a_in + NELLY_BUF_LEN, sizeof(float)*NELLY_BUF_LEN);
76 }
77
78 static void nelly_decode_block(NellyMoserDecodeContext *s,
79                                const unsigned char block[NELLY_BLOCK_LEN],
80                                float audio[NELLY_SAMPLES])
81 {
82     int i,j;
83     float buf[NELLY_FILL_LEN], pows[NELLY_FILL_LEN];
84     float *aptr, *bptr, *pptr, val, pval;
85     int bits[NELLY_BUF_LEN];
86     unsigned char v;
87
88     init_get_bits(&s->gb, block, NELLY_BLOCK_LEN * 8);
89
90     bptr = buf;
91     pptr = pows;
92     val = ff_nelly_init_table[get_bits(&s->gb, 6)];
93     for (i=0 ; i<NELLY_BANDS ; i++) {
94         if (i > 0)
95             val += ff_nelly_delta_table[get_bits(&s->gb, 5)];
96         pval = -pow(2, val/2048) * s->scale_bias;
97         for (j = 0; j < ff_nelly_band_sizes_table[i]; j++) {
98             *bptr++ = val;
99             *pptr++ = pval;
100         }
101
102     }
103
104     ff_nelly_get_sample_bits(buf, bits);
105
106     for (i = 0; i < 2; i++) {
107         aptr = audio + i * NELLY_BUF_LEN;
108
109         init_get_bits(&s->gb, block, NELLY_BLOCK_LEN * 8);
110         skip_bits_long(&s->gb, NELLY_HEADER_BITS + i*NELLY_DETAIL_BITS);
111
112         for (j = 0; j < NELLY_FILL_LEN; j++) {
113             if (bits[j] <= 0) {
114                 aptr[j] = M_SQRT1_2*pows[j];
115                 if (av_lfg_get(&s->random_state) & 1)
116                     aptr[j] *= -1.0;
117             } else {
118                 v = get_bits(&s->gb, bits[j]);
119                 aptr[j] = ff_nelly_dequantization_table[(1<<bits[j])-1+v]*pows[j];
120             }
121         }
122         memset(&aptr[NELLY_FILL_LEN], 0,
123                (NELLY_BUF_LEN - NELLY_FILL_LEN) * sizeof(float));
124
125         s->imdct_ctx.imdct_calc(&s->imdct_ctx, s->imdct_out, aptr);
126         /* XXX: overlapping and windowing should be part of a more
127            generic imdct function */
128         overlap_and_window(s, s->state, aptr, s->imdct_out);
129     }
130 }
131
132 static av_cold int decode_init(AVCodecContext * avctx) {
133     NellyMoserDecodeContext *s = avctx->priv_data;
134
135     s->avctx = avctx;
136     av_lfg_init(&s->random_state, 0);
137     ff_mdct_init(&s->imdct_ctx, 8, 1, 1.0);
138
139     dsputil_init(&s->dsp, avctx);
140
141     if (avctx->request_sample_fmt == AV_SAMPLE_FMT_FLT) {
142         s->scale_bias = 1.0/(32768*8);
143         avctx->sample_fmt = AV_SAMPLE_FMT_FLT;
144     } else {
145         s->scale_bias = 1.0/(1*8);
146         avctx->sample_fmt = AV_SAMPLE_FMT_S16;
147         ff_fmt_convert_init(&s->fmt_conv, avctx);
148         s->float_buf = av_mallocz(NELLY_SAMPLES * sizeof(*s->float_buf));
149         if (!s->float_buf) {
150             av_log(avctx, AV_LOG_ERROR, "error allocating float buffer\n");
151             return AVERROR(ENOMEM);
152         }
153     }
154
155     /* Generate overlap window */
156     if (!ff_sine_128[127])
157         ff_init_ff_sine_windows(7);
158
159     avctx->channel_layout = AV_CH_LAYOUT_MONO;
160     return 0;
161 }
162
163 static int decode_tag(AVCodecContext * avctx,
164                       void *data, int *data_size,
165                       AVPacket *avpkt) {
166     const uint8_t *buf = avpkt->data;
167     int buf_size = avpkt->size;
168     NellyMoserDecodeContext *s = avctx->priv_data;
169     int blocks, i, block_size;
170     int16_t *samples_s16 = data;
171     float   *samples_flt = data;
172
173     if (buf_size % NELLY_BLOCK_LEN) {
174         av_log(avctx, AV_LOG_ERROR, "Tag size %d.\n", buf_size);
175         *data_size = 0;
176         return buf_size;
177     }
178     block_size = NELLY_SAMPLES * av_get_bytes_per_sample(avctx->sample_fmt);
179     blocks     = buf_size / NELLY_BLOCK_LEN;
180     if (blocks <= 0) {
181         av_log(avctx, AV_LOG_ERROR, "Packet is too small\n");
182         return AVERROR_INVALIDDATA;
183     }
184     if (*data_size < blocks * block_size) {
185         av_log(avctx, AV_LOG_ERROR, "Output buffer is too small\n");
186         return AVERROR(EINVAL);
187     }
188     /* Normal numbers of blocks for sample rates:
189      *  8000 Hz - 1
190      * 11025 Hz - 2
191      * 16000 Hz - 3
192      * 22050 Hz - 4
193      * 44100 Hz - 8
194      */
195
196     for (i=0 ; i<blocks ; i++) {
197         if (avctx->sample_fmt == SAMPLE_FMT_FLT) {
198             nelly_decode_block(s, buf, samples_flt);
199             samples_flt += NELLY_SAMPLES;
200         } else {
201             nelly_decode_block(s, buf, s->float_buf);
202             s->fmt_conv.float_to_int16(samples_s16, s->float_buf, NELLY_SAMPLES);
203             samples_s16 += NELLY_SAMPLES;
204         }
205         buf += NELLY_BLOCK_LEN;
206     }
207     *data_size = blocks * block_size;
208
209     return buf_size;
210 }
211
212 static av_cold int decode_end(AVCodecContext * avctx) {
213     NellyMoserDecodeContext *s = avctx->priv_data;
214
215     av_freep(&s->float_buf);
216     ff_mdct_end(&s->imdct_ctx);
217     return 0;
218 }
219
220 AVCodec ff_nellymoser_decoder = {
221     .name           = "nellymoser",
222     .type           = AVMEDIA_TYPE_AUDIO,
223     .id             = CODEC_ID_NELLYMOSER,
224     .priv_data_size = sizeof(NellyMoserDecodeContext),
225     .init           = decode_init,
226     .close          = decode_end,
227     .decode         = decode_tag,
228     .long_name = NULL_IF_CONFIG_SMALL("Nellymoser Asao"),
229     .sample_fmts    = (const enum AVSampleFormat[]) { AV_SAMPLE_FMT_FLT,
230                                                       AV_SAMPLE_FMT_S16,
231                                                       AV_SAMPLE_FMT_NONE },
232 };
233