g722dec: check output buffer size before decoding
[ffmpeg.git] / libavcodec / g722dec.c
1 /*
2  * Copyright (c) CMU 1993 Computer Science, Speech Group
3  *                        Chengxiang Lu and Alex Hauptmann
4  * Copyright (c) 2005 Steve Underwood <steveu at coppice.org>
5  * Copyright (c) 2009 Kenan Gillet
6  * Copyright (c) 2010 Martin Storsjo
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * G.722 ADPCM audio decoder
28  *
29  * This G.722 decoder is a bit-exact implementation of the ITU G.722
30  * specification for all three specified bitrates - 64000bps, 56000bps
31  * and 48000bps. It passes the ITU tests.
32  *
33  * @note For the 56000bps and 48000bps bitrates, the lowest 1 or 2 bits
34  *       respectively of each byte are ignored.
35  */
36
37 #include "avcodec.h"
38 #include "get_bits.h"
39 #include "g722.h"
40
41 static av_cold int g722_decode_init(AVCodecContext * avctx)
42 {
43     G722Context *c = avctx->priv_data;
44
45     if (avctx->channels != 1) {
46         av_log(avctx, AV_LOG_ERROR, "Only mono tracks are allowed.\n");
47         return AVERROR_INVALIDDATA;
48     }
49     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
50
51     switch (avctx->bits_per_coded_sample) {
52     case 8:
53     case 7:
54     case 6:
55         break;
56     default:
57         av_log(avctx, AV_LOG_WARNING, "Unsupported bits_per_coded_sample [%d], "
58                                       "assuming 8\n",
59                                       avctx->bits_per_coded_sample);
60     case 0:
61         avctx->bits_per_coded_sample = 8;
62         break;
63     }
64
65     c->band[0].scale_factor = 8;
66     c->band[1].scale_factor = 2;
67     c->prev_samples_pos = 22;
68
69     return 0;
70 }
71
72 static const int16_t low_inv_quant5[32] = {
73      -35,   -35, -2919, -2195, -1765, -1458, -1219, -1023,
74     -858,  -714,  -587,  -473,  -370,  -276,  -190,  -110,
75     2919,  2195,  1765,  1458,  1219,  1023,   858,   714,
76      587,   473,   370,   276,   190,   110,    35,   -35
77 };
78
79 static const int16_t *low_inv_quants[3] = { ff_g722_low_inv_quant6,
80                                                     low_inv_quant5,
81                                             ff_g722_low_inv_quant4 };
82
83 static int g722_decode_frame(AVCodecContext *avctx, void *data,
84                              int *data_size, AVPacket *avpkt)
85 {
86     G722Context *c = avctx->priv_data;
87     int16_t *out_buf = data;
88     int j, out_len;
89     const int skip = 8 - avctx->bits_per_coded_sample;
90     const int16_t *quantizer_table = low_inv_quants[skip];
91     GetBitContext gb;
92
93     out_len = avpkt->size * 2 * av_get_bytes_per_sample(avctx->sample_fmt);
94     if (*data_size < out_len) {
95         av_log(avctx, AV_LOG_ERROR, "Output buffer is too small\n");
96         return AVERROR(EINVAL);
97     }
98
99     init_get_bits(&gb, avpkt->data, avpkt->size * 8);
100
101     for (j = 0; j < avpkt->size; j++) {
102         int ilow, ihigh, rlow, rhigh, dhigh;
103         int xout1, xout2;
104
105         ihigh = get_bits(&gb, 2);
106         ilow = get_bits(&gb, 6 - skip);
107         skip_bits(&gb, skip);
108
109         rlow = av_clip((c->band[0].scale_factor * quantizer_table[ilow] >> 10)
110                       + c->band[0].s_predictor, -16384, 16383);
111
112         ff_g722_update_low_predictor(&c->band[0], ilow >> (2 - skip));
113
114         dhigh = c->band[1].scale_factor * ff_g722_high_inv_quant[ihigh] >> 10;
115         rhigh = av_clip(dhigh + c->band[1].s_predictor, -16384, 16383);
116
117         ff_g722_update_high_predictor(&c->band[1], dhigh, ihigh);
118
119         c->prev_samples[c->prev_samples_pos++] = rlow + rhigh;
120         c->prev_samples[c->prev_samples_pos++] = rlow - rhigh;
121         ff_g722_apply_qmf(c->prev_samples + c->prev_samples_pos - 24,
122                           &xout1, &xout2);
123         *out_buf++ = av_clip_int16(xout1 >> 12);
124         *out_buf++ = av_clip_int16(xout2 >> 12);
125         if (c->prev_samples_pos >= PREV_SAMPLES_BUF_SIZE) {
126             memmove(c->prev_samples, c->prev_samples + c->prev_samples_pos - 22,
127                     22 * sizeof(c->prev_samples[0]));
128             c->prev_samples_pos = 22;
129         }
130     }
131     *data_size = out_len;
132     return avpkt->size;
133 }
134
135 AVCodec ff_adpcm_g722_decoder = {
136     .name           = "g722",
137     .type           = AVMEDIA_TYPE_AUDIO,
138     .id             = CODEC_ID_ADPCM_G722,
139     .priv_data_size = sizeof(G722Context),
140     .init           = g722_decode_init,
141     .decode         = g722_decode_frame,
142     .long_name      = NULL_IF_CONFIG_SMALL("G.722 ADPCM"),
143 };