libspeexdec: handle NULL return value from speex_packet_to_header()
[ffmpeg.git] / libavcodec / libspeexdec.c
1 /*
2  * Copyright (C) 2008 David Conrad
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include <speex/speex.h>
22 #include <speex/speex_header.h>
23 #include <speex/speex_stereo.h>
24 #include <speex/speex_callbacks.h>
25
26 #include "libavutil/audioconvert.h"
27 #include "libavutil/common.h"
28 #include "avcodec.h"
29
30 typedef struct {
31     AVFrame frame;
32     SpeexBits bits;
33     SpeexStereoState stereo;
34     void *dec_state;
35     int frame_size;
36 } LibSpeexContext;
37
38
39 static av_cold int libspeex_decode_init(AVCodecContext *avctx)
40 {
41     LibSpeexContext *s = avctx->priv_data;
42     const SpeexMode *mode;
43     SpeexHeader *header = NULL;
44     int spx_mode;
45
46     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
47     if (avctx->extradata && avctx->extradata_size >= 80) {
48         header = speex_packet_to_header(avctx->extradata,
49                                         avctx->extradata_size);
50         if (!header)
51             av_log(avctx, AV_LOG_WARNING, "Invalid Speex header\n");
52     }
53     if (header) {
54         avctx->channels    = header->nb_channels;
55         spx_mode           = header->mode;
56         speex_header_free(header);
57     } else {
58         switch (avctx->sample_rate) {
59         case 8000:  spx_mode = 0; break;
60         case 16000: spx_mode = 1; break;
61         case 32000: spx_mode = 2; break;
62         default:
63             /* libspeex can handle any mode if initialized as ultra-wideband */
64             av_log(avctx, AV_LOG_WARNING, "Invalid sample rate: %d\n"
65                                           "Decoding as 32kHz ultra-wideband\n",
66                                           avctx->sample_rate);
67             spx_mode = 2;
68         }
69     }
70
71     mode = speex_lib_get_mode(spx_mode);
72     if (!mode) {
73         av_log(avctx, AV_LOG_ERROR, "Unknown Speex mode %d", spx_mode);
74         return AVERROR_INVALIDDATA;
75     }
76     avctx->sample_rate = 8000 << spx_mode;
77     s->frame_size      =  160 << spx_mode;
78
79     if (avctx->channels < 1 || avctx->channels > 2) {
80         /* libspeex can handle mono or stereo if initialized as stereo */
81         av_log(avctx, AV_LOG_ERROR, "Invalid channel count: %d.\n"
82                                     "Decoding as stereo.\n", avctx->channels);
83         avctx->channels = 2;
84     }
85     avctx->channel_layout = avctx->channels == 2 ? AV_CH_LAYOUT_STEREO :
86                                                    AV_CH_LAYOUT_MONO;
87
88     speex_bits_init(&s->bits);
89     s->dec_state = speex_decoder_init(mode);
90     if (!s->dec_state) {
91         av_log(avctx, AV_LOG_ERROR, "Error initializing libspeex decoder.\n");
92         return -1;
93     }
94
95     if (avctx->channels == 2) {
96         SpeexCallback callback;
97         callback.callback_id = SPEEX_INBAND_STEREO;
98         callback.func = speex_std_stereo_request_handler;
99         callback.data = &s->stereo;
100         s->stereo = (SpeexStereoState)SPEEX_STEREO_STATE_INIT;
101         speex_decoder_ctl(s->dec_state, SPEEX_SET_HANDLER, &callback);
102     }
103
104     avcodec_get_frame_defaults(&s->frame);
105     avctx->coded_frame = &s->frame;
106
107     return 0;
108 }
109
110 static int libspeex_decode_frame(AVCodecContext *avctx, void *data,
111                                  int *got_frame_ptr, AVPacket *avpkt)
112 {
113     uint8_t *buf = avpkt->data;
114     int buf_size = avpkt->size;
115     LibSpeexContext *s = avctx->priv_data;
116     int16_t *output;
117     int ret, consumed = 0;
118
119     /* get output buffer */
120     s->frame.nb_samples = s->frame_size;
121     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
122         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
123         return ret;
124     }
125     output = (int16_t *)s->frame.data[0];
126
127     /* if there is not enough data left for the smallest possible frame or the
128        next 5 bits are a terminator code, reset the libspeex buffer using the
129        current packet, otherwise ignore the current packet and keep decoding
130        frames from the libspeex buffer. */
131     if (speex_bits_remaining(&s->bits) < 5 ||
132         speex_bits_peek_unsigned(&s->bits, 5) == 0x1F) {
133         /* check for flush packet */
134         if (!buf || !buf_size) {
135             *got_frame_ptr = 0;
136             return buf_size;
137         }
138         /* set new buffer */
139         speex_bits_read_from(&s->bits, buf, buf_size);
140         consumed = buf_size;
141     }
142
143     /* decode a single frame */
144     ret = speex_decode_int(s->dec_state, &s->bits, output);
145     if (ret <= -2) {
146         av_log(avctx, AV_LOG_ERROR, "Error decoding Speex frame.\n");
147         return AVERROR_INVALIDDATA;
148     }
149     if (avctx->channels == 2)
150         speex_decode_stereo_int(output, s->frame_size, &s->stereo);
151
152     *got_frame_ptr   = 1;
153     *(AVFrame *)data = s->frame;
154
155     return consumed;
156 }
157
158 static av_cold int libspeex_decode_close(AVCodecContext *avctx)
159 {
160     LibSpeexContext *s = avctx->priv_data;
161
162     speex_bits_destroy(&s->bits);
163     speex_decoder_destroy(s->dec_state);
164
165     return 0;
166 }
167
168 static av_cold void libspeex_decode_flush(AVCodecContext *avctx)
169 {
170     LibSpeexContext *s = avctx->priv_data;
171     speex_bits_reset(&s->bits);
172 }
173
174 AVCodec ff_libspeex_decoder = {
175     .name           = "libspeex",
176     .type           = AVMEDIA_TYPE_AUDIO,
177     .id             = AV_CODEC_ID_SPEEX,
178     .priv_data_size = sizeof(LibSpeexContext),
179     .init           = libspeex_decode_init,
180     .close          = libspeex_decode_close,
181     .decode         = libspeex_decode_frame,
182     .flush          = libspeex_decode_flush,
183     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DELAY | CODEC_CAP_DR1,
184     .long_name      = NULL_IF_CONFIG_SMALL("libspeex Speex"),
185 };