avformat/sierravmd: check for memory allocation failures
[ffmpeg.git] / libavformat / sierravmd.c
1 /*
2  * Sierra VMD Format Demuxer
3  * Copyright (c) 2004 The ffmpeg Project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Sierra VMD file demuxer
25  * by Vladimir "VAG" Gneushev (vagsoft at mail.ru)
26  * for more information on the Sierra VMD file format, visit:
27  *   http://www.pcisys.net/~melanson/codecs/
28  */
29
30 #include "libavutil/channel_layout.h"
31 #include "libavutil/intreadwrite.h"
32 #include "avformat.h"
33 #include "internal.h"
34 #include "avio_internal.h"
35
36 #define VMD_HEADER_SIZE 0x0330
37 #define BYTES_PER_FRAME_RECORD 16
38
39 typedef struct {
40   int stream_index;
41   int64_t frame_offset;
42   unsigned int frame_size;
43   int64_t pts;
44   int keyframe;
45   unsigned char frame_record[BYTES_PER_FRAME_RECORD];
46 } vmd_frame;
47
48 typedef struct VmdDemuxContext {
49     int video_stream_index;
50     int audio_stream_index;
51
52     unsigned int frame_count;
53     unsigned int frames_per_block;
54     vmd_frame *frame_table;
55     unsigned int current_frame;
56     int is_indeo3;
57
58     int sample_rate;
59     int64_t audio_sample_counter;
60     int skiphdr;
61
62     unsigned char vmd_header[VMD_HEADER_SIZE];
63 } VmdDemuxContext;
64
65 static int vmd_probe(AVProbeData *p)
66 {
67     int w, h, sample_rate;
68     if (p->buf_size < 806)
69         return 0;
70     /* check if the first 2 bytes of the file contain the appropriate size
71      * of a VMD header chunk */
72     if (AV_RL16(&p->buf[0]) != VMD_HEADER_SIZE - 2)
73         return 0;
74     w = AV_RL16(&p->buf[12]);
75     h = AV_RL16(&p->buf[14]);
76     sample_rate = AV_RL16(&p->buf[804]);
77     if ((!w || w > 2048 || !h || h > 2048) &&
78         sample_rate != 22050)
79         return 0;
80
81     /* only return half certainty since this check is a bit sketchy */
82     return AVPROBE_SCORE_EXTENSION;
83 }
84
85 static int vmd_read_header(AVFormatContext *s)
86 {
87     VmdDemuxContext *vmd = s->priv_data;
88     AVIOContext *pb = s->pb;
89     AVStream *st = NULL, *vst = NULL;
90     unsigned int toc_offset;
91     unsigned char *raw_frame_table;
92     int raw_frame_table_size;
93     int64_t current_offset;
94     int i, j, width, height;
95     unsigned int total_frames;
96     int64_t current_audio_pts = 0;
97     unsigned char chunk[BYTES_PER_FRAME_RECORD];
98     int num, den;
99     int sound_buffers;
100
101     /* fetch the main header, including the 2 header length bytes */
102     avio_seek(pb, 0, SEEK_SET);
103     if (avio_read(pb, vmd->vmd_header, VMD_HEADER_SIZE) != VMD_HEADER_SIZE)
104         return AVERROR(EIO);
105
106     width = AV_RL16(&vmd->vmd_header[12]);
107     height = AV_RL16(&vmd->vmd_header[14]);
108     if (width && height) {
109         if(vmd->vmd_header[24] == 'i' && vmd->vmd_header[25] == 'v' && vmd->vmd_header[26] == '3') {
110             vmd->is_indeo3 = 1;
111         } else {
112             vmd->is_indeo3 = 0;
113         }
114         /* start up the decoders */
115         vst = avformat_new_stream(s, NULL);
116         if (!vst)
117             return AVERROR(ENOMEM);
118         avpriv_set_pts_info(vst, 33, 1, 10);
119         vmd->video_stream_index = vst->index;
120         vst->codec->codec_type = AVMEDIA_TYPE_VIDEO;
121         vst->codec->codec_id = vmd->is_indeo3 ? AV_CODEC_ID_INDEO3 : AV_CODEC_ID_VMDVIDEO;
122         vst->codec->codec_tag = 0;  /* no fourcc */
123         vst->codec->width = width;
124         vst->codec->height = height;
125         if(vmd->is_indeo3 && vst->codec->width > 320){
126             vst->codec->width >>= 1;
127             vst->codec->height >>= 1;
128         }
129         vst->codec->extradata = av_mallocz(VMD_HEADER_SIZE + FF_INPUT_BUFFER_PADDING_SIZE);
130         if (!vst->codec->extradata)
131             return AVERROR(ENOMEM);
132         vst->codec->extradata_size = VMD_HEADER_SIZE;
133         memcpy(vst->codec->extradata, vmd->vmd_header, VMD_HEADER_SIZE);
134     }
135
136     /* if sample rate is 0, assume no audio */
137     vmd->sample_rate = AV_RL16(&vmd->vmd_header[804]);
138     if (vmd->sample_rate) {
139         st = avformat_new_stream(s, NULL);
140         if (!st)
141             return AVERROR(ENOMEM);
142         vmd->audio_stream_index = st->index;
143         st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
144         st->codec->codec_id = AV_CODEC_ID_VMDAUDIO;
145         st->codec->codec_tag = 0;  /* no fourcc */
146         if (vmd->vmd_header[811] & 0x80) {
147             st->codec->channels       = 2;
148             st->codec->channel_layout = AV_CH_LAYOUT_STEREO;
149         } else {
150             st->codec->channels       = 1;
151             st->codec->channel_layout = AV_CH_LAYOUT_MONO;
152         }
153         st->codec->sample_rate = vmd->sample_rate;
154         st->codec->block_align = AV_RL16(&vmd->vmd_header[806]);
155         if (st->codec->block_align & 0x8000) {
156             st->codec->bits_per_coded_sample = 16;
157             st->codec->block_align = -(st->codec->block_align - 0x10000);
158         } else {
159             st->codec->bits_per_coded_sample = 8;
160         }
161         st->codec->bit_rate = st->codec->sample_rate *
162             st->codec->bits_per_coded_sample * st->codec->channels;
163
164         /* calculate pts */
165         num = st->codec->block_align;
166         den = st->codec->sample_rate * st->codec->channels;
167         av_reduce(&num, &den, num, den, (1UL<<31)-1);
168         if (vst)
169             avpriv_set_pts_info(vst, 33, num, den);
170         avpriv_set_pts_info(st, 33, num, den);
171     }
172
173     toc_offset = AV_RL32(&vmd->vmd_header[812]);
174     vmd->frame_count = AV_RL16(&vmd->vmd_header[6]);
175     vmd->frames_per_block = AV_RL16(&vmd->vmd_header[18]);
176     avio_seek(pb, toc_offset, SEEK_SET);
177
178     raw_frame_table = NULL;
179     vmd->frame_table = NULL;
180     sound_buffers = AV_RL16(&vmd->vmd_header[808]);
181     raw_frame_table_size = vmd->frame_count * 6;
182     if(vmd->frame_count * vmd->frames_per_block >= UINT_MAX / sizeof(vmd_frame) - sound_buffers){
183         av_log(s, AV_LOG_ERROR, "vmd->frame_count * vmd->frames_per_block too large\n");
184         return -1;
185     }
186     raw_frame_table = av_malloc(raw_frame_table_size);
187     vmd->frame_table = av_malloc((vmd->frame_count * vmd->frames_per_block + sound_buffers) * sizeof(vmd_frame));
188     if (!raw_frame_table || !vmd->frame_table) {
189         av_free(raw_frame_table);
190         av_free(vmd->frame_table);
191         return AVERROR(ENOMEM);
192     }
193     if (avio_read(pb, raw_frame_table, raw_frame_table_size) !=
194         raw_frame_table_size) {
195         av_free(raw_frame_table);
196         av_free(vmd->frame_table);
197         return AVERROR(EIO);
198     }
199
200     total_frames = 0;
201     for (i = 0; i < vmd->frame_count; i++) {
202
203         current_offset = AV_RL32(&raw_frame_table[6 * i + 2]);
204
205         /* handle each entry in index block */
206         for (j = 0; j < vmd->frames_per_block; j++) {
207             int type;
208             uint32_t size;
209
210             avio_read(pb, chunk, BYTES_PER_FRAME_RECORD);
211             type = chunk[0];
212             size = AV_RL32(&chunk[2]);
213             if(!size && type != 1)
214                 continue;
215             switch(type) {
216             case 1: /* Audio Chunk */
217                 if (!st) break;
218                 /* first audio chunk contains several audio buffers */
219                 vmd->frame_table[total_frames].frame_offset = current_offset;
220                 vmd->frame_table[total_frames].stream_index = vmd->audio_stream_index;
221                 vmd->frame_table[total_frames].frame_size = size;
222                 memcpy(vmd->frame_table[total_frames].frame_record, chunk, BYTES_PER_FRAME_RECORD);
223                 vmd->frame_table[total_frames].pts = current_audio_pts;
224                 total_frames++;
225                 if(!current_audio_pts)
226                     current_audio_pts += sound_buffers - 1;
227                 else
228                     current_audio_pts++;
229                 break;
230             case 2: /* Video Chunk */
231                 vmd->frame_table[total_frames].frame_offset = current_offset;
232                 vmd->frame_table[total_frames].stream_index = vmd->video_stream_index;
233                 vmd->frame_table[total_frames].frame_size = size;
234                 memcpy(vmd->frame_table[total_frames].frame_record, chunk, BYTES_PER_FRAME_RECORD);
235                 vmd->frame_table[total_frames].pts = i;
236                 total_frames++;
237                 break;
238             }
239             current_offset += size;
240         }
241     }
242
243     av_free(raw_frame_table);
244
245     vmd->current_frame = 0;
246     vmd->frame_count = total_frames;
247
248     return 0;
249 }
250
251 static int vmd_read_packet(AVFormatContext *s,
252                            AVPacket *pkt)
253 {
254     VmdDemuxContext *vmd = s->priv_data;
255     AVIOContext *pb = s->pb;
256     int ret = 0;
257     vmd_frame *frame;
258
259     if (vmd->current_frame >= vmd->frame_count)
260         return AVERROR_EOF;
261
262     frame = &vmd->frame_table[vmd->current_frame];
263     /* position the stream (will probably be there already) */
264     avio_seek(pb, frame->frame_offset, SEEK_SET);
265
266     if(ffio_limit(pb, frame->frame_size) != frame->frame_size)
267         return AVERROR(EIO);
268     if (av_new_packet(pkt, frame->frame_size + BYTES_PER_FRAME_RECORD))
269         return AVERROR(ENOMEM);
270     pkt->pos= avio_tell(pb);
271     memcpy(pkt->data, frame->frame_record, BYTES_PER_FRAME_RECORD);
272     if(vmd->is_indeo3 && frame->frame_record[0] == 0x02)
273         ret = avio_read(pb, pkt->data, frame->frame_size);
274     else
275         ret = avio_read(pb, pkt->data + BYTES_PER_FRAME_RECORD,
276             frame->frame_size);
277
278     if (ret != frame->frame_size) {
279         av_free_packet(pkt);
280         ret = AVERROR(EIO);
281     }
282     pkt->stream_index = frame->stream_index;
283     pkt->pts = frame->pts;
284     av_log(s, AV_LOG_DEBUG, " dispatching %s frame with %d bytes and pts %"PRId64"\n",
285             (frame->frame_record[0] == 0x02) ? "video" : "audio",
286             frame->frame_size + BYTES_PER_FRAME_RECORD,
287             pkt->pts);
288
289     vmd->current_frame++;
290
291     return ret;
292 }
293
294 static int vmd_read_close(AVFormatContext *s)
295 {
296     VmdDemuxContext *vmd = s->priv_data;
297
298     av_free(vmd->frame_table);
299
300     return 0;
301 }
302
303 AVInputFormat ff_vmd_demuxer = {
304     .name           = "vmd",
305     .long_name      = NULL_IF_CONFIG_SMALL("Sierra VMD"),
306     .priv_data_size = sizeof(VmdDemuxContext),
307     .read_probe     = vmd_probe,
308     .read_header    = vmd_read_header,
309     .read_packet    = vmd_read_packet,
310     .read_close     = vmd_read_close,
311 };