sierravmd: limit packetsize to the amount that could be read.
[ffmpeg.git] / libavformat / sierravmd.c
1 /*
2  * Sierra VMD Format Demuxer
3  * Copyright (c) 2004 The ffmpeg Project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Sierra VMD file demuxer
25  * by Vladimir "VAG" Gneushev (vagsoft at mail.ru)
26  * for more information on the Sierra VMD file format, visit:
27  *   http://www.pcisys.net/~melanson/codecs/
28  */
29
30 #include "libavutil/intreadwrite.h"
31 #include "avformat.h"
32 #include "internal.h"
33 #include "avio_internal.h"
34
35 #define VMD_HEADER_SIZE 0x0330
36 #define BYTES_PER_FRAME_RECORD 16
37
38 typedef struct {
39   int stream_index;
40   int64_t frame_offset;
41   unsigned int frame_size;
42   int64_t pts;
43   int keyframe;
44   unsigned char frame_record[BYTES_PER_FRAME_RECORD];
45 } vmd_frame;
46
47 typedef struct VmdDemuxContext {
48     int video_stream_index;
49     int audio_stream_index;
50
51     unsigned int frame_count;
52     unsigned int frames_per_block;
53     vmd_frame *frame_table;
54     unsigned int current_frame;
55     int is_indeo3;
56
57     int sample_rate;
58     int64_t audio_sample_counter;
59     int skiphdr;
60
61     unsigned char vmd_header[VMD_HEADER_SIZE];
62 } VmdDemuxContext;
63
64 static int vmd_probe(AVProbeData *p)
65 {
66     int w, h;
67     if (p->buf_size < 16)
68         return 0;
69     /* check if the first 2 bytes of the file contain the appropriate size
70      * of a VMD header chunk */
71     if (AV_RL16(&p->buf[0]) != VMD_HEADER_SIZE - 2)
72         return 0;
73     w = AV_RL16(&p->buf[12]);
74     h = AV_RL16(&p->buf[14]);
75     if (!w || w > 2048 || !h || h > 2048)
76         return 0;
77
78     /* only return half certainty since this check is a bit sketchy */
79     return AVPROBE_SCORE_MAX / 2;
80 }
81
82 static int vmd_read_header(AVFormatContext *s,
83                            AVFormatParameters *ap)
84 {
85     VmdDemuxContext *vmd = s->priv_data;
86     AVIOContext *pb = s->pb;
87     AVStream *st = NULL, *vst;
88     unsigned int toc_offset;
89     unsigned char *raw_frame_table;
90     int raw_frame_table_size;
91     int64_t current_offset;
92     int i, j;
93     unsigned int total_frames;
94     int64_t current_audio_pts = 0;
95     unsigned char chunk[BYTES_PER_FRAME_RECORD];
96     int num, den;
97     int sound_buffers;
98
99     /* fetch the main header, including the 2 header length bytes */
100     avio_seek(pb, 0, SEEK_SET);
101     if (avio_read(pb, vmd->vmd_header, VMD_HEADER_SIZE) != VMD_HEADER_SIZE)
102         return AVERROR(EIO);
103
104     if(vmd->vmd_header[24] == 'i' && vmd->vmd_header[25] == 'v' && vmd->vmd_header[26] == '3')
105         vmd->is_indeo3 = 1;
106     else
107         vmd->is_indeo3 = 0;
108     /* start up the decoders */
109     vst = avformat_new_stream(s, NULL);
110     if (!vst)
111         return AVERROR(ENOMEM);
112     avpriv_set_pts_info(vst, 33, 1, 10);
113     vmd->video_stream_index = vst->index;
114     vst->codec->codec_type = AVMEDIA_TYPE_VIDEO;
115     vst->codec->codec_id = vmd->is_indeo3 ? CODEC_ID_INDEO3 : CODEC_ID_VMDVIDEO;
116     vst->codec->codec_tag = 0;  /* no fourcc */
117     vst->codec->width = AV_RL16(&vmd->vmd_header[12]);
118     vst->codec->height = AV_RL16(&vmd->vmd_header[14]);
119     if(vmd->is_indeo3 && vst->codec->width > 320){
120         vst->codec->width >>= 1;
121         vst->codec->height >>= 1;
122     }
123     vst->codec->extradata_size = VMD_HEADER_SIZE;
124     vst->codec->extradata = av_mallocz(VMD_HEADER_SIZE + FF_INPUT_BUFFER_PADDING_SIZE);
125     memcpy(vst->codec->extradata, vmd->vmd_header, VMD_HEADER_SIZE);
126
127     /* if sample rate is 0, assume no audio */
128     vmd->sample_rate = AV_RL16(&vmd->vmd_header[804]);
129     if (vmd->sample_rate) {
130         st = avformat_new_stream(s, NULL);
131         if (!st)
132             return AVERROR(ENOMEM);
133         vmd->audio_stream_index = st->index;
134         st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
135         st->codec->codec_id = CODEC_ID_VMDAUDIO;
136         st->codec->codec_tag = 0;  /* no fourcc */
137         st->codec->channels = (vmd->vmd_header[811] & 0x80) ? 2 : 1;
138         st->codec->sample_rate = vmd->sample_rate;
139         st->codec->block_align = AV_RL16(&vmd->vmd_header[806]);
140         if (st->codec->block_align & 0x8000) {
141             st->codec->bits_per_coded_sample = 16;
142             st->codec->block_align = -(st->codec->block_align - 0x10000);
143         } else {
144             st->codec->bits_per_coded_sample = 8;
145         }
146         st->codec->bit_rate = st->codec->sample_rate *
147             st->codec->bits_per_coded_sample * st->codec->channels;
148
149         /* calculate pts */
150         num = st->codec->block_align;
151         den = st->codec->sample_rate * st->codec->channels;
152         av_reduce(&den, &num, den, num, (1UL<<31)-1);
153         avpriv_set_pts_info(vst, 33, num, den);
154         avpriv_set_pts_info(st, 33, num, den);
155     }
156
157     toc_offset = AV_RL32(&vmd->vmd_header[812]);
158     vmd->frame_count = AV_RL16(&vmd->vmd_header[6]);
159     vmd->frames_per_block = AV_RL16(&vmd->vmd_header[18]);
160     avio_seek(pb, toc_offset, SEEK_SET);
161
162     raw_frame_table = NULL;
163     vmd->frame_table = NULL;
164     sound_buffers = AV_RL16(&vmd->vmd_header[808]);
165     raw_frame_table_size = vmd->frame_count * 6;
166     if(vmd->frame_count * vmd->frames_per_block >= UINT_MAX / sizeof(vmd_frame) - sound_buffers){
167         av_log(s, AV_LOG_ERROR, "vmd->frame_count * vmd->frames_per_block too large\n");
168         return -1;
169     }
170     raw_frame_table = av_malloc(raw_frame_table_size);
171     vmd->frame_table = av_malloc((vmd->frame_count * vmd->frames_per_block + sound_buffers) * sizeof(vmd_frame));
172     if (!raw_frame_table || !vmd->frame_table) {
173         av_free(raw_frame_table);
174         av_free(vmd->frame_table);
175         return AVERROR(ENOMEM);
176     }
177     if (avio_read(pb, raw_frame_table, raw_frame_table_size) !=
178         raw_frame_table_size) {
179         av_free(raw_frame_table);
180         av_free(vmd->frame_table);
181         return AVERROR(EIO);
182     }
183
184     total_frames = 0;
185     for (i = 0; i < vmd->frame_count; i++) {
186
187         current_offset = AV_RL32(&raw_frame_table[6 * i + 2]);
188
189         /* handle each entry in index block */
190         for (j = 0; j < vmd->frames_per_block; j++) {
191             int type;
192             uint32_t size;
193
194             avio_read(pb, chunk, BYTES_PER_FRAME_RECORD);
195             type = chunk[0];
196             size = AV_RL32(&chunk[2]);
197             if(!size && type != 1)
198                 continue;
199             switch(type) {
200             case 1: /* Audio Chunk */
201                 if (!st) break;
202                 /* first audio chunk contains several audio buffers */
203                 vmd->frame_table[total_frames].frame_offset = current_offset;
204                 vmd->frame_table[total_frames].stream_index = vmd->audio_stream_index;
205                 vmd->frame_table[total_frames].frame_size = size;
206                 memcpy(vmd->frame_table[total_frames].frame_record, chunk, BYTES_PER_FRAME_RECORD);
207                 vmd->frame_table[total_frames].pts = current_audio_pts;
208                 total_frames++;
209                 if(!current_audio_pts)
210                     current_audio_pts += sound_buffers;
211                 else
212                     current_audio_pts++;
213                 break;
214             case 2: /* Video Chunk */
215                 vmd->frame_table[total_frames].frame_offset = current_offset;
216                 vmd->frame_table[total_frames].stream_index = vmd->video_stream_index;
217                 vmd->frame_table[total_frames].frame_size = size;
218                 memcpy(vmd->frame_table[total_frames].frame_record, chunk, BYTES_PER_FRAME_RECORD);
219                 vmd->frame_table[total_frames].pts = i;
220                 total_frames++;
221                 break;
222             }
223             current_offset += size;
224         }
225     }
226
227     av_free(raw_frame_table);
228
229     vmd->current_frame = 0;
230     vmd->frame_count = total_frames;
231
232     return 0;
233 }
234
235 static int vmd_read_packet(AVFormatContext *s,
236                            AVPacket *pkt)
237 {
238     VmdDemuxContext *vmd = s->priv_data;
239     AVIOContext *pb = s->pb;
240     int ret = 0;
241     vmd_frame *frame;
242
243     if (vmd->current_frame >= vmd->frame_count)
244         return AVERROR(EIO);
245
246     frame = &vmd->frame_table[vmd->current_frame];
247     /* position the stream (will probably be there already) */
248     avio_seek(pb, frame->frame_offset, SEEK_SET);
249
250     if(ffio_limit(pb, frame->frame_size) != frame->frame_size)
251         return AVERROR(EIO);
252     if (av_new_packet(pkt, frame->frame_size + BYTES_PER_FRAME_RECORD))
253         return AVERROR(ENOMEM);
254     pkt->pos= avio_tell(pb);
255     memcpy(pkt->data, frame->frame_record, BYTES_PER_FRAME_RECORD);
256     if(vmd->is_indeo3 && frame->frame_record[0] == 0x02)
257         ret = avio_read(pb, pkt->data, frame->frame_size);
258     else
259         ret = avio_read(pb, pkt->data + BYTES_PER_FRAME_RECORD,
260             frame->frame_size);
261
262     if (ret != frame->frame_size) {
263         av_free_packet(pkt);
264         ret = AVERROR(EIO);
265     }
266     pkt->stream_index = frame->stream_index;
267     pkt->pts = frame->pts;
268     av_log(s, AV_LOG_DEBUG, " dispatching %s frame with %d bytes and pts %"PRId64"\n",
269             (frame->frame_record[0] == 0x02) ? "video" : "audio",
270             frame->frame_size + BYTES_PER_FRAME_RECORD,
271             pkt->pts);
272
273     vmd->current_frame++;
274
275     return ret;
276 }
277
278 static int vmd_read_close(AVFormatContext *s)
279 {
280     VmdDemuxContext *vmd = s->priv_data;
281
282     av_free(vmd->frame_table);
283
284     return 0;
285 }
286
287 AVInputFormat ff_vmd_demuxer = {
288     .name           = "vmd",
289     .long_name      = NULL_IF_CONFIG_SMALL("Sierra VMD format"),
290     .priv_data_size = sizeof(VmdDemuxContext),
291     .read_probe     = vmd_probe,
292     .read_header    = vmd_read_header,
293     .read_packet    = vmd_read_packet,
294     .read_close     = vmd_read_close,
295 };