Support uncompressed ("Resolution 1:1") Avid AVI Codec, (partially) fixes issue 1474.
[ffmpeg.git] / libavformat / avidec.c
1 /*
2  * AVI demuxer
3  * Copyright (c) 2001 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 //#define DEBUG
23 //#define DEBUG_SEEK
24
25 #include "libavutil/intreadwrite.h"
26 #include "libavutil/bswap.h"
27 #include "avformat.h"
28 #include "avi.h"
29 #include "dv.h"
30 #include "riff.h"
31
32 #undef NDEBUG
33 #include <assert.h>
34
35 typedef struct AVIStream {
36     int64_t frame_offset; /* current frame (video) or byte (audio) counter
37                          (used to compute the pts) */
38     int remaining;
39     int packet_size;
40
41     int scale;
42     int rate;
43     int sample_size; /* size of one sample (or packet) (in the rate/scale sense) in bytes */
44
45     int64_t cum_len; /* temporary storage (used during seek) */
46
47     int prefix;                       ///< normally 'd'<<8 + 'c' or 'w'<<8 + 'b'
48     int prefix_count;
49     uint32_t pal[256];
50     int has_pal;
51 } AVIStream;
52
53 typedef struct {
54     int64_t  riff_end;
55     int64_t  movi_end;
56     int64_t  fsize;
57     int64_t movi_list;
58     int64_t last_pkt_pos;
59     int index_loaded;
60     int is_odml;
61     int non_interleaved;
62     int stream_index;
63     DVDemuxContext* dv_demux;
64 } AVIContext;
65
66 static const char avi_headers[][8] = {
67     { 'R', 'I', 'F', 'F',    'A', 'V', 'I', ' ' },
68     { 'R', 'I', 'F', 'F',    'A', 'V', 'I', 'X' },
69     { 'R', 'I', 'F', 'F',    'A', 'V', 'I', 0x19},
70     { 'O', 'N', '2', ' ',    'O', 'N', '2', 'f' },
71     { 'R', 'I', 'F', 'F',    'A', 'M', 'V', ' ' },
72     { 0 }
73 };
74
75 static int avi_load_index(AVFormatContext *s);
76 static int guess_ni_flag(AVFormatContext *s);
77
78 #ifdef DEBUG
79 static void print_tag(const char *str, unsigned int tag, int size)
80 {
81     dprintf(NULL, "%s: tag=%c%c%c%c size=0x%x\n",
82            str, tag & 0xff,
83            (tag >> 8) & 0xff,
84            (tag >> 16) & 0xff,
85            (tag >> 24) & 0xff,
86            size);
87 }
88 #endif
89
90 static int get_riff(AVFormatContext *s, ByteIOContext *pb)
91 {
92     AVIContext *avi = s->priv_data;
93     char header[8];
94     int i;
95
96     /* check RIFF header */
97     get_buffer(pb, header, 4);
98     avi->riff_end = get_le32(pb);   /* RIFF chunk size */
99     avi->riff_end += url_ftell(pb); /* RIFF chunk end */
100     get_buffer(pb, header+4, 4);
101
102     for(i=0; avi_headers[i][0]; i++)
103         if(!memcmp(header, avi_headers[i], 8))
104             break;
105     if(!avi_headers[i][0])
106         return -1;
107
108     if(header[7] == 0x19)
109         av_log(s, AV_LOG_INFO, "This file has been generated by a totally broken muxer.\n");
110
111     return 0;
112 }
113
114 static int read_braindead_odml_indx(AVFormatContext *s, int frame_num){
115     AVIContext *avi = s->priv_data;
116     ByteIOContext *pb = s->pb;
117     int longs_pre_entry= get_le16(pb);
118     int index_sub_type = get_byte(pb);
119     int index_type     = get_byte(pb);
120     int entries_in_use = get_le32(pb);
121     int chunk_id       = get_le32(pb);
122     int64_t base       = get_le64(pb);
123     int stream_id= 10*((chunk_id&0xFF) - '0') + (((chunk_id>>8)&0xFF) - '0');
124     AVStream *st;
125     AVIStream *ast;
126     int i;
127     int64_t last_pos= -1;
128     int64_t filesize= url_fsize(s->pb);
129
130 #ifdef DEBUG_SEEK
131     av_log(s, AV_LOG_ERROR, "longs_pre_entry:%d index_type:%d entries_in_use:%d chunk_id:%X base:%16"PRIX64"\n",
132         longs_pre_entry,index_type, entries_in_use, chunk_id, base);
133 #endif
134
135     if(stream_id > s->nb_streams || stream_id < 0)
136         return -1;
137     st= s->streams[stream_id];
138     ast = st->priv_data;
139
140     if(index_sub_type)
141         return -1;
142
143     get_le32(pb);
144
145     if(index_type && longs_pre_entry != 2)
146         return -1;
147     if(index_type>1)
148         return -1;
149
150     if(filesize > 0 && base >= filesize){
151         av_log(s, AV_LOG_ERROR, "ODML index invalid\n");
152         if(base>>32 == (base & 0xFFFFFFFF) && (base & 0xFFFFFFFF) < filesize && filesize <= 0xFFFFFFFF)
153             base &= 0xFFFFFFFF;
154         else
155             return -1;
156     }
157
158     for(i=0; i<entries_in_use; i++){
159         if(index_type){
160             int64_t pos= get_le32(pb) + base - 8;
161             int len    = get_le32(pb);
162             int key= len >= 0;
163             len &= 0x7FFFFFFF;
164
165 #ifdef DEBUG_SEEK
166             av_log(s, AV_LOG_ERROR, "pos:%"PRId64", len:%X\n", pos, len);
167 #endif
168             if(url_feof(pb))
169                 return -1;
170
171             if(last_pos == pos || pos == base - 8)
172                 avi->non_interleaved= 1;
173             if(last_pos != pos && (len || !ast->sample_size))
174                 av_add_index_entry(st, pos, ast->cum_len, len, 0, key ? AVINDEX_KEYFRAME : 0);
175
176             if(ast->sample_size)
177                 ast->cum_len += len;
178             else
179                 ast->cum_len ++;
180             last_pos= pos;
181         }else{
182             int64_t offset, pos;
183             int duration;
184             offset = get_le64(pb);
185             get_le32(pb);       /* size */
186             duration = get_le32(pb);
187
188             if(url_feof(pb))
189                 return -1;
190
191             pos = url_ftell(pb);
192
193             url_fseek(pb, offset+8, SEEK_SET);
194             read_braindead_odml_indx(s, frame_num);
195             frame_num += duration;
196
197             url_fseek(pb, pos, SEEK_SET);
198         }
199     }
200     avi->index_loaded=1;
201     return 0;
202 }
203
204 static void clean_index(AVFormatContext *s){
205     int i;
206     int64_t j;
207
208     for(i=0; i<s->nb_streams; i++){
209         AVStream *st = s->streams[i];
210         AVIStream *ast = st->priv_data;
211         int n= st->nb_index_entries;
212         int max= ast->sample_size;
213         int64_t pos, size, ts;
214
215         if(n != 1 || ast->sample_size==0)
216             continue;
217
218         while(max < 1024) max+=max;
219
220         pos= st->index_entries[0].pos;
221         size= st->index_entries[0].size;
222         ts= st->index_entries[0].timestamp;
223
224         for(j=0; j<size; j+=max){
225             av_add_index_entry(st, pos+j, ts+j, FFMIN(max, size-j), 0, AVINDEX_KEYFRAME);
226         }
227     }
228 }
229
230 static int avi_read_tag(AVFormatContext *s, const char *key, unsigned int size)
231 {
232     ByteIOContext *pb = s->pb;
233     char *value;
234
235     size += (size & 1);
236
237     if (size == UINT_MAX)
238         return -1;
239     value = av_malloc(size+1);
240     if (!value)
241         return -1;
242     get_strz(pb, value, size);
243
244     return av_metadata_set2(&s->metadata, key, value,
245                                   AV_METADATA_DONT_STRDUP_VAL);
246 }
247
248 static int avi_read_header(AVFormatContext *s, AVFormatParameters *ap)
249 {
250     AVIContext *avi = s->priv_data;
251     ByteIOContext *pb = s->pb;
252     unsigned int tag, tag1, handler;
253     int codec_type, stream_index, frame_period, bit_rate;
254     unsigned int size, nb_frames;
255     int i;
256     AVStream *st;
257     AVIStream *ast = NULL;
258     int avih_width=0, avih_height=0;
259     int amv_file_format=0;
260     uint64_t list_end = 0;
261
262     avi->stream_index= -1;
263
264     if (get_riff(s, pb) < 0)
265         return -1;
266
267     avi->fsize = url_fsize(pb);
268     if(avi->fsize<=0)
269         avi->fsize= avi->riff_end == 8 ? INT64_MAX : avi->riff_end;
270
271     /* first list tag */
272     stream_index = -1;
273     codec_type = -1;
274     frame_period = 0;
275     for(;;) {
276         if (url_feof(pb))
277             goto fail;
278         tag = get_le32(pb);
279         size = get_le32(pb);
280 #ifdef DEBUG
281         print_tag("tag", tag, size);
282 #endif
283
284         switch(tag) {
285         case MKTAG('L', 'I', 'S', 'T'):
286             list_end = url_ftell(pb) + size;
287             /* Ignored, except at start of video packets. */
288             tag1 = get_le32(pb);
289 #ifdef DEBUG
290             print_tag("list", tag1, 0);
291 #endif
292             if (tag1 == MKTAG('m', 'o', 'v', 'i')) {
293                 avi->movi_list = url_ftell(pb) - 4;
294                 if(size) avi->movi_end = avi->movi_list + size + (size & 1);
295                 else     avi->movi_end = url_fsize(pb);
296                 dprintf(NULL, "movi end=%"PRIx64"\n", avi->movi_end);
297                 goto end_of_header;
298             }
299             break;
300         case MKTAG('d', 'm', 'l', 'h'):
301             avi->is_odml = 1;
302             url_fskip(pb, size + (size & 1));
303             break;
304         case MKTAG('a', 'm', 'v', 'h'):
305             amv_file_format=1;
306         case MKTAG('a', 'v', 'i', 'h'):
307             /* AVI header */
308             /* using frame_period is bad idea */
309             frame_period = get_le32(pb);
310             bit_rate = get_le32(pb) * 8;
311             get_le32(pb);
312             avi->non_interleaved |= get_le32(pb) & AVIF_MUSTUSEINDEX;
313
314             url_fskip(pb, 2 * 4);
315             get_le32(pb);
316             get_le32(pb);
317             avih_width=get_le32(pb);
318             avih_height=get_le32(pb);
319
320             url_fskip(pb, size - 10 * 4);
321             break;
322         case MKTAG('s', 't', 'r', 'h'):
323             /* stream header */
324
325             tag1 = get_le32(pb);
326             handler = get_le32(pb); /* codec tag */
327
328             if(tag1 == MKTAG('p', 'a', 'd', 's')){
329                 url_fskip(pb, size - 8);
330                 break;
331             }else{
332                 stream_index++;
333                 st = av_new_stream(s, stream_index);
334                 if (!st)
335                     goto fail;
336
337                 ast = av_mallocz(sizeof(AVIStream));
338                 if (!ast)
339                     goto fail;
340                 st->priv_data = ast;
341             }
342             if(amv_file_format)
343                 tag1 = stream_index ? MKTAG('a','u','d','s') : MKTAG('v','i','d','s');
344
345 #ifdef DEBUG
346             print_tag("strh", tag1, -1);
347 #endif
348             if(tag1 == MKTAG('i', 'a', 'v', 's') || tag1 == MKTAG('i', 'v', 'a', 's')){
349                 int64_t dv_dur;
350
351                 /*
352                  * After some consideration -- I don't think we
353                  * have to support anything but DV in type1 AVIs.
354                  */
355                 if (s->nb_streams != 1)
356                     goto fail;
357
358                 if (handler != MKTAG('d', 'v', 's', 'd') &&
359                     handler != MKTAG('d', 'v', 'h', 'd') &&
360                     handler != MKTAG('d', 'v', 's', 'l'))
361                    goto fail;
362
363                 ast = s->streams[0]->priv_data;
364                 av_freep(&s->streams[0]->codec->extradata);
365                 av_freep(&s->streams[0]);
366                 s->nb_streams = 0;
367                 if (CONFIG_DV_DEMUXER) {
368                     avi->dv_demux = dv_init_demux(s);
369                     if (!avi->dv_demux)
370                         goto fail;
371                 }
372                 s->streams[0]->priv_data = ast;
373                 url_fskip(pb, 3 * 4);
374                 ast->scale = get_le32(pb);
375                 ast->rate = get_le32(pb);
376                 url_fskip(pb, 4);  /* start time */
377
378                 dv_dur = get_le32(pb);
379                 if (ast->scale > 0 && ast->rate > 0 && dv_dur > 0) {
380                     dv_dur *= AV_TIME_BASE;
381                     s->duration = av_rescale(dv_dur, ast->scale, ast->rate);
382                 }
383                 /*
384                  * else, leave duration alone; timing estimation in utils.c
385                  *      will make a guess based on bitrate.
386                  */
387
388                 stream_index = s->nb_streams - 1;
389                 url_fskip(pb, size - 9*4);
390                 break;
391             }
392
393             assert(stream_index < s->nb_streams);
394             st->codec->stream_codec_tag= handler;
395
396             get_le32(pb); /* flags */
397             get_le16(pb); /* priority */
398             get_le16(pb); /* language */
399             get_le32(pb); /* initial frame */
400             ast->scale = get_le32(pb);
401             ast->rate = get_le32(pb);
402             if(!(ast->scale && ast->rate)){
403                 av_log(s, AV_LOG_WARNING, "scale/rate is %u/%u which is invalid. (This file has been generated by broken software.)\n", ast->scale, ast->rate);
404                 if(frame_period){
405                     ast->rate = 1000000;
406                     ast->scale = frame_period;
407                 }else{
408                     ast->rate = 25;
409                     ast->scale = 1;
410                 }
411             }
412             av_set_pts_info(st, 64, ast->scale, ast->rate);
413
414             ast->cum_len=get_le32(pb); /* start */
415             nb_frames = get_le32(pb);
416
417             st->start_time = 0;
418             st->duration = nb_frames;
419             get_le32(pb); /* buffer size */
420             get_le32(pb); /* quality */
421             ast->sample_size = get_le32(pb); /* sample ssize */
422             ast->cum_len *= FFMAX(1, ast->sample_size);
423 //            av_log(s, AV_LOG_DEBUG, "%d %d %d %d\n", ast->rate, ast->scale, ast->start, ast->sample_size);
424
425             switch(tag1) {
426             case MKTAG('v', 'i', 'd', 's'):
427                 codec_type = CODEC_TYPE_VIDEO;
428
429                 ast->sample_size = 0;
430                 break;
431             case MKTAG('a', 'u', 'd', 's'):
432                 codec_type = CODEC_TYPE_AUDIO;
433                 break;
434             case MKTAG('t', 'x', 't', 's'):
435                 //FIXME
436                 codec_type = CODEC_TYPE_DATA; //CODEC_TYPE_SUB ?  FIXME
437                 break;
438             case MKTAG('d', 'a', 't', 's'):
439                 codec_type = CODEC_TYPE_DATA;
440                 break;
441             default:
442                 av_log(s, AV_LOG_ERROR, "unknown stream type %X\n", tag1);
443                 goto fail;
444             }
445             ast->frame_offset= ast->cum_len;
446             url_fskip(pb, size - 12 * 4);
447             break;
448         case MKTAG('s', 't', 'r', 'f'):
449             /* stream header */
450             if (stream_index >= (unsigned)s->nb_streams || avi->dv_demux) {
451                 url_fskip(pb, size);
452             } else {
453                 uint64_t cur_pos = url_ftell(pb);
454                 if (cur_pos < list_end)
455                     size = FFMIN(size, list_end - cur_pos);
456                 st = s->streams[stream_index];
457                 switch(codec_type) {
458                 case CODEC_TYPE_VIDEO:
459                     if(amv_file_format){
460                         st->codec->width=avih_width;
461                         st->codec->height=avih_height;
462                         st->codec->codec_type = CODEC_TYPE_VIDEO;
463                         st->codec->codec_id = CODEC_ID_AMV;
464                         url_fskip(pb, size);
465                         break;
466                     }
467                     get_le32(pb); /* size */
468                     st->codec->width = get_le32(pb);
469                     st->codec->height = (int32_t)get_le32(pb);
470                     get_le16(pb); /* panes */
471                     st->codec->bits_per_coded_sample= get_le16(pb); /* depth */
472                     tag1 = get_le32(pb);
473                     get_le32(pb); /* ImageSize */
474                     get_le32(pb); /* XPelsPerMeter */
475                     get_le32(pb); /* YPelsPerMeter */
476                     get_le32(pb); /* ClrUsed */
477                     get_le32(pb); /* ClrImportant */
478
479                     if (tag1 == MKTAG('D', 'X', 'S', 'B')) {
480                         st->codec->codec_type = CODEC_TYPE_SUBTITLE;
481                         st->codec->codec_tag = tag1;
482                         st->codec->codec_id = CODEC_ID_XSUB;
483                         break;
484                     }
485
486                     if(size > 10*4 && size<(1<<30)){
487                         st->codec->extradata_size= size - 10*4;
488                         st->codec->extradata= av_malloc(st->codec->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE);
489                         if (!st->codec->extradata) {
490                             st->codec->extradata_size= 0;
491                             return AVERROR(ENOMEM);
492                         }
493                         get_buffer(pb, st->codec->extradata, st->codec->extradata_size);
494                     }
495
496                     if(st->codec->extradata_size & 1) //FIXME check if the encoder really did this correctly
497                         get_byte(pb);
498
499                     /* Extract palette from extradata if bpp <= 8. */
500                     /* This code assumes that extradata contains only palette. */
501                     /* This is true for all paletted codecs implemented in FFmpeg. */
502                     if (st->codec->extradata_size && (st->codec->bits_per_coded_sample <= 8)) {
503                         st->codec->palctrl = av_mallocz(sizeof(AVPaletteControl));
504 #if HAVE_BIGENDIAN
505                         for (i = 0; i < FFMIN(st->codec->extradata_size, AVPALETTE_SIZE)/4; i++)
506                             st->codec->palctrl->palette[i] = bswap_32(((uint32_t*)st->codec->extradata)[i]);
507 #else
508                         memcpy(st->codec->palctrl->palette, st->codec->extradata,
509                                FFMIN(st->codec->extradata_size, AVPALETTE_SIZE));
510 #endif
511                         st->codec->palctrl->palette_changed = 1;
512                     }
513
514 #ifdef DEBUG
515                     print_tag("video", tag1, 0);
516 #endif
517                     st->codec->codec_type = CODEC_TYPE_VIDEO;
518                     st->codec->codec_tag = tag1;
519                     st->codec->codec_id = ff_codec_get_id(ff_codec_bmp_tags, tag1);
520                     st->need_parsing = AVSTREAM_PARSE_HEADERS; // This is needed to get the pict type which is necessary for generating correct pts.
521                     // Support "Resolution 1:1" for Avid AVI Codec
522                     if(tag1 == MKTAG('A', 'V', 'R', 'n') &&
523                        st->codec->extradata_size >= 31 &&
524                        !memcmp(&st->codec->extradata[28], "1:1", 3))
525                         st->codec->codec_id = CODEC_ID_RAWVIDEO;
526
527                     if(st->codec->codec_tag==0 && st->codec->height > 0 && st->codec->extradata_size < 1U<<30){
528                         st->codec->extradata_size+= 9;
529                         st->codec->extradata= av_realloc(st->codec->extradata, st->codec->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE);
530                         if(st->codec->extradata)
531                             memcpy(st->codec->extradata + st->codec->extradata_size - 9, "BottomUp", 9);
532                     }
533                     st->codec->height= FFABS(st->codec->height);
534
535 //                    url_fskip(pb, size - 5 * 4);
536                     break;
537                 case CODEC_TYPE_AUDIO:
538                     ff_get_wav_header(pb, st->codec, size);
539                     if(ast->sample_size && st->codec->block_align && ast->sample_size != st->codec->block_align){
540                         av_log(s, AV_LOG_WARNING, "sample size (%d) != block align (%d)\n", ast->sample_size, st->codec->block_align);
541                         ast->sample_size= st->codec->block_align;
542                     }
543                     if (size%2) /* 2-aligned (fix for Stargate SG-1 - 3x18 - Shades of Grey.avi) */
544                         url_fskip(pb, 1);
545                     /* Force parsing as several audio frames can be in
546                      * one packet and timestamps refer to packet start. */
547                     st->need_parsing = AVSTREAM_PARSE_TIMESTAMPS;
548                     /* ADTS header is in extradata, AAC without header must be
549                      * stored as exact frames. Parser not needed and it will
550                      * fail. */
551                     if (st->codec->codec_id == CODEC_ID_AAC && st->codec->extradata_size)
552                         st->need_parsing = AVSTREAM_PARSE_NONE;
553                     /* AVI files with Xan DPCM audio (wrongly) declare PCM
554                      * audio in the header but have Axan as stream_code_tag. */
555                     if (st->codec->stream_codec_tag == AV_RL32("Axan")){
556                         st->codec->codec_id  = CODEC_ID_XAN_DPCM;
557                         st->codec->codec_tag = 0;
558                     }
559                     if (amv_file_format)
560                         st->codec->codec_id  = CODEC_ID_ADPCM_IMA_AMV;
561                     break;
562                 default:
563                     st->codec->codec_type = CODEC_TYPE_DATA;
564                     st->codec->codec_id= CODEC_ID_NONE;
565                     st->codec->codec_tag= 0;
566                     url_fskip(pb, size);
567                     break;
568                 }
569             }
570             break;
571         case MKTAG('i', 'n', 'd', 'x'):
572             i= url_ftell(pb);
573             if(!url_is_streamed(pb) && !(s->flags & AVFMT_FLAG_IGNIDX)){
574                 read_braindead_odml_indx(s, 0);
575             }
576             url_fseek(pb, i+size, SEEK_SET);
577             break;
578         case MKTAG('v', 'p', 'r', 'p'):
579             if(stream_index < (unsigned)s->nb_streams && size > 9*4){
580                 AVRational active, active_aspect;
581
582                 st = s->streams[stream_index];
583                 get_le32(pb);
584                 get_le32(pb);
585                 get_le32(pb);
586                 get_le32(pb);
587                 get_le32(pb);
588
589                 active_aspect.den= get_le16(pb);
590                 active_aspect.num= get_le16(pb);
591                 active.num       = get_le32(pb);
592                 active.den       = get_le32(pb);
593                 get_le32(pb); //nbFieldsPerFrame
594
595                 if(active_aspect.num && active_aspect.den && active.num && active.den){
596                     st->sample_aspect_ratio= av_div_q(active_aspect, active);
597 //av_log(s, AV_LOG_ERROR, "vprp %d/%d %d/%d\n", active_aspect.num, active_aspect.den, active.num, active.den);
598                 }
599                 size -= 9*4;
600             }
601             url_fseek(pb, size, SEEK_CUR);
602             break;
603         case MKTAG('I', 'N', 'A', 'M'):
604             avi_read_tag(s, "Title", size);
605             break;
606         case MKTAG('I', 'A', 'R', 'T'):
607             avi_read_tag(s, "Artist", size);
608             break;
609         case MKTAG('I', 'C', 'O', 'P'):
610             avi_read_tag(s, "Copyright", size);
611             break;
612         case MKTAG('I', 'C', 'M', 'T'):
613             avi_read_tag(s, "Comment", size);
614             break;
615         case MKTAG('I', 'G', 'N', 'R'):
616             avi_read_tag(s, "Genre", size);
617             break;
618         case MKTAG('I', 'P', 'R', 'D'):
619             avi_read_tag(s, "Album", size);
620             break;
621         case MKTAG('I', 'P', 'R', 'T'):
622             avi_read_tag(s, "Track", size);
623             break;
624         default:
625             if(size > 1000000){
626                 av_log(s, AV_LOG_ERROR, "Something went wrong during header parsing, "
627                                         "I will ignore it and try to continue anyway.\n");
628                 avi->movi_list = url_ftell(pb) - 4;
629                 avi->movi_end  = url_fsize(pb);
630                 goto end_of_header;
631             }
632             /* skip tag */
633             size += (size & 1);
634             url_fskip(pb, size);
635             break;
636         }
637     }
638  end_of_header:
639     /* check stream number */
640     if (stream_index != s->nb_streams - 1) {
641     fail:
642         return -1;
643     }
644
645     if(!avi->index_loaded && !url_is_streamed(pb))
646         avi_load_index(s);
647     avi->index_loaded = 1;
648     avi->non_interleaved |= guess_ni_flag(s);
649     if(avi->non_interleaved) {
650         av_log(s, AV_LOG_INFO, "non-interleaved AVI\n");
651         clean_index(s);
652     }
653
654     return 0;
655 }
656
657 static int get_stream_idx(int *d){
658     if(    d[0] >= '0' && d[0] <= '9'
659         && d[1] >= '0' && d[1] <= '9'){
660         return (d[0] - '0') * 10 + (d[1] - '0');
661     }else{
662         return 100; //invalid stream ID
663     }
664 }
665
666 static int avi_read_packet(AVFormatContext *s, AVPacket *pkt)
667 {
668     AVIContext *avi = s->priv_data;
669     ByteIOContext *pb = s->pb;
670     int n, d[8];
671     unsigned int size;
672     int64_t i, sync;
673     void* dstr;
674
675     if (CONFIG_DV_DEMUXER && avi->dv_demux) {
676         int size = dv_get_packet(avi->dv_demux, pkt);
677         if (size >= 0)
678             return size;
679     }
680
681     if(avi->non_interleaved){
682         int best_stream_index = 0;
683         AVStream *best_st= NULL;
684         AVIStream *best_ast;
685         int64_t best_ts= INT64_MAX;
686         int i;
687
688         for(i=0; i<s->nb_streams; i++){
689             AVStream *st = s->streams[i];
690             AVIStream *ast = st->priv_data;
691             int64_t ts= ast->frame_offset;
692             int64_t last_ts;
693
694             if(!st->nb_index_entries)
695                 continue;
696
697             last_ts = st->index_entries[st->nb_index_entries - 1].timestamp;
698             if(!ast->remaining && ts > last_ts)
699                 continue;
700
701             ts = av_rescale_q(ts, st->time_base, (AVRational){FFMAX(1, ast->sample_size), AV_TIME_BASE});
702
703 //            av_log(s, AV_LOG_DEBUG, "%"PRId64" %d/%d %"PRId64"\n", ts, st->time_base.num, st->time_base.den, ast->frame_offset);
704             if(ts < best_ts){
705                 best_ts= ts;
706                 best_st= st;
707                 best_stream_index= i;
708             }
709         }
710         if(!best_st)
711             return -1;
712
713         best_ast = best_st->priv_data;
714         best_ts = av_rescale_q(best_ts, (AVRational){FFMAX(1, best_ast->sample_size), AV_TIME_BASE}, best_st->time_base);
715         if(best_ast->remaining)
716             i= av_index_search_timestamp(best_st, best_ts, AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
717         else{
718             i= av_index_search_timestamp(best_st, best_ts, AVSEEK_FLAG_ANY);
719             if(i>=0)
720                 best_ast->frame_offset= best_st->index_entries[i].timestamp;
721         }
722
723 //        av_log(s, AV_LOG_DEBUG, "%d\n", i);
724         if(i>=0){
725             int64_t pos= best_st->index_entries[i].pos;
726             pos += best_ast->packet_size - best_ast->remaining;
727             url_fseek(s->pb, pos + 8, SEEK_SET);
728 //        av_log(s, AV_LOG_DEBUG, "pos=%"PRId64"\n", pos);
729
730             assert(best_ast->remaining <= best_ast->packet_size);
731
732             avi->stream_index= best_stream_index;
733             if(!best_ast->remaining)
734                 best_ast->packet_size=
735                 best_ast->remaining= best_st->index_entries[i].size;
736         }
737     }
738
739 resync:
740     if(avi->stream_index >= 0){
741         AVStream *st= s->streams[ avi->stream_index ];
742         AVIStream *ast= st->priv_data;
743         int size, err;
744
745         if(ast->sample_size <= 1) // minorityreport.AVI block_align=1024 sample_size=1 IMA-ADPCM
746             size= INT_MAX;
747         else if(ast->sample_size < 32)
748             size= 64*ast->sample_size;
749         else
750             size= ast->sample_size;
751
752         if(size > ast->remaining)
753             size= ast->remaining;
754         avi->last_pkt_pos= url_ftell(pb);
755         err= av_get_packet(pb, pkt, size);
756         if(err<0)
757             return err;
758
759         if(ast->has_pal && pkt->data && pkt->size<(unsigned)INT_MAX/2){
760             void *ptr= av_realloc(pkt->data, pkt->size + 4*256 + FF_INPUT_BUFFER_PADDING_SIZE);
761             if(ptr){
762             ast->has_pal=0;
763             pkt->size += 4*256;
764             pkt->data= ptr;
765                 memcpy(pkt->data + pkt->size - 4*256, ast->pal, 4*256);
766             }else
767                 av_log(s, AV_LOG_ERROR, "Failed to append palette\n");
768         }
769
770         if (CONFIG_DV_DEMUXER && avi->dv_demux) {
771             dstr = pkt->destruct;
772             size = dv_produce_packet(avi->dv_demux, pkt,
773                                     pkt->data, pkt->size);
774             pkt->destruct = dstr;
775             pkt->flags |= PKT_FLAG_KEY;
776         } else {
777             /* XXX: How to handle B-frames in AVI? */
778             pkt->dts = ast->frame_offset;
779 //                pkt->dts += ast->start;
780             if(ast->sample_size)
781                 pkt->dts /= ast->sample_size;
782 //av_log(s, AV_LOG_DEBUG, "dts:%"PRId64" offset:%"PRId64" %d/%d smpl_siz:%d base:%d st:%d size:%d\n", pkt->dts, ast->frame_offset, ast->scale, ast->rate, ast->sample_size, AV_TIME_BASE, avi->stream_index, size);
783             pkt->stream_index = avi->stream_index;
784
785             if (st->codec->codec_type == CODEC_TYPE_VIDEO) {
786                 AVIndexEntry *e;
787                 int index;
788                 assert(st->index_entries);
789
790                 index= av_index_search_timestamp(st, ast->frame_offset, 0);
791                 e= &st->index_entries[index];
792
793                 if(index >= 0 && e->timestamp == ast->frame_offset){
794                     if (e->flags & AVINDEX_KEYFRAME)
795                         pkt->flags |= PKT_FLAG_KEY;
796                 }
797             } else {
798                 pkt->flags |= PKT_FLAG_KEY;
799             }
800             if(ast->sample_size)
801                 ast->frame_offset += pkt->size;
802             else
803                 ast->frame_offset++;
804         }
805         ast->remaining -= size;
806         if(!ast->remaining){
807             avi->stream_index= -1;
808             ast->packet_size= 0;
809         }
810
811         return size;
812     }
813
814     memset(d, -1, sizeof(int)*8);
815     for(i=sync=url_ftell(pb); !url_feof(pb); i++) {
816         int j;
817
818         for(j=0; j<7; j++)
819             d[j]= d[j+1];
820         d[7]= get_byte(pb);
821
822         size= d[4] + (d[5]<<8) + (d[6]<<16) + (d[7]<<24);
823
824         n= get_stream_idx(d+2);
825 //av_log(s, AV_LOG_DEBUG, "%X %X %X %X %X %X %X %X %"PRId64" %d %d\n", d[0], d[1], d[2], d[3], d[4], d[5], d[6], d[7], i, size, n);
826         if(i + (uint64_t)size > avi->fsize || d[0]<0)
827             continue;
828
829         //parse ix##
830         if(  (d[0] == 'i' && d[1] == 'x' && n < s->nb_streams)
831         //parse JUNK
832            ||(d[0] == 'J' && d[1] == 'U' && d[2] == 'N' && d[3] == 'K')
833            ||(d[0] == 'i' && d[1] == 'd' && d[2] == 'x' && d[3] == '1')){
834             url_fskip(pb, size);
835 //av_log(s, AV_LOG_DEBUG, "SKIP\n");
836             goto resync;
837         }
838
839         //parse stray LIST
840         if(d[0] == 'L' && d[1] == 'I' && d[2] == 'S' && d[3] == 'T'){
841             url_fskip(pb, 4);
842             goto resync;
843         }
844
845         n= get_stream_idx(d);
846
847         if(!((i-avi->last_pkt_pos)&1) && get_stream_idx(d+1) < s->nb_streams)
848             continue;
849
850         //detect ##ix chunk and skip
851         if(d[2] == 'i' && d[3] == 'x' && n < s->nb_streams){
852             url_fskip(pb, size);
853             goto resync;
854         }
855
856         //parse ##dc/##wb
857         if(n < s->nb_streams){
858             AVStream *st;
859             AVIStream *ast;
860             st = s->streams[n];
861             ast = st->priv_data;
862
863             if(s->nb_streams>=2){
864                 AVStream *st1  = s->streams[1];
865                 AVIStream *ast1= st1->priv_data;
866                 //workaround for broken small-file-bug402.avi
867                 if(   d[2] == 'w' && d[3] == 'b'
868                    && n==0
869                    && st ->codec->codec_type == CODEC_TYPE_VIDEO
870                    && st1->codec->codec_type == CODEC_TYPE_AUDIO
871                    && ast->prefix == 'd'*256+'c'
872                    && (d[2]*256+d[3] == ast1->prefix || !ast1->prefix_count)
873                   ){
874                     n=1;
875                     st = st1;
876                     ast = ast1;
877                     av_log(s, AV_LOG_WARNING, "Invalid stream + prefix combination, assuming audio.\n");
878                 }
879             }
880
881
882             if(   (st->discard >= AVDISCARD_DEFAULT && size==0)
883                /*|| (st->discard >= AVDISCARD_NONKEY && !(pkt->flags & PKT_FLAG_KEY))*/ //FIXME needs a little reordering
884                || st->discard >= AVDISCARD_ALL){
885                 if(ast->sample_size) ast->frame_offset += pkt->size;
886                 else                 ast->frame_offset++;
887                 url_fskip(pb, size);
888                 goto resync;
889             }
890
891             if (d[2] == 'p' && d[3] == 'c' && size<=4*256+4) {
892                 int k = get_byte(pb);
893                 int last = (k + get_byte(pb) - 1) & 0xFF;
894
895                 get_le16(pb); //flags
896
897                 for (; k <= last; k++)
898                     ast->pal[k] = get_be32(pb)>>8;// b + (g << 8) + (r << 16);
899                 ast->has_pal= 1;
900                 goto resync;
901             } else if(   ((ast->prefix_count<5 || sync+9 > i) && d[2]<128 && d[3]<128) ||
902                          d[2]*256+d[3] == ast->prefix /*||
903                          (d[2] == 'd' && d[3] == 'c') ||
904                          (d[2] == 'w' && d[3] == 'b')*/) {
905
906 //av_log(s, AV_LOG_DEBUG, "OK\n");
907                 if(d[2]*256+d[3] == ast->prefix)
908                     ast->prefix_count++;
909                 else{
910                     ast->prefix= d[2]*256+d[3];
911                     ast->prefix_count= 0;
912                 }
913
914                 avi->stream_index= n;
915                 ast->packet_size= size + 8;
916                 ast->remaining= size;
917
918                 if(size || !ast->sample_size){
919                     uint64_t pos= url_ftell(pb) - 8;
920                     if(!st->index_entries || !st->nb_index_entries || st->index_entries[st->nb_index_entries - 1].pos < pos){
921                         av_add_index_entry(st, pos, ast->frame_offset, size, 0, AVINDEX_KEYFRAME);
922                     }
923                 }
924                 goto resync;
925             }
926         }
927     }
928
929     return AVERROR_EOF;
930 }
931
932 /* XXX: We make the implicit supposition that the positions are sorted
933    for each stream. */
934 static int avi_read_idx1(AVFormatContext *s, int size)
935 {
936     AVIContext *avi = s->priv_data;
937     ByteIOContext *pb = s->pb;
938     int nb_index_entries, i;
939     AVStream *st;
940     AVIStream *ast;
941     unsigned int index, tag, flags, pos, len;
942     unsigned last_pos= -1;
943
944     nb_index_entries = size / 16;
945     if (nb_index_entries <= 0)
946         return -1;
947
948     /* Read the entries and sort them in each stream component. */
949     for(i = 0; i < nb_index_entries; i++) {
950         tag = get_le32(pb);
951         flags = get_le32(pb);
952         pos = get_le32(pb);
953         len = get_le32(pb);
954 #if defined(DEBUG_SEEK)
955         av_log(s, AV_LOG_DEBUG, "%d: tag=0x%x flags=0x%x pos=0x%x len=%d/",
956                i, tag, flags, pos, len);
957 #endif
958         if(i==0 && pos > avi->movi_list)
959             avi->movi_list= 0; //FIXME better check
960         pos += avi->movi_list;
961
962         index = ((tag & 0xff) - '0') * 10;
963         index += ((tag >> 8) & 0xff) - '0';
964         if (index >= s->nb_streams)
965             continue;
966         st = s->streams[index];
967         ast = st->priv_data;
968
969 #if defined(DEBUG_SEEK)
970         av_log(s, AV_LOG_DEBUG, "%d cum_len=%"PRId64"\n", len, ast->cum_len);
971 #endif
972         if(url_feof(pb))
973             return -1;
974
975         if(last_pos == pos)
976             avi->non_interleaved= 1;
977         else if(len || !ast->sample_size)
978             av_add_index_entry(st, pos, ast->cum_len, len, 0, (flags&AVIIF_INDEX) ? AVINDEX_KEYFRAME : 0);
979         if(ast->sample_size)
980             ast->cum_len += len;
981         else
982             ast->cum_len ++;
983         last_pos= pos;
984     }
985     return 0;
986 }
987
988 static int guess_ni_flag(AVFormatContext *s){
989     int i;
990     int64_t last_start=0;
991     int64_t first_end= INT64_MAX;
992     int64_t oldpos= url_ftell(s->pb);
993
994     for(i=0; i<s->nb_streams; i++){
995         AVStream *st = s->streams[i];
996         int n= st->nb_index_entries;
997         unsigned int size;
998
999         if(n <= 0)
1000             continue;
1001
1002         if(n >= 2){
1003             int64_t pos= st->index_entries[0].pos;
1004             url_fseek(s->pb, pos + 4, SEEK_SET);
1005             size= get_le32(s->pb);
1006             if(pos + size > st->index_entries[1].pos)
1007                 last_start= INT64_MAX;
1008         }
1009
1010         if(st->index_entries[0].pos > last_start)
1011             last_start= st->index_entries[0].pos;
1012         if(st->index_entries[n-1].pos < first_end)
1013             first_end= st->index_entries[n-1].pos;
1014     }
1015     url_fseek(s->pb, oldpos, SEEK_SET);
1016     return last_start > first_end;
1017 }
1018
1019 static int avi_load_index(AVFormatContext *s)
1020 {
1021     AVIContext *avi = s->priv_data;
1022     ByteIOContext *pb = s->pb;
1023     uint32_t tag, size;
1024     int64_t pos= url_ftell(pb);
1025     int ret = -1;
1026
1027     if (url_fseek(pb, avi->movi_end, SEEK_SET) < 0)
1028         goto the_end; // maybe truncated file
1029 #ifdef DEBUG_SEEK
1030     printf("movi_end=0x%"PRIx64"\n", avi->movi_end);
1031 #endif
1032     for(;;) {
1033         if (url_feof(pb))
1034             break;
1035         tag = get_le32(pb);
1036         size = get_le32(pb);
1037 #ifdef DEBUG_SEEK
1038         printf("tag=%c%c%c%c size=0x%x\n",
1039                tag & 0xff,
1040                (tag >> 8) & 0xff,
1041                (tag >> 16) & 0xff,
1042                (tag >> 24) & 0xff,
1043                size);
1044 #endif
1045         switch(tag) {
1046         case MKTAG('i', 'd', 'x', '1'):
1047             if (avi_read_idx1(s, size) < 0)
1048                 goto skip;
1049             ret = 0;
1050                 goto the_end;
1051             break;
1052         default:
1053         skip:
1054             size += (size & 1);
1055             if (url_fseek(pb, size, SEEK_CUR) < 0)
1056                 goto the_end; // something is wrong here
1057             break;
1058         }
1059     }
1060  the_end:
1061     url_fseek(pb, pos, SEEK_SET);
1062     return ret;
1063 }
1064
1065 static int avi_read_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags)
1066 {
1067     AVIContext *avi = s->priv_data;
1068     AVStream *st;
1069     int i, index;
1070     int64_t pos;
1071     AVIStream *ast;
1072
1073     if (!avi->index_loaded) {
1074         /* we only load the index on demand */
1075         avi_load_index(s);
1076         avi->index_loaded = 1;
1077     }
1078     assert(stream_index>= 0);
1079
1080     st = s->streams[stream_index];
1081     ast= st->priv_data;
1082     index= av_index_search_timestamp(st, timestamp * FFMAX(ast->sample_size, 1), flags);
1083     if(index<0)
1084         return -1;
1085
1086     /* find the position */
1087     pos = st->index_entries[index].pos;
1088     timestamp = st->index_entries[index].timestamp / FFMAX(ast->sample_size, 1);
1089
1090 //    av_log(s, AV_LOG_DEBUG, "XX %"PRId64" %d %"PRId64"\n", timestamp, index, st->index_entries[index].timestamp);
1091
1092     if (CONFIG_DV_DEMUXER && avi->dv_demux) {
1093         /* One and only one real stream for DV in AVI, and it has video  */
1094         /* offsets. Calling with other stream indexes should have failed */
1095         /* the av_index_search_timestamp call above.                     */
1096         assert(stream_index == 0);
1097
1098         /* Feed the DV video stream version of the timestamp to the */
1099         /* DV demux so it can synthesize correct timestamps.        */
1100         dv_offset_reset(avi->dv_demux, timestamp);
1101
1102         url_fseek(s->pb, pos, SEEK_SET);
1103         avi->stream_index= -1;
1104         return 0;
1105     }
1106
1107     for(i = 0; i < s->nb_streams; i++) {
1108         AVStream *st2 = s->streams[i];
1109         AVIStream *ast2 = st2->priv_data;
1110
1111         ast2->packet_size=
1112         ast2->remaining= 0;
1113
1114         if (st2->nb_index_entries <= 0)
1115             continue;
1116
1117 //        assert(st2->codec->block_align);
1118         assert((int64_t)st2->time_base.num*ast2->rate == (int64_t)st2->time_base.den*ast2->scale);
1119         index = av_index_search_timestamp(
1120                 st2,
1121                 av_rescale_q(timestamp, st->time_base, st2->time_base) * FFMAX(ast2->sample_size, 1),
1122                 flags | AVSEEK_FLAG_BACKWARD);
1123         if(index<0)
1124             index=0;
1125
1126         if(!avi->non_interleaved){
1127             while(index>0 && st2->index_entries[index].pos > pos)
1128                 index--;
1129             while(index+1 < st2->nb_index_entries && st2->index_entries[index].pos < pos)
1130                 index++;
1131         }
1132
1133 //        av_log(s, AV_LOG_DEBUG, "%"PRId64" %d %"PRId64"\n", timestamp, index, st2->index_entries[index].timestamp);
1134         /* extract the current frame number */
1135         ast2->frame_offset = st2->index_entries[index].timestamp;
1136     }
1137
1138     /* do the seek */
1139     url_fseek(s->pb, pos, SEEK_SET);
1140     avi->stream_index= -1;
1141     return 0;
1142 }
1143
1144 static int avi_read_close(AVFormatContext *s)
1145 {
1146     int i;
1147     AVIContext *avi = s->priv_data;
1148
1149     for(i=0;i<s->nb_streams;i++) {
1150         AVStream *st = s->streams[i];
1151         av_free(st->codec->palctrl);
1152     }
1153
1154     if (avi->dv_demux)
1155         av_free(avi->dv_demux);
1156
1157     return 0;
1158 }
1159
1160 static int avi_probe(AVProbeData *p)
1161 {
1162     int i;
1163
1164     /* check file header */
1165     for(i=0; avi_headers[i][0]; i++)
1166         if(!memcmp(p->buf  , avi_headers[i]  , 4) &&
1167            !memcmp(p->buf+8, avi_headers[i]+4, 4))
1168             return AVPROBE_SCORE_MAX;
1169
1170     return 0;
1171 }
1172
1173 AVInputFormat avi_demuxer = {
1174     "avi",
1175     NULL_IF_CONFIG_SMALL("AVI format"),
1176     sizeof(AVIContext),
1177     avi_probe,
1178     avi_read_header,
1179     avi_read_packet,
1180     avi_read_close,
1181     avi_read_seek,
1182 };