utvideoenc: optimize and simplify mangle_rgb_planes
[ffmpeg.git] / libavformat / mpeg.c
1 /*
2  * MPEG1/2 demuxer
3  * Copyright (c) 2000, 2001, 2002 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "avformat.h"
23 #include "internal.h"
24 #include "mpeg.h"
25
26 #undef NDEBUG
27 #include <assert.h>
28
29 /*********************************************/
30 /* demux code */
31
32 #define MAX_SYNC_SIZE 100000
33
34 static int check_pes(uint8_t *p, uint8_t *end){
35     int pes1;
36     int pes2=      (p[3] & 0xC0) == 0x80
37                 && (p[4] & 0xC0) != 0x40
38                 &&((p[4] & 0xC0) == 0x00 || (p[4]&0xC0)>>2 == (p[6]&0xF0));
39
40     for(p+=3; p<end && *p == 0xFF; p++);
41     if((*p&0xC0) == 0x40) p+=2;
42     if((*p&0xF0) == 0x20){
43         pes1= p[0]&p[2]&p[4]&1;
44     }else if((*p&0xF0) == 0x30){
45         pes1= p[0]&p[2]&p[4]&p[5]&p[7]&p[9]&1;
46     }else
47         pes1 = *p == 0x0F;
48
49     return pes1||pes2;
50 }
51
52 static int check_pack_header(const uint8_t *buf) {
53     return (buf[1] & 0xC0) == 0x40 || (buf[1] & 0xF0) == 0x20;
54 }
55
56 static int mpegps_probe(AVProbeData *p)
57 {
58     uint32_t code= -1;
59     int sys=0, pspack=0, priv1=0, vid=0, audio=0, invalid=0;
60     int i;
61     int score=0;
62
63     for(i=0; i<p->buf_size; i++){
64         code = (code<<8) + p->buf[i];
65         if ((code & 0xffffff00) == 0x100) {
66             int len= p->buf[i+1] << 8 | p->buf[i+2];
67             int pes= check_pes(p->buf+i, p->buf+p->buf_size);
68             int pack = check_pack_header(p->buf+i);
69
70             if(code == SYSTEM_HEADER_START_CODE) sys++;
71             else if(code == PACK_START_CODE && pack) pspack++;
72             else if((code & 0xf0) == VIDEO_ID &&  pes) vid++;
73             // skip pes payload to avoid start code emulation for private
74             // and audio streams
75             else if((code & 0xe0) == AUDIO_ID &&  pes) {audio++; i+=len;}
76             else if(code == PRIVATE_STREAM_1  &&  pes) {priv1++; i+=len;}
77             else if(code == 0x1fd             &&  pes) vid++; //VC1
78
79             else if((code & 0xf0) == VIDEO_ID && !pes) invalid++;
80             else if((code & 0xe0) == AUDIO_ID && !pes) invalid++;
81             else if(code == PRIVATE_STREAM_1  && !pes) invalid++;
82         }
83     }
84
85     if(vid+audio > invalid+1)     /* invalid VDR files nd short PES streams */
86         score= AVPROBE_SCORE_MAX/4;
87
88 //av_log(NULL, AV_LOG_ERROR, "%d %d %d %d %d %d len:%d\n", sys, priv1, pspack,vid, audio, invalid, p->buf_size);
89     if(sys>invalid && sys*9 <= pspack*10)
90         return (audio > 12 || vid > 3 || pspack > 2) ? AVPROBE_SCORE_MAX/2+2 : AVPROBE_SCORE_MAX/4; // +1 for .mpg
91     if(pspack > invalid && (priv1+vid+audio)*10 >= pspack*9)
92         return pspack > 2 ? AVPROBE_SCORE_MAX/2+2 : AVPROBE_SCORE_MAX/4; // +1 for .mpg
93     if((!!vid ^ !!audio) && (audio > 4 || vid > 1) && !sys && !pspack && p->buf_size>2048 && vid + audio > invalid) /* PES stream */
94         return (audio > 12 || vid > 3 + 2*invalid) ? AVPROBE_SCORE_MAX/2+2 : AVPROBE_SCORE_MAX/4;
95
96     //02-Penguin.flac has sys:0 priv1:0 pspack:0 vid:0 audio:1
97     //mp3_misidentified_2.mp3 has sys:0 priv1:0 pspack:0 vid:0 audio:6
98     //Have\ Yourself\ a\ Merry\ Little\ Christmas.mp3 0 0 0 5 0 1 len:21618
99     return score;
100 }
101
102
103 typedef struct MpegDemuxContext {
104     int32_t header_state;
105     unsigned char psm_es_type[256];
106     int sofdec;
107 } MpegDemuxContext;
108
109 static int mpegps_read_header(AVFormatContext *s)
110 {
111     MpegDemuxContext *m = s->priv_data;
112     const char *sofdec = "Sofdec";
113     int v, i = 0;
114     int64_t last_pos = avio_tell(s->pb);
115
116     m->header_state = 0xff;
117     s->ctx_flags |= AVFMTCTX_NOHEADER;
118
119     m->sofdec = -1;
120     do {
121         v = avio_r8(s->pb);
122         m->sofdec++;
123     } while (v == sofdec[i] && i++ < 6);
124
125     m->sofdec = (m->sofdec == 6) ? 1 : 0;
126
127     if (!m->sofdec)
128        avio_seek(s->pb, last_pos, SEEK_SET);
129
130     /* no need to do more */
131     return 0;
132 }
133
134 static int64_t get_pts(AVIOContext *pb, int c)
135 {
136     uint8_t buf[5];
137
138     buf[0] = c<0 ? avio_r8(pb) : c;
139     avio_read(pb, buf+1, 4);
140
141     return ff_parse_pes_pts(buf);
142 }
143
144 static int find_next_start_code(AVIOContext *pb, int *size_ptr,
145                                 int32_t *header_state)
146 {
147     unsigned int state, v;
148     int val, n;
149
150     state = *header_state;
151     n = *size_ptr;
152     while (n > 0) {
153         if (url_feof(pb))
154             break;
155         v = avio_r8(pb);
156         n--;
157         if (state == 0x000001) {
158             state = ((state << 8) | v) & 0xffffff;
159             val = state;
160             goto found;
161         }
162         state = ((state << 8) | v) & 0xffffff;
163     }
164     val = -1;
165  found:
166     *header_state = state;
167     *size_ptr = n;
168     return val;
169 }
170
171 /**
172  * Extract stream types from a program stream map
173  * According to ISO/IEC 13818-1 ('MPEG-2 Systems') table 2-35
174  *
175  * @return number of bytes occupied by PSM in the bitstream
176  */
177 static long mpegps_psm_parse(MpegDemuxContext *m, AVIOContext *pb)
178 {
179     int psm_length, ps_info_length, es_map_length;
180
181     psm_length = avio_rb16(pb);
182     avio_r8(pb);
183     avio_r8(pb);
184     ps_info_length = avio_rb16(pb);
185
186     /* skip program_stream_info */
187     avio_skip(pb, ps_info_length);
188     es_map_length = avio_rb16(pb);
189
190     /* at least one es available? */
191     while (es_map_length >= 4){
192         unsigned char type      = avio_r8(pb);
193         unsigned char es_id     = avio_r8(pb);
194         uint16_t es_info_length = avio_rb16(pb);
195         /* remember mapping from stream id to stream type */
196         m->psm_es_type[es_id] = type;
197         /* skip program_stream_info */
198         avio_skip(pb, es_info_length);
199         es_map_length -= 4 + es_info_length;
200     }
201     avio_rb32(pb); /* crc32 */
202     return 2 + psm_length;
203 }
204
205 /* read the next PES header. Return its position in ppos
206    (if not NULL), and its start code, pts and dts.
207  */
208 static int mpegps_read_pes_header(AVFormatContext *s,
209                                   int64_t *ppos, int *pstart_code,
210                                   int64_t *ppts, int64_t *pdts)
211 {
212     MpegDemuxContext *m = s->priv_data;
213     int len, size, startcode, c, flags, header_len;
214     int pes_ext, ext2_len, id_ext, skip;
215     int64_t pts, dts;
216     int64_t last_sync= avio_tell(s->pb);
217
218  error_redo:
219         avio_seek(s->pb, last_sync, SEEK_SET);
220  redo:
221         /* next start code (should be immediately after) */
222         m->header_state = 0xff;
223         size = MAX_SYNC_SIZE;
224         startcode = find_next_start_code(s->pb, &size, &m->header_state);
225         last_sync = avio_tell(s->pb);
226     //printf("startcode=%x pos=0x%"PRIx64"\n", startcode, avio_tell(s->pb));
227     if (startcode < 0){
228         if(url_feof(s->pb))
229             return AVERROR_EOF;
230         //FIXME we should remember header_state
231         return AVERROR(EAGAIN);
232     }
233
234     if (startcode == PACK_START_CODE)
235         goto redo;
236     if (startcode == SYSTEM_HEADER_START_CODE)
237         goto redo;
238     if (startcode == PADDING_STREAM) {
239         avio_skip(s->pb, avio_rb16(s->pb));
240         goto redo;
241     }
242     if (startcode == PRIVATE_STREAM_2) {
243         len = avio_rb16(s->pb);
244         if (!m->sofdec) {
245             while (len-- >= 6) {
246                 if (avio_r8(s->pb) == 'S') {
247                     uint8_t buf[5];
248                     avio_read(s->pb, buf, sizeof(buf));
249                     m->sofdec = !memcmp(buf, "ofdec", 5);
250                     len -= sizeof(buf);
251                     break;
252                 }
253             }
254             m->sofdec -= !m->sofdec;
255         }
256         avio_skip(s->pb, len);
257         goto redo;
258     }
259     if (startcode == PROGRAM_STREAM_MAP) {
260         mpegps_psm_parse(m, s->pb);
261         goto redo;
262     }
263
264     /* find matching stream */
265     if (!((startcode >= 0x1c0 && startcode <= 0x1df) ||
266           (startcode >= 0x1e0 && startcode <= 0x1ef) ||
267           (startcode == 0x1bd) || (startcode == 0x1fd)))
268         goto redo;
269     if (ppos) {
270         *ppos = avio_tell(s->pb) - 4;
271     }
272     len = avio_rb16(s->pb);
273     pts =
274     dts = AV_NOPTS_VALUE;
275     /* stuffing */
276     for(;;) {
277         if (len < 1)
278             goto error_redo;
279         c = avio_r8(s->pb);
280         len--;
281         /* XXX: for mpeg1, should test only bit 7 */
282         if (c != 0xff)
283             break;
284     }
285     if ((c & 0xc0) == 0x40) {
286         /* buffer scale & size */
287         avio_r8(s->pb);
288         c = avio_r8(s->pb);
289         len -= 2;
290     }
291     if ((c & 0xe0) == 0x20) {
292         dts = pts = get_pts(s->pb, c);
293         len -= 4;
294         if (c & 0x10){
295             dts = get_pts(s->pb, -1);
296             len -= 5;
297         }
298     } else if ((c & 0xc0) == 0x80) {
299         /* mpeg 2 PES */
300         flags = avio_r8(s->pb);
301         header_len = avio_r8(s->pb);
302         len -= 2;
303         if (header_len > len)
304             goto error_redo;
305         len -= header_len;
306         if (flags & 0x80) {
307             dts = pts = get_pts(s->pb, -1);
308             header_len -= 5;
309             if (flags & 0x40) {
310                 dts = get_pts(s->pb, -1);
311                 header_len -= 5;
312             }
313         }
314         if (flags & 0x3f && header_len == 0){
315             flags &= 0xC0;
316             av_log(s, AV_LOG_WARNING, "Further flags set but no bytes left\n");
317         }
318         if (flags & 0x01) { /* PES extension */
319             pes_ext = avio_r8(s->pb);
320             header_len--;
321             /* Skip PES private data, program packet sequence counter and P-STD buffer */
322             skip = (pes_ext >> 4) & 0xb;
323             skip += skip & 0x9;
324             if (pes_ext & 0x40 || skip > header_len){
325                 av_log(s, AV_LOG_WARNING, "pes_ext %X is invalid\n", pes_ext);
326                 pes_ext=skip=0;
327             }
328             avio_skip(s->pb, skip);
329             header_len -= skip;
330
331             if (pes_ext & 0x01) { /* PES extension 2 */
332                 ext2_len = avio_r8(s->pb);
333                 header_len--;
334                 if ((ext2_len & 0x7f) > 0) {
335                     id_ext = avio_r8(s->pb);
336                     if ((id_ext & 0x80) == 0)
337                         startcode = ((startcode & 0xff) << 8) | id_ext;
338                     header_len--;
339                 }
340             }
341         }
342         if(header_len < 0)
343             goto error_redo;
344         avio_skip(s->pb, header_len);
345     }
346     else if( c!= 0xf )
347         goto redo;
348
349     if (startcode == PRIVATE_STREAM_1) {
350         startcode = avio_r8(s->pb);
351         len--;
352     }
353     if(len<0)
354         goto error_redo;
355     if(dts != AV_NOPTS_VALUE && ppos){
356         int i;
357         for(i=0; i<s->nb_streams; i++){
358             if(startcode == s->streams[i]->id &&
359                s->pb->seekable /* index useless on streams anyway */) {
360                 ff_reduce_index(s, i);
361                 av_add_index_entry(s->streams[i], *ppos, dts, 0, 0, AVINDEX_KEYFRAME /* FIXME keyframe? */);
362             }
363         }
364     }
365
366     *pstart_code = startcode;
367     *ppts = pts;
368     *pdts = dts;
369     return len;
370 }
371
372 static int mpegps_read_packet(AVFormatContext *s,
373                               AVPacket *pkt)
374 {
375     MpegDemuxContext *m = s->priv_data;
376     AVStream *st;
377     int len, startcode, i, es_type, ret;
378     int lpcm_header_len;
379     int request_probe= 0;
380     enum AVCodecID codec_id = AV_CODEC_ID_NONE;
381     enum AVMediaType type;
382     int64_t pts, dts, dummy_pos; //dummy_pos is needed for the index building to work
383
384  redo:
385     len = mpegps_read_pes_header(s, &dummy_pos, &startcode, &pts, &dts);
386     if (len < 0)
387         return len;
388
389     if (startcode >= 0x80 && startcode <= 0xcf) {
390         if(len < 4)
391             goto skip;
392
393         /* audio: skip header */
394         avio_r8(s->pb);
395         lpcm_header_len = avio_rb16(s->pb);
396         len -= 3;
397         if (startcode >= 0xb0 && startcode <= 0xbf) {
398             /* MLP/TrueHD audio has a 4-byte header */
399             avio_r8(s->pb);
400             len--;
401         }
402     }
403
404     /* now find stream */
405     for(i=0;i<s->nb_streams;i++) {
406         st = s->streams[i];
407         if (st->id == startcode)
408             goto found;
409     }
410
411     es_type = m->psm_es_type[startcode & 0xff];
412     if(es_type > 0 && es_type != STREAM_TYPE_PRIVATE_DATA){
413         if(es_type == STREAM_TYPE_VIDEO_MPEG1){
414             codec_id = AV_CODEC_ID_MPEG2VIDEO;
415             type = AVMEDIA_TYPE_VIDEO;
416         } else if(es_type == STREAM_TYPE_VIDEO_MPEG2){
417             codec_id = AV_CODEC_ID_MPEG2VIDEO;
418             type = AVMEDIA_TYPE_VIDEO;
419         } else if(es_type == STREAM_TYPE_AUDIO_MPEG1 ||
420                   es_type == STREAM_TYPE_AUDIO_MPEG2){
421             codec_id = AV_CODEC_ID_MP3;
422             type = AVMEDIA_TYPE_AUDIO;
423         } else if(es_type == STREAM_TYPE_AUDIO_AAC){
424             codec_id = AV_CODEC_ID_AAC;
425             type = AVMEDIA_TYPE_AUDIO;
426         } else if(es_type == STREAM_TYPE_VIDEO_MPEG4){
427             codec_id = AV_CODEC_ID_MPEG4;
428             type = AVMEDIA_TYPE_VIDEO;
429         } else if(es_type == STREAM_TYPE_VIDEO_H264){
430             codec_id = AV_CODEC_ID_H264;
431             type = AVMEDIA_TYPE_VIDEO;
432         } else if(es_type == STREAM_TYPE_AUDIO_AC3){
433             codec_id = AV_CODEC_ID_AC3;
434             type = AVMEDIA_TYPE_AUDIO;
435         } else {
436             goto skip;
437         }
438     } else if (startcode >= 0x1e0 && startcode <= 0x1ef) {
439         static const unsigned char avs_seqh[4] = { 0, 0, 1, 0xb0 };
440         unsigned char buf[8];
441         avio_read(s->pb, buf, 8);
442         avio_seek(s->pb, -8, SEEK_CUR);
443         if(!memcmp(buf, avs_seqh, 4) && (buf[6] != 0 || buf[7] != 1))
444             codec_id = AV_CODEC_ID_CAVS;
445         else
446             request_probe= 1;
447         type = AVMEDIA_TYPE_VIDEO;
448     } else if (startcode >= 0x1c0 && startcode <= 0x1df) {
449         type = AVMEDIA_TYPE_AUDIO;
450         codec_id = m->sofdec > 0 ? AV_CODEC_ID_ADPCM_ADX : AV_CODEC_ID_MP2;
451     } else if (startcode >= 0x80 && startcode <= 0x87) {
452         type = AVMEDIA_TYPE_AUDIO;
453         codec_id = AV_CODEC_ID_AC3;
454     } else if (  ( startcode >= 0x88 && startcode <= 0x8f)
455                ||( startcode >= 0x98 && startcode <= 0x9f)) {
456         /* 0x90 - 0x97 is reserved for SDDS in DVD specs */
457         type = AVMEDIA_TYPE_AUDIO;
458         codec_id = AV_CODEC_ID_DTS;
459     } else if (startcode >= 0xa0 && startcode <= 0xaf) {
460         type = AVMEDIA_TYPE_AUDIO;
461         if(lpcm_header_len == 6) {
462             codec_id = AV_CODEC_ID_MLP;
463         } else {
464             /* 16 bit form will be handled as AV_CODEC_ID_PCM_S16BE */
465             codec_id = AV_CODEC_ID_PCM_DVD;
466         }
467     } else if (startcode >= 0xb0 && startcode <= 0xbf) {
468         type = AVMEDIA_TYPE_AUDIO;
469         codec_id = AV_CODEC_ID_TRUEHD;
470     } else if (startcode >= 0xc0 && startcode <= 0xcf) {
471         /* Used for both AC-3 and E-AC-3 in EVOB files */
472         type = AVMEDIA_TYPE_AUDIO;
473         codec_id = AV_CODEC_ID_AC3;
474     } else if (startcode >= 0x20 && startcode <= 0x3f) {
475         type = AVMEDIA_TYPE_SUBTITLE;
476         codec_id = AV_CODEC_ID_DVD_SUBTITLE;
477     } else if (startcode >= 0xfd55 && startcode <= 0xfd5f) {
478         type = AVMEDIA_TYPE_VIDEO;
479         codec_id = AV_CODEC_ID_VC1;
480     } else {
481     skip:
482         /* skip packet */
483         avio_skip(s->pb, len);
484         goto redo;
485     }
486     /* no stream found: add a new stream */
487     st = avformat_new_stream(s, NULL);
488     if (!st)
489         goto skip;
490     st->id = startcode;
491     st->codec->codec_type = type;
492     st->codec->codec_id = codec_id;
493     st->request_probe     = request_probe;
494     if (codec_id != AV_CODEC_ID_PCM_S16BE)
495         st->need_parsing = AVSTREAM_PARSE_FULL;
496  found:
497     if(st->discard >= AVDISCARD_ALL)
498         goto skip;
499     if (startcode >= 0xa0 && startcode <= 0xaf) {
500       if (lpcm_header_len == 6) {
501             if (len < 6)
502                 goto skip;
503             avio_skip(s->pb, 6);
504             len -=6;
505       } else {
506         int b1, freq;
507
508         /* for LPCM, we just skip the header and consider it is raw
509            audio data */
510         if (len <= 3)
511             goto skip;
512         avio_r8(s->pb); /* emphasis (1), muse(1), reserved(1), frame number(5) */
513         b1 = avio_r8(s->pb); /* quant (2), freq(2), reserved(1), channels(3) */
514         avio_r8(s->pb); /* dynamic range control (0x80 = off) */
515         len -= 3;
516         freq = (b1 >> 4) & 3;
517         st->codec->sample_rate = lpcm_freq_tab[freq];
518         st->codec->channels = 1 + (b1 & 7);
519         st->codec->bits_per_coded_sample = 16 + ((b1 >> 6) & 3) * 4;
520         st->codec->bit_rate = st->codec->channels *
521                               st->codec->sample_rate *
522                               st->codec->bits_per_coded_sample;
523         if (st->codec->bits_per_coded_sample == 16)
524             st->codec->codec_id = AV_CODEC_ID_PCM_S16BE;
525         else if (st->codec->bits_per_coded_sample == 28)
526             return AVERROR(EINVAL);
527       }
528     }
529     ret = av_get_packet(s->pb, pkt, len);
530     pkt->pts = pts;
531     pkt->dts = dts;
532     pkt->pos = dummy_pos;
533     pkt->stream_index = st->index;
534     av_dlog(s, "%d: pts=%0.3f dts=%0.3f size=%d\n",
535             pkt->stream_index, pkt->pts / 90000.0, pkt->dts / 90000.0,
536             pkt->size);
537
538     return (ret < 0) ? ret : 0;
539 }
540
541 static int64_t mpegps_read_dts(AVFormatContext *s, int stream_index,
542                                int64_t *ppos, int64_t pos_limit)
543 {
544     int len, startcode;
545     int64_t pos, pts, dts;
546
547     pos = *ppos;
548     if (avio_seek(s->pb, pos, SEEK_SET) < 0)
549         return AV_NOPTS_VALUE;
550
551     for(;;) {
552         len = mpegps_read_pes_header(s, &pos, &startcode, &pts, &dts);
553         if (len < 0) {
554             av_dlog(s, "none (ret=%d)\n", len);
555             return AV_NOPTS_VALUE;
556         }
557         if (startcode == s->streams[stream_index]->id &&
558             dts != AV_NOPTS_VALUE) {
559             break;
560         }
561         avio_skip(s->pb, len);
562     }
563     av_dlog(s, "pos=0x%"PRIx64" dts=0x%"PRIx64" %0.3f\n",
564             pos, dts, dts / 90000.0);
565     *ppos = pos;
566     return dts;
567 }
568
569 AVInputFormat ff_mpegps_demuxer = {
570     .name           = "mpeg",
571     .long_name      = NULL_IF_CONFIG_SMALL("MPEG-PS (MPEG-2 Program Stream)"),
572     .priv_data_size = sizeof(MpegDemuxContext),
573     .read_probe     = mpegps_probe,
574     .read_header    = mpegps_read_header,
575     .read_packet    = mpegps_read_packet,
576     .read_timestamp = mpegps_read_dts,
577     .flags          = AVFMT_SHOW_IDS | AVFMT_TS_DISCONT,
578 };