Support for seeking, both with and without index and correct timestamps
[ffmpeg.git] / libavformat / gxf.c
1 /*
2  * GXF demuxer.
3  * Copyright (c) 2006 Reimar Doeffinger.
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18  */
19 #include "avformat.h"
20 #include "common.h"
21
22 typedef enum {
23     PKT_MAP = 0xbc,
24     PKT_MEDIA = 0xbf,
25     PKT_EOS = 0xfb,
26     PKT_FLT = 0xfc,
27     PKT_UMF = 0xfd
28 } pkt_type_t;
29
30 typedef enum {
31     MAT_NAME = 0x40,
32     MAT_FIRST_FIELD = 0x41,
33     MAT_LAST_FIELD = 0x42,
34     MAT_MARK_IN = 0x43,
35     MAT_MARK_OUT = 0x44,
36     MAT_SIZE = 0x45
37 } mat_tag_t;
38
39 typedef enum {
40     TRACK_NAME = 0x4c,
41     TRACK_AUX = 0x4d,
42     TRACK_VER = 0x4e,
43     TRACK_MPG_AUX = 0x4f,
44     TRACK_FPS = 0x50,
45     TRACK_LINES = 0x51,
46     TRACK_FPF = 0x52
47 } track_tag_t;
48
49 typedef struct {
50     int64_t first_field;
51     int64_t last_field;
52     AVRational frames_per_second;
53     int32_t fields_per_frame;
54 } st_info_t;
55
56 /**
57  * \brief parses a packet header, extracting type and length
58  * \param pb ByteIOContext to read header from
59  * \param type detected packet type is stored here
60  * \param length detected packet length, excluding header is stored here
61  * \return 0 if header not found or contains invalid data, 1 otherwise
62  */
63 static int parse_packet_header(ByteIOContext *pb, pkt_type_t *type, int *length) {
64     if (get_be32(pb))
65         return 0;
66     if (get_byte(pb) != 1)
67         return 0;
68     *type = get_byte(pb);
69     *length = get_be32(pb);
70     if ((*length >> 24) || *length < 16)
71         return 0;
72     *length -= 16;
73     if (get_be32(pb))
74         return 0;
75     if (get_byte(pb) != 0xe1)
76         return 0;
77     if (get_byte(pb) != 0xe2)
78         return 0;
79     return 1;
80 }
81
82 /**
83  * \brief check if file starts with a PKT_MAP header
84  */
85 static int gxf_probe(AVProbeData *p) {
86     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
87     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
88     if (p->buf_size < 16)
89         return 0;
90     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
91         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
92         return AVPROBE_SCORE_MAX;
93     return 0;
94 }
95
96 /**
97  * \brief gets the stream index for the track with the specified id, creates new
98  *        stream if not found
99  * \param stream id of stream to find / add
100  * \param format stream format identifier
101  */
102 static int get_sindex(AVFormatContext *s, int id, int format) {
103     int i;
104     AVStream *st = NULL;
105     for (i = 0; i < s->nb_streams; i++) {
106         if (s->streams[i]->id == id)
107             return i;
108     }
109     st = av_new_stream(s, id);
110     switch (format) {
111         case 3:
112         case 4:
113             st->codec->codec_type = CODEC_TYPE_VIDEO;
114             st->codec->codec_id = CODEC_ID_MJPEG;
115             st->codec->codec_tag = MKTAG('M', 'J', 'P', 'G');
116             break;
117         case 13:
118         case 15:
119             st->codec->codec_type = CODEC_TYPE_VIDEO;
120             st->codec->codec_id = CODEC_ID_DVVIDEO;
121             st->codec->codec_tag = MKTAG('d', 'v', 'c', ' ');
122             break;
123         case 14:
124         case 16:
125             st->codec->codec_type = CODEC_TYPE_VIDEO;
126             st->codec->codec_id = CODEC_ID_DVVIDEO;
127             st->codec->codec_tag = MKTAG('d', 'v', 'c', 'p');
128             break;
129         case 11:
130         case 12:
131         case 20:
132             st->codec->codec_type = CODEC_TYPE_VIDEO;
133             st->codec->codec_id = CODEC_ID_MPEG2VIDEO;
134             st->codec->codec_tag = MKTAG('M', 'P', 'G', '2');
135             break;
136         case 22:
137         case 23:
138             st->codec->codec_type = CODEC_TYPE_VIDEO;
139             st->codec->codec_id = CODEC_ID_MPEG1VIDEO;
140             st->codec->codec_tag = MKTAG('M', 'P', 'G', '1');
141             break;
142         case 9:
143             st->codec->codec_type = CODEC_TYPE_AUDIO;
144             st->codec->codec_id = CODEC_ID_PCM_S24LE;
145             st->codec->codec_tag = 0x1;
146             st->codec->channels = 1;
147             st->codec->sample_rate = 48000;
148             st->codec->bit_rate = 3 * 1 * 48000 * 8;
149             st->codec->block_align = 3 * 1;
150             st->codec->bits_per_sample = 24;
151             break;
152         case 10:
153             st->codec->codec_type = CODEC_TYPE_AUDIO;
154             st->codec->codec_id = CODEC_ID_PCM_S16LE;
155             st->codec->codec_tag = 0x1;
156             st->codec->channels = 1;
157             st->codec->sample_rate = 48000;
158             st->codec->bit_rate = 2 * 1 * 48000 * 8;
159             st->codec->block_align = 2 * 1;
160             st->codec->bits_per_sample = 16;
161             break;
162         case 17:
163             st->codec->codec_type = CODEC_TYPE_AUDIO;
164             st->codec->codec_id = CODEC_ID_AC3;
165             st->codec->codec_tag = 0x2000;
166             st->codec->channels = 2;
167             st->codec->sample_rate = 48000;
168             break;
169         default:
170             st->codec->codec_type = CODEC_TYPE_UNKNOWN;
171             st->codec->codec_id = CODEC_ID_NONE;
172             break;
173     }
174     return s->nb_streams - 1;
175 }
176
177 /**
178  * \brief filters out interesting tags from material information.
179  * \param len lenght of tag section, will be adjusted to contain remaining bytes
180  * \param si struct to store collected information into
181  */
182 static void gxf_material_tags(ByteIOContext *pb, int *len, st_info_t *si) {
183     si->first_field = AV_NOPTS_VALUE;
184     si->last_field = AV_NOPTS_VALUE;
185     while (*len >= 2) {
186         mat_tag_t tag = get_byte(pb);
187         int tlen = get_byte(pb);
188         *len -= 2;
189         if (tlen > *len)
190             return;
191         *len -= tlen;
192         if (tlen == 4) {
193             uint32_t value = get_be32(pb);
194             if (tag == MAT_FIRST_FIELD)
195                 si->first_field = value;
196             else if (tag == MAT_LAST_FIELD)
197                 si->last_field = value;
198         } else
199             url_fskip(pb, tlen);
200     }
201 }
202
203 /**
204  * \brief convert fps tag value to AVRational fps
205  * \param fps fps value from tag
206  * \return fps as AVRational, or 0 / 0 if unknown
207  */
208 static AVRational fps_tag2avr(int32_t fps) {
209     extern const AVRational ff_frame_rate_tab[];
210     if (fps < 1 || fps > 9) fps = 9;
211     return ff_frame_rate_tab[9 - fps]; // values have opposite order
212 }
213
214 /**
215  * \brief convert UMF attributes flags to AVRational fps
216  * \param fps fps value from flags
217  * \return fps as AVRational, or 0 / 0 if unknown
218  */
219 static AVRational fps_umf2avr(uint32_t flags) {
220     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
221         {25, 1}, {30000, 1001}};
222     int idx =  av_log2((flags & 0x7c0) >> 6);
223     return map[idx];
224 }
225
226 /**
227  * \brief filters out interesting tags from track information.
228  * \param len length of tag section, will be adjusted to contain remaining bytes
229  * \param si struct to store collected information into
230  */
231 static void gxf_track_tags(ByteIOContext *pb, int *len, st_info_t *si) {
232     si->frames_per_second = (AVRational){0, 0};
233     si->fields_per_frame = 0;
234     while (*len >= 2) {
235         track_tag_t tag = get_byte(pb);
236         int tlen = get_byte(pb);
237         *len -= 2;
238         if (tlen > *len)
239             return;
240         *len -= tlen;
241         if (tlen == 4) {
242             uint32_t value = get_be32(pb);
243             if (tag == TRACK_FPS)
244                 si->frames_per_second = fps_tag2avr(value);
245             else if (tag == TRACK_FPF && (value == 1 || value == 2))
246                 si->fields_per_frame = value;
247         } else
248             url_fskip(pb, tlen);
249     }
250 }
251
252 /**
253  * \brief read index from FLT packet into stream 0 av_index
254  */
255 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
256     ByteIOContext *pb = &s->pb;
257     AVStream *st = s->streams[0];
258     uint32_t fields_per_map = get_le32(pb);
259     uint32_t map_cnt = get_le32(pb);
260     int i;
261     pkt_len -= 8;
262     if (map_cnt > 1000) {
263         av_log(s, AV_LOG_ERROR, "GXF: too many index entries %u (%x)\n", map_cnt, map_cnt);
264         map_cnt = 1000;
265     }
266     if (pkt_len < 4 * map_cnt) {
267         av_log(s, AV_LOG_ERROR, "GXF: invalid index length\n");
268         url_fskip(pb, pkt_len);
269         return;
270     }
271     pkt_len -= 4 * map_cnt;
272     av_add_index_entry(st, 0, 0, 0, 0, 0);
273     for (i = 0; i < map_cnt; i++)
274         av_add_index_entry(st, (uint64_t)get_le32(pb) * 1024,
275                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
276     url_fskip(pb, pkt_len);
277 }
278
279 static int gxf_header(AVFormatContext *s, AVFormatParameters *ap) {
280     ByteIOContext *pb = &s->pb;
281     pkt_type_t pkt_type;
282     int map_len;
283     int len;
284     AVRational main_timebase = {0, 0};
285     st_info_t si;
286     int i;
287     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
288         av_log(s, AV_LOG_ERROR, "GXF: map packet not found\n");
289         return 0;
290     }
291     map_len -= 2;
292     if (get_byte(pb) != 0x0e0 || get_byte(pb) != 0xff) {
293         av_log(s, AV_LOG_ERROR, "GXF: unknown version or invalid map preamble\n");
294         return 0;
295     }
296     map_len -= 2;
297     len = get_be16(pb); // length of material data section
298     if (len > map_len) {
299         av_log(s, AV_LOG_ERROR, "GXF: material data longer than map data\n");
300         return 0;
301     }
302     map_len -= len;
303     gxf_material_tags(pb, &len, &si);
304     url_fskip(pb, len);
305     map_len -= 2;
306     len = get_be16(pb); // length of track description
307     if (len > map_len) {
308         av_log(s, AV_LOG_ERROR, "GXF: track description longer than map data\n");
309         return 0;
310     }
311     map_len -= len;
312     while (len > 0) {
313         int track_type, track_id, track_len;
314         AVStream *st;
315         int idx;
316         len -= 4;
317         track_type = get_byte(pb);
318         track_id = get_byte(pb);
319         track_len = get_be16(pb);
320         len -= track_len;
321         gxf_track_tags(pb, &track_len, &si);
322         url_fskip(pb, track_len);
323         if (!(track_type & 0x80)) {
324            av_log(s, AV_LOG_ERROR, "GXF: invalid track type %x\n", track_type);
325            continue;
326         }
327         track_type &= 0x7f;
328         if ((track_id & 0xc0) != 0xc0) {
329            av_log(s, AV_LOG_ERROR, "GXF: invalid track id %x\n", track_id);
330            continue;
331         }
332         track_id &= 0x3f;
333         idx = get_sindex(s, track_id, track_type);
334         if (idx < 0) continue;
335         st = s->streams[idx];
336         if (!main_timebase.num || !main_timebase.den) {
337             main_timebase.num = si.frames_per_second.den;
338             main_timebase.den = si.frames_per_second.num * si.fields_per_frame;
339         }
340         st->start_time = si.first_field;
341         if (si.first_field != AV_NOPTS_VALUE && si.last_field != AV_NOPTS_VALUE)
342             st->duration = si.last_field - si.first_field;
343     }
344     if (len < 0)
345         av_log(s, AV_LOG_ERROR, "GXF: invalid track description length specified\n");
346     if (map_len)
347         url_fskip(pb, map_len);
348     if (!parse_packet_header(pb, &pkt_type, &len)) {
349         av_log(s, AV_LOG_ERROR, "GXF: sync lost in header\n");
350         return -1;
351     }
352     if (pkt_type == PKT_FLT) {
353         gxf_read_index(s, len);
354         if (!parse_packet_header(pb, &pkt_type, &len)) {
355             av_log(s, AV_LOG_ERROR, "GXF: sync lost in header\n");
356             return -1;
357         }
358     }
359     if (pkt_type == PKT_UMF) {
360         if (len >= 9) {
361             AVRational fps;
362             len -= 9;
363             url_fskip(pb, 5);
364             fps = fps_umf2avr(get_le32(pb));
365             if (!main_timebase.num || !main_timebase.den) {
366                 // this may not always be correct, but simply the best we can get
367                 main_timebase.num = fps.den;
368                 main_timebase.den = fps.num;
369             }
370         } else
371             av_log(s, AV_LOG_INFO, "GXF: UMF packet too short\n");
372     } else
373         av_log(s, AV_LOG_INFO, "GXF: UMF packet missing\n");
374     url_fskip(pb, len);
375     for (i = 0; i < s->nb_streams; i++) {
376         AVStream *st = s->streams[i];
377         if (main_timebase.num && main_timebase.den)
378             st->time_base = main_timebase;
379         else {
380             st->start_time = st->duration = AV_NOPTS_VALUE;
381         }
382     }
383     return 0;
384 }
385
386 #define READ_ONE() \
387     { \
388         if (!max_interval-- || url_feof(pb)) \
389             goto out; \
390         tmp = tmp << 8 | get_byte(pb); \
391     }
392
393 /**
394  * \brief resync the stream on the next media packet with specified properties
395  * \param max_interval how many bytes to search for matching packet at most
396  * \param track track id the media packet must belong to, -1 for any
397  * \param timestamp minimum timestamp (== field number) the packet must have, -1 for any
398  * \return timestamp of packet found
399  */
400 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
401     uint32_t tmp;
402     uint64_t last_pos;
403     uint64_t last_found_pos = 0;
404     int cur_track;
405     int64_t cur_timestamp = AV_NOPTS_VALUE;
406     int len;
407     ByteIOContext *pb = &s->pb;
408     pkt_type_t type;
409     tmp = 0xff;
410 start:
411     while (tmp)
412         READ_ONE();
413     READ_ONE();
414     if (tmp != 1)
415         goto start;
416     last_pos = url_ftell(pb);
417     url_fseek(pb, -5, SEEK_CUR);
418     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
419         url_fseek(pb, last_pos, SEEK_SET);
420         goto start;
421     }
422     get_byte(pb);
423     cur_track = get_byte(pb);
424     cur_timestamp = get_be32(pb);
425     last_found_pos = url_ftell(pb) - 16 - 6;
426     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
427         url_fseek(pb, last_pos, SEEK_SET);
428         goto start;
429     }
430 out:
431     if (last_found_pos)
432         url_fseek(pb, last_found_pos, SEEK_SET);
433     return cur_timestamp;
434 }
435
436 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
437     ByteIOContext *pb = &s->pb;
438     pkt_type_t pkt_type;
439     int pkt_len;
440     while (!url_feof(pb)) {
441         int track_type, track_id, ret;
442         int field_nr;
443         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
444             if (!url_feof(pb))
445                 av_log(s, AV_LOG_ERROR, "GXF: sync lost\n");
446             return -1;
447         }
448         if (pkt_type == PKT_FLT) {
449             gxf_read_index(s, pkt_len);
450             continue;
451         }
452         if (pkt_type != PKT_MEDIA) {
453             url_fskip(pb, pkt_len);
454             continue;
455         }
456         if (pkt_len < 16) {
457             av_log(s, AV_LOG_ERROR, "GXF: invalid media packet length\n");
458             continue;
459         }
460         pkt_len -= 16;
461         track_type = get_byte(pb);
462         track_id = get_byte(pb);
463         field_nr = get_be32(pb);
464         get_be32(pb); // field information
465         get_be32(pb); // "timeline" field number
466         get_byte(pb); // flags
467         get_byte(pb); // reserved
468         // NOTE: there is also data length information in the
469         // field information, it might be better to take this into account
470         // as well.
471         ret = av_get_packet(pb, pkt, pkt_len);
472         pkt->stream_index = get_sindex(s, track_id, track_type);
473         pkt->pts = field_nr;
474         return ret;
475     }
476     return AVERROR_IO;
477 }
478
479 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
480     uint64_t pos;
481     uint64_t maxlen = 100 * 1024 * 1024;
482     AVStream *st = s->streams[0];
483     int64_t start_time = s->streams[stream_index]->start_time;
484     int64_t found;
485     int idx;
486     if (timestamp < start_time) timestamp = start_time;
487     idx = av_index_search_timestamp(st, timestamp - start_time,
488                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
489     if (idx < 0)
490         return -1;
491     pos = st->index_entries[idx].pos;
492     if (idx < st->nb_index_entries - 2)
493         maxlen = st->index_entries[idx + 2].pos - pos;
494     maxlen = FFMAX(maxlen, 200 * 1024);
495     url_fseek(&s->pb, pos, SEEK_SET);
496     found = gxf_resync_media(s, maxlen, -1, timestamp);
497     if (ABS(found - timestamp) > 4)
498         return -1;
499     return 0;
500 }
501
502 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
503                                   int64_t *pos, int64_t pos_limit) {
504     ByteIOContext *pb = &s->pb;
505     int64_t res;
506     url_fseek(pb, *pos, SEEK_SET);
507     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
508     *pos = url_ftell(pb);
509     return res;
510 }
511
512 AVInputFormat gxf_demuxer = {
513     "gxf",
514     "GXF format",
515     0,
516     gxf_probe,
517     gxf_header,
518     gxf_packet,
519     NULL,
520     gxf_seek,
521     gxf_read_timestamp,
522 };