set pts_wrap_bits to 32 since timestamps in packets are 32 bit
[ffmpeg.git] / libavformat / gxf.c
1 /*
2  * GXF demuxer.
3  * Copyright (c) 2006 Reimar Doeffinger.
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21 #include "avformat.h"
22 #include "common.h"
23
24 typedef enum {
25     PKT_MAP = 0xbc,
26     PKT_MEDIA = 0xbf,
27     PKT_EOS = 0xfb,
28     PKT_FLT = 0xfc,
29     PKT_UMF = 0xfd
30 } pkt_type_t;
31
32 typedef enum {
33     MAT_NAME = 0x40,
34     MAT_FIRST_FIELD = 0x41,
35     MAT_LAST_FIELD = 0x42,
36     MAT_MARK_IN = 0x43,
37     MAT_MARK_OUT = 0x44,
38     MAT_SIZE = 0x45
39 } mat_tag_t;
40
41 typedef enum {
42     TRACK_NAME = 0x4c,
43     TRACK_AUX = 0x4d,
44     TRACK_VER = 0x4e,
45     TRACK_MPG_AUX = 0x4f,
46     TRACK_FPS = 0x50,
47     TRACK_LINES = 0x51,
48     TRACK_FPF = 0x52
49 } track_tag_t;
50
51 typedef struct {
52     int64_t first_field;
53     int64_t last_field;
54     AVRational frames_per_second;
55     int32_t fields_per_frame;
56 } st_info_t;
57
58 /**
59  * \brief parses a packet header, extracting type and length
60  * \param pb ByteIOContext to read header from
61  * \param type detected packet type is stored here
62  * \param length detected packet length, excluding header is stored here
63  * \return 0 if header not found or contains invalid data, 1 otherwise
64  */
65 static int parse_packet_header(ByteIOContext *pb, pkt_type_t *type, int *length) {
66     if (get_be32(pb))
67         return 0;
68     if (get_byte(pb) != 1)
69         return 0;
70     *type = get_byte(pb);
71     *length = get_be32(pb);
72     if ((*length >> 24) || *length < 16)
73         return 0;
74     *length -= 16;
75     if (get_be32(pb))
76         return 0;
77     if (get_byte(pb) != 0xe1)
78         return 0;
79     if (get_byte(pb) != 0xe2)
80         return 0;
81     return 1;
82 }
83
84 /**
85  * \brief check if file starts with a PKT_MAP header
86  */
87 static int gxf_probe(AVProbeData *p) {
88     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
89     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
90     if (p->buf_size < 16)
91         return 0;
92     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
93         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
94         return AVPROBE_SCORE_MAX;
95     return 0;
96 }
97
98 /**
99  * \brief gets the stream index for the track with the specified id, creates new
100  *        stream if not found
101  * \param stream id of stream to find / add
102  * \param format stream format identifier
103  */
104 static int get_sindex(AVFormatContext *s, int id, int format) {
105     int i;
106     AVStream *st = NULL;
107     for (i = 0; i < s->nb_streams; i++) {
108         if (s->streams[i]->id == id)
109             return i;
110     }
111     st = av_new_stream(s, id);
112     switch (format) {
113         case 3:
114         case 4:
115             st->codec->codec_type = CODEC_TYPE_VIDEO;
116             st->codec->codec_id = CODEC_ID_MJPEG;
117             break;
118         case 13:
119         case 15:
120             st->codec->codec_type = CODEC_TYPE_VIDEO;
121             st->codec->codec_id = CODEC_ID_DVVIDEO;
122             break;
123         case 14:
124         case 16:
125             st->codec->codec_type = CODEC_TYPE_VIDEO;
126             st->codec->codec_id = CODEC_ID_DVVIDEO;
127             break;
128         case 11:
129         case 12:
130         case 20:
131             st->codec->codec_type = CODEC_TYPE_VIDEO;
132             st->codec->codec_id = CODEC_ID_MPEG2VIDEO;
133             st->need_parsing = 2; // get keyframe flag etc.
134             break;
135         case 22:
136         case 23:
137             st->codec->codec_type = CODEC_TYPE_VIDEO;
138             st->codec->codec_id = CODEC_ID_MPEG1VIDEO;
139             st->need_parsing = 2; // get keyframe flag etc.
140             break;
141         case 9:
142             st->codec->codec_type = CODEC_TYPE_AUDIO;
143             st->codec->codec_id = CODEC_ID_PCM_S24LE;
144             st->codec->channels = 1;
145             st->codec->sample_rate = 48000;
146             st->codec->bit_rate = 3 * 1 * 48000 * 8;
147             st->codec->block_align = 3 * 1;
148             st->codec->bits_per_sample = 24;
149             break;
150         case 10:
151             st->codec->codec_type = CODEC_TYPE_AUDIO;
152             st->codec->codec_id = CODEC_ID_PCM_S16LE;
153             st->codec->channels = 1;
154             st->codec->sample_rate = 48000;
155             st->codec->bit_rate = 2 * 1 * 48000 * 8;
156             st->codec->block_align = 2 * 1;
157             st->codec->bits_per_sample = 16;
158             break;
159         case 17:
160             st->codec->codec_type = CODEC_TYPE_AUDIO;
161             st->codec->codec_id = CODEC_ID_AC3;
162             st->codec->channels = 2;
163             st->codec->sample_rate = 48000;
164             break;
165         // timecode tracks:
166         case 7:
167         case 8:
168         case 24:
169             st->codec->codec_type = CODEC_TYPE_DATA;
170             st->codec->codec_id = CODEC_ID_NONE;
171             break;
172         default:
173             st->codec->codec_type = CODEC_TYPE_UNKNOWN;
174             st->codec->codec_id = CODEC_ID_NONE;
175             break;
176     }
177     return s->nb_streams - 1;
178 }
179
180 /**
181  * \brief filters out interesting tags from material information.
182  * \param len lenght of tag section, will be adjusted to contain remaining bytes
183  * \param si struct to store collected information into
184  */
185 static void gxf_material_tags(ByteIOContext *pb, int *len, st_info_t *si) {
186     si->first_field = AV_NOPTS_VALUE;
187     si->last_field = AV_NOPTS_VALUE;
188     while (*len >= 2) {
189         mat_tag_t tag = get_byte(pb);
190         int tlen = get_byte(pb);
191         *len -= 2;
192         if (tlen > *len)
193             return;
194         *len -= tlen;
195         if (tlen == 4) {
196             uint32_t value = get_be32(pb);
197             if (tag == MAT_FIRST_FIELD)
198                 si->first_field = value;
199             else if (tag == MAT_LAST_FIELD)
200                 si->last_field = value;
201         } else
202             url_fskip(pb, tlen);
203     }
204 }
205
206 /**
207  * \brief convert fps tag value to AVRational fps
208  * \param fps fps value from tag
209  * \return fps as AVRational, or 0 / 0 if unknown
210  */
211 static AVRational fps_tag2avr(int32_t fps) {
212     extern const AVRational ff_frame_rate_tab[];
213     if (fps < 1 || fps > 9) fps = 9;
214     return ff_frame_rate_tab[9 - fps]; // values have opposite order
215 }
216
217 /**
218  * \brief convert UMF attributes flags to AVRational fps
219  * \param fps fps value from flags
220  * \return fps as AVRational, or 0 / 0 if unknown
221  */
222 static AVRational fps_umf2avr(uint32_t flags) {
223     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
224         {25, 1}, {30000, 1001}};
225     int idx =  av_log2((flags & 0x7c0) >> 6);
226     return map[idx];
227 }
228
229 /**
230  * \brief filters out interesting tags from track information.
231  * \param len length of tag section, will be adjusted to contain remaining bytes
232  * \param si struct to store collected information into
233  */
234 static void gxf_track_tags(ByteIOContext *pb, int *len, st_info_t *si) {
235     si->frames_per_second = (AVRational){0, 0};
236     si->fields_per_frame = 0;
237     while (*len >= 2) {
238         track_tag_t tag = get_byte(pb);
239         int tlen = get_byte(pb);
240         *len -= 2;
241         if (tlen > *len)
242             return;
243         *len -= tlen;
244         if (tlen == 4) {
245             uint32_t value = get_be32(pb);
246             if (tag == TRACK_FPS)
247                 si->frames_per_second = fps_tag2avr(value);
248             else if (tag == TRACK_FPF && (value == 1 || value == 2))
249                 si->fields_per_frame = value;
250         } else
251             url_fskip(pb, tlen);
252     }
253 }
254
255 /**
256  * \brief read index from FLT packet into stream 0 av_index
257  */
258 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
259     ByteIOContext *pb = &s->pb;
260     AVStream *st = s->streams[0];
261     uint32_t fields_per_map = get_le32(pb);
262     uint32_t map_cnt = get_le32(pb);
263     int i;
264     pkt_len -= 8;
265     if (map_cnt > 1000) {
266         av_log(s, AV_LOG_ERROR, "GXF: too many index entries %u (%x)\n", map_cnt, map_cnt);
267         map_cnt = 1000;
268     }
269     if (pkt_len < 4 * map_cnt) {
270         av_log(s, AV_LOG_ERROR, "GXF: invalid index length\n");
271         url_fskip(pb, pkt_len);
272         return;
273     }
274     pkt_len -= 4 * map_cnt;
275     av_add_index_entry(st, 0, 0, 0, 0, 0);
276     for (i = 0; i < map_cnt; i++)
277         av_add_index_entry(st, (uint64_t)get_le32(pb) * 1024,
278                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
279     url_fskip(pb, pkt_len);
280 }
281
282 static int gxf_header(AVFormatContext *s, AVFormatParameters *ap) {
283     ByteIOContext *pb = &s->pb;
284     pkt_type_t pkt_type;
285     int map_len;
286     int len;
287     AVRational main_timebase = {0, 0};
288     st_info_t si;
289     int i;
290     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
291         av_log(s, AV_LOG_ERROR, "GXF: map packet not found\n");
292         return 0;
293     }
294     map_len -= 2;
295     if (get_byte(pb) != 0x0e0 || get_byte(pb) != 0xff) {
296         av_log(s, AV_LOG_ERROR, "GXF: unknown version or invalid map preamble\n");
297         return 0;
298     }
299     map_len -= 2;
300     len = get_be16(pb); // length of material data section
301     if (len > map_len) {
302         av_log(s, AV_LOG_ERROR, "GXF: material data longer than map data\n");
303         return 0;
304     }
305     map_len -= len;
306     gxf_material_tags(pb, &len, &si);
307     url_fskip(pb, len);
308     map_len -= 2;
309     len = get_be16(pb); // length of track description
310     if (len > map_len) {
311         av_log(s, AV_LOG_ERROR, "GXF: track description longer than map data\n");
312         return 0;
313     }
314     map_len -= len;
315     while (len > 0) {
316         int track_type, track_id, track_len;
317         AVStream *st;
318         int idx;
319         len -= 4;
320         track_type = get_byte(pb);
321         track_id = get_byte(pb);
322         track_len = get_be16(pb);
323         len -= track_len;
324         gxf_track_tags(pb, &track_len, &si);
325         url_fskip(pb, track_len);
326         if (!(track_type & 0x80)) {
327            av_log(s, AV_LOG_ERROR, "GXF: invalid track type %x\n", track_type);
328            continue;
329         }
330         track_type &= 0x7f;
331         if ((track_id & 0xc0) != 0xc0) {
332            av_log(s, AV_LOG_ERROR, "GXF: invalid track id %x\n", track_id);
333            continue;
334         }
335         track_id &= 0x3f;
336         idx = get_sindex(s, track_id, track_type);
337         if (idx < 0) continue;
338         st = s->streams[idx];
339         if (!main_timebase.num || !main_timebase.den) {
340             main_timebase.num = si.frames_per_second.den;
341             main_timebase.den = si.frames_per_second.num * si.fields_per_frame;
342         }
343         st->start_time = si.first_field;
344         if (si.first_field != AV_NOPTS_VALUE && si.last_field != AV_NOPTS_VALUE)
345             st->duration = si.last_field - si.first_field;
346     }
347     if (len < 0)
348         av_log(s, AV_LOG_ERROR, "GXF: invalid track description length specified\n");
349     if (map_len)
350         url_fskip(pb, map_len);
351     if (!parse_packet_header(pb, &pkt_type, &len)) {
352         av_log(s, AV_LOG_ERROR, "GXF: sync lost in header\n");
353         return -1;
354     }
355     if (pkt_type == PKT_FLT) {
356         gxf_read_index(s, len);
357         if (!parse_packet_header(pb, &pkt_type, &len)) {
358             av_log(s, AV_LOG_ERROR, "GXF: sync lost in header\n");
359             return -1;
360         }
361     }
362     if (pkt_type == PKT_UMF) {
363         if (len >= 0x39) {
364             AVRational fps;
365             len -= 0x39;
366             url_fskip(pb, 5); // preamble
367             url_fskip(pb, 0x30); // payload description
368             fps = fps_umf2avr(get_le32(pb));
369             if (!main_timebase.num || !main_timebase.den) {
370                 // this may not always be correct, but simply the best we can get
371                 main_timebase.num = fps.den;
372                 main_timebase.den = fps.num;
373             }
374         } else
375             av_log(s, AV_LOG_INFO, "GXF: UMF packet too short\n");
376     } else
377         av_log(s, AV_LOG_INFO, "GXF: UMF packet missing\n");
378     url_fskip(pb, len);
379     for (i = 0; i < s->nb_streams; i++) {
380         AVStream *st = s->streams[i];
381         st->pts_wrap_bits = 32;
382         if (main_timebase.num && main_timebase.den)
383             st->time_base = main_timebase;
384         else {
385             st->start_time = st->duration = AV_NOPTS_VALUE;
386         }
387     }
388     return 0;
389 }
390
391 #define READ_ONE() \
392     { \
393         if (!max_interval-- || url_feof(pb)) \
394             goto out; \
395         tmp = tmp << 8 | get_byte(pb); \
396     }
397
398 /**
399  * \brief resync the stream on the next media packet with specified properties
400  * \param max_interval how many bytes to search for matching packet at most
401  * \param track track id the media packet must belong to, -1 for any
402  * \param timestamp minimum timestamp (== field number) the packet must have, -1 for any
403  * \return timestamp of packet found
404  */
405 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
406     uint32_t tmp;
407     uint64_t last_pos;
408     uint64_t last_found_pos = 0;
409     int cur_track;
410     int64_t cur_timestamp = AV_NOPTS_VALUE;
411     int len;
412     ByteIOContext *pb = &s->pb;
413     pkt_type_t type;
414     tmp = get_be32(pb);
415 start:
416     while (tmp)
417         READ_ONE();
418     READ_ONE();
419     if (tmp != 1)
420         goto start;
421     last_pos = url_ftell(pb);
422     url_fseek(pb, -5, SEEK_CUR);
423     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
424         url_fseek(pb, last_pos, SEEK_SET);
425         goto start;
426     }
427     get_byte(pb);
428     cur_track = get_byte(pb);
429     cur_timestamp = get_be32(pb);
430     last_found_pos = url_ftell(pb) - 16 - 6;
431     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
432         url_fseek(pb, last_pos, SEEK_SET);
433         goto start;
434     }
435 out:
436     if (last_found_pos)
437         url_fseek(pb, last_found_pos, SEEK_SET);
438     return cur_timestamp;
439 }
440
441 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
442     ByteIOContext *pb = &s->pb;
443     pkt_type_t pkt_type;
444     int pkt_len;
445     while (!url_feof(pb)) {
446         int track_type, track_id, ret;
447         int field_nr;
448         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
449             if (!url_feof(pb))
450                 av_log(s, AV_LOG_ERROR, "GXF: sync lost\n");
451             return -1;
452         }
453         if (pkt_type == PKT_FLT) {
454             gxf_read_index(s, pkt_len);
455             continue;
456         }
457         if (pkt_type != PKT_MEDIA) {
458             url_fskip(pb, pkt_len);
459             continue;
460         }
461         if (pkt_len < 16) {
462             av_log(s, AV_LOG_ERROR, "GXF: invalid media packet length\n");
463             continue;
464         }
465         pkt_len -= 16;
466         track_type = get_byte(pb);
467         track_id = get_byte(pb);
468         field_nr = get_be32(pb);
469         get_be32(pb); // field information
470         get_be32(pb); // "timeline" field number
471         get_byte(pb); // flags
472         get_byte(pb); // reserved
473         // NOTE: there is also data length information in the
474         // field information, it might be better to take this into account
475         // as well.
476         ret = av_get_packet(pb, pkt, pkt_len);
477         pkt->stream_index = get_sindex(s, track_id, track_type);
478         pkt->dts = field_nr;
479         return ret;
480     }
481     return AVERROR_IO;
482 }
483
484 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
485     uint64_t pos;
486     uint64_t maxlen = 100 * 1024 * 1024;
487     AVStream *st = s->streams[0];
488     int64_t start_time = s->streams[stream_index]->start_time;
489     int64_t found;
490     int idx;
491     if (timestamp < start_time) timestamp = start_time;
492     idx = av_index_search_timestamp(st, timestamp - start_time,
493                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
494     if (idx < 0)
495         return -1;
496     pos = st->index_entries[idx].pos;
497     if (idx < st->nb_index_entries - 2)
498         maxlen = st->index_entries[idx + 2].pos - pos;
499     maxlen = FFMAX(maxlen, 200 * 1024);
500     url_fseek(&s->pb, pos, SEEK_SET);
501     found = gxf_resync_media(s, maxlen, -1, timestamp);
502     if (FFABS(found - timestamp) > 4)
503         return -1;
504     return 0;
505 }
506
507 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
508                                   int64_t *pos, int64_t pos_limit) {
509     ByteIOContext *pb = &s->pb;
510     int64_t res;
511     url_fseek(pb, *pos, SEEK_SET);
512     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
513     *pos = url_ftell(pb);
514     return res;
515 }
516
517 AVInputFormat gxf_demuxer = {
518     "gxf",
519     "GXF format",
520     0,
521     gxf_probe,
522     gxf_header,
523     gxf_packet,
524     NULL,
525     gxf_seek,
526     gxf_read_timestamp,
527 };