gxf: Add a local copy of the relevant parts of the frame rate table
[ffmpeg.git] / libavformat / gxf.c
1 /*
2  * GXF demuxer.
3  * Copyright (c) 2006 Reimar Doeffinger
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/common.h"
23 #include "avformat.h"
24 #include "internal.h"
25 #include "gxf.h"
26 #include "libavcodec/mpeg12data.h"
27
28 struct gxf_stream_info {
29     int64_t first_field;
30     int64_t last_field;
31     AVRational frames_per_second;
32     int32_t fields_per_frame;
33 };
34
35 /**
36  * @brief parses a packet header, extracting type and length
37  * @param pb AVIOContext to read header from
38  * @param type detected packet type is stored here
39  * @param length detected packet length, excluding header is stored here
40  * @return 0 if header not found or contains invalid data, 1 otherwise
41  */
42 static int parse_packet_header(AVIOContext *pb, GXFPktType *type, int *length) {
43     if (avio_rb32(pb))
44         return 0;
45     if (avio_r8(pb) != 1)
46         return 0;
47     *type = avio_r8(pb);
48     *length = avio_rb32(pb);
49     if ((*length >> 24) || *length < 16)
50         return 0;
51     *length -= 16;
52     if (avio_rb32(pb))
53         return 0;
54     if (avio_r8(pb) != 0xe1)
55         return 0;
56     if (avio_r8(pb) != 0xe2)
57         return 0;
58     return 1;
59 }
60
61 /**
62  * @brief check if file starts with a PKT_MAP header
63  */
64 static int gxf_probe(AVProbeData *p) {
65     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
66     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
67     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
68         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
69         return AVPROBE_SCORE_MAX;
70     return 0;
71 }
72
73 /**
74  * @brief gets the stream index for the track with the specified id, creates new
75  *        stream if not found
76  * @param id     id of stream to find / add
77  * @param format stream format identifier
78  */
79 static int get_sindex(AVFormatContext *s, int id, int format) {
80     int i;
81     AVStream *st = NULL;
82     i = ff_find_stream_index(s, id);
83     if (i >= 0)
84         return i;
85     st = avformat_new_stream(s, NULL);
86     if (!st)
87         return AVERROR(ENOMEM);
88     st->id = id;
89     switch (format) {
90         case 3:
91         case 4:
92             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
93             st->codec->codec_id = AV_CODEC_ID_MJPEG;
94             break;
95         case 13:
96         case 15:
97             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
98             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
99             break;
100         case 14:
101         case 16:
102             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
103             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
104             break;
105         case 11:
106         case 12:
107         case 20:
108             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
109             st->codec->codec_id = AV_CODEC_ID_MPEG2VIDEO;
110             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
111             break;
112         case 22:
113         case 23:
114             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
115             st->codec->codec_id = AV_CODEC_ID_MPEG1VIDEO;
116             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
117             break;
118         case 9:
119             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
120             st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
121             st->codec->channels = 1;
122             st->codec->sample_rate = 48000;
123             st->codec->bit_rate = 3 * 1 * 48000 * 8;
124             st->codec->block_align = 3 * 1;
125             st->codec->bits_per_coded_sample = 24;
126             break;
127         case 10:
128             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
129             st->codec->codec_id = AV_CODEC_ID_PCM_S16LE;
130             st->codec->channels = 1;
131             st->codec->sample_rate = 48000;
132             st->codec->bit_rate = 2 * 1 * 48000 * 8;
133             st->codec->block_align = 2 * 1;
134             st->codec->bits_per_coded_sample = 16;
135             break;
136         case 17:
137             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
138             st->codec->codec_id = AV_CODEC_ID_AC3;
139             st->codec->channels = 2;
140             st->codec->sample_rate = 48000;
141             break;
142         // timecode tracks:
143         case 7:
144         case 8:
145         case 24:
146             st->codec->codec_type = AVMEDIA_TYPE_DATA;
147             st->codec->codec_id = AV_CODEC_ID_NONE;
148             break;
149         default:
150             st->codec->codec_type = AVMEDIA_TYPE_UNKNOWN;
151             st->codec->codec_id = AV_CODEC_ID_NONE;
152             break;
153     }
154     return s->nb_streams - 1;
155 }
156
157 /**
158  * @brief filters out interesting tags from material information.
159  * @param len length of tag section, will be adjusted to contain remaining bytes
160  * @param si struct to store collected information into
161  */
162 static void gxf_material_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
163     si->first_field = AV_NOPTS_VALUE;
164     si->last_field = AV_NOPTS_VALUE;
165     while (*len >= 2) {
166         GXFMatTag tag = avio_r8(pb);
167         int tlen = avio_r8(pb);
168         *len -= 2;
169         if (tlen > *len)
170             return;
171         *len -= tlen;
172         if (tlen == 4) {
173             uint32_t value = avio_rb32(pb);
174             if (tag == MAT_FIRST_FIELD)
175                 si->first_field = value;
176             else if (tag == MAT_LAST_FIELD)
177                 si->last_field = value;
178         } else
179             avio_skip(pb, tlen);
180     }
181 }
182
183 static const AVRational frame_rate_tab[] = {
184     {   60,    1},
185     {60000, 1001},
186     {   50,    1},
187     {   30,    1},
188     {30000, 1001},
189     {   25,    1},
190     {   24,    1},
191     {24000, 1001},
192     {    0,    0},
193 };
194
195 /**
196  * @brief convert fps tag value to AVRational fps
197  * @param fps fps value from tag
198  * @return fps as AVRational, or 0 / 0 if unknown
199  */
200 static AVRational fps_tag2avr(int32_t fps) {
201     if (fps < 1 || fps > 9) fps = 9;
202     return frame_rate_tab[fps - 1];
203 }
204
205 /**
206  * @brief convert UMF attributes flags to AVRational fps
207  * @param flags UMF flags to convert
208  * @return fps as AVRational, or 0 / 0 if unknown
209  */
210 static AVRational fps_umf2avr(uint32_t flags) {
211     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
212         {25, 1}, {30000, 1001}};
213     int idx =  av_log2((flags & 0x7c0) >> 6);
214     return map[idx];
215 }
216
217 /**
218  * @brief filters out interesting tags from track information.
219  * @param len length of tag section, will be adjusted to contain remaining bytes
220  * @param si struct to store collected information into
221  */
222 static void gxf_track_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
223     si->frames_per_second = (AVRational){0, 0};
224     si->fields_per_frame = 0;
225     while (*len >= 2) {
226         GXFTrackTag tag = avio_r8(pb);
227         int tlen = avio_r8(pb);
228         *len -= 2;
229         if (tlen > *len)
230             return;
231         *len -= tlen;
232         if (tlen == 4) {
233             uint32_t value = avio_rb32(pb);
234             if (tag == TRACK_FPS)
235                 si->frames_per_second = fps_tag2avr(value);
236             else if (tag == TRACK_FPF && (value == 1 || value == 2))
237                 si->fields_per_frame = value;
238         } else
239             avio_skip(pb, tlen);
240     }
241 }
242
243 /**
244  * @brief read index from FLT packet into stream 0 av_index
245  */
246 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
247     AVIOContext *pb = s->pb;
248     AVStream *st = s->streams[0];
249     uint32_t fields_per_map = avio_rl32(pb);
250     uint32_t map_cnt = avio_rl32(pb);
251     int i;
252     pkt_len -= 8;
253     if (s->flags & AVFMT_FLAG_IGNIDX) {
254         avio_skip(pb, pkt_len);
255         return;
256     }
257     if (map_cnt > 1000) {
258         av_log(s, AV_LOG_ERROR, "too many index entries %u (%x)\n", map_cnt, map_cnt);
259         map_cnt = 1000;
260     }
261     if (pkt_len < 4 * map_cnt) {
262         av_log(s, AV_LOG_ERROR, "invalid index length\n");
263         avio_skip(pb, pkt_len);
264         return;
265     }
266     pkt_len -= 4 * map_cnt;
267     av_add_index_entry(st, 0, 0, 0, 0, 0);
268     for (i = 0; i < map_cnt; i++)
269         av_add_index_entry(st, (uint64_t)avio_rl32(pb) * 1024,
270                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
271     avio_skip(pb, pkt_len);
272 }
273
274 static int gxf_header(AVFormatContext *s) {
275     AVIOContext *pb = s->pb;
276     GXFPktType pkt_type;
277     int map_len;
278     int len;
279     AVRational main_timebase = {0, 0};
280     struct gxf_stream_info *si = s->priv_data;
281     int i;
282     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
283         av_log(s, AV_LOG_ERROR, "map packet not found\n");
284         return 0;
285     }
286     map_len -= 2;
287     if (avio_r8(pb) != 0x0e0 || avio_r8(pb) != 0xff) {
288         av_log(s, AV_LOG_ERROR, "unknown version or invalid map preamble\n");
289         return 0;
290     }
291     map_len -= 2;
292     len = avio_rb16(pb); // length of material data section
293     if (len > map_len) {
294         av_log(s, AV_LOG_ERROR, "material data longer than map data\n");
295         return 0;
296     }
297     map_len -= len;
298     gxf_material_tags(pb, &len, si);
299     avio_skip(pb, len);
300     map_len -= 2;
301     len = avio_rb16(pb); // length of track description
302     if (len > map_len) {
303         av_log(s, AV_LOG_ERROR, "track description longer than map data\n");
304         return 0;
305     }
306     map_len -= len;
307     while (len > 0) {
308         int track_type, track_id, track_len;
309         AVStream *st;
310         int idx;
311         len -= 4;
312         track_type = avio_r8(pb);
313         track_id = avio_r8(pb);
314         track_len = avio_rb16(pb);
315         len -= track_len;
316         gxf_track_tags(pb, &track_len, si);
317         avio_skip(pb, track_len);
318         if (!(track_type & 0x80)) {
319            av_log(s, AV_LOG_ERROR, "invalid track type %x\n", track_type);
320            continue;
321         }
322         track_type &= 0x7f;
323         if ((track_id & 0xc0) != 0xc0) {
324            av_log(s, AV_LOG_ERROR, "invalid track id %x\n", track_id);
325            continue;
326         }
327         track_id &= 0x3f;
328         idx = get_sindex(s, track_id, track_type);
329         if (idx < 0) continue;
330         st = s->streams[idx];
331         if (!main_timebase.num || !main_timebase.den) {
332             main_timebase.num = si->frames_per_second.den;
333             main_timebase.den = si->frames_per_second.num * 2;
334         }
335         st->start_time = si->first_field;
336         if (si->first_field != AV_NOPTS_VALUE && si->last_field != AV_NOPTS_VALUE)
337             st->duration = si->last_field - si->first_field;
338     }
339     if (len < 0)
340         av_log(s, AV_LOG_ERROR, "invalid track description length specified\n");
341     if (map_len)
342         avio_skip(pb, map_len);
343     if (!parse_packet_header(pb, &pkt_type, &len)) {
344         av_log(s, AV_LOG_ERROR, "sync lost in header\n");
345         return -1;
346     }
347     if (pkt_type == PKT_FLT) {
348         gxf_read_index(s, len);
349         if (!parse_packet_header(pb, &pkt_type, &len)) {
350             av_log(s, AV_LOG_ERROR, "sync lost in header\n");
351             return -1;
352         }
353     }
354     if (pkt_type == PKT_UMF) {
355         if (len >= 0x39) {
356             AVRational fps;
357             len -= 0x39;
358             avio_skip(pb, 5); // preamble
359             avio_skip(pb, 0x30); // payload description
360             fps = fps_umf2avr(avio_rl32(pb));
361             if (!main_timebase.num || !main_timebase.den) {
362                 // this may not always be correct, but simply the best we can get
363                 main_timebase.num = fps.den;
364                 main_timebase.den = fps.num * 2;
365             }
366         } else
367             av_log(s, AV_LOG_INFO, "UMF packet too short\n");
368     } else
369         av_log(s, AV_LOG_INFO, "UMF packet missing\n");
370     avio_skip(pb, len);
371     // set a fallback value, 60000/1001 is specified for audio-only files
372     // so use that regardless of why we do not know the video frame rate.
373     if (!main_timebase.num || !main_timebase.den)
374         main_timebase = (AVRational){1001, 60000};
375     for (i = 0; i < s->nb_streams; i++) {
376         AVStream *st = s->streams[i];
377         avpriv_set_pts_info(st, 32, main_timebase.num, main_timebase.den);
378     }
379     return 0;
380 }
381
382 #define READ_ONE() \
383     { \
384         if (!max_interval-- || pb->eof_reached) \
385             goto out; \
386         tmp = tmp << 8 | avio_r8(pb); \
387     }
388
389 /**
390  * @brief resync the stream on the next media packet with specified properties
391  * @param max_interval how many bytes to search for matching packet at most
392  * @param track track id the media packet must belong to, -1 for any
393  * @param timestamp minimum timestamp (== field number) the packet must have, -1 for any
394  * @return timestamp of packet found
395  */
396 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
397     uint32_t tmp;
398     uint64_t last_pos;
399     uint64_t last_found_pos = 0;
400     int cur_track;
401     int64_t cur_timestamp = AV_NOPTS_VALUE;
402     int len;
403     AVIOContext *pb = s->pb;
404     GXFPktType type;
405     tmp = avio_rb32(pb);
406 start:
407     while (tmp)
408         READ_ONE();
409     READ_ONE();
410     if (tmp != 1)
411         goto start;
412     last_pos = avio_tell(pb);
413     if (avio_seek(pb, -5, SEEK_CUR) < 0)
414         goto out;
415     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
416         if (avio_seek(pb, last_pos, SEEK_SET) < 0)
417             goto out;
418         goto start;
419     }
420     avio_r8(pb);
421     cur_track = avio_r8(pb);
422     cur_timestamp = avio_rb32(pb);
423     last_found_pos = avio_tell(pb) - 16 - 6;
424     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
425         if (avio_seek(pb, last_pos, SEEK_SET) >= 0)
426             goto start;
427     }
428 out:
429     if (last_found_pos)
430         avio_seek(pb, last_found_pos, SEEK_SET);
431     return cur_timestamp;
432 }
433
434 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
435     AVIOContext *pb = s->pb;
436     GXFPktType pkt_type;
437     int pkt_len;
438     struct gxf_stream_info *si = s->priv_data;
439
440     while (!pb->eof_reached) {
441         AVStream *st;
442         int track_type, track_id, ret;
443         int field_nr, field_info, skip = 0;
444         int stream_index;
445         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
446             if (!pb->eof_reached)
447                 av_log(s, AV_LOG_ERROR, "sync lost\n");
448             return -1;
449         }
450         if (pkt_type == PKT_FLT) {
451             gxf_read_index(s, pkt_len);
452             continue;
453         }
454         if (pkt_type != PKT_MEDIA) {
455             avio_skip(pb, pkt_len);
456             continue;
457         }
458         if (pkt_len < 16) {
459             av_log(s, AV_LOG_ERROR, "invalid media packet length\n");
460             continue;
461         }
462         pkt_len -= 16;
463         track_type = avio_r8(pb);
464         track_id = avio_r8(pb);
465         stream_index = get_sindex(s, track_id, track_type);
466         if (stream_index < 0)
467             return stream_index;
468         st = s->streams[stream_index];
469         field_nr = avio_rb32(pb);
470         field_info = avio_rb32(pb);
471         avio_rb32(pb); // "timeline" field number
472         avio_r8(pb); // flags
473         avio_r8(pb); // reserved
474         if (st->codec->codec_id == AV_CODEC_ID_PCM_S24LE ||
475             st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
476             int first = field_info >> 16;
477             int last  = field_info & 0xffff; // last is exclusive
478             int bps = av_get_bits_per_sample(st->codec->codec_id)>>3;
479             if (first <= last && last*bps <= pkt_len) {
480                 avio_skip(pb, first*bps);
481                 skip = pkt_len - last*bps;
482                 pkt_len = (last-first)*bps;
483             } else
484                 av_log(s, AV_LOG_ERROR, "invalid first and last sample values\n");
485         }
486         ret = av_get_packet(pb, pkt, pkt_len);
487         if (skip)
488             avio_skip(pb, skip);
489         pkt->stream_index = stream_index;
490         pkt->dts = field_nr;
491
492         //set duration manually for DV or else lavf misdetects the frame rate
493         if (st->codec->codec_id == AV_CODEC_ID_DVVIDEO)
494             pkt->duration = si->fields_per_frame;
495
496         return ret;
497     }
498     return AVERROR(EIO);
499 }
500
501 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
502     int res = 0;
503     uint64_t pos;
504     uint64_t maxlen = 100 * 1024 * 1024;
505     AVStream *st = s->streams[0];
506     int64_t start_time = s->streams[stream_index]->start_time;
507     int64_t found;
508     int idx;
509     if (timestamp < start_time) timestamp = start_time;
510     idx = av_index_search_timestamp(st, timestamp - start_time,
511                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
512     if (idx < 0)
513         return -1;
514     pos = st->index_entries[idx].pos;
515     if (idx < st->nb_index_entries - 2)
516         maxlen = st->index_entries[idx + 2].pos - pos;
517     maxlen = FFMAX(maxlen, 200 * 1024);
518     res = avio_seek(s->pb, pos, SEEK_SET);
519     if (res < 0)
520         return res;
521     found = gxf_resync_media(s, maxlen, -1, timestamp);
522     if (FFABS(found - timestamp) > 4)
523         return -1;
524     return 0;
525 }
526
527 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
528                                   int64_t *pos, int64_t pos_limit) {
529     AVIOContext *pb = s->pb;
530     int64_t res;
531     if (avio_seek(pb, *pos, SEEK_SET) < 0)
532         return AV_NOPTS_VALUE;
533     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
534     *pos = avio_tell(pb);
535     return res;
536 }
537
538 AVInputFormat ff_gxf_demuxer = {
539     .name           = "gxf",
540     .long_name      = NULL_IF_CONFIG_SMALL("GXF (General eXchange Format)"),
541     .priv_data_size = sizeof(struct gxf_stream_info),
542     .read_probe     = gxf_probe,
543     .read_header    = gxf_header,
544     .read_packet    = gxf_packet,
545     .read_seek      = gxf_seek,
546     .read_timestamp = gxf_read_timestamp,
547 };