Merge remote-tracking branch 'qatar/master'
[ffmpeg.git] / libavformat / gxf.c
1 /*
2  * GXF demuxer.
3  * Copyright (c) 2006 Reimar Doeffinger
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/common.h"
23 #include "avformat.h"
24 #include "internal.h"
25 #include "gxf.h"
26
27 struct gxf_stream_info {
28     int64_t first_field;
29     int64_t last_field;
30     AVRational frames_per_second;
31     int32_t fields_per_frame;
32 };
33
34 /**
35  * @brief parses a packet header, extracting type and length
36  * @param pb AVIOContext to read header from
37  * @param type detected packet type is stored here
38  * @param length detected packet length, excluding header is stored here
39  * @return 0 if header not found or contains invalid data, 1 otherwise
40  */
41 static int parse_packet_header(AVIOContext *pb, GXFPktType *type, int *length) {
42     if (avio_rb32(pb))
43         return 0;
44     if (avio_r8(pb) != 1)
45         return 0;
46     *type = avio_r8(pb);
47     *length = avio_rb32(pb);
48     if ((*length >> 24) || *length < 16)
49         return 0;
50     *length -= 16;
51     if (avio_rb32(pb))
52         return 0;
53     if (avio_r8(pb) != 0xe1)
54         return 0;
55     if (avio_r8(pb) != 0xe2)
56         return 0;
57     return 1;
58 }
59
60 /**
61  * @brief check if file starts with a PKT_MAP header
62  */
63 static int gxf_probe(AVProbeData *p) {
64     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
65     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
66     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
67         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
68         return AVPROBE_SCORE_MAX;
69     return 0;
70 }
71
72 /**
73  * @brief gets the stream index for the track with the specified id, creates new
74  *        stream if not found
75  * @param id     id of stream to find / add
76  * @param format stream format identifier
77  */
78 static int get_sindex(AVFormatContext *s, int id, int format) {
79     int i;
80     AVStream *st = NULL;
81     i = ff_find_stream_index(s, id);
82     if (i >= 0)
83         return i;
84     st = avformat_new_stream(s, NULL);
85     if (!st)
86         return AVERROR(ENOMEM);
87     st->id = id;
88     switch (format) {
89         case 3:
90         case 4:
91             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
92             st->codec->codec_id = CODEC_ID_MJPEG;
93             break;
94         case 13:
95         case 15:
96             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
97             st->codec->codec_id = CODEC_ID_DVVIDEO;
98             break;
99         case 14:
100         case 16:
101             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
102             st->codec->codec_id = CODEC_ID_DVVIDEO;
103             break;
104         case 11:
105         case 12:
106         case 20:
107             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
108             st->codec->codec_id = CODEC_ID_MPEG2VIDEO;
109             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
110             break;
111         case 22:
112         case 23:
113             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
114             st->codec->codec_id = CODEC_ID_MPEG1VIDEO;
115             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
116             break;
117         case 9:
118             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
119             st->codec->codec_id = CODEC_ID_PCM_S24LE;
120             st->codec->channels = 1;
121             st->codec->sample_rate = 48000;
122             st->codec->bit_rate = 3 * 1 * 48000 * 8;
123             st->codec->block_align = 3 * 1;
124             st->codec->bits_per_coded_sample = 24;
125             break;
126         case 10:
127             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
128             st->codec->codec_id = CODEC_ID_PCM_S16LE;
129             st->codec->channels = 1;
130             st->codec->sample_rate = 48000;
131             st->codec->bit_rate = 2 * 1 * 48000 * 8;
132             st->codec->block_align = 2 * 1;
133             st->codec->bits_per_coded_sample = 16;
134             break;
135         case 17:
136             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
137             st->codec->codec_id = CODEC_ID_AC3;
138             st->codec->channels = 2;
139             st->codec->sample_rate = 48000;
140             break;
141         // timecode tracks:
142         case 7:
143         case 8:
144         case 24:
145             st->codec->codec_type = AVMEDIA_TYPE_DATA;
146             st->codec->codec_id = CODEC_ID_NONE;
147             break;
148         default:
149             st->codec->codec_type = AVMEDIA_TYPE_UNKNOWN;
150             st->codec->codec_id = CODEC_ID_NONE;
151             break;
152     }
153     return s->nb_streams - 1;
154 }
155
156 /**
157  * @brief filters out interesting tags from material information.
158  * @param len length of tag section, will be adjusted to contain remaining bytes
159  * @param si struct to store collected information into
160  */
161 static void gxf_material_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
162     si->first_field = AV_NOPTS_VALUE;
163     si->last_field = AV_NOPTS_VALUE;
164     while (*len >= 2) {
165         GXFMatTag tag = avio_r8(pb);
166         int tlen = avio_r8(pb);
167         *len -= 2;
168         if (tlen > *len)
169             return;
170         *len -= tlen;
171         if (tlen == 4) {
172             uint32_t value = avio_rb32(pb);
173             if (tag == MAT_FIRST_FIELD)
174                 si->first_field = value;
175             else if (tag == MAT_LAST_FIELD)
176                 si->last_field = value;
177         } else
178             avio_skip(pb, tlen);
179     }
180 }
181
182 /**
183  * @brief convert fps tag value to AVRational fps
184  * @param fps fps value from tag
185  * @return fps as AVRational, or 0 / 0 if unknown
186  */
187 static AVRational fps_tag2avr(int32_t fps) {
188     extern const AVRational avpriv_frame_rate_tab[];
189     if (fps < 1 || fps > 9) fps = 9;
190     return avpriv_frame_rate_tab[9 - fps]; // values have opposite order
191 }
192
193 /**
194  * @brief convert UMF attributes flags to AVRational fps
195  * @param flags UMF flags to convert
196  * @return fps as AVRational, or 0 / 0 if unknown
197  */
198 static AVRational fps_umf2avr(uint32_t flags) {
199     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
200         {25, 1}, {30000, 1001}};
201     int idx =  av_log2((flags & 0x7c0) >> 6);
202     return map[idx];
203 }
204
205 /**
206  * @brief filters out interesting tags from track information.
207  * @param len length of tag section, will be adjusted to contain remaining bytes
208  * @param si struct to store collected information into
209  */
210 static void gxf_track_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
211     si->frames_per_second = (AVRational){0, 0};
212     si->fields_per_frame = 0;
213     while (*len >= 2) {
214         GXFTrackTag tag = avio_r8(pb);
215         int tlen = avio_r8(pb);
216         *len -= 2;
217         if (tlen > *len)
218             return;
219         *len -= tlen;
220         if (tlen == 4) {
221             uint32_t value = avio_rb32(pb);
222             if (tag == TRACK_FPS)
223                 si->frames_per_second = fps_tag2avr(value);
224             else if (tag == TRACK_FPF && (value == 1 || value == 2))
225                 si->fields_per_frame = value;
226         } else
227             avio_skip(pb, tlen);
228     }
229 }
230
231 /**
232  * @brief read index from FLT packet into stream 0 av_index
233  */
234 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
235     AVIOContext *pb = s->pb;
236     AVStream *st = s->streams[0];
237     uint32_t fields_per_map = avio_rl32(pb);
238     uint32_t map_cnt = avio_rl32(pb);
239     int i;
240     pkt_len -= 8;
241     if (s->flags & AVFMT_FLAG_IGNIDX) {
242         avio_skip(pb, pkt_len);
243         return;
244     }
245     if (map_cnt > 1000) {
246         av_log(s, AV_LOG_ERROR, "too many index entries %u (%x)\n", map_cnt, map_cnt);
247         map_cnt = 1000;
248     }
249     if (pkt_len < 4 * map_cnt) {
250         av_log(s, AV_LOG_ERROR, "invalid index length\n");
251         avio_skip(pb, pkt_len);
252         return;
253     }
254     pkt_len -= 4 * map_cnt;
255     av_add_index_entry(st, 0, 0, 0, 0, 0);
256     for (i = 0; i < map_cnt; i++)
257         av_add_index_entry(st, (uint64_t)avio_rl32(pb) * 1024,
258                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
259     avio_skip(pb, pkt_len);
260 }
261
262 static int gxf_header(AVFormatContext *s, AVFormatParameters *ap) {
263     AVIOContext *pb = s->pb;
264     GXFPktType pkt_type;
265     int map_len;
266     int len;
267     AVRational main_timebase = {0, 0};
268     struct gxf_stream_info *si = s->priv_data;
269     int i;
270     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
271         av_log(s, AV_LOG_ERROR, "map packet not found\n");
272         return 0;
273     }
274     map_len -= 2;
275     if (avio_r8(pb) != 0x0e0 || avio_r8(pb) != 0xff) {
276         av_log(s, AV_LOG_ERROR, "unknown version or invalid map preamble\n");
277         return 0;
278     }
279     map_len -= 2;
280     len = avio_rb16(pb); // length of material data section
281     if (len > map_len) {
282         av_log(s, AV_LOG_ERROR, "material data longer than map data\n");
283         return 0;
284     }
285     map_len -= len;
286     gxf_material_tags(pb, &len, si);
287     avio_skip(pb, len);
288     map_len -= 2;
289     len = avio_rb16(pb); // length of track description
290     if (len > map_len) {
291         av_log(s, AV_LOG_ERROR, "track description longer than map data\n");
292         return 0;
293     }
294     map_len -= len;
295     while (len > 0) {
296         int track_type, track_id, track_len;
297         AVStream *st;
298         int idx;
299         len -= 4;
300         track_type = avio_r8(pb);
301         track_id = avio_r8(pb);
302         track_len = avio_rb16(pb);
303         len -= track_len;
304         gxf_track_tags(pb, &track_len, si);
305         avio_skip(pb, track_len);
306         if (!(track_type & 0x80)) {
307            av_log(s, AV_LOG_ERROR, "invalid track type %x\n", track_type);
308            continue;
309         }
310         track_type &= 0x7f;
311         if ((track_id & 0xc0) != 0xc0) {
312            av_log(s, AV_LOG_ERROR, "invalid track id %x\n", track_id);
313            continue;
314         }
315         track_id &= 0x3f;
316         idx = get_sindex(s, track_id, track_type);
317         if (idx < 0) continue;
318         st = s->streams[idx];
319         if (!main_timebase.num || !main_timebase.den) {
320             main_timebase.num = si->frames_per_second.den;
321             main_timebase.den = si->frames_per_second.num * 2;
322         }
323         st->start_time = si->first_field;
324         if (si->first_field != AV_NOPTS_VALUE && si->last_field != AV_NOPTS_VALUE)
325             st->duration = si->last_field - si->first_field;
326     }
327     if (len < 0)
328         av_log(s, AV_LOG_ERROR, "invalid track description length specified\n");
329     if (map_len)
330         avio_skip(pb, map_len);
331     if (!parse_packet_header(pb, &pkt_type, &len)) {
332         av_log(s, AV_LOG_ERROR, "sync lost in header\n");
333         return -1;
334     }
335     if (pkt_type == PKT_FLT) {
336         gxf_read_index(s, len);
337         if (!parse_packet_header(pb, &pkt_type, &len)) {
338             av_log(s, AV_LOG_ERROR, "sync lost in header\n");
339             return -1;
340         }
341     }
342     if (pkt_type == PKT_UMF) {
343         if (len >= 0x39) {
344             AVRational fps;
345             len -= 0x39;
346             avio_skip(pb, 5); // preamble
347             avio_skip(pb, 0x30); // payload description
348             fps = fps_umf2avr(avio_rl32(pb));
349             if (!main_timebase.num || !main_timebase.den) {
350                 av_log(s, AV_LOG_WARNING, "No FPS track tag, using UMF fps tag."
351                                           " This might give wrong results.\n");
352                 // this may not always be correct, but simply the best we can get
353                 main_timebase.num = fps.den;
354                 main_timebase.den = fps.num * 2;
355             }
356         } else
357             av_log(s, AV_LOG_INFO, "UMF packet too short\n");
358     } else
359         av_log(s, AV_LOG_INFO, "UMF packet missing\n");
360     avio_skip(pb, len);
361     // set a fallback value, 60000/1001 is specified for audio-only files
362     // so use that regardless of why we do not know the video frame rate.
363     if (!main_timebase.num || !main_timebase.den)
364         main_timebase = (AVRational){1001, 60000};
365     for (i = 0; i < s->nb_streams; i++) {
366         AVStream *st = s->streams[i];
367         av_set_pts_info(st, 32, main_timebase.num, main_timebase.den);
368     }
369     return 0;
370 }
371
372 #define READ_ONE() \
373     { \
374         if (!max_interval-- || url_feof(pb)) \
375             goto out; \
376         tmp = tmp << 8 | avio_r8(pb); \
377     }
378
379 /**
380  * @brief resync the stream on the next media packet with specified properties
381  * @param max_interval how many bytes to search for matching packet at most
382  * @param track track id the media packet must belong to, -1 for any
383  * @param timestamp minimum timestamp (== field number) the packet must have, -1 for any
384  * @return timestamp of packet found
385  */
386 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
387     uint32_t tmp;
388     uint64_t last_pos;
389     uint64_t last_found_pos = 0;
390     int cur_track;
391     int64_t cur_timestamp = AV_NOPTS_VALUE;
392     int len;
393     AVIOContext *pb = s->pb;
394     GXFPktType type;
395     tmp = avio_rb32(pb);
396 start:
397     while (tmp)
398         READ_ONE();
399     READ_ONE();
400     if (tmp != 1)
401         goto start;
402     last_pos = avio_tell(pb);
403     if (avio_seek(pb, -5, SEEK_CUR) < 0)
404         goto out;
405     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
406         if (avio_seek(pb, last_pos, SEEK_SET) < 0)
407             goto out;
408         goto start;
409     }
410     avio_r8(pb);
411     cur_track = avio_r8(pb);
412     cur_timestamp = avio_rb32(pb);
413     last_found_pos = avio_tell(pb) - 16 - 6;
414     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
415         if (avio_seek(pb, last_pos, SEEK_SET) >= 0)
416             goto start;
417     }
418 out:
419     if (last_found_pos)
420         avio_seek(pb, last_found_pos, SEEK_SET);
421     return cur_timestamp;
422 }
423
424 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
425     AVIOContext *pb = s->pb;
426     GXFPktType pkt_type;
427     int pkt_len;
428     struct gxf_stream_info *si = s->priv_data;
429
430     while (!pb->eof_reached) {
431         AVStream *st;
432         int track_type, track_id, ret;
433         int field_nr, field_info, skip = 0;
434         int stream_index;
435         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
436             if (!url_feof(pb))
437                 av_log(s, AV_LOG_ERROR, "sync lost\n");
438             return -1;
439         }
440         if (pkt_type == PKT_FLT) {
441             gxf_read_index(s, pkt_len);
442             continue;
443         }
444         if (pkt_type != PKT_MEDIA) {
445             avio_skip(pb, pkt_len);
446             continue;
447         }
448         if (pkt_len < 16) {
449             av_log(s, AV_LOG_ERROR, "invalid media packet length\n");
450             continue;
451         }
452         pkt_len -= 16;
453         track_type = avio_r8(pb);
454         track_id = avio_r8(pb);
455         stream_index = get_sindex(s, track_id, track_type);
456         if (stream_index < 0)
457             return stream_index;
458         st = s->streams[stream_index];
459         field_nr = avio_rb32(pb);
460         field_info = avio_rb32(pb);
461         avio_rb32(pb); // "timeline" field number
462         avio_r8(pb); // flags
463         avio_r8(pb); // reserved
464         if (st->codec->codec_id == CODEC_ID_PCM_S24LE ||
465             st->codec->codec_id == CODEC_ID_PCM_S16LE) {
466             int first = field_info >> 16;
467             int last  = field_info & 0xffff; // last is exclusive
468             int bps = av_get_bits_per_sample(st->codec->codec_id)>>3;
469             if (first <= last && last*bps <= pkt_len) {
470                 avio_skip(pb, first*bps);
471                 skip = pkt_len - last*bps;
472                 pkt_len = (last-first)*bps;
473             } else
474                 av_log(s, AV_LOG_ERROR, "invalid first and last sample values\n");
475         }
476         ret = av_get_packet(pb, pkt, pkt_len);
477         if (skip)
478             avio_skip(pb, skip);
479         pkt->stream_index = stream_index;
480         pkt->dts = field_nr;
481
482         //set duration manually for DV or else lavf misdetects the frame rate
483         if (st->codec->codec_id == CODEC_ID_DVVIDEO)
484             pkt->duration = si->fields_per_frame;
485
486         return ret;
487     }
488     return AVERROR(EIO);
489 }
490
491 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
492     int res = 0;
493     uint64_t pos;
494     uint64_t maxlen = 100 * 1024 * 1024;
495     AVStream *st = s->streams[0];
496     int64_t start_time = s->streams[stream_index]->start_time;
497     int64_t found;
498     int idx;
499     if (timestamp < start_time) timestamp = start_time;
500     idx = av_index_search_timestamp(st, timestamp - start_time,
501                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
502     if (idx < 0)
503         return -1;
504     pos = st->index_entries[idx].pos;
505     if (idx < st->nb_index_entries - 2)
506         maxlen = st->index_entries[idx + 2].pos - pos;
507     maxlen = FFMAX(maxlen, 200 * 1024);
508     res = avio_seek(s->pb, pos, SEEK_SET);
509     if (res < 0)
510         return res;
511     found = gxf_resync_media(s, maxlen, -1, timestamp);
512     if (FFABS(found - timestamp) > 4)
513         return -1;
514     return 0;
515 }
516
517 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
518                                   int64_t *pos, int64_t pos_limit) {
519     AVIOContext *pb = s->pb;
520     int64_t res;
521     if (avio_seek(pb, *pos, SEEK_SET) < 0)
522         return AV_NOPTS_VALUE;
523     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
524     *pos = avio_tell(pb);
525     return res;
526 }
527
528 AVInputFormat ff_gxf_demuxer = {
529     .name           = "gxf",
530     .long_name      = NULL_IF_CONFIG_SMALL("GXF format"),
531     .priv_data_size = sizeof(struct gxf_stream_info),
532     .read_probe     = gxf_probe,
533     .read_header    = gxf_header,
534     .read_packet    = gxf_packet,
535     .read_seek      = gxf_seek,
536     .read_timestamp = gxf_read_timestamp,
537 };