Added GXF format code to identify AVC Intra video streams. This was an extension...
[ffmpeg.git] / libavformat / gxf.c
1 /*
2  * GXF demuxer.
3  * Copyright (c) 2006 Reimar Doeffinger
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/channel_layout.h"
23 #include "libavutil/common.h"
24 #include "avformat.h"
25 #include "internal.h"
26 #include "gxf.h"
27 #include "libavcodec/mpeg12data.h"
28
29 struct gxf_stream_info {
30     int64_t first_field;
31     int64_t last_field;
32     AVRational frames_per_second;
33     int32_t fields_per_frame;
34     int64_t track_aux_data;
35 };
36
37 /**
38  * @brief parse gxf timecode and add it to metadata
39  */
40 static int add_timecode_metadata(AVDictionary **pm, const char *key, uint32_t timecode, int fields_per_frame)
41 {
42    char tmp[128];
43    int field  = timecode & 0xff;
44    int frame  = fields_per_frame ? field / fields_per_frame : field;
45    int second = (timecode >>  8) & 0xff;
46    int minute = (timecode >> 16) & 0xff;
47    int hour   = (timecode >> 24) & 0x1f;
48    int drop   = (timecode >> 29) & 1;
49    // bit 30: color_frame, unused
50    // ignore invalid time code
51    if (timecode >> 31)
52        return 0;
53    snprintf(tmp, sizeof(tmp), "%02d:%02d:%02d%c%02d",
54        hour, minute, second, drop ? ';' : ':', frame);
55    return av_dict_set(pm, key, tmp, 0);
56 }
57
58 /**
59  * @brief parses a packet header, extracting type and length
60  * @param pb AVIOContext to read header from
61  * @param type detected packet type is stored here
62  * @param length detected packet length, excluding header is stored here
63  * @return 0 if header not found or contains invalid data, 1 otherwise
64  */
65 static int parse_packet_header(AVIOContext *pb, GXFPktType *type, int *length) {
66     if (avio_rb32(pb))
67         return 0;
68     if (avio_r8(pb) != 1)
69         return 0;
70     *type = avio_r8(pb);
71     *length = avio_rb32(pb);
72     if ((*length >> 24) || *length < 16)
73         return 0;
74     *length -= 16;
75     if (avio_rb32(pb))
76         return 0;
77     if (avio_r8(pb) != 0xe1)
78         return 0;
79     if (avio_r8(pb) != 0xe2)
80         return 0;
81     return 1;
82 }
83
84 /**
85  * @brief check if file starts with a PKT_MAP header
86  */
87 static int gxf_probe(AVProbeData *p) {
88     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
89     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
90     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
91         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
92         return AVPROBE_SCORE_MAX;
93     return 0;
94 }
95
96 /**
97  * @brief gets the stream index for the track with the specified id, creates new
98  *        stream if not found
99  * @param id     id of stream to find / add
100  * @param format stream format identifier
101  */
102 static int get_sindex(AVFormatContext *s, int id, int format) {
103     int i;
104     AVStream *st = NULL;
105     i = ff_find_stream_index(s, id);
106     if (i >= 0)
107         return i;
108     st = avformat_new_stream(s, NULL);
109     if (!st)
110         return AVERROR(ENOMEM);
111     st->id = id;
112     switch (format) {
113         case 3:
114         case 4:
115             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
116             st->codec->codec_id = AV_CODEC_ID_MJPEG;
117             break;
118         case 13:
119         case 14:
120         case 15:
121         case 16:
122         case 25:
123             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
124             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
125             break;
126         case 11:
127         case 12:
128         case 20:
129             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
130             st->codec->codec_id = AV_CODEC_ID_MPEG2VIDEO;
131             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
132             break;
133         case 22:
134         case 23:
135             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
136             st->codec->codec_id = AV_CODEC_ID_MPEG1VIDEO;
137             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
138             break;
139         case 9:
140             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
141             st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
142             st->codec->channels = 1;
143             st->codec->channel_layout = AV_CH_LAYOUT_MONO;
144             st->codec->sample_rate = 48000;
145             st->codec->bit_rate = 3 * 1 * 48000 * 8;
146             st->codec->block_align = 3 * 1;
147             st->codec->bits_per_coded_sample = 24;
148             break;
149         case 10:
150             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
151             st->codec->codec_id = AV_CODEC_ID_PCM_S16LE;
152             st->codec->channels = 1;
153             st->codec->channel_layout = AV_CH_LAYOUT_MONO;
154             st->codec->sample_rate = 48000;
155             st->codec->bit_rate = 2 * 1 * 48000 * 8;
156             st->codec->block_align = 2 * 1;
157             st->codec->bits_per_coded_sample = 16;
158             break;
159         case 17:
160             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
161             st->codec->codec_id = AV_CODEC_ID_AC3;
162             st->codec->channels = 2;
163             st->codec->channel_layout = AV_CH_LAYOUT_STEREO;
164             st->codec->sample_rate = 48000;
165             break;
166         case 26: /* AVCi50 / AVCi100 (AVC Intra) */
167             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
168             st->codec->codec_id = CODEC_ID_H264;
169             st->need_parsing = AVSTREAM_PARSE_HEADERS;
170             break;
171         // timecode tracks:
172         case 7:
173         case 8:
174         case 24:
175             st->codec->codec_type = AVMEDIA_TYPE_DATA;
176             st->codec->codec_id = AV_CODEC_ID_NONE;
177             break;
178         default:
179             st->codec->codec_type = AVMEDIA_TYPE_UNKNOWN;
180             st->codec->codec_id = AV_CODEC_ID_NONE;
181             break;
182     }
183     return s->nb_streams - 1;
184 }
185
186 /**
187  * @brief filters out interesting tags from material information.
188  * @param len length of tag section, will be adjusted to contain remaining bytes
189  * @param si struct to store collected information into
190  */
191 static void gxf_material_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
192     si->first_field = AV_NOPTS_VALUE;
193     si->last_field = AV_NOPTS_VALUE;
194     while (*len >= 2) {
195         GXFMatTag tag = avio_r8(pb);
196         int tlen = avio_r8(pb);
197         *len -= 2;
198         if (tlen > *len)
199             return;
200         *len -= tlen;
201         if (tlen == 4) {
202             uint32_t value = avio_rb32(pb);
203             if (tag == MAT_FIRST_FIELD)
204                 si->first_field = value;
205             else if (tag == MAT_LAST_FIELD)
206                 si->last_field = value;
207         } else
208             avio_skip(pb, tlen);
209     }
210 }
211
212 static const AVRational frame_rate_tab[] = {
213     {   60,    1},
214     {60000, 1001},
215     {   50,    1},
216     {   30,    1},
217     {30000, 1001},
218     {   25,    1},
219     {   24,    1},
220     {24000, 1001},
221     {    0,    0},
222 };
223
224 /**
225  * @brief convert fps tag value to AVRational fps
226  * @param fps fps value from tag
227  * @return fps as AVRational, or 0 / 0 if unknown
228  */
229 static AVRational fps_tag2avr(int32_t fps) {
230     if (fps < 1 || fps > 9) fps = 9;
231     return frame_rate_tab[fps - 1];
232 }
233
234 /**
235  * @brief convert UMF attributes flags to AVRational fps
236  * @param flags UMF flags to convert
237  * @return fps as AVRational, or 0 / 0 if unknown
238  */
239 static AVRational fps_umf2avr(uint32_t flags) {
240     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
241         {25, 1}, {30000, 1001}};
242     int idx =  av_log2((flags & 0x7c0) >> 6);
243     return map[idx];
244 }
245
246 /**
247  * @brief filters out interesting tags from track information.
248  * @param len length of tag section, will be adjusted to contain remaining bytes
249  * @param si struct to store collected information into
250  */
251 static void gxf_track_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
252     si->frames_per_second = (AVRational){0, 0};
253     si->fields_per_frame = 0;
254     si->track_aux_data = 0x80000000;
255     while (*len >= 2) {
256         GXFTrackTag tag = avio_r8(pb);
257         int tlen = avio_r8(pb);
258         *len -= 2;
259         if (tlen > *len)
260             return;
261         *len -= tlen;
262         if (tlen == 4) {
263             uint32_t value = avio_rb32(pb);
264             if (tag == TRACK_FPS)
265                 si->frames_per_second = fps_tag2avr(value);
266             else if (tag == TRACK_FPF && (value == 1 || value == 2))
267                 si->fields_per_frame = value;
268         } else if (tlen == 8 && tag == TRACK_AUX)
269             si->track_aux_data = avio_rl64(pb);
270         else
271             avio_skip(pb, tlen);
272     }
273 }
274
275 /**
276  * @brief read index from FLT packet into stream 0 av_index
277  */
278 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
279     AVIOContext *pb = s->pb;
280     AVStream *st;
281     uint32_t fields_per_map = avio_rl32(pb);
282     uint32_t map_cnt = avio_rl32(pb);
283     int i;
284     pkt_len -= 8;
285     if ((s->flags & AVFMT_FLAG_IGNIDX) || !s->streams) {
286         avio_skip(pb, pkt_len);
287         return;
288     }
289     st = s->streams[0];
290     if (map_cnt > 1000) {
291         av_log(s, AV_LOG_ERROR, "too many index entries %u (%x)\n", map_cnt, map_cnt);
292         map_cnt = 1000;
293     }
294     if (pkt_len < 4 * map_cnt) {
295         av_log(s, AV_LOG_ERROR, "invalid index length\n");
296         avio_skip(pb, pkt_len);
297         return;
298     }
299     pkt_len -= 4 * map_cnt;
300     av_add_index_entry(st, 0, 0, 0, 0, 0);
301     for (i = 0; i < map_cnt; i++)
302         av_add_index_entry(st, (uint64_t)avio_rl32(pb) * 1024,
303                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
304     avio_skip(pb, pkt_len);
305 }
306
307 static int gxf_header(AVFormatContext *s) {
308     AVIOContext *pb = s->pb;
309     GXFPktType pkt_type;
310     int map_len;
311     int len;
312     AVRational main_timebase = {0, 0};
313     struct gxf_stream_info *si = s->priv_data;
314     int i;
315     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
316         av_log(s, AV_LOG_ERROR, "map packet not found\n");
317         return 0;
318     }
319     map_len -= 2;
320     if (avio_r8(pb) != 0x0e0 || avio_r8(pb) != 0xff) {
321         av_log(s, AV_LOG_ERROR, "unknown version or invalid map preamble\n");
322         return 0;
323     }
324     map_len -= 2;
325     len = avio_rb16(pb); // length of material data section
326     if (len > map_len) {
327         av_log(s, AV_LOG_ERROR, "material data longer than map data\n");
328         return 0;
329     }
330     map_len -= len;
331     gxf_material_tags(pb, &len, si);
332     avio_skip(pb, len);
333     map_len -= 2;
334     len = avio_rb16(pb); // length of track description
335     if (len > map_len) {
336         av_log(s, AV_LOG_ERROR, "track description longer than map data\n");
337         return 0;
338     }
339     map_len -= len;
340     while (len > 0) {
341         int track_type, track_id, track_len;
342         AVStream *st;
343         int idx;
344         len -= 4;
345         track_type = avio_r8(pb);
346         track_id = avio_r8(pb);
347         track_len = avio_rb16(pb);
348         len -= track_len;
349         if (!(track_type & 0x80)) {
350            av_log(s, AV_LOG_ERROR, "invalid track type %x\n", track_type);
351            continue;
352         }
353         track_type &= 0x7f;
354         if ((track_id & 0xc0) != 0xc0) {
355            av_log(s, AV_LOG_ERROR, "invalid track id %x\n", track_id);
356            continue;
357         }
358         track_id &= 0x3f;
359         gxf_track_tags(pb, &track_len, si);
360         // check for timecode tracks
361         if (track_type == 7 || track_type == 8 || track_type == 24) {
362             add_timecode_metadata(&s->metadata, "timecode",
363                                   si->track_aux_data & 0xffffffff,
364                                   si->fields_per_frame);
365
366         }
367         avio_skip(pb, track_len);
368
369         idx = get_sindex(s, track_id, track_type);
370         if (idx < 0) continue;
371         st = s->streams[idx];
372         if (!main_timebase.num || !main_timebase.den) {
373             main_timebase.num = si->frames_per_second.den;
374             main_timebase.den = si->frames_per_second.num * 2;
375         }
376         st->start_time = si->first_field;
377         if (si->first_field != AV_NOPTS_VALUE && si->last_field != AV_NOPTS_VALUE)
378             st->duration = si->last_field - si->first_field;
379     }
380     if (len < 0)
381         av_log(s, AV_LOG_ERROR, "invalid track description length specified\n");
382     if (map_len)
383         avio_skip(pb, map_len);
384     if (!parse_packet_header(pb, &pkt_type, &len)) {
385         av_log(s, AV_LOG_ERROR, "sync lost in header\n");
386         return -1;
387     }
388     if (pkt_type == PKT_FLT) {
389         gxf_read_index(s, len);
390         if (!parse_packet_header(pb, &pkt_type, &len)) {
391             av_log(s, AV_LOG_ERROR, "sync lost in header\n");
392             return -1;
393         }
394     }
395     if (pkt_type == PKT_UMF) {
396         if (len >= 0x39) {
397             AVRational fps;
398             len -= 0x39;
399             avio_skip(pb, 5); // preamble
400             avio_skip(pb, 0x30); // payload description
401             fps = fps_umf2avr(avio_rl32(pb));
402             if (!main_timebase.num || !main_timebase.den) {
403                 av_log(s, AV_LOG_WARNING, "No FPS track tag, using UMF fps tag."
404                                           " This might give wrong results.\n");
405                 // this may not always be correct, but simply the best we can get
406                 main_timebase.num = fps.den;
407                 main_timebase.den = fps.num * 2;
408             }
409
410             if (len >= 0x18) {
411                 len -= 0x18;
412                 avio_skip(pb, 0x10);
413                 add_timecode_metadata(&s->metadata, "timecode_at_mark_in",
414                                       avio_rl32(pb), si->fields_per_frame);
415                 add_timecode_metadata(&s->metadata, "timecode_at_mark_out",
416                                       avio_rl32(pb), si->fields_per_frame);
417             }
418         } else
419             av_log(s, AV_LOG_INFO, "UMF packet too short\n");
420     } else
421         av_log(s, AV_LOG_INFO, "UMF packet missing\n");
422     avio_skip(pb, len);
423     // set a fallback value, 60000/1001 is specified for audio-only files
424     // so use that regardless of why we do not know the video frame rate.
425     if (!main_timebase.num || !main_timebase.den)
426         main_timebase = (AVRational){1001, 60000};
427     for (i = 0; i < s->nb_streams; i++) {
428         AVStream *st = s->streams[i];
429         avpriv_set_pts_info(st, 32, main_timebase.num, main_timebase.den);
430     }
431     return 0;
432 }
433
434 #define READ_ONE() \
435     { \
436         if (!max_interval-- || url_feof(pb)) \
437             goto out; \
438         tmp = tmp << 8 | avio_r8(pb); \
439     }
440
441 /**
442  * @brief resync the stream on the next media packet with specified properties
443  * @param max_interval how many bytes to search for matching packet at most
444  * @param track track id the media packet must belong to, -1 for any
445  * @param timestamp minimum timestamp (== field number) the packet must have, -1 for any
446  * @return timestamp of packet found
447  */
448 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
449     uint32_t tmp;
450     uint64_t last_pos;
451     uint64_t last_found_pos = 0;
452     int cur_track;
453     int64_t cur_timestamp = AV_NOPTS_VALUE;
454     int len;
455     AVIOContext *pb = s->pb;
456     GXFPktType type;
457     tmp = avio_rb32(pb);
458 start:
459     while (tmp)
460         READ_ONE();
461     READ_ONE();
462     if (tmp != 1)
463         goto start;
464     last_pos = avio_tell(pb);
465     if (avio_seek(pb, -5, SEEK_CUR) < 0)
466         goto out;
467     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
468         if (avio_seek(pb, last_pos, SEEK_SET) < 0)
469             goto out;
470         goto start;
471     }
472     avio_r8(pb);
473     cur_track = avio_r8(pb);
474     cur_timestamp = avio_rb32(pb);
475     last_found_pos = avio_tell(pb) - 16 - 6;
476     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
477         if (avio_seek(pb, last_pos, SEEK_SET) >= 0)
478             goto start;
479     }
480 out:
481     if (last_found_pos)
482         avio_seek(pb, last_found_pos, SEEK_SET);
483     return cur_timestamp;
484 }
485
486 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
487     AVIOContext *pb = s->pb;
488     GXFPktType pkt_type;
489     int pkt_len;
490     struct gxf_stream_info *si = s->priv_data;
491
492     while (!pb->eof_reached) {
493         AVStream *st;
494         int track_type, track_id, ret;
495         int field_nr, field_info, skip = 0;
496         int stream_index;
497         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
498             if (!url_feof(pb))
499                 av_log(s, AV_LOG_ERROR, "sync lost\n");
500             return -1;
501         }
502         if (pkt_type == PKT_FLT) {
503             gxf_read_index(s, pkt_len);
504             continue;
505         }
506         if (pkt_type != PKT_MEDIA) {
507             avio_skip(pb, pkt_len);
508             continue;
509         }
510         if (pkt_len < 16) {
511             av_log(s, AV_LOG_ERROR, "invalid media packet length\n");
512             continue;
513         }
514         pkt_len -= 16;
515         track_type = avio_r8(pb);
516         track_id = avio_r8(pb);
517         stream_index = get_sindex(s, track_id, track_type);
518         if (stream_index < 0)
519             return stream_index;
520         st = s->streams[stream_index];
521         field_nr = avio_rb32(pb);
522         field_info = avio_rb32(pb);
523         avio_rb32(pb); // "timeline" field number
524         avio_r8(pb); // flags
525         avio_r8(pb); // reserved
526         if (st->codec->codec_id == AV_CODEC_ID_PCM_S24LE ||
527             st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
528             int first = field_info >> 16;
529             int last  = field_info & 0xffff; // last is exclusive
530             int bps = av_get_bits_per_sample(st->codec->codec_id)>>3;
531             if (first <= last && last*bps <= pkt_len) {
532                 avio_skip(pb, first*bps);
533                 skip = pkt_len - last*bps;
534                 pkt_len = (last-first)*bps;
535             } else
536                 av_log(s, AV_LOG_ERROR, "invalid first and last sample values\n");
537         }
538         ret = av_get_packet(pb, pkt, pkt_len);
539         if (skip)
540             avio_skip(pb, skip);
541         pkt->stream_index = stream_index;
542         pkt->dts = field_nr;
543
544         //set duration manually for DV or else lavf misdetects the frame rate
545         if (st->codec->codec_id == AV_CODEC_ID_DVVIDEO)
546             pkt->duration = si->fields_per_frame;
547
548         return ret;
549     }
550     return AVERROR_EOF;
551 }
552
553 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
554     int res = 0;
555     uint64_t pos;
556     uint64_t maxlen = 100 * 1024 * 1024;
557     AVStream *st = s->streams[0];
558     int64_t start_time = s->streams[stream_index]->start_time;
559     int64_t found;
560     int idx;
561     if (timestamp < start_time) timestamp = start_time;
562     idx = av_index_search_timestamp(st, timestamp - start_time,
563                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
564     if (idx < 0)
565         return -1;
566     pos = st->index_entries[idx].pos;
567     if (idx < st->nb_index_entries - 2)
568         maxlen = st->index_entries[idx + 2].pos - pos;
569     maxlen = FFMAX(maxlen, 200 * 1024);
570     res = avio_seek(s->pb, pos, SEEK_SET);
571     if (res < 0)
572         return res;
573     found = gxf_resync_media(s, maxlen, -1, timestamp);
574     if (FFABS(found - timestamp) > 4)
575         return -1;
576     return 0;
577 }
578
579 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
580                                   int64_t *pos, int64_t pos_limit) {
581     AVIOContext *pb = s->pb;
582     int64_t res;
583     if (avio_seek(pb, *pos, SEEK_SET) < 0)
584         return AV_NOPTS_VALUE;
585     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
586     *pos = avio_tell(pb);
587     return res;
588 }
589
590 AVInputFormat ff_gxf_demuxer = {
591     .name           = "gxf",
592     .long_name      = NULL_IF_CONFIG_SMALL("GXF (General eXchange Format)"),
593     .priv_data_size = sizeof(struct gxf_stream_info),
594     .read_probe     = gxf_probe,
595     .read_header    = gxf_header,
596     .read_packet    = gxf_packet,
597     .read_seek      = gxf_seek,
598     .read_timestamp = gxf_read_timestamp,
599 };