cmdutils: allow matching by metadata in stream specifiers
[ffmpeg.git] / libavformat / gxf.c
1 /*
2  * GXF demuxer.
3  * Copyright (c) 2006 Reimar Doeffinger
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include <inttypes.h>
23
24 #include "libavutil/channel_layout.h"
25 #include "libavutil/common.h"
26 #include "avformat.h"
27 #include "internal.h"
28 #include "gxf.h"
29 #include "libavcodec/mpeg12data.h"
30
31 struct gxf_stream_info {
32     int64_t first_field;
33     int64_t last_field;
34     AVRational frames_per_second;
35     int32_t fields_per_frame;
36 };
37
38 /**
39  * @brief parses a packet header, extracting type and length
40  * @param pb AVIOContext to read header from
41  * @param type detected packet type is stored here
42  * @param length detected packet length, excluding header is stored here
43  * @return 0 if header not found or contains invalid data, 1 otherwise
44  */
45 static int parse_packet_header(AVIOContext *pb, GXFPktType *type, int *length) {
46     if (avio_rb32(pb))
47         return 0;
48     if (avio_r8(pb) != 1)
49         return 0;
50     *type = avio_r8(pb);
51     *length = avio_rb32(pb);
52     if ((*length >> 24) || *length < 16)
53         return 0;
54     *length -= 16;
55     if (avio_rb32(pb))
56         return 0;
57     if (avio_r8(pb) != 0xe1)
58         return 0;
59     if (avio_r8(pb) != 0xe2)
60         return 0;
61     return 1;
62 }
63
64 /**
65  * @brief check if file starts with a PKT_MAP header
66  */
67 static int gxf_probe(AVProbeData *p) {
68     static const uint8_t startcode[] = {0, 0, 0, 0, 1, 0xbc}; // start with map packet
69     static const uint8_t endcode[] = {0, 0, 0, 0, 0xe1, 0xe2};
70     if (!memcmp(p->buf, startcode, sizeof(startcode)) &&
71         !memcmp(&p->buf[16 - sizeof(endcode)], endcode, sizeof(endcode)))
72         return AVPROBE_SCORE_MAX;
73     return 0;
74 }
75
76 /**
77  * @brief gets the stream index for the track with the specified id, creates new
78  *        stream if not found
79  * @param id     id of stream to find / add
80  * @param format stream format identifier
81  */
82 static int get_sindex(AVFormatContext *s, int id, int format) {
83     int i;
84     AVStream *st = NULL;
85     i = ff_find_stream_index(s, id);
86     if (i >= 0)
87         return i;
88     st = avformat_new_stream(s, NULL);
89     if (!st)
90         return AVERROR(ENOMEM);
91     st->id = id;
92     switch (format) {
93         case 3:
94         case 4:
95             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
96             st->codec->codec_id = AV_CODEC_ID_MJPEG;
97             break;
98         case 13:
99         case 15:
100             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
101             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
102             break;
103         case 14:
104         case 16:
105             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
106             st->codec->codec_id = AV_CODEC_ID_DVVIDEO;
107             break;
108         case 11:
109         case 12:
110         case 20:
111             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
112             st->codec->codec_id = AV_CODEC_ID_MPEG2VIDEO;
113             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
114             break;
115         case 22:
116         case 23:
117             st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
118             st->codec->codec_id = AV_CODEC_ID_MPEG1VIDEO;
119             st->need_parsing = AVSTREAM_PARSE_HEADERS; //get keyframe flag etc.
120             break;
121         case 9:
122             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
123             st->codec->codec_id = AV_CODEC_ID_PCM_S24LE;
124             st->codec->channels = 1;
125             st->codec->channel_layout = AV_CH_LAYOUT_MONO;
126             st->codec->sample_rate = 48000;
127             st->codec->bit_rate = 3 * 1 * 48000 * 8;
128             st->codec->block_align = 3 * 1;
129             st->codec->bits_per_coded_sample = 24;
130             break;
131         case 10:
132             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
133             st->codec->codec_id = AV_CODEC_ID_PCM_S16LE;
134             st->codec->channels = 1;
135             st->codec->channel_layout = AV_CH_LAYOUT_MONO;
136             st->codec->sample_rate = 48000;
137             st->codec->bit_rate = 2 * 1 * 48000 * 8;
138             st->codec->block_align = 2 * 1;
139             st->codec->bits_per_coded_sample = 16;
140             break;
141         case 17:
142             st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
143             st->codec->codec_id = AV_CODEC_ID_AC3;
144             st->codec->channels = 2;
145             st->codec->channel_layout = AV_CH_LAYOUT_STEREO;
146             st->codec->sample_rate = 48000;
147             break;
148         // timecode tracks:
149         case 7:
150         case 8:
151         case 24:
152             st->codec->codec_type = AVMEDIA_TYPE_DATA;
153             st->codec->codec_id = AV_CODEC_ID_NONE;
154             break;
155         default:
156             st->codec->codec_type = AVMEDIA_TYPE_UNKNOWN;
157             st->codec->codec_id = AV_CODEC_ID_NONE;
158             break;
159     }
160     return s->nb_streams - 1;
161 }
162
163 /**
164  * @brief filters out interesting tags from material information.
165  * @param len length of tag section, will be adjusted to contain remaining bytes
166  * @param si struct to store collected information into
167  */
168 static void gxf_material_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
169     si->first_field = AV_NOPTS_VALUE;
170     si->last_field = AV_NOPTS_VALUE;
171     while (*len >= 2) {
172         GXFMatTag tag = avio_r8(pb);
173         int tlen = avio_r8(pb);
174         *len -= 2;
175         if (tlen > *len)
176             return;
177         *len -= tlen;
178         if (tlen == 4) {
179             uint32_t value = avio_rb32(pb);
180             if (tag == MAT_FIRST_FIELD)
181                 si->first_field = value;
182             else if (tag == MAT_LAST_FIELD)
183                 si->last_field = value;
184         } else
185             avio_skip(pb, tlen);
186     }
187 }
188
189 static const AVRational frame_rate_tab[] = {
190     {   60,    1},
191     {60000, 1001},
192     {   50,    1},
193     {   30,    1},
194     {30000, 1001},
195     {   25,    1},
196     {   24,    1},
197     {24000, 1001},
198     {    0,    0},
199 };
200
201 /**
202  * @brief convert fps tag value to AVRational fps
203  * @param fps fps value from tag
204  * @return fps as AVRational, or 0 / 0 if unknown
205  */
206 static AVRational fps_tag2avr(int32_t fps) {
207     if (fps < 1 || fps > 9) fps = 9;
208     return frame_rate_tab[fps - 1];
209 }
210
211 /**
212  * @brief convert UMF attributes flags to AVRational fps
213  * @param flags UMF flags to convert
214  * @return fps as AVRational, or 0 / 0 if unknown
215  */
216 static AVRational fps_umf2avr(uint32_t flags) {
217     static const AVRational map[] = {{50, 1}, {60000, 1001}, {24, 1},
218         {25, 1}, {30000, 1001}};
219     int idx =  av_log2((flags & 0x7c0) >> 6);
220     return map[idx];
221 }
222
223 /**
224  * @brief filters out interesting tags from track information.
225  * @param len length of tag section, will be adjusted to contain remaining bytes
226  * @param si struct to store collected information into
227  */
228 static void gxf_track_tags(AVIOContext *pb, int *len, struct gxf_stream_info *si) {
229     si->frames_per_second = (AVRational){0, 0};
230     si->fields_per_frame = 0;
231     while (*len >= 2) {
232         GXFTrackTag tag = avio_r8(pb);
233         int tlen = avio_r8(pb);
234         *len -= 2;
235         if (tlen > *len)
236             return;
237         *len -= tlen;
238         if (tlen == 4) {
239             uint32_t value = avio_rb32(pb);
240             if (tag == TRACK_FPS)
241                 si->frames_per_second = fps_tag2avr(value);
242             else if (tag == TRACK_FPF && (value == 1 || value == 2))
243                 si->fields_per_frame = value;
244         } else
245             avio_skip(pb, tlen);
246     }
247 }
248
249 /**
250  * @brief read index from FLT packet into stream 0 av_index
251  */
252 static void gxf_read_index(AVFormatContext *s, int pkt_len) {
253     AVIOContext *pb = s->pb;
254     AVStream *st = s->streams[0];
255     uint32_t fields_per_map = avio_rl32(pb);
256     uint32_t map_cnt = avio_rl32(pb);
257     int i;
258     pkt_len -= 8;
259     if (s->flags & AVFMT_FLAG_IGNIDX) {
260         avio_skip(pb, pkt_len);
261         return;
262     }
263     if (map_cnt > 1000) {
264         av_log(s, AV_LOG_ERROR,
265                "too many index entries %"PRIu32" (%"PRIx32")\n",
266                map_cnt, map_cnt);
267         map_cnt = 1000;
268     }
269     if (pkt_len < 4 * map_cnt) {
270         av_log(s, AV_LOG_ERROR, "invalid index length\n");
271         avio_skip(pb, pkt_len);
272         return;
273     }
274     pkt_len -= 4 * map_cnt;
275     av_add_index_entry(st, 0, 0, 0, 0, 0);
276     for (i = 0; i < map_cnt; i++)
277         av_add_index_entry(st, (uint64_t)avio_rl32(pb) * 1024,
278                            i * (uint64_t)fields_per_map + 1, 0, 0, 0);
279     avio_skip(pb, pkt_len);
280 }
281
282 static int gxf_header(AVFormatContext *s) {
283     AVIOContext *pb = s->pb;
284     GXFPktType pkt_type;
285     int map_len;
286     int len;
287     AVRational main_timebase = {0, 0};
288     struct gxf_stream_info *si = s->priv_data;
289     int i;
290     if (!parse_packet_header(pb, &pkt_type, &map_len) || pkt_type != PKT_MAP) {
291         av_log(s, AV_LOG_ERROR, "map packet not found\n");
292         return 0;
293     }
294     map_len -= 2;
295     if (avio_r8(pb) != 0x0e0 || avio_r8(pb) != 0xff) {
296         av_log(s, AV_LOG_ERROR, "unknown version or invalid map preamble\n");
297         return 0;
298     }
299     map_len -= 2;
300     len = avio_rb16(pb); // length of material data section
301     if (len > map_len) {
302         av_log(s, AV_LOG_ERROR, "material data longer than map data\n");
303         return 0;
304     }
305     map_len -= len;
306     gxf_material_tags(pb, &len, si);
307     avio_skip(pb, len);
308     map_len -= 2;
309     len = avio_rb16(pb); // length of track description
310     if (len > map_len) {
311         av_log(s, AV_LOG_ERROR, "track description longer than map data\n");
312         return 0;
313     }
314     map_len -= len;
315     while (len > 0) {
316         int track_type, track_id, track_len;
317         AVStream *st;
318         int idx;
319         len -= 4;
320         track_type = avio_r8(pb);
321         track_id = avio_r8(pb);
322         track_len = avio_rb16(pb);
323         len -= track_len;
324         gxf_track_tags(pb, &track_len, si);
325         avio_skip(pb, track_len);
326         if (!(track_type & 0x80)) {
327            av_log(s, AV_LOG_ERROR, "invalid track type %x\n", track_type);
328            continue;
329         }
330         track_type &= 0x7f;
331         if ((track_id & 0xc0) != 0xc0) {
332            av_log(s, AV_LOG_ERROR, "invalid track id %x\n", track_id);
333            continue;
334         }
335         track_id &= 0x3f;
336         idx = get_sindex(s, track_id, track_type);
337         if (idx < 0) continue;
338         st = s->streams[idx];
339         if (!main_timebase.num || !main_timebase.den) {
340             main_timebase.num = si->frames_per_second.den;
341             main_timebase.den = si->frames_per_second.num * 2;
342         }
343         st->start_time = si->first_field;
344         if (si->first_field != AV_NOPTS_VALUE && si->last_field != AV_NOPTS_VALUE)
345             st->duration = si->last_field - si->first_field;
346     }
347     if (len < 0)
348         av_log(s, AV_LOG_ERROR, "invalid track description length specified\n");
349     if (map_len)
350         avio_skip(pb, map_len);
351     if (!parse_packet_header(pb, &pkt_type, &len)) {
352         av_log(s, AV_LOG_ERROR, "sync lost in header\n");
353         return -1;
354     }
355     if (pkt_type == PKT_FLT) {
356         gxf_read_index(s, len);
357         if (!parse_packet_header(pb, &pkt_type, &len)) {
358             av_log(s, AV_LOG_ERROR, "sync lost in header\n");
359             return -1;
360         }
361     }
362     if (pkt_type == PKT_UMF) {
363         if (len >= 0x39) {
364             AVRational fps;
365             len -= 0x39;
366             avio_skip(pb, 5); // preamble
367             avio_skip(pb, 0x30); // payload description
368             fps = fps_umf2avr(avio_rl32(pb));
369             if (!main_timebase.num || !main_timebase.den) {
370                 // this may not always be correct, but simply the best we can get
371                 main_timebase.num = fps.den;
372                 main_timebase.den = fps.num * 2;
373             }
374         } else
375             av_log(s, AV_LOG_INFO, "UMF packet too short\n");
376     } else
377         av_log(s, AV_LOG_INFO, "UMF packet missing\n");
378     avio_skip(pb, len);
379     // set a fallback value, 60000/1001 is specified for audio-only files
380     // so use that regardless of why we do not know the video frame rate.
381     if (!main_timebase.num || !main_timebase.den)
382         main_timebase = (AVRational){1001, 60000};
383     for (i = 0; i < s->nb_streams; i++) {
384         AVStream *st = s->streams[i];
385         avpriv_set_pts_info(st, 32, main_timebase.num, main_timebase.den);
386     }
387     return 0;
388 }
389
390 #define READ_ONE() \
391     { \
392         if (!max_interval-- || pb->eof_reached) \
393             goto out; \
394         tmp = tmp << 8 | avio_r8(pb); \
395     }
396
397 /**
398  * @brief resync the stream on the next media packet with specified properties
399  * @param max_interval how many bytes to search for matching packet at most
400  * @param track track id the media packet must belong to, -1 for any
401  * @param timestamp minimum timestamp (== field number) the packet must have, -1 for any
402  * @return timestamp of packet found
403  */
404 static int64_t gxf_resync_media(AVFormatContext *s, uint64_t max_interval, int track, int timestamp) {
405     uint32_t tmp;
406     uint64_t last_pos;
407     uint64_t last_found_pos = 0;
408     int cur_track;
409     int64_t cur_timestamp = AV_NOPTS_VALUE;
410     int len;
411     AVIOContext *pb = s->pb;
412     GXFPktType type;
413     tmp = avio_rb32(pb);
414 start:
415     while (tmp)
416         READ_ONE();
417     READ_ONE();
418     if (tmp != 1)
419         goto start;
420     last_pos = avio_tell(pb);
421     if (avio_seek(pb, -5, SEEK_CUR) < 0)
422         goto out;
423     if (!parse_packet_header(pb, &type, &len) || type != PKT_MEDIA) {
424         if (avio_seek(pb, last_pos, SEEK_SET) < 0)
425             goto out;
426         goto start;
427     }
428     avio_r8(pb);
429     cur_track = avio_r8(pb);
430     cur_timestamp = avio_rb32(pb);
431     last_found_pos = avio_tell(pb) - 16 - 6;
432     if ((track >= 0 && track != cur_track) || (timestamp >= 0 && timestamp > cur_timestamp)) {
433         if (avio_seek(pb, last_pos, SEEK_SET) >= 0)
434             goto start;
435     }
436 out:
437     if (last_found_pos)
438         avio_seek(pb, last_found_pos, SEEK_SET);
439     return cur_timestamp;
440 }
441
442 static int gxf_packet(AVFormatContext *s, AVPacket *pkt) {
443     AVIOContext *pb = s->pb;
444     GXFPktType pkt_type;
445     int pkt_len;
446     struct gxf_stream_info *si = s->priv_data;
447
448     while (!pb->eof_reached) {
449         AVStream *st;
450         int track_type, track_id, ret;
451         int field_nr, field_info, skip = 0;
452         int stream_index;
453         if (!parse_packet_header(pb, &pkt_type, &pkt_len)) {
454             if (!pb->eof_reached)
455                 av_log(s, AV_LOG_ERROR, "sync lost\n");
456             return -1;
457         }
458         if (pkt_type == PKT_FLT) {
459             gxf_read_index(s, pkt_len);
460             continue;
461         }
462         if (pkt_type != PKT_MEDIA) {
463             avio_skip(pb, pkt_len);
464             continue;
465         }
466         if (pkt_len < 16) {
467             av_log(s, AV_LOG_ERROR, "invalid media packet length\n");
468             continue;
469         }
470         pkt_len -= 16;
471         track_type = avio_r8(pb);
472         track_id = avio_r8(pb);
473         stream_index = get_sindex(s, track_id, track_type);
474         if (stream_index < 0)
475             return stream_index;
476         st = s->streams[stream_index];
477         field_nr = avio_rb32(pb);
478         field_info = avio_rb32(pb);
479         avio_rb32(pb); // "timeline" field number
480         avio_r8(pb); // flags
481         avio_r8(pb); // reserved
482         if (st->codec->codec_id == AV_CODEC_ID_PCM_S24LE ||
483             st->codec->codec_id == AV_CODEC_ID_PCM_S16LE) {
484             int first = field_info >> 16;
485             int last  = field_info & 0xffff; // last is exclusive
486             int bps = av_get_bits_per_sample(st->codec->codec_id)>>3;
487             if (first <= last && last*bps <= pkt_len) {
488                 avio_skip(pb, first*bps);
489                 skip = pkt_len - last*bps;
490                 pkt_len = (last-first)*bps;
491             } else
492                 av_log(s, AV_LOG_ERROR, "invalid first and last sample values\n");
493         }
494         ret = av_get_packet(pb, pkt, pkt_len);
495         if (skip)
496             avio_skip(pb, skip);
497         pkt->stream_index = stream_index;
498         pkt->dts = field_nr;
499
500         //set duration manually for DV or else lavf misdetects the frame rate
501         if (st->codec->codec_id == AV_CODEC_ID_DVVIDEO)
502             pkt->duration = si->fields_per_frame;
503
504         return ret;
505     }
506     return AVERROR(EIO);
507 }
508
509 static int gxf_seek(AVFormatContext *s, int stream_index, int64_t timestamp, int flags) {
510     int res = 0;
511     uint64_t pos;
512     uint64_t maxlen = 100 * 1024 * 1024;
513     AVStream *st = s->streams[0];
514     int64_t start_time = s->streams[stream_index]->start_time;
515     int64_t found;
516     int idx;
517     if (timestamp < start_time) timestamp = start_time;
518     idx = av_index_search_timestamp(st, timestamp - start_time,
519                                     AVSEEK_FLAG_ANY | AVSEEK_FLAG_BACKWARD);
520     if (idx < 0)
521         return -1;
522     pos = st->index_entries[idx].pos;
523     if (idx < st->nb_index_entries - 2)
524         maxlen = st->index_entries[idx + 2].pos - pos;
525     maxlen = FFMAX(maxlen, 200 * 1024);
526     res = avio_seek(s->pb, pos, SEEK_SET);
527     if (res < 0)
528         return res;
529     found = gxf_resync_media(s, maxlen, -1, timestamp);
530     if (FFABS(found - timestamp) > 4)
531         return -1;
532     return 0;
533 }
534
535 static int64_t gxf_read_timestamp(AVFormatContext *s, int stream_index,
536                                   int64_t *pos, int64_t pos_limit) {
537     AVIOContext *pb = s->pb;
538     int64_t res;
539     if (avio_seek(pb, *pos, SEEK_SET) < 0)
540         return AV_NOPTS_VALUE;
541     res = gxf_resync_media(s, pos_limit - *pos, -1, -1);
542     *pos = avio_tell(pb);
543     return res;
544 }
545
546 AVInputFormat ff_gxf_demuxer = {
547     .name           = "gxf",
548     .long_name      = NULL_IF_CONFIG_SMALL("GXF (General eXchange Format)"),
549     .priv_data_size = sizeof(struct gxf_stream_info),
550     .read_probe     = gxf_probe,
551     .read_header    = gxf_header,
552     .read_packet    = gxf_packet,
553     .read_seek      = gxf_seek,
554     .read_timestamp = gxf_read_timestamp,
555 };