Merge remote-tracking branch 'qatar/master'
[ffmpeg.git] / libavformat / dv.c
1 /*
2  * General DV muxer/demuxer
3  * Copyright (c) 2003 Roman Shaposhnik
4  *
5  * Many thanks to Dan Dennedy <dan@dennedy.org> for providing wealth
6  * of DV technical info.
7  *
8  * Raw DV format
9  * Copyright (c) 2002 Fabrice Bellard
10  *
11  * 50 Mbps (DVCPRO50) and 100 Mbps (DVCPRO HD) support
12  * Copyright (c) 2006 Daniel Maas <dmaas@maasdigital.com>
13  * Funded by BBC Research & Development
14  *
15  * This file is part of FFmpeg.
16  *
17  * FFmpeg is free software; you can redistribute it and/or
18  * modify it under the terms of the GNU Lesser General Public
19  * License as published by the Free Software Foundation; either
20  * version 2.1 of the License, or (at your option) any later version.
21  *
22  * FFmpeg is distributed in the hope that it will be useful,
23  * but WITHOUT ANY WARRANTY; without even the implied warranty of
24  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
25  * Lesser General Public License for more details.
26  *
27  * You should have received a copy of the GNU Lesser General Public
28  * License along with FFmpeg; if not, write to the Free Software
29  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
30  */
31 #include <time.h>
32 #include "avformat.h"
33 #include "internal.h"
34 #include "libavcodec/dvdata.h"
35 #include "libavutil/intreadwrite.h"
36 #include "libavutil/mathematics.h"
37 #include "libavutil/timecode.h"
38 #include "dv.h"
39 #include "libavutil/avassert.h"
40
41 struct DVDemuxContext {
42     const DVprofile*  sys;    /* Current DV profile. E.g.: 525/60, 625/50 */
43     AVFormatContext*  fctx;
44     AVStream*         vst;
45     AVStream*         ast[4];
46     AVPacket          audio_pkt[4];
47     uint8_t           audio_buf[4][8192];
48     int               ach;
49     int               frames;
50     uint64_t          abytes;
51 };
52
53 static inline uint16_t dv_audio_12to16(uint16_t sample)
54 {
55     uint16_t shift, result;
56
57     sample = (sample < 0x800) ? sample : sample | 0xf000;
58     shift  = (sample & 0xf00) >> 8;
59
60     if (shift < 0x2 || shift > 0xd) {
61         result = sample;
62     } else if (shift < 0x8) {
63         shift--;
64         result = (sample - (256 * shift)) << shift;
65     } else {
66         shift = 0xe - shift;
67         result = ((sample + ((256 * shift) + 1)) << shift) - 1;
68     }
69
70     return result;
71 }
72
73 /*
74  * This is the dumbest implementation of all -- it simply looks at
75  * a fixed offset and if pack isn't there -- fails. We might want
76  * to have a fallback mechanism for complete search of missing packs.
77  */
78 static const uint8_t* dv_extract_pack(uint8_t* frame, enum dv_pack_type t)
79 {
80     int offs;
81
82     switch (t) {
83     case dv_audio_source:
84         offs = (80*6 + 80*16*3 + 3);
85         break;
86     case dv_audio_control:
87         offs = (80*6 + 80*16*4 + 3);
88         break;
89     case dv_video_control:
90         offs = (80*5 + 48 + 5);
91         break;
92     case dv_timecode:
93         offs = (80*1 + 3 + 3);
94         break;
95     default:
96         return NULL;
97     }
98
99     return frame[offs] == t ? &frame[offs] : NULL;
100 }
101
102 static const int dv_audio_frequency[3] = {
103     48000, 44100, 32000,
104 };
105
106 /*
107  * There's a couple of assumptions being made here:
108  * 1. By default we silence erroneous (0x8000/16bit 0x800/12bit) audio samples.
109  *    We can pass them upwards when libavcodec will be ready to deal with them.
110  * 2. We don't do software emphasis.
111  * 3. Audio is always returned as 16bit linear samples: 12bit nonlinear samples
112  *    are converted into 16bit linear ones.
113  */
114 static int dv_extract_audio(uint8_t* frame, uint8_t* ppcm[4],
115                             const DVprofile *sys)
116 {
117     int size, chan, i, j, d, of, smpls, freq, quant, half_ch;
118     uint16_t lc, rc;
119     const uint8_t* as_pack;
120     uint8_t *pcm, ipcm;
121
122     as_pack = dv_extract_pack(frame, dv_audio_source);
123     if (!as_pack)    /* No audio ? */
124         return 0;
125
126     smpls =  as_pack[1] & 0x3f;       /* samples in this frame - min. samples */
127     freq  = (as_pack[4] >> 3) & 0x07; /* 0 - 48kHz, 1 - 44,1kHz, 2 - 32kHz */
128     quant =  as_pack[4] & 0x07;       /* 0 - 16bit linear, 1 - 12bit nonlinear */
129
130     if (quant > 1)
131         return -1; /* unsupported quantization */
132
133     if (freq >= FF_ARRAY_ELEMS(dv_audio_frequency))
134         return AVERROR_INVALIDDATA;
135
136     size = (sys->audio_min_samples[freq] + smpls) * 4; /* 2ch, 2bytes */
137     half_ch = sys->difseg_size / 2;
138
139     /* We work with 720p frames split in half, thus even frames have
140      * channels 0,1 and odd 2,3. */
141     ipcm = (sys->height == 720 && !(frame[1] & 0x0C)) ? 2 : 0;
142
143     /* for each DIF channel */
144     for (chan = 0; chan < sys->n_difchan; chan++) {
145         av_assert0(ipcm<4);
146         pcm = ppcm[ipcm++];
147         if (!pcm)
148             break;
149
150         /* for each DIF segment */
151         for (i = 0; i < sys->difseg_size; i++) {
152             frame += 6 * 80; /* skip DIF segment header */
153             if (quant == 1 && i == half_ch) {
154                 /* next stereo channel (12bit mode only) */
155                 av_assert0(ipcm<4);
156                 pcm = ppcm[ipcm++];
157                 if (!pcm)
158                     break;
159             }
160
161             /* for each AV sequence */
162             for (j = 0; j < 9; j++) {
163                 for (d = 8; d < 80; d += 2) {
164                     if (quant == 0) {  /* 16bit quantization */
165                         of = sys->audio_shuffle[i][j] + (d - 8) / 2 * sys->audio_stride;
166                         if (of*2 >= size)
167                             continue;
168
169                         pcm[of*2]   = frame[d+1]; // FIXME: maybe we have to admit
170                         pcm[of*2+1] = frame[d];   //        that DV is a big-endian PCM
171                         if (pcm[of*2+1] == 0x80 && pcm[of*2] == 0x00)
172                             pcm[of*2+1] = 0;
173                     } else {           /* 12bit quantization */
174                         lc = ((uint16_t)frame[d]   << 4) |
175                              ((uint16_t)frame[d+2] >> 4);
176                         rc = ((uint16_t)frame[d+1] << 4) |
177                              ((uint16_t)frame[d+2] & 0x0f);
178                         lc = (lc == 0x800 ? 0 : dv_audio_12to16(lc));
179                         rc = (rc == 0x800 ? 0 : dv_audio_12to16(rc));
180
181                         of = sys->audio_shuffle[i%half_ch][j] + (d - 8) / 3 * sys->audio_stride;
182                         if (of*2 >= size)
183                             continue;
184
185                         pcm[of*2]   = lc & 0xff; // FIXME: maybe we have to admit
186                         pcm[of*2+1] = lc >> 8;   //        that DV is a big-endian PCM
187                         of = sys->audio_shuffle[i%half_ch+half_ch][j] +
188                             (d - 8) / 3 * sys->audio_stride;
189                         pcm[of*2]   = rc & 0xff; // FIXME: maybe we have to admit
190                         pcm[of*2+1] = rc >> 8;   //        that DV is a big-endian PCM
191                         ++d;
192                     }
193                 }
194
195                 frame += 16 * 80; /* 15 Video DIFs + 1 Audio DIF */
196             }
197         }
198     }
199
200     return size;
201 }
202
203 static int dv_extract_audio_info(DVDemuxContext* c, uint8_t* frame)
204 {
205     const uint8_t* as_pack;
206     int freq, stype, smpls, quant, i, ach;
207
208     as_pack = dv_extract_pack(frame, dv_audio_source);
209     if (!as_pack || !c->sys) {    /* No audio ? */
210         c->ach = 0;
211         return 0;
212     }
213
214     smpls =  as_pack[1] & 0x3f;       /* samples in this frame - min. samples */
215     freq  = (as_pack[4] >> 3) & 0x07; /* 0 - 48kHz, 1 - 44,1kHz, 2 - 32kHz */
216     stype = (as_pack[3] & 0x1f);      /* 0 - 2CH, 2 - 4CH, 3 - 8CH */
217     quant =  as_pack[4] & 0x07;       /* 0 - 16bit linear, 1 - 12bit nonlinear */
218
219     if (freq >= FF_ARRAY_ELEMS(dv_audio_frequency)) {
220         av_log(c->fctx, AV_LOG_ERROR,
221                "Unrecognized audio sample rate index (%d)\n", freq);
222         return 0;
223     }
224
225     if (stype > 3) {
226         av_log(c->fctx, AV_LOG_ERROR, "stype %d is invalid\n", stype);
227         c->ach = 0;
228         return 0;
229     }
230
231     /* note: ach counts PAIRS of channels (i.e. stereo channels) */
232     ach = ((int[4]){  1,  0,  2,  4})[stype];
233     if (ach == 1 && quant && freq == 2)
234         ach = 2;
235
236     /* Dynamic handling of the audio streams in DV */
237     for (i = 0; i < ach; i++) {
238        if (!c->ast[i]) {
239            c->ast[i] = avformat_new_stream(c->fctx, NULL);
240            if (!c->ast[i])
241                break;
242            avpriv_set_pts_info(c->ast[i], 64, 1, 30000);
243            c->ast[i]->codec->codec_type = AVMEDIA_TYPE_AUDIO;
244            c->ast[i]->codec->codec_id   = CODEC_ID_PCM_S16LE;
245
246            av_init_packet(&c->audio_pkt[i]);
247            c->audio_pkt[i].size         = 0;
248            c->audio_pkt[i].data         = c->audio_buf[i];
249            c->audio_pkt[i].stream_index = c->ast[i]->index;
250            c->audio_pkt[i].flags       |= AV_PKT_FLAG_KEY;
251        }
252        c->ast[i]->codec->sample_rate = dv_audio_frequency[freq];
253        c->ast[i]->codec->channels    = 2;
254        c->ast[i]->codec->bit_rate    = 2 * dv_audio_frequency[freq] * 16;
255        c->ast[i]->start_time         = 0;
256     }
257     c->ach = i;
258
259     return (c->sys->audio_min_samples[freq] + smpls) * 4; /* 2ch, 2bytes */;
260 }
261
262 static int dv_extract_video_info(DVDemuxContext *c, uint8_t* frame)
263 {
264     const uint8_t* vsc_pack;
265     AVCodecContext* avctx;
266     int apt, is16_9;
267     int size = 0;
268
269     if (c->sys) {
270         avctx = c->vst->codec;
271
272         avpriv_set_pts_info(c->vst, 64, c->sys->time_base.num,
273                         c->sys->time_base.den);
274         avctx->time_base= c->sys->time_base;
275         if (!avctx->width)
276             avcodec_set_dimensions(avctx, c->sys->width, c->sys->height);
277         avctx->pix_fmt = c->sys->pix_fmt;
278
279         /* finding out SAR is a little bit messy */
280         vsc_pack = dv_extract_pack(frame, dv_video_control);
281         apt      = frame[4] & 0x07;
282         is16_9   = (vsc_pack && ((vsc_pack[2] & 0x07) == 0x02 ||
283                                 (!apt && (vsc_pack[2] & 0x07) == 0x07)));
284         c->vst->sample_aspect_ratio = c->sys->sar[is16_9];
285         avctx->bit_rate = av_rescale_q(c->sys->frame_size, (AVRational){8,1},
286                                        c->sys->time_base);
287         size = c->sys->frame_size;
288     }
289     return size;
290 }
291
292 static int dv_extract_timecode(DVDemuxContext* c, uint8_t* frame, char *tc)
293 {
294     const uint8_t *tc_pack;
295
296     // For PAL systems, drop frame bit is replaced by an arbitrary
297     // bit so its value should not be considered. Drop frame timecode
298     // is only relevant for NTSC systems.
299     int prevent_df = c->sys->ltc_divisor == 25 || c->sys->ltc_divisor == 50;
300
301     tc_pack = dv_extract_pack(frame, dv_timecode);
302     if (!tc_pack)
303         return 0;
304     av_timecode_make_smpte_tc_string(tc, AV_RB32(tc_pack + 1), prevent_df);
305     return 1;
306 }
307
308 /*
309  * The following 3 functions constitute our interface to the world
310  */
311
312 DVDemuxContext* avpriv_dv_init_demux(AVFormatContext *s)
313 {
314     DVDemuxContext *c;
315
316     c = av_mallocz(sizeof(DVDemuxContext));
317     if (!c)
318         return NULL;
319
320     c->vst = avformat_new_stream(s, NULL);
321     if (!c->vst) {
322         av_free(c);
323         return NULL;
324     }
325
326     c->sys  = NULL;
327     c->fctx = s;
328     memset(c->ast, 0, sizeof(c->ast));
329     c->ach    = 0;
330     c->frames = 0;
331     c->abytes = 0;
332
333     c->vst->codec->codec_type = AVMEDIA_TYPE_VIDEO;
334     c->vst->codec->codec_id   = CODEC_ID_DVVIDEO;
335     c->vst->codec->bit_rate   = 25000000;
336     c->vst->start_time        = 0;
337
338     return c;
339 }
340
341 int avpriv_dv_get_packet(DVDemuxContext *c, AVPacket *pkt)
342 {
343     int size = -1;
344     int i;
345
346     for (i = 0; i < c->ach; i++) {
347        if (c->ast[i] && c->audio_pkt[i].size) {
348            *pkt = c->audio_pkt[i];
349            c->audio_pkt[i].size = 0;
350            size = pkt->size;
351            break;
352        }
353     }
354
355     return size;
356 }
357
358 int avpriv_dv_produce_packet(DVDemuxContext *c, AVPacket *pkt,
359                       uint8_t* buf, int buf_size, int64_t pos)
360 {
361     int size, i;
362     uint8_t *ppcm[4] = {0};
363
364     if (buf_size < DV_PROFILE_BYTES ||
365         !(c->sys = avpriv_dv_frame_profile(c->sys, buf, buf_size)) ||
366         buf_size < c->sys->frame_size) {
367           return -1;   /* Broken frame, or not enough data */
368     }
369
370     /* Queueing audio packet */
371     /* FIXME: in case of no audio/bad audio we have to do something */
372     size = dv_extract_audio_info(c, buf);
373     for (i = 0; i < c->ach; i++) {
374        c->audio_pkt[i].pos  = pos;
375        c->audio_pkt[i].size = size;
376        c->audio_pkt[i].pts  = c->abytes * 30000*8 / c->ast[i]->codec->bit_rate;
377        ppcm[i] = c->audio_buf[i];
378     }
379     if (c->ach)
380         dv_extract_audio(buf, ppcm, c->sys);
381
382     /* We work with 720p frames split in half, thus even frames have
383      * channels 0,1 and odd 2,3. */
384     if (c->sys->height == 720) {
385         if (buf[1] & 0x0C) {
386             c->audio_pkt[2].size = c->audio_pkt[3].size = 0;
387         } else {
388             c->audio_pkt[0].size = c->audio_pkt[1].size = 0;
389             c->abytes += size;
390         }
391     } else {
392         c->abytes += size;
393     }
394
395     /* Now it's time to return video packet */
396     size = dv_extract_video_info(c, buf);
397     av_init_packet(pkt);
398     pkt->data         = buf;
399     pkt->pos          = pos;
400     pkt->size         = size;
401     pkt->flags       |= AV_PKT_FLAG_KEY;
402     pkt->stream_index = c->vst->id;
403     pkt->pts          = c->frames;
404
405     c->frames++;
406
407     return size;
408 }
409
410 static int64_t dv_frame_offset(AVFormatContext *s, DVDemuxContext *c,
411                               int64_t timestamp, int flags)
412 {
413     // FIXME: sys may be wrong if last dv_read_packet() failed (buffer is junk)
414     const DVprofile* sys = avpriv_dv_codec_profile(c->vst->codec);
415     int64_t offset;
416     int64_t size = avio_size(s->pb) - s->data_offset;
417     int64_t max_offset = ((size-1) / sys->frame_size) * sys->frame_size;
418
419     offset = sys->frame_size * timestamp;
420
421     if (size >= 0 && offset > max_offset) offset = max_offset;
422     else if (offset < 0) offset = 0;
423
424     return offset + s->data_offset;
425 }
426
427 void ff_dv_offset_reset(DVDemuxContext *c, int64_t frame_offset)
428 {
429     c->frames= frame_offset;
430     if (c->ach)
431         c->abytes= av_rescale_q(c->frames, c->sys->time_base,
432                                 (AVRational){8, c->ast[0]->codec->bit_rate});
433     c->audio_pkt[0].size = c->audio_pkt[1].size = 0;
434     c->audio_pkt[2].size = c->audio_pkt[3].size = 0;
435 }
436
437 /************************************************************
438  * Implementation of the easiest DV storage of all -- raw DV.
439  ************************************************************/
440
441 typedef struct RawDVContext {
442     DVDemuxContext* dv_demux;
443     uint8_t         buf[DV_MAX_FRAME_SIZE];
444 } RawDVContext;
445
446 static int dv_read_timecode(AVFormatContext *s) {
447     int ret;
448     char timecode[AV_TIMECODE_STR_SIZE];
449     int64_t pos = avio_tell(s->pb);
450
451     // Read 3 DIF blocks: Header block and 2 Subcode blocks.
452     int partial_frame_size = 3 * 80;
453     uint8_t *partial_frame = av_mallocz(sizeof(*partial_frame) *
454                                         partial_frame_size);
455
456     RawDVContext *c = s->priv_data;
457     ret = avio_read(s->pb, partial_frame, partial_frame_size);
458     if (ret < 0)
459         goto finish;
460
461     if (ret < partial_frame_size) {
462         ret = -1;
463         goto finish;
464     }
465
466     ret = dv_extract_timecode(c->dv_demux, partial_frame, timecode);
467     if (ret)
468         av_dict_set(&s->metadata, "timecode", timecode, 0);
469     else if (ret < 0)
470         av_log(s, AV_LOG_ERROR, "Detected timecode is invalid");
471
472 finish:
473     av_free(partial_frame);
474     avio_seek(s->pb, pos, SEEK_SET);
475     return ret;
476 }
477
478 static int dv_read_header(AVFormatContext *s)
479 {
480     unsigned state, marker_pos = 0;
481     RawDVContext *c = s->priv_data;
482
483     c->dv_demux = avpriv_dv_init_demux(s);
484     if (!c->dv_demux)
485         return -1;
486
487     state = avio_rb32(s->pb);
488     while ((state & 0xffffff7f) != 0x1f07003f) {
489         if (url_feof(s->pb)) {
490             av_log(s, AV_LOG_ERROR, "Cannot find DV header.\n");
491             return -1;
492         }
493         if (state == 0x003f0700 || state == 0xff3f0700)
494             marker_pos = avio_tell(s->pb);
495         if (state == 0xff3f0701 && avio_tell(s->pb) - marker_pos == 80) {
496             avio_seek(s->pb, -163, SEEK_CUR);
497             state = avio_rb32(s->pb);
498             break;
499         }
500         state = (state << 8) | avio_r8(s->pb);
501     }
502     AV_WB32(c->buf, state);
503
504     if (avio_read(s->pb, c->buf + 4, DV_PROFILE_BYTES - 4) <= 0 ||
505         avio_seek(s->pb, -DV_PROFILE_BYTES, SEEK_CUR) < 0)
506         return AVERROR(EIO);
507
508     c->dv_demux->sys = avpriv_dv_frame_profile(c->dv_demux->sys, c->buf, DV_PROFILE_BYTES);
509     if (!c->dv_demux->sys) {
510         av_log(s, AV_LOG_ERROR, "Can't determine profile of DV input stream.\n");
511         return -1;
512     }
513
514     s->bit_rate = av_rescale_q(c->dv_demux->sys->frame_size, (AVRational){8,1},
515                                c->dv_demux->sys->time_base);
516
517     if (s->pb->seekable)
518         dv_read_timecode(s);
519
520     return 0;
521 }
522
523
524 static int dv_read_packet(AVFormatContext *s, AVPacket *pkt)
525 {
526     int size;
527     RawDVContext *c = s->priv_data;
528
529     size = avpriv_dv_get_packet(c->dv_demux, pkt);
530
531     if (size < 0) {
532         int64_t pos = avio_tell(s->pb);
533         if (!c->dv_demux->sys)
534             return AVERROR(EIO);
535         size = c->dv_demux->sys->frame_size;
536         if (avio_read(s->pb, c->buf, size) <= 0)
537             return AVERROR(EIO);
538
539         size = avpriv_dv_produce_packet(c->dv_demux, pkt, c->buf, size, pos);
540     }
541
542     return size;
543 }
544
545 static int dv_read_seek(AVFormatContext *s, int stream_index,
546                        int64_t timestamp, int flags)
547 {
548     RawDVContext *r   = s->priv_data;
549     DVDemuxContext *c = r->dv_demux;
550     int64_t offset    = dv_frame_offset(s, c, timestamp, flags);
551
552     if (avio_seek(s->pb, offset, SEEK_SET) < 0)
553         return -1;
554
555     ff_dv_offset_reset(c, offset / c->sys->frame_size);
556     return 0;
557 }
558
559 static int dv_read_close(AVFormatContext *s)
560 {
561     RawDVContext *c = s->priv_data;
562     av_free(c->dv_demux);
563     return 0;
564 }
565
566 static int dv_probe(AVProbeData *p)
567 {
568     unsigned state, marker_pos = 0;
569     int i;
570     int matches = 0;
571     int secondary_matches = 0;
572
573     if (p->buf_size < 5)
574         return 0;
575
576     state = AV_RB32(p->buf);
577     for (i = 4; i < p->buf_size; i++) {
578         if ((state & 0xffffff7f) == 0x1f07003f)
579             matches++;
580         // any section header, also with seq/chan num != 0,
581         // should appear around every 12000 bytes, at least 10 per frame
582         if ((state & 0xff07ff7f) == 0x1f07003f)
583             secondary_matches++;
584         if (state == 0x003f0700 || state == 0xff3f0700)
585             marker_pos = i;
586         if (state == 0xff3f0701 && i - marker_pos == 80)
587             matches++;
588         state = (state << 8) | p->buf[i];
589     }
590
591     if (matches && p->buf_size / matches < 1024*1024) {
592         if (matches > 4 || (secondary_matches >= 10 && p->buf_size / secondary_matches < 24000))
593             return AVPROBE_SCORE_MAX*3/4; // not max to avoid dv in mov to match
594         return AVPROBE_SCORE_MAX/4;
595     }
596     return 0;
597 }
598
599 #if CONFIG_DV_DEMUXER
600 AVInputFormat ff_dv_demuxer = {
601     .name           = "dv",
602     .long_name      = NULL_IF_CONFIG_SMALL("DV video format"),
603     .priv_data_size = sizeof(RawDVContext),
604     .read_probe     = dv_probe,
605     .read_header    = dv_read_header,
606     .read_packet    = dv_read_packet,
607     .read_close     = dv_read_close,
608     .read_seek      = dv_read_seek,
609     .extensions = "dv,dif",
610 };
611 #endif