0e55a312b91086b8c02a8f9a61b9a70384046210
[ffmpeg.git] / libavformat / hlsenc.c
1 /*
2  * Apple HTTP Live Streaming segmenter
3  * Copyright (c) 2012, Luca Barbato
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "config.h"
23 #include <float.h>
24 #include <stdint.h>
25 #if HAVE_UNISTD_H
26 #include <unistd.h>
27 #endif
28
29 #include "libavutil/avassert.h"
30 #include "libavutil/mathematics.h"
31 #include "libavutil/parseutils.h"
32 #include "libavutil/avstring.h"
33 #include "libavutil/opt.h"
34 #include "libavutil/log.h"
35 #include "libavutil/time_internal.h"
36
37 #include "avformat.h"
38 #include "avio_internal.h"
39 #include "internal.h"
40 #include "os_support.h"
41
42 #define KEYSIZE 16
43 #define LINE_BUFFER_SIZE 1024
44
45 typedef struct HLSSegment {
46     char filename[1024];
47     char sub_filename[1024];
48     double duration; /* in seconds */
49     int discont;
50     int64_t pos;
51     int64_t size;
52
53     char key_uri[LINE_BUFFER_SIZE + 1];
54     char iv_string[KEYSIZE*2 + 1];
55
56     struct HLSSegment *next;
57 } HLSSegment;
58
59 typedef enum HLSFlags {
60     // Generate a single media file and use byte ranges in the playlist.
61     HLS_SINGLE_FILE = (1 << 0),
62     HLS_DELETE_SEGMENTS = (1 << 1),
63     HLS_ROUND_DURATIONS = (1 << 2),
64     HLS_DISCONT_START = (1 << 3),
65     HLS_OMIT_ENDLIST = (1 << 4),
66     HLS_SPLIT_BY_TIME = (1 << 5),
67     HLS_APPEND_LIST = (1 << 6),
68     HLS_PROGRAM_DATE_TIME = (1 << 7),
69 } HLSFlags;
70
71 typedef enum {
72     PLAYLIST_TYPE_NONE,
73     PLAYLIST_TYPE_EVENT,
74     PLAYLIST_TYPE_VOD,
75     PLAYLIST_TYPE_NB,
76 } PlaylistType;
77
78 typedef struct HLSContext {
79     const AVClass *class;  // Class for private options.
80     unsigned number;
81     int64_t sequence;
82     int64_t start_sequence;
83     AVOutputFormat *oformat;
84     AVOutputFormat *vtt_oformat;
85
86     AVFormatContext *avf;
87     AVFormatContext *vtt_avf;
88
89     float time;            // Set by a private option.
90     float init_time;       // Set by a private option.
91     int max_nb_segments;   // Set by a private option.
92     int  wrap;             // Set by a private option.
93     uint32_t flags;        // enum HLSFlags
94     uint32_t pl_type;      // enum PlaylistType
95     char *segment_filename;
96
97     int use_localtime;      ///< flag to expand filename with localtime
98     int use_localtime_mkdir;///< flag to mkdir dirname in timebased filename
99     int allowcache;
100     int64_t recording_time;
101     int has_video;
102     int has_subtitle;
103     int64_t start_pts;
104     int64_t end_pts;
105     double duration;      // last segment duration computed so far, in seconds
106     int64_t start_pos;    // last segment starting position
107     int64_t size;         // last segment size
108     int64_t max_seg_size; // every segment file max size
109     int nb_entries;
110     int discontinuity_set;
111     int discontinuity;
112
113     HLSSegment *segments;
114     HLSSegment *last_segment;
115     HLSSegment *old_segments;
116
117     char *basename;
118     char *vtt_basename;
119     char *vtt_m3u8_name;
120     char *baseurl;
121     char *format_options_str;
122     char *vtt_format_options_str;
123     char *subtitle_filename;
124     AVDictionary *format_options;
125
126     char *key_info_file;
127     char key_file[LINE_BUFFER_SIZE + 1];
128     char key_uri[LINE_BUFFER_SIZE + 1];
129     char key_string[KEYSIZE*2 + 1];
130     char iv_string[KEYSIZE*2 + 1];
131     AVDictionary *vtt_format_options;
132
133     char *method;
134
135     double initial_prog_date_time;
136 } HLSContext;
137
138 static int mkdir_p(const char *path) {
139     int ret = 0;
140     char *temp = av_strdup(path);
141     char *pos = temp;
142     char tmp_ch = '\0';
143
144     if (!path || !temp) {
145         return -1;
146     }
147
148     if (!strncmp(temp, "/", 1) || !strncmp(temp, "\\", 1)) {
149         pos++;
150     } else if (!strncmp(temp, "./", 2) || !strncmp(temp, ".\\", 2)) {
151         pos += 2;
152     }
153
154     for ( ; *pos != '\0'; ++pos) {
155         if (*pos == '/' || *pos == '\\') {
156             tmp_ch = *pos;
157             *pos = '\0';
158             ret = mkdir(temp, 0755);
159             *pos = tmp_ch;
160         }
161     }
162
163     if ((*(pos - 1) != '/') || (*(pos - 1) != '\\')) {
164         ret = mkdir(temp, 0755);
165     }
166
167     av_free(temp);
168     return ret;
169 }
170
171 static int hls_delete_old_segments(HLSContext *hls) {
172
173     HLSSegment *segment, *previous_segment = NULL;
174     float playlist_duration = 0.0f;
175     int ret = 0, path_size, sub_path_size;
176     char *dirname = NULL, *p, *sub_path;
177     char *path = NULL;
178
179     segment = hls->segments;
180     while (segment) {
181         playlist_duration += segment->duration;
182         segment = segment->next;
183     }
184
185     segment = hls->old_segments;
186     while (segment) {
187         playlist_duration -= segment->duration;
188         hls->initial_prog_date_time += segment->duration;
189         previous_segment = segment;
190         segment = previous_segment->next;
191         if (playlist_duration <= -previous_segment->duration) {
192             previous_segment->next = NULL;
193             break;
194         }
195     }
196
197     if (segment) {
198         if (hls->segment_filename) {
199             dirname = av_strdup(hls->segment_filename);
200         } else {
201             dirname = av_strdup(hls->avf->filename);
202         }
203         if (!dirname) {
204             ret = AVERROR(ENOMEM);
205             goto fail;
206         }
207         p = (char *)av_basename(dirname);
208         *p = '\0';
209     }
210
211     while (segment) {
212         av_log(hls, AV_LOG_DEBUG, "deleting old segment %s\n",
213                                   segment->filename);
214         path_size = strlen(dirname) + strlen(segment->filename) + 1;
215         path = av_malloc(path_size);
216         if (!path) {
217             ret = AVERROR(ENOMEM);
218             goto fail;
219         }
220
221         av_strlcpy(path, dirname, path_size);
222         av_strlcat(path, segment->filename, path_size);
223         if (unlink(path) < 0) {
224             av_log(hls, AV_LOG_ERROR, "failed to delete old segment %s: %s\n",
225                                      path, strerror(errno));
226         }
227
228         if (segment->sub_filename[0] != '\0') {
229             sub_path_size = strlen(dirname) + strlen(segment->sub_filename) + 1;
230             sub_path = av_malloc(sub_path_size);
231             if (!sub_path) {
232                 ret = AVERROR(ENOMEM);
233                 goto fail;
234             }
235
236             av_strlcpy(sub_path, dirname, sub_path_size);
237             av_strlcat(sub_path, segment->sub_filename, sub_path_size);
238             if (unlink(sub_path) < 0) {
239                 av_log(hls, AV_LOG_ERROR, "failed to delete old segment %s: %s\n",
240                                          sub_path, strerror(errno));
241             }
242             av_free(sub_path);
243         }
244         av_freep(&path);
245         previous_segment = segment;
246         segment = previous_segment->next;
247         av_free(previous_segment);
248     }
249
250 fail:
251     av_free(path);
252     av_free(dirname);
253
254     return ret;
255 }
256
257 static int hls_encryption_start(AVFormatContext *s)
258 {
259     HLSContext *hls = s->priv_data;
260     int ret;
261     AVIOContext *pb;
262     uint8_t key[KEYSIZE];
263
264     if ((ret = s->io_open(s, &pb, hls->key_info_file, AVIO_FLAG_READ, NULL)) < 0) {
265         av_log(hls, AV_LOG_ERROR,
266                 "error opening key info file %s\n", hls->key_info_file);
267         return ret;
268     }
269
270     ff_get_line(pb, hls->key_uri, sizeof(hls->key_uri));
271     hls->key_uri[strcspn(hls->key_uri, "\r\n")] = '\0';
272
273     ff_get_line(pb, hls->key_file, sizeof(hls->key_file));
274     hls->key_file[strcspn(hls->key_file, "\r\n")] = '\0';
275
276     ff_get_line(pb, hls->iv_string, sizeof(hls->iv_string));
277     hls->iv_string[strcspn(hls->iv_string, "\r\n")] = '\0';
278
279     ff_format_io_close(s, &pb);
280
281     if (!*hls->key_uri) {
282         av_log(hls, AV_LOG_ERROR, "no key URI specified in key info file\n");
283         return AVERROR(EINVAL);
284     }
285
286     if (!*hls->key_file) {
287         av_log(hls, AV_LOG_ERROR, "no key file specified in key info file\n");
288         return AVERROR(EINVAL);
289     }
290
291     if ((ret = s->io_open(s, &pb, hls->key_file, AVIO_FLAG_READ, NULL)) < 0) {
292         av_log(hls, AV_LOG_ERROR, "error opening key file %s\n", hls->key_file);
293         return ret;
294     }
295
296     ret = avio_read(pb, key, sizeof(key));
297     ff_format_io_close(s, &pb);
298     if (ret != sizeof(key)) {
299         av_log(hls, AV_LOG_ERROR, "error reading key file %s\n", hls->key_file);
300         if (ret >= 0 || ret == AVERROR_EOF)
301             ret = AVERROR(EINVAL);
302         return ret;
303     }
304     ff_data_to_hex(hls->key_string, key, sizeof(key), 0);
305
306     return 0;
307 }
308
309 static int read_chomp_line(AVIOContext *s, char *buf, int maxlen)
310 {
311     int len = ff_get_line(s, buf, maxlen);
312     while (len > 0 && av_isspace(buf[len - 1]))
313         buf[--len] = '\0';
314     return len;
315 }
316
317 static int hls_mux_init(AVFormatContext *s)
318 {
319     HLSContext *hls = s->priv_data;
320     AVFormatContext *oc;
321     AVFormatContext *vtt_oc = NULL;
322     int i, ret;
323
324     ret = avformat_alloc_output_context2(&hls->avf, hls->oformat, NULL, NULL);
325     if (ret < 0)
326         return ret;
327     oc = hls->avf;
328
329     oc->oformat            = hls->oformat;
330     oc->interrupt_callback = s->interrupt_callback;
331     oc->max_delay          = s->max_delay;
332     oc->opaque             = s->opaque;
333     oc->io_open            = s->io_open;
334     oc->io_close           = s->io_close;
335     av_dict_copy(&oc->metadata, s->metadata, 0);
336
337     if(hls->vtt_oformat) {
338         ret = avformat_alloc_output_context2(&hls->vtt_avf, hls->vtt_oformat, NULL, NULL);
339         if (ret < 0)
340             return ret;
341         vtt_oc          = hls->vtt_avf;
342         vtt_oc->oformat = hls->vtt_oformat;
343         av_dict_copy(&vtt_oc->metadata, s->metadata, 0);
344     }
345
346     for (i = 0; i < s->nb_streams; i++) {
347         AVStream *st;
348         AVFormatContext *loc;
349         if (s->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE)
350             loc = vtt_oc;
351         else
352             loc = oc;
353
354         if (!(st = avformat_new_stream(loc, NULL)))
355             return AVERROR(ENOMEM);
356         avcodec_parameters_copy(st->codecpar, s->streams[i]->codecpar);
357         st->sample_aspect_ratio = s->streams[i]->sample_aspect_ratio;
358         st->time_base = s->streams[i]->time_base;
359     }
360     hls->start_pos = 0;
361
362     return 0;
363 }
364
365 /* Create a new segment and append it to the segment list */
366 static int hls_append_segment(struct AVFormatContext *s, HLSContext *hls, double duration,
367                               int64_t pos, int64_t size)
368 {
369     HLSSegment *en = av_malloc(sizeof(*en));
370     const char  *filename;
371     int ret;
372
373     if (!en)
374         return AVERROR(ENOMEM);
375
376     filename = av_basename(hls->avf->filename);
377
378     if (hls->use_localtime_mkdir) {
379         filename = hls->avf->filename;
380     }
381     av_strlcpy(en->filename, filename, sizeof(en->filename));
382
383     if(hls->has_subtitle)
384         av_strlcpy(en->sub_filename, av_basename(hls->vtt_avf->filename), sizeof(en->sub_filename));
385     else
386         en->sub_filename[0] = '\0';
387
388     en->duration = duration;
389     en->pos      = pos;
390     en->size     = size;
391     en->next     = NULL;
392     en->discont  = 0;
393
394     if (hls->discontinuity) {
395         en->discont = 1;
396         hls->discontinuity = 0;
397     }
398
399     if (hls->key_info_file) {
400         av_strlcpy(en->key_uri, hls->key_uri, sizeof(en->key_uri));
401         av_strlcpy(en->iv_string, hls->iv_string, sizeof(en->iv_string));
402     }
403
404     if (!hls->segments)
405         hls->segments = en;
406     else
407         hls->last_segment->next = en;
408
409     hls->last_segment = en;
410
411     // EVENT or VOD playlists imply sliding window cannot be used
412     if (hls->pl_type != PLAYLIST_TYPE_NONE)
413         hls->max_nb_segments = 0;
414
415     if (hls->max_nb_segments && hls->nb_entries >= hls->max_nb_segments) {
416         en = hls->segments;
417         hls->segments = en->next;
418         if (en && hls->flags & HLS_DELETE_SEGMENTS &&
419                 !(hls->flags & HLS_SINGLE_FILE || hls->wrap)) {
420             en->next = hls->old_segments;
421             hls->old_segments = en;
422             if ((ret = hls_delete_old_segments(hls)) < 0)
423                 return ret;
424         } else
425             av_free(en);
426     } else
427         hls->nb_entries++;
428
429     if (hls->max_seg_size > 0) {
430         return 0;
431     }
432     hls->sequence++;
433
434     return 0;
435 }
436
437 static int parse_playlist(AVFormatContext *s, const char *url)
438 {
439     HLSContext *hls = s->priv_data;
440     AVIOContext *in;
441     int ret = 0, is_segment = 0;
442     int64_t new_start_pos;
443     char line[1024];
444     const char *ptr;
445
446     if ((ret = ffio_open_whitelist(&in, url, AVIO_FLAG_READ,
447                                    &s->interrupt_callback, NULL,
448                                    s->protocol_whitelist, s->protocol_blacklist)) < 0)
449         return ret;
450
451     read_chomp_line(in, line, sizeof(line));
452     if (strcmp(line, "#EXTM3U")) {
453         ret = AVERROR_INVALIDDATA;
454         goto fail;
455     }
456
457     hls->discontinuity = 0;
458     while (!avio_feof(in)) {
459         read_chomp_line(in, line, sizeof(line));
460         if (av_strstart(line, "#EXT-X-MEDIA-SEQUENCE:", &ptr)) {
461             hls->sequence = atoi(ptr);
462         } else if (av_strstart(line, "#EXTINF:", &ptr)) {
463             is_segment = 1;
464             hls->duration = atof(ptr);
465         } else if (av_strstart(line, "#", NULL)) {
466             continue;
467         } else if (line[0]) {
468             if (is_segment) {
469                 is_segment = 0;
470                 new_start_pos = avio_tell(hls->avf->pb);
471                 hls->size = new_start_pos - hls->start_pos;
472                 av_strlcpy(hls->avf->filename, line, sizeof(line));
473                 ret = hls_append_segment(s, hls, hls->duration, hls->start_pos, hls->size);
474                 if (ret < 0)
475                     goto fail;
476                 hls->start_pos = new_start_pos;
477             }
478         }
479     }
480
481 fail:
482     avio_close(in);
483     return ret;
484 }
485
486 static void hls_free_segments(HLSSegment *p)
487 {
488     HLSSegment *en;
489
490     while(p) {
491         en = p;
492         p = p->next;
493         av_free(en);
494     }
495 }
496
497 static void set_http_options(AVDictionary **options, HLSContext *c)
498 {
499     if (c->method)
500         av_dict_set(options, "method", c->method, 0);
501 }
502
503 static int hls_window(AVFormatContext *s, int last)
504 {
505     HLSContext *hls = s->priv_data;
506     HLSSegment *en;
507     int target_duration = 0;
508     int ret = 0;
509     AVIOContext *out = NULL;
510     AVIOContext *sub_out = NULL;
511     char temp_filename[1024];
512     int64_t sequence = FFMAX(hls->start_sequence, hls->sequence - hls->nb_entries);
513     int version = 3;
514     const char *proto = avio_find_protocol_name(s->filename);
515     int use_rename = proto && !strcmp(proto, "file");
516     static unsigned warned_non_file;
517     char *key_uri = NULL;
518     char *iv_string = NULL;
519     AVDictionary *options = NULL;
520     double prog_date_time = hls->initial_prog_date_time;
521     int byterange_mode = (hls->flags & HLS_SINGLE_FILE) || (hls->max_seg_size > 0);
522
523     if (byterange_mode) {
524         version = 4;
525         sequence = 0;
526     }
527
528     if (!use_rename && !warned_non_file++)
529         av_log(s, AV_LOG_ERROR, "Cannot use rename on non file protocol, this may lead to races and temporary partial files\n");
530
531     set_http_options(&options, hls);
532     snprintf(temp_filename, sizeof(temp_filename), use_rename ? "%s.tmp" : "%s", s->filename);
533     if ((ret = s->io_open(s, &out, temp_filename, AVIO_FLAG_WRITE, &options)) < 0)
534         goto fail;
535
536     for (en = hls->segments; en; en = en->next) {
537         if (target_duration < en->duration)
538             target_duration = ceil(en->duration);
539     }
540
541     hls->discontinuity_set = 0;
542     avio_printf(out, "#EXTM3U\n");
543     avio_printf(out, "#EXT-X-VERSION:%d\n", version);
544     if (hls->allowcache == 0 || hls->allowcache == 1) {
545         avio_printf(out, "#EXT-X-ALLOW-CACHE:%s\n", hls->allowcache == 0 ? "NO" : "YES");
546     }
547     avio_printf(out, "#EXT-X-TARGETDURATION:%d\n", target_duration);
548     avio_printf(out, "#EXT-X-MEDIA-SEQUENCE:%"PRId64"\n", sequence);
549     if (hls->pl_type == PLAYLIST_TYPE_EVENT) {
550         avio_printf(out, "#EXT-X-PLAYLIST-TYPE:EVENT\n");
551     } else if (hls->pl_type == PLAYLIST_TYPE_VOD) {
552         avio_printf(out, "#EXT-X-PLAYLIST-TYPE:VOD\n");
553     }
554
555     av_log(s, AV_LOG_VERBOSE, "EXT-X-MEDIA-SEQUENCE:%"PRId64"\n",
556            sequence);
557     if((hls->flags & HLS_DISCONT_START) && sequence==hls->start_sequence && hls->discontinuity_set==0 ){
558         avio_printf(out, "#EXT-X-DISCONTINUITY\n");
559         hls->discontinuity_set = 1;
560     }
561     for (en = hls->segments; en; en = en->next) {
562         if (hls->key_info_file && (!key_uri || strcmp(en->key_uri, key_uri) ||
563                                     av_strcasecmp(en->iv_string, iv_string))) {
564             avio_printf(out, "#EXT-X-KEY:METHOD=AES-128,URI=\"%s\"", en->key_uri);
565             if (*en->iv_string)
566                 avio_printf(out, ",IV=0x%s", en->iv_string);
567             avio_printf(out, "\n");
568             key_uri = en->key_uri;
569             iv_string = en->iv_string;
570         }
571
572         if (en->discont) {
573             avio_printf(out, "#EXT-X-DISCONTINUITY\n");
574         }
575
576         if (hls->flags & HLS_ROUND_DURATIONS)
577             avio_printf(out, "#EXTINF:%ld,\n",  lrint(en->duration));
578         else
579             avio_printf(out, "#EXTINF:%f,\n", en->duration);
580         if (byterange_mode)
581              avio_printf(out, "#EXT-X-BYTERANGE:%"PRIi64"@%"PRIi64"\n",
582                          en->size, en->pos);
583         if (hls->flags & HLS_PROGRAM_DATE_TIME) {
584             time_t tt, wrongsecs;
585             int milli;
586             struct tm *tm, tmpbuf;
587             char buf0[128], buf1[128];
588             tt = (int64_t)prog_date_time;
589             milli = av_clip(lrint(1000*(prog_date_time - tt)), 0, 999);
590             tm = localtime_r(&tt, &tmpbuf);
591             strftime(buf0, sizeof(buf0), "%Y-%m-%dT%H:%M:%S", tm);
592             if (!strftime(buf1, sizeof(buf1), "%z", tm) || buf1[1]<'0' ||buf1[1]>'2') {
593                 int tz_min, dst = tm->tm_isdst;
594                 tm = gmtime_r(&tt, &tmpbuf);
595                 tm->tm_isdst = dst;
596                 wrongsecs = mktime(tm);
597                 tz_min = (abs(wrongsecs - tt) + 30) / 60;
598                 snprintf(buf1, sizeof(buf1),
599                          "%c%02d%02d",
600                          wrongsecs <= tt ? '+' : '-',
601                          tz_min / 60,
602                          tz_min % 60);
603             }
604             avio_printf(out, "#EXT-X-PROGRAM-DATE-TIME:%s.%03d%s\n", buf0, milli, buf1);
605             prog_date_time += en->duration;
606         }
607         if (hls->baseurl)
608             avio_printf(out, "%s", hls->baseurl);
609         avio_printf(out, "%s\n", en->filename);
610     }
611
612     if (last && (hls->flags & HLS_OMIT_ENDLIST)==0)
613         avio_printf(out, "#EXT-X-ENDLIST\n");
614
615     if( hls->vtt_m3u8_name ) {
616         if ((ret = s->io_open(s, &sub_out, hls->vtt_m3u8_name, AVIO_FLAG_WRITE, &options)) < 0)
617             goto fail;
618         avio_printf(sub_out, "#EXTM3U\n");
619         avio_printf(sub_out, "#EXT-X-VERSION:%d\n", version);
620         if (hls->allowcache == 0 || hls->allowcache == 1) {
621             avio_printf(sub_out, "#EXT-X-ALLOW-CACHE:%s\n", hls->allowcache == 0 ? "NO" : "YES");
622         }
623         avio_printf(sub_out, "#EXT-X-TARGETDURATION:%d\n", target_duration);
624         avio_printf(sub_out, "#EXT-X-MEDIA-SEQUENCE:%"PRId64"\n", sequence);
625
626         av_log(s, AV_LOG_VERBOSE, "EXT-X-MEDIA-SEQUENCE:%"PRId64"\n",
627                sequence);
628
629         for (en = hls->segments; en; en = en->next) {
630             avio_printf(sub_out, "#EXTINF:%f,\n", en->duration);
631             if (byterange_mode)
632                  avio_printf(sub_out, "#EXT-X-BYTERANGE:%"PRIi64"@%"PRIi64"\n",
633                          en->size, en->pos);
634             if (hls->baseurl)
635                 avio_printf(sub_out, "%s", hls->baseurl);
636             avio_printf(sub_out, "%s\n", en->sub_filename);
637         }
638
639         if (last)
640             avio_printf(sub_out, "#EXT-X-ENDLIST\n");
641
642     }
643
644 fail:
645     av_dict_free(&options);
646     ff_format_io_close(s, &out);
647     ff_format_io_close(s, &sub_out);
648     if (ret >= 0 && use_rename)
649         ff_rename(temp_filename, s->filename, s);
650     return ret;
651 }
652
653 static int hls_start(AVFormatContext *s)
654 {
655     HLSContext *c = s->priv_data;
656     AVFormatContext *oc = c->avf;
657     AVFormatContext *vtt_oc = c->vtt_avf;
658     AVDictionary *options = NULL;
659     char *filename, iv_string[KEYSIZE*2 + 1];
660     int err = 0;
661
662     if (c->flags & HLS_SINGLE_FILE) {
663         av_strlcpy(oc->filename, c->basename,
664                    sizeof(oc->filename));
665         if (c->vtt_basename)
666             av_strlcpy(vtt_oc->filename, c->vtt_basename,
667                   sizeof(vtt_oc->filename));
668     } else if (c->max_seg_size > 0) {
669         if (av_get_frame_filename2(oc->filename, sizeof(oc->filename),
670             c->basename, c->wrap ? c->sequence % c->wrap : c->sequence,
671             AV_FRAME_FILENAME_FLAGS_MULTIPLE) < 0) {
672                 av_log(oc, AV_LOG_ERROR, "Invalid segment filename template '%s', you can try to use -use_localtime 1 with it\n", c->basename);
673                 return AVERROR(EINVAL);
674         }
675     } else {
676         if (c->use_localtime) {
677             time_t now0;
678             struct tm *tm, tmpbuf;
679             time(&now0);
680             tm = localtime_r(&now0, &tmpbuf);
681             if (!strftime(oc->filename, sizeof(oc->filename), c->basename, tm)) {
682                 av_log(oc, AV_LOG_ERROR, "Could not get segment filename with use_localtime\n");
683                 return AVERROR(EINVAL);
684             }
685
686             if (c->use_localtime_mkdir) {
687                 const char *dir;
688                 char *fn_copy = av_strdup(oc->filename);
689                 if (!fn_copy) {
690                     return AVERROR(ENOMEM);
691                 }
692                 dir = av_dirname(fn_copy);
693                 if (mkdir_p(dir) == -1 && errno != EEXIST) {
694                     av_log(oc, AV_LOG_ERROR, "Could not create directory %s with use_localtime_mkdir\n", dir);
695                     av_free(fn_copy);
696                     return AVERROR(errno);
697                 }
698                 av_free(fn_copy);
699             }
700         } else if (av_get_frame_filename2(oc->filename, sizeof(oc->filename),
701                                   c->basename, c->wrap ? c->sequence % c->wrap : c->sequence,
702                                   AV_FRAME_FILENAME_FLAGS_MULTIPLE) < 0) {
703             av_log(oc, AV_LOG_ERROR, "Invalid segment filename template '%s' you can try to use -use_localtime 1 with it\n", c->basename);
704             return AVERROR(EINVAL);
705         }
706         if( c->vtt_basename) {
707             if (av_get_frame_filename2(vtt_oc->filename, sizeof(vtt_oc->filename),
708                               c->vtt_basename, c->wrap ? c->sequence % c->wrap : c->sequence,
709                               AV_FRAME_FILENAME_FLAGS_MULTIPLE) < 0) {
710                 av_log(vtt_oc, AV_LOG_ERROR, "Invalid segment filename template '%s'\n", c->vtt_basename);
711                 return AVERROR(EINVAL);
712             }
713        }
714     }
715     c->number++;
716
717     set_http_options(&options, c);
718
719     if (c->key_info_file) {
720         if ((err = hls_encryption_start(s)) < 0)
721             goto fail;
722         if ((err = av_dict_set(&options, "encryption_key", c->key_string, 0))
723                 < 0)
724             goto fail;
725         err = av_strlcpy(iv_string, c->iv_string, sizeof(iv_string));
726         if (!err)
727             snprintf(iv_string, sizeof(iv_string), "%032"PRIx64, c->sequence);
728         if ((err = av_dict_set(&options, "encryption_iv", iv_string, 0)) < 0)
729            goto fail;
730
731         filename = av_asprintf("crypto:%s", oc->filename);
732         if (!filename) {
733             err = AVERROR(ENOMEM);
734             goto fail;
735         }
736         err = s->io_open(s, &oc->pb, filename, AVIO_FLAG_WRITE, &options);
737         av_free(filename);
738         av_dict_free(&options);
739         if (err < 0)
740             return err;
741     } else
742         if ((err = s->io_open(s, &oc->pb, oc->filename, AVIO_FLAG_WRITE, &options)) < 0)
743             goto fail;
744     if (c->vtt_basename) {
745         set_http_options(&options, c);
746         if ((err = s->io_open(s, &vtt_oc->pb, vtt_oc->filename, AVIO_FLAG_WRITE, &options)) < 0)
747             goto fail;
748     }
749     av_dict_free(&options);
750
751     /* We only require one PAT/PMT per segment. */
752     if (oc->oformat->priv_class && oc->priv_data) {
753         char period[21];
754
755         snprintf(period, sizeof(period), "%d", (INT_MAX / 2) - 1);
756
757         av_opt_set(oc->priv_data, "mpegts_flags", "resend_headers", 0);
758         av_opt_set(oc->priv_data, "sdt_period", period, 0);
759         av_opt_set(oc->priv_data, "pat_period", period, 0);
760     }
761
762     if (c->vtt_basename) {
763         err = avformat_write_header(vtt_oc,NULL);
764         if (err < 0)
765             return err;
766     }
767
768     return 0;
769 fail:
770     av_dict_free(&options);
771
772     return err;
773 }
774
775 static int hls_write_header(AVFormatContext *s)
776 {
777     HLSContext *hls = s->priv_data;
778     int ret, i;
779     char *p;
780     const char *pattern = "%d.ts";
781     const char *pattern_localtime_fmt = "-%s.ts";
782     const char *vtt_pattern = "%d.vtt";
783     AVDictionary *options = NULL;
784     int basename_size;
785     int vtt_basename_size;
786
787     hls->sequence       = hls->start_sequence;
788     hls->recording_time = (hls->init_time ? hls->init_time : hls->time) * AV_TIME_BASE;
789     hls->start_pts      = AV_NOPTS_VALUE;
790
791     if (hls->flags & HLS_PROGRAM_DATE_TIME) {
792         time_t now0;
793         time(&now0);
794         hls->initial_prog_date_time = now0;
795     }
796
797     if (hls->format_options_str) {
798         ret = av_dict_parse_string(&hls->format_options, hls->format_options_str, "=", ":", 0);
799         if (ret < 0) {
800             av_log(s, AV_LOG_ERROR, "Could not parse format options list '%s'\n", hls->format_options_str);
801             goto fail;
802         }
803     }
804
805     for (i = 0; i < s->nb_streams; i++) {
806         hls->has_video +=
807             s->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO;
808         hls->has_subtitle +=
809             s->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE;
810     }
811
812     if (hls->has_video > 1)
813         av_log(s, AV_LOG_WARNING,
814                "More than a single video stream present, "
815                "expect issues decoding it.\n");
816
817     hls->oformat = av_guess_format("mpegts", NULL, NULL);
818
819     if (!hls->oformat) {
820         ret = AVERROR_MUXER_NOT_FOUND;
821         goto fail;
822     }
823
824     if(hls->has_subtitle) {
825         hls->vtt_oformat = av_guess_format("webvtt", NULL, NULL);
826         if (!hls->oformat) {
827             ret = AVERROR_MUXER_NOT_FOUND;
828             goto fail;
829         }
830     }
831
832     if (hls->segment_filename) {
833         hls->basename = av_strdup(hls->segment_filename);
834         if (!hls->basename) {
835             ret = AVERROR(ENOMEM);
836             goto fail;
837         }
838     } else {
839         if (hls->flags & HLS_SINGLE_FILE)
840             pattern = ".ts";
841
842         if (hls->use_localtime) {
843             basename_size = strlen(s->filename) + strlen(pattern_localtime_fmt) + 1;
844         } else {
845             basename_size = strlen(s->filename) + strlen(pattern) + 1;
846         }
847         hls->basename = av_malloc(basename_size);
848         if (!hls->basename) {
849             ret = AVERROR(ENOMEM);
850             goto fail;
851         }
852
853         av_strlcpy(hls->basename, s->filename, basename_size);
854
855         p = strrchr(hls->basename, '.');
856         if (p)
857             *p = '\0';
858         if (hls->use_localtime) {
859             av_strlcat(hls->basename, pattern_localtime_fmt, basename_size);
860         } else {
861             av_strlcat(hls->basename, pattern, basename_size);
862         }
863     }
864
865     if(hls->has_subtitle) {
866
867         if (hls->flags & HLS_SINGLE_FILE)
868             vtt_pattern = ".vtt";
869         vtt_basename_size = strlen(s->filename) + strlen(vtt_pattern) + 1;
870         hls->vtt_basename = av_malloc(vtt_basename_size);
871         if (!hls->vtt_basename) {
872             ret = AVERROR(ENOMEM);
873             goto fail;
874         }
875         hls->vtt_m3u8_name = av_malloc(vtt_basename_size);
876         if (!hls->vtt_m3u8_name ) {
877             ret = AVERROR(ENOMEM);
878             goto fail;
879         }
880         av_strlcpy(hls->vtt_basename, s->filename, vtt_basename_size);
881         p = strrchr(hls->vtt_basename, '.');
882         if (p)
883             *p = '\0';
884
885         if( hls->subtitle_filename ) {
886             strcpy(hls->vtt_m3u8_name, hls->subtitle_filename);
887         } else {
888             strcpy(hls->vtt_m3u8_name, hls->vtt_basename);
889             av_strlcat(hls->vtt_m3u8_name, "_vtt.m3u8", vtt_basename_size);
890         }
891         av_strlcat(hls->vtt_basename, vtt_pattern, vtt_basename_size);
892     }
893
894     if ((ret = hls_mux_init(s)) < 0)
895         goto fail;
896
897     if (hls->flags & HLS_APPEND_LIST) {
898         parse_playlist(s, s->filename);
899         hls->discontinuity = 1;
900         if (hls->init_time > 0) {
901             av_log(s, AV_LOG_WARNING, "append_list mode does not support hls_init_time,"
902                    " hls_init_time value will have no effect\n");
903             hls->init_time = 0;
904             hls->recording_time = hls->time * AV_TIME_BASE;
905         }
906     }
907
908     if ((ret = hls_start(s)) < 0)
909         goto fail;
910
911     av_dict_copy(&options, hls->format_options, 0);
912     ret = avformat_write_header(hls->avf, &options);
913     if (av_dict_count(options)) {
914         av_log(s, AV_LOG_ERROR, "Some of provided format options in '%s' are not recognized\n", hls->format_options_str);
915         ret = AVERROR(EINVAL);
916         goto fail;
917     }
918     //av_assert0(s->nb_streams == hls->avf->nb_streams);
919     for (i = 0; i < s->nb_streams; i++) {
920         AVStream *inner_st;
921         AVStream *outer_st = s->streams[i];
922
923         if (hls->max_seg_size > 0) {
924             if ((outer_st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) &&
925                 (outer_st->codecpar->bit_rate > hls->max_seg_size)) {
926                 av_log(s, AV_LOG_WARNING, "Your video bitrate is bigger than hls_segment_size, "
927                        "(%"PRId64 " > %"PRId64 "), the result maybe not be what you want.",
928                        outer_st->codecpar->bit_rate, hls->max_seg_size);
929             }
930         }
931
932         if (outer_st->codecpar->codec_type != AVMEDIA_TYPE_SUBTITLE)
933             inner_st = hls->avf->streams[i];
934         else if (hls->vtt_avf)
935             inner_st = hls->vtt_avf->streams[0];
936         else {
937             /* We have a subtitle stream, when the user does not want one */
938             inner_st = NULL;
939             continue;
940         }
941         avpriv_set_pts_info(outer_st, inner_st->pts_wrap_bits, inner_st->time_base.num, inner_st->time_base.den);
942     }
943 fail:
944
945     av_dict_free(&options);
946     if (ret < 0) {
947         av_freep(&hls->basename);
948         av_freep(&hls->vtt_basename);
949         if (hls->avf)
950             avformat_free_context(hls->avf);
951         if (hls->vtt_avf)
952             avformat_free_context(hls->vtt_avf);
953
954     }
955     return ret;
956 }
957
958 static int hls_write_packet(AVFormatContext *s, AVPacket *pkt)
959 {
960     HLSContext *hls = s->priv_data;
961     AVFormatContext *oc = NULL;
962     AVStream *st = s->streams[pkt->stream_index];
963     int64_t end_pts = hls->recording_time * hls->number;
964     int is_ref_pkt = 1;
965     int ret, can_split = 1;
966     int stream_index = 0;
967
968     if (hls->sequence - hls->nb_entries > hls->start_sequence && hls->init_time > 0) {
969         /* reset end_pts, hls->recording_time at end of the init hls list */
970         int init_list_dur = hls->init_time * hls->nb_entries * AV_TIME_BASE;
971         int after_init_list_dur = (hls->sequence - hls->nb_entries ) * hls->time * AV_TIME_BASE;
972         hls->recording_time = hls->time * AV_TIME_BASE;
973         end_pts = init_list_dur + after_init_list_dur ;
974     }
975
976     if( st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE ) {
977         oc = hls->vtt_avf;
978         stream_index = 0;
979     } else {
980         oc = hls->avf;
981         stream_index = pkt->stream_index;
982     }
983     if (hls->start_pts == AV_NOPTS_VALUE) {
984         hls->start_pts = pkt->pts;
985         hls->end_pts   = pkt->pts;
986     }
987
988     if (hls->has_video) {
989         can_split = st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO &&
990                     ((pkt->flags & AV_PKT_FLAG_KEY) || (hls->flags & HLS_SPLIT_BY_TIME));
991         is_ref_pkt = st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO;
992     }
993     if (pkt->pts == AV_NOPTS_VALUE)
994         is_ref_pkt = can_split = 0;
995
996     if (is_ref_pkt)
997         hls->duration = (double)(pkt->pts - hls->end_pts)
998                                    * st->time_base.num / st->time_base.den;
999
1000     if (can_split && av_compare_ts(pkt->pts - hls->start_pts, st->time_base,
1001                                    end_pts, AV_TIME_BASE_Q) >= 0) {
1002         int64_t new_start_pos;
1003         av_write_frame(oc, NULL); /* Flush any buffered data */
1004
1005         new_start_pos = avio_tell(hls->avf->pb);
1006         hls->size = new_start_pos - hls->start_pos;
1007         ret = hls_append_segment(s, hls, hls->duration, hls->start_pos, hls->size);
1008         hls->start_pos = new_start_pos;
1009         if (ret < 0)
1010             return ret;
1011
1012         hls->end_pts = pkt->pts;
1013         hls->duration = 0;
1014
1015         if (hls->flags & HLS_SINGLE_FILE) {
1016             if (hls->avf->oformat->priv_class && hls->avf->priv_data)
1017                 av_opt_set(hls->avf->priv_data, "mpegts_flags", "resend_headers", 0);
1018             hls->number++;
1019         } else if (hls->max_seg_size > 0) {
1020             if (hls->avf->oformat->priv_class && hls->avf->priv_data)
1021                 av_opt_set(hls->avf->priv_data, "mpegts_flags", "resend_headers", 0);
1022             if (hls->start_pos >= hls->max_seg_size) {
1023                 hls->sequence++;
1024                 ff_format_io_close(s, &oc->pb);
1025                 if (hls->vtt_avf)
1026                     ff_format_io_close(s, &hls->vtt_avf->pb);
1027                 ret = hls_start(s);
1028                 hls->start_pos = 0;
1029                 /* When split segment by byte, the duration is short than hls_time,
1030                  * so it is not enough one segment duration as hls_time, */
1031                 hls->number--;
1032             }
1033             hls->number++;
1034         } else {
1035             ff_format_io_close(s, &oc->pb);
1036             if (hls->vtt_avf)
1037                 ff_format_io_close(s, &hls->vtt_avf->pb);
1038
1039             ret = hls_start(s);
1040         }
1041
1042         if (ret < 0)
1043             return ret;
1044
1045         if( st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE )
1046             oc = hls->vtt_avf;
1047         else
1048         oc = hls->avf;
1049
1050         if ((ret = hls_window(s, 0)) < 0)
1051             return ret;
1052     }
1053
1054     ret = ff_write_chained(oc, stream_index, pkt, s, 0);
1055
1056     return ret;
1057 }
1058
1059 static int hls_write_trailer(struct AVFormatContext *s)
1060 {
1061     HLSContext *hls = s->priv_data;
1062     AVFormatContext *oc = hls->avf;
1063     AVFormatContext *vtt_oc = hls->vtt_avf;
1064
1065     av_write_trailer(oc);
1066     if (oc->pb) {
1067         hls->size = avio_tell(hls->avf->pb) - hls->start_pos;
1068         ff_format_io_close(s, &oc->pb);
1069         hls_append_segment(s, hls, hls->duration, hls->start_pos, hls->size);
1070     }
1071
1072     if (vtt_oc) {
1073         if (vtt_oc->pb)
1074             av_write_trailer(vtt_oc);
1075         hls->size = avio_tell(hls->vtt_avf->pb) - hls->start_pos;
1076         ff_format_io_close(s, &vtt_oc->pb);
1077     }
1078     av_freep(&hls->basename);
1079     avformat_free_context(oc);
1080
1081     hls->avf = NULL;
1082     hls_window(s, 1);
1083
1084     if (vtt_oc) {
1085         av_freep(&hls->vtt_basename);
1086         av_freep(&hls->vtt_m3u8_name);
1087         avformat_free_context(vtt_oc);
1088     }
1089
1090     hls_free_segments(hls->segments);
1091     hls_free_segments(hls->old_segments);
1092     return 0;
1093 }
1094
1095 #define OFFSET(x) offsetof(HLSContext, x)
1096 #define E AV_OPT_FLAG_ENCODING_PARAM
1097 static const AVOption options[] = {
1098     {"start_number",  "set first number in the sequence",        OFFSET(start_sequence),AV_OPT_TYPE_INT64,  {.i64 = 0},     0, INT64_MAX, E},
1099     {"hls_time",      "set segment length in seconds",           OFFSET(time),    AV_OPT_TYPE_FLOAT,  {.dbl = 2},     0, FLT_MAX, E},
1100     {"hls_init_time", "set segment length in seconds at init list",           OFFSET(init_time),    AV_OPT_TYPE_FLOAT,  {.dbl = 0},     0, FLT_MAX, E},
1101     {"hls_list_size", "set maximum number of playlist entries",  OFFSET(max_nb_segments),    AV_OPT_TYPE_INT,    {.i64 = 5},     0, INT_MAX, E},
1102     {"hls_ts_options","set hls mpegts list of options for the container format used for hls", OFFSET(format_options_str), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,    E},
1103     {"hls_vtt_options","set hls vtt list of options for the container format used for hls", OFFSET(vtt_format_options_str), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,    E},
1104     {"hls_wrap",      "set number after which the index wraps",  OFFSET(wrap),    AV_OPT_TYPE_INT,    {.i64 = 0},     0, INT_MAX, E},
1105     {"hls_allow_cache", "explicitly set whether the client MAY (1) or MUST NOT (0) cache media segments", OFFSET(allowcache), AV_OPT_TYPE_INT, {.i64 = -1}, INT_MIN, INT_MAX, E},
1106     {"hls_base_url",  "url to prepend to each playlist entry",   OFFSET(baseurl), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,       E},
1107     {"hls_segment_filename", "filename template for segment files", OFFSET(segment_filename),   AV_OPT_TYPE_STRING, {.str = NULL},            0,       0,         E},
1108     {"hls_segment_size", "maximum size per segment file, (in bytes)",  OFFSET(max_seg_size),    AV_OPT_TYPE_INT,    {.i64 = 0},               0,       INT_MAX,   E},
1109     {"hls_key_info_file",    "file with key URI and key file path", OFFSET(key_info_file),      AV_OPT_TYPE_STRING, {.str = NULL},            0,       0,         E},
1110     {"hls_subtitle_path",     "set path of hls subtitles", OFFSET(subtitle_filename), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,    E},
1111     {"hls_flags",     "set flags affecting HLS playlist and media file generation", OFFSET(flags), AV_OPT_TYPE_FLAGS, {.i64 = 0 }, 0, UINT_MAX, E, "flags"},
1112     {"single_file",   "generate a single media file indexed with byte ranges", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_SINGLE_FILE }, 0, UINT_MAX,   E, "flags"},
1113     {"delete_segments", "delete segment files that are no longer part of the playlist", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_DELETE_SEGMENTS }, 0, UINT_MAX,   E, "flags"},
1114     {"round_durations", "round durations in m3u8 to whole numbers", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_ROUND_DURATIONS }, 0, UINT_MAX,   E, "flags"},
1115     {"discont_start", "start the playlist with a discontinuity tag", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_DISCONT_START }, 0, UINT_MAX,   E, "flags"},
1116     {"omit_endlist", "Do not append an endlist when ending stream", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_OMIT_ENDLIST }, 0, UINT_MAX,   E, "flags"},
1117     {"split_by_time", "split the hls segment by time which user set by hls_time", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_SPLIT_BY_TIME }, 0, UINT_MAX,   E, "flags"},
1118     {"append_list", "append the new segments into old hls segment list", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_APPEND_LIST }, 0, UINT_MAX,   E, "flags"},
1119     {"program_date_time", "add EXT-X-PROGRAM-DATE-TIME", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_PROGRAM_DATE_TIME }, 0, UINT_MAX,   E, "flags"},
1120     {"use_localtime", "set filename expansion with strftime at segment creation", OFFSET(use_localtime), AV_OPT_TYPE_BOOL, {.i64 = 0 }, 0, 1, E },
1121     {"use_localtime_mkdir", "create last directory component in strftime-generated filename", OFFSET(use_localtime_mkdir), AV_OPT_TYPE_BOOL, {.i64 = 0 }, 0, 1, E },
1122     {"hls_playlist_type", "set the HLS playlist type", OFFSET(pl_type), AV_OPT_TYPE_INT, {.i64 = PLAYLIST_TYPE_NONE }, 0, PLAYLIST_TYPE_NB-1, E, "pl_type" },
1123     {"event", "EVENT playlist", 0, AV_OPT_TYPE_CONST, {.i64 = PLAYLIST_TYPE_EVENT }, INT_MIN, INT_MAX, E, "pl_type" },
1124     {"vod", "VOD playlist", 0, AV_OPT_TYPE_CONST, {.i64 = PLAYLIST_TYPE_VOD }, INT_MIN, INT_MAX, E, "pl_type" },
1125     {"method", "set the HTTP method", OFFSET(method), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,    E},
1126
1127     { NULL },
1128 };
1129
1130 static const AVClass hls_class = {
1131     .class_name = "hls muxer",
1132     .item_name  = av_default_item_name,
1133     .option     = options,
1134     .version    = LIBAVUTIL_VERSION_INT,
1135 };
1136
1137
1138 AVOutputFormat ff_hls_muxer = {
1139     .name           = "hls",
1140     .long_name      = NULL_IF_CONFIG_SMALL("Apple HTTP Live Streaming"),
1141     .extensions     = "m3u8",
1142     .priv_data_size = sizeof(HLSContext),
1143     .audio_codec    = AV_CODEC_ID_AAC,
1144     .video_codec    = AV_CODEC_ID_H264,
1145     .subtitle_codec = AV_CODEC_ID_WEBVTT,
1146     .flags          = AVFMT_NOFILE | AVFMT_ALLOW_FLUSH,
1147     .write_header   = hls_write_header,
1148     .write_packet   = hls_write_packet,
1149     .write_trailer  = hls_write_trailer,
1150     .priv_class     = &hls_class,
1151 };