Merge commit '35c6ce76b107225a19eb33aea38857d2405882af'
[ffmpeg.git] / libavformat / hlsenc.c
1 /*
2  * Apple HTTP Live Streaming segmenter
3  * Copyright (c) 2012, Luca Barbato
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "config.h"
23 #include <float.h>
24 #include <stdint.h>
25 #if HAVE_UNISTD_H
26 #include <unistd.h>
27 #endif
28
29 #include "libavutil/avassert.h"
30 #include "libavutil/mathematics.h"
31 #include "libavutil/parseutils.h"
32 #include "libavutil/avstring.h"
33 #include "libavutil/opt.h"
34 #include "libavutil/log.h"
35
36 #include "avformat.h"
37 #include "internal.h"
38 #include "os_support.h"
39
40 typedef struct HLSSegment {
41     char filename[1024];
42     double duration; /* in seconds */
43     int64_t pos;
44     int64_t size;
45
46     struct HLSSegment *next;
47 } HLSSegment;
48
49 typedef enum HLSFlags {
50     // Generate a single media file and use byte ranges in the playlist.
51     HLS_SINGLE_FILE = (1 << 0),
52     HLS_DELETE_SEGMENTS = (1 << 1),
53 } HLSFlags;
54
55 typedef struct HLSContext {
56     const AVClass *class;  // Class for private options.
57     unsigned number;
58     int64_t sequence;
59     int64_t start_sequence;
60     AVOutputFormat *oformat;
61
62     AVFormatContext *avf;
63
64     float time;            // Set by a private option.
65     int max_nb_segments;   // Set by a private option.
66     int  wrap;             // Set by a private option.
67     uint32_t flags;        // enum HLSFlags
68     char *segment_filename;
69
70     int allowcache;
71     int64_t recording_time;
72     int has_video;
73     int64_t start_pts;
74     int64_t end_pts;
75     double duration;      // last segment duration computed so far, in seconds
76     int64_t start_pos;    // last segment starting position
77     int64_t size;         // last segment size
78     int nb_entries;
79
80     HLSSegment *segments;
81     HLSSegment *last_segment;
82     HLSSegment *old_segments;
83
84     char *basename;
85     char *baseurl;
86     char *format_options_str;
87     AVDictionary *format_options;
88 } HLSContext;
89
90 static int hls_delete_old_segments(HLSContext *hls) {
91
92     HLSSegment *segment, *previous_segment = NULL;
93     float playlist_duration = 0.0f;
94     int ret = 0, path_size;
95     char *dirname = NULL, *p, *path;
96
97     segment = hls->segments;
98     while (segment) {
99         playlist_duration += segment->duration;
100         segment = segment->next;
101     }
102
103     segment = hls->old_segments;
104     while (segment) {
105         playlist_duration -= segment->duration;
106         previous_segment = segment;
107         segment = previous_segment->next;
108         if (playlist_duration <= -previous_segment->duration) {
109             previous_segment->next = NULL;
110             break;
111         }
112     }
113
114     if (segment) {
115         if (hls->segment_filename) {
116             dirname = av_strdup(hls->segment_filename);
117         } else {
118             dirname = av_strdup(hls->avf->filename);
119         }
120         if (!dirname) {
121             ret = AVERROR(ENOMEM);
122             goto fail;
123         }
124         p = (char *)av_basename(dirname);
125         *p = '\0';
126     }
127
128     while (segment) {
129         av_log(hls, AV_LOG_DEBUG, "deleting old segment %s\n",
130                                   segment->filename);
131         path_size = strlen(dirname) + strlen(segment->filename) + 1;
132         path = av_malloc(path_size);
133         if (!path) {
134             ret = AVERROR(ENOMEM);
135             goto fail;
136         }
137         av_strlcpy(path, dirname, path_size);
138         av_strlcat(path, segment->filename, path_size);
139         if (unlink(path) < 0) {
140             av_log(hls, AV_LOG_ERROR, "failed to delete old segment %s: %s\n",
141                                      path, strerror(errno));
142         }
143         av_free(path);
144         previous_segment = segment;
145         segment = previous_segment->next;
146         av_free(previous_segment);
147     }
148
149 fail:
150     av_free(dirname);
151
152     return ret;
153 }
154
155 static int hls_mux_init(AVFormatContext *s)
156 {
157     HLSContext *hls = s->priv_data;
158     AVFormatContext *oc;
159     int i, ret;
160
161     ret = avformat_alloc_output_context2(&hls->avf, hls->oformat, NULL, NULL);
162     if (ret < 0)
163         return ret;
164     oc = hls->avf;
165
166     oc->oformat            = hls->oformat;
167     oc->interrupt_callback = s->interrupt_callback;
168     oc->max_delay          = s->max_delay;
169     av_dict_copy(&oc->metadata, s->metadata, 0);
170
171     for (i = 0; i < s->nb_streams; i++) {
172         AVStream *st;
173         if (!(st = avformat_new_stream(oc, NULL)))
174             return AVERROR(ENOMEM);
175         avcodec_copy_context(st->codec, s->streams[i]->codec);
176         st->sample_aspect_ratio = s->streams[i]->sample_aspect_ratio;
177         st->time_base = s->streams[i]->time_base;
178     }
179     hls->start_pos = 0;
180
181     return 0;
182 }
183
184 /* Create a new segment and append it to the segment list */
185 static int hls_append_segment(HLSContext *hls, double duration, int64_t pos,
186                               int64_t size)
187 {
188     HLSSegment *en = av_malloc(sizeof(*en));
189     int ret;
190
191     if (!en)
192         return AVERROR(ENOMEM);
193
194     av_strlcpy(en->filename, av_basename(hls->avf->filename), sizeof(en->filename));
195
196     en->duration = duration;
197     en->pos      = pos;
198     en->size     = size;
199     en->next     = NULL;
200
201     if (!hls->segments)
202         hls->segments = en;
203     else
204         hls->last_segment->next = en;
205
206     hls->last_segment = en;
207
208     if (hls->max_nb_segments && hls->nb_entries >= hls->max_nb_segments) {
209         en = hls->segments;
210         hls->segments = en->next;
211         if (en && hls->flags & HLS_DELETE_SEGMENTS &&
212                 !(hls->flags & HLS_SINGLE_FILE || hls->wrap)) {
213             en->next = hls->old_segments;
214             hls->old_segments = en;
215             if ((ret = hls_delete_old_segments(hls)) < 0)
216                 return ret;
217         } else
218             av_free(en);
219     } else
220         hls->nb_entries++;
221
222     hls->sequence++;
223
224     return 0;
225 }
226
227 static void hls_free_segments(HLSSegment *p)
228 {
229     HLSSegment *en;
230
231     while(p) {
232         en = p;
233         p = p->next;
234         av_free(en);
235     }
236 }
237
238 static int hls_window(AVFormatContext *s, int last)
239 {
240     HLSContext *hls = s->priv_data;
241     HLSSegment *en;
242     int target_duration = 0;
243     int ret = 0;
244     AVIOContext *out = NULL;
245     char temp_filename[1024];
246     int64_t sequence = FFMAX(hls->start_sequence, hls->sequence - hls->nb_entries);
247     int version = hls->flags & HLS_SINGLE_FILE ? 4 : 3;
248     const char *proto = avio_find_protocol_name(s->filename);
249     int use_rename = proto && !strcmp(proto, "file");
250
251     snprintf(temp_filename, sizeof(temp_filename), use_rename ? "%s.tmp" : "%s", s->filename);
252     if ((ret = avio_open2(&out, temp_filename, AVIO_FLAG_WRITE,
253                           &s->interrupt_callback, NULL)) < 0)
254         goto fail;
255
256     for (en = hls->segments; en; en = en->next) {
257         if (target_duration < en->duration)
258             target_duration = ceil(en->duration);
259     }
260
261     avio_printf(out, "#EXTM3U\n");
262     avio_printf(out, "#EXT-X-VERSION:%d\n", version);
263     if (hls->allowcache == 0 || hls->allowcache == 1) {
264         avio_printf(out, "#EXT-X-ALLOW-CACHE:%s\n", hls->allowcache == 0 ? "NO" : "YES");
265     }
266     avio_printf(out, "#EXT-X-TARGETDURATION:%d\n", target_duration);
267     avio_printf(out, "#EXT-X-MEDIA-SEQUENCE:%"PRId64"\n", sequence);
268
269     av_log(s, AV_LOG_VERBOSE, "EXT-X-MEDIA-SEQUENCE:%"PRId64"\n",
270            sequence);
271
272     for (en = hls->segments; en; en = en->next) {
273         avio_printf(out, "#EXTINF:%f,\n", en->duration);
274         if (hls->flags & HLS_SINGLE_FILE)
275              avio_printf(out, "#EXT-X-BYTERANGE:%"PRIi64"@%"PRIi64"\n",
276                          en->size, en->pos);
277         if (hls->baseurl)
278             avio_printf(out, "%s", hls->baseurl);
279         avio_printf(out, "%s\n", en->filename);
280     }
281
282     if (last)
283         avio_printf(out, "#EXT-X-ENDLIST\n");
284
285 fail:
286     avio_closep(&out);
287     if (ret >= 0 && use_rename)
288         ff_rename(temp_filename, s->filename, s);
289     return ret;
290 }
291
292 static int hls_start(AVFormatContext *s)
293 {
294     HLSContext *c = s->priv_data;
295     AVFormatContext *oc = c->avf;
296     int err = 0;
297
298     if (c->flags & HLS_SINGLE_FILE)
299         av_strlcpy(oc->filename, c->basename,
300                    sizeof(oc->filename));
301     else
302         if (av_get_frame_filename(oc->filename, sizeof(oc->filename),
303                                   c->basename, c->wrap ? c->sequence % c->wrap : c->sequence) < 0) {
304             av_log(oc, AV_LOG_ERROR, "Invalid segment filename template '%s'\n", c->basename);
305             return AVERROR(EINVAL);
306         }
307     c->number++;
308
309     if ((err = avio_open2(&oc->pb, oc->filename, AVIO_FLAG_WRITE,
310                           &s->interrupt_callback, NULL)) < 0)
311         return err;
312
313     if (oc->oformat->priv_class && oc->priv_data)
314         av_opt_set(oc->priv_data, "mpegts_flags", "resend_headers", 0);
315
316     return 0;
317 }
318
319 static int hls_write_header(AVFormatContext *s)
320 {
321     HLSContext *hls = s->priv_data;
322     int ret, i;
323     char *p;
324     const char *pattern = "%d.ts";
325     AVDictionary *options = NULL;
326     int basename_size;
327
328     hls->sequence       = hls->start_sequence;
329     hls->recording_time = hls->time * AV_TIME_BASE;
330     hls->start_pts      = AV_NOPTS_VALUE;
331
332     if (hls->format_options_str) {
333         ret = av_dict_parse_string(&hls->format_options, hls->format_options_str, "=", ":", 0);
334         if (ret < 0) {
335             av_log(s, AV_LOG_ERROR, "Could not parse format options list '%s'\n", hls->format_options_str);
336             goto fail;
337         }
338     }
339
340     for (i = 0; i < s->nb_streams; i++)
341         hls->has_video +=
342             s->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO;
343
344     if (hls->has_video > 1)
345         av_log(s, AV_LOG_WARNING,
346                "More than a single video stream present, "
347                "expect issues decoding it.\n");
348
349     hls->oformat = av_guess_format("mpegts", NULL, NULL);
350
351     if (!hls->oformat) {
352         ret = AVERROR_MUXER_NOT_FOUND;
353         goto fail;
354     }
355
356     if (hls->segment_filename) {
357         hls->basename = av_strdup(hls->segment_filename);
358         if (!hls->basename) {
359             ret = AVERROR(ENOMEM);
360             goto fail;
361         }
362     } else {
363         if (hls->flags & HLS_SINGLE_FILE)
364             pattern = ".ts";
365
366         basename_size = strlen(s->filename) + strlen(pattern) + 1;
367         hls->basename = av_malloc(basename_size);
368         if (!hls->basename) {
369             ret = AVERROR(ENOMEM);
370             goto fail;
371         }
372
373         av_strlcpy(hls->basename, s->filename, basename_size);
374
375         p = strrchr(hls->basename, '.');
376         if (p)
377             *p = '\0';
378         av_strlcat(hls->basename, pattern, basename_size);
379     }
380
381     if ((ret = hls_mux_init(s)) < 0)
382         goto fail;
383
384     if ((ret = hls_start(s)) < 0)
385         goto fail;
386
387     av_dict_copy(&options, hls->format_options, 0);
388     ret = avformat_write_header(hls->avf, &options);
389     if (av_dict_count(options)) {
390         av_log(s, AV_LOG_ERROR, "Some of provided format options in '%s' are not recognized\n", hls->format_options_str);
391         ret = AVERROR(EINVAL);
392         goto fail;
393     }
394     av_assert0(s->nb_streams == hls->avf->nb_streams);
395     for (i = 0; i < s->nb_streams; i++) {
396         AVStream *inner_st  = hls->avf->streams[i];
397         AVStream *outer_st = s->streams[i];
398         avpriv_set_pts_info(outer_st, inner_st->pts_wrap_bits, inner_st->time_base.num, inner_st->time_base.den);
399     }
400 fail:
401
402     av_dict_free(&options);
403     if (ret < 0) {
404         av_freep(&hls->basename);
405         if (hls->avf)
406             avformat_free_context(hls->avf);
407     }
408     return ret;
409 }
410
411 static int hls_write_packet(AVFormatContext *s, AVPacket *pkt)
412 {
413     HLSContext *hls = s->priv_data;
414     AVFormatContext *oc = hls->avf;
415     AVStream *st = s->streams[pkt->stream_index];
416     int64_t end_pts = hls->recording_time * hls->number;
417     int is_ref_pkt = 1;
418     int ret, can_split = 1;
419
420     if (hls->start_pts == AV_NOPTS_VALUE) {
421         hls->start_pts = pkt->pts;
422         hls->end_pts   = pkt->pts;
423     }
424
425     if (hls->has_video) {
426         can_split = st->codec->codec_type == AVMEDIA_TYPE_VIDEO &&
427                     pkt->flags & AV_PKT_FLAG_KEY;
428         is_ref_pkt = st->codec->codec_type == AVMEDIA_TYPE_VIDEO;
429     }
430     if (pkt->pts == AV_NOPTS_VALUE)
431         is_ref_pkt = can_split = 0;
432
433     if (is_ref_pkt)
434         hls->duration = (double)(pkt->pts - hls->end_pts)
435                                    * st->time_base.num / st->time_base.den;
436
437     if (can_split && av_compare_ts(pkt->pts - hls->start_pts, st->time_base,
438                                    end_pts, AV_TIME_BASE_Q) >= 0) {
439         int64_t new_start_pos;
440         av_write_frame(oc, NULL); /* Flush any buffered data */
441
442         new_start_pos = avio_tell(hls->avf->pb);
443         hls->size = new_start_pos - hls->start_pos;
444         ret = hls_append_segment(hls, hls->duration, hls->start_pos, hls->size);
445         hls->start_pos = new_start_pos;
446         if (ret < 0)
447             return ret;
448
449         hls->end_pts = pkt->pts;
450         hls->duration = 0;
451
452         if (hls->flags & HLS_SINGLE_FILE) {
453             if (hls->avf->oformat->priv_class && hls->avf->priv_data)
454                 av_opt_set(hls->avf->priv_data, "mpegts_flags", "resend_headers", 0);
455             hls->number++;
456         } else {
457             avio_closep(&oc->pb);
458
459             ret = hls_start(s);
460         }
461
462         if (ret < 0)
463             return ret;
464
465         oc = hls->avf;
466
467         if ((ret = hls_window(s, 0)) < 0)
468             return ret;
469     }
470
471     ret = ff_write_chained(oc, pkt->stream_index, pkt, s, 0);
472
473     return ret;
474 }
475
476 static int hls_write_trailer(struct AVFormatContext *s)
477 {
478     HLSContext *hls = s->priv_data;
479     AVFormatContext *oc = hls->avf;
480
481     av_write_trailer(oc);
482     if (oc->pb) {
483         hls->size = avio_tell(hls->avf->pb) - hls->start_pos;
484         avio_closep(&oc->pb);
485         hls_append_segment(hls, hls->duration, hls->start_pos, hls->size);
486     }
487     av_freep(&hls->basename);
488     avformat_free_context(oc);
489     hls->avf = NULL;
490     hls_window(s, 1);
491
492     hls_free_segments(hls->segments);
493     hls_free_segments(hls->old_segments);
494     return 0;
495 }
496
497 #define OFFSET(x) offsetof(HLSContext, x)
498 #define E AV_OPT_FLAG_ENCODING_PARAM
499 static const AVOption options[] = {
500     {"start_number",  "set first number in the sequence",        OFFSET(start_sequence),AV_OPT_TYPE_INT64,  {.i64 = 0},     0, INT64_MAX, E},
501     {"hls_time",      "set segment length in seconds",           OFFSET(time),    AV_OPT_TYPE_FLOAT,  {.dbl = 2},     0, FLT_MAX, E},
502     {"hls_list_size", "set maximum number of playlist entries",  OFFSET(max_nb_segments),    AV_OPT_TYPE_INT,    {.i64 = 5},     0, INT_MAX, E},
503     {"hls_ts_options","set hls mpegts list of options for the container format used for hls", OFFSET(format_options_str), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,    E},
504     {"hls_wrap",      "set number after which the index wraps",  OFFSET(wrap),    AV_OPT_TYPE_INT,    {.i64 = 0},     0, INT_MAX, E},
505     {"hls_allow_cache", "explicitly set whether the client MAY (1) or MUST NOT (0) cache media segments", OFFSET(allowcache), AV_OPT_TYPE_INT, {.i64 = -1}, INT_MIN, INT_MAX, E},
506     {"hls_base_url",  "url to prepend to each playlist entry",   OFFSET(baseurl), AV_OPT_TYPE_STRING, {.str = NULL},  0, 0,       E},
507     {"hls_segment_filename", "filename template for segment files", OFFSET(segment_filename),   AV_OPT_TYPE_STRING, {.str = NULL},            0,       0,         E},
508     {"hls_flags",     "set flags affecting HLS playlist and media file generation", OFFSET(flags), AV_OPT_TYPE_FLAGS, {.i64 = 0 }, 0, UINT_MAX, E, "flags"},
509     {"single_file",   "generate a single media file indexed with byte ranges", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_SINGLE_FILE }, 0, UINT_MAX,   E, "flags"},
510     {"delete_segments", "delete segment files that are no longer part of the playlist", 0, AV_OPT_TYPE_CONST, {.i64 = HLS_DELETE_SEGMENTS }, 0, UINT_MAX,   E, "flags"},
511
512     { NULL },
513 };
514
515 static const AVClass hls_class = {
516     .class_name = "hls muxer",
517     .item_name  = av_default_item_name,
518     .option     = options,
519     .version    = LIBAVUTIL_VERSION_INT,
520 };
521
522
523 AVOutputFormat ff_hls_muxer = {
524     .name           = "hls",
525     .long_name      = NULL_IF_CONFIG_SMALL("Apple HTTP Live Streaming"),
526     .extensions     = "m3u8",
527     .priv_data_size = sizeof(HLSContext),
528     .audio_codec    = AV_CODEC_ID_AAC,
529     .video_codec    = AV_CODEC_ID_H264,
530     .flags          = AVFMT_NOFILE | AVFMT_ALLOW_FLUSH,
531     .write_header   = hls_write_header,
532     .write_packet   = hls_write_packet,
533     .write_trailer  = hls_write_trailer,
534     .priv_class     = &hls_class,
535 };