httplive: support absolute URI-locations for key-retrieval
[vlc.git] / modules / stream_filter / httplive.c
1 /*****************************************************************************
2  * httplive.c: HTTP Live Streaming stream filter
3  *****************************************************************************
4  * Copyright (C) 2010-2012 M2X BV
5  * $Id$
6  *
7  * Author: Jean-Paul Saman <jpsaman _AT_ videolan _DOT_ org>
8  *
9  * This program is free software; you can redistribute it and/or modify it
10  * under the terms of the GNU Lesser General Public License as published by
11  * the Free Software Foundation; either version 2.1 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
17  * GNU Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public License
20  * along with this program; if not, write to the Free Software Foundation,
21  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
22  *****************************************************************************/
23
24 /*****************************************************************************
25  * Preamble
26  *****************************************************************************/
27 #ifdef HAVE_CONFIG_H
28 # include "config.h"
29 #endif
30
31 #include <limits.h>
32
33 #include <vlc_common.h>
34 #include <vlc_plugin.h>
35
36 #include <assert.h>
37 #include <errno.h>
38 #include <gcrypt.h>
39
40 #include <vlc_threads.h>
41 #include <vlc_arrays.h>
42 #include <vlc_stream.h>
43 #include <vlc_memory.h>
44 #include <vlc_gcrypt.h>
45
46 /*****************************************************************************
47  * Module descriptor
48  *****************************************************************************/
49 static int  Open (vlc_object_t *);
50 static void Close(vlc_object_t *);
51
52 vlc_module_begin()
53     set_category(CAT_INPUT)
54     set_subcategory(SUBCAT_INPUT_STREAM_FILTER)
55     set_description(N_("Http Live Streaming stream filter"))
56     set_capability("stream_filter", 20)
57     set_callbacks(Open, Close)
58 vlc_module_end()
59
60 /*****************************************************************************
61  *
62  *****************************************************************************/
63 #define AES_BLOCK_SIZE 16 /* Only support AES-128 */
64 typedef struct segment_s
65 {
66     int         sequence;   /* unique sequence number */
67     int         duration;   /* segment duration (seconds) */
68     uint64_t    size;       /* segment size in bytes */
69     uint64_t    bandwidth;  /* bandwidth usage of segments (bits per second)*/
70
71     char        *url;
72     char       *psz_key_path;         /* url key path */
73     uint8_t     aes_key[16];      /* AES-128 */
74     bool        b_key_loaded;
75
76     vlc_mutex_t lock;
77     block_t     *data;      /* data */
78 } segment_t;
79
80 typedef struct hls_stream_s
81 {
82     int         id;         /* program id */
83     int         version;    /* protocol version should be 1 */
84     int         sequence;   /* media sequence number */
85     int         duration;   /* maximum duration per segment (s) */
86     uint64_t    bandwidth;  /* bandwidth usage of segments (bits per second)*/
87     uint64_t    size;       /* stream length is calculated by taking the sum
88                                foreach segment of (segment->duration * hls->bandwidth/8) */
89
90     vlc_array_t *segments;  /* list of segments */
91     char        *url;        /* uri to m3u8 */
92     vlc_mutex_t lock;
93     bool        b_cache;    /* allow caching */
94
95     char        *psz_current_key_path;          /* URL path of the encrypted key */
96     uint8_t      psz_AES_IV[AES_BLOCK_SIZE];    /* IV used when decypher the block */
97     bool         b_iv_loaded;
98 } hls_stream_t;
99
100 struct stream_sys_t
101 {
102     char         *m3u8;         /* M3U8 url */
103     vlc_thread_t  reload;       /* HLS m3u8 reload thread */
104     vlc_thread_t  thread;       /* HLS segment download thread */
105
106     block_t      *peeked;
107
108     /* */
109     vlc_array_t  *hls_stream;   /* bandwidth adaptation */
110     uint64_t      bandwidth;    /* measured bandwidth (bits per second) */
111
112     /* Download */
113     struct hls_download_s
114     {
115         int         stream;     /* current hls_stream  */
116         int         segment;    /* current segment for downloading */
117         int         seek;       /* segment requested by seek (default -1) */
118         vlc_mutex_t lock_wait;  /* protect segment download counter */
119         vlc_cond_t  wait;       /* some condition to wait on */
120     } download;
121
122     /* Playback */
123     struct hls_playback_s
124     {
125         uint64_t    offset;     /* current offset in media */
126         int         stream;     /* current hls_stream  */
127         int         segment;    /* current segment for playback */
128     } playback;
129
130     /* Playlist */
131     struct hls_playlist_s
132     {
133         mtime_t     last;       /* playlist last loaded */
134         mtime_t     wakeup;     /* next reload time */
135         int         tries;      /* times it was not changed */
136     } playlist;
137
138     /* state */
139     bool        b_cache;    /* can cache files */
140     bool        b_meta;     /* meta playlist */
141     bool        b_live;     /* live stream? or vod? */
142     bool        b_error;    /* parsing error */
143     bool        b_aesmsg;   /* only print one time that the media is encrypted */
144 };
145
146 /****************************************************************************
147  * Local prototypes
148  ****************************************************************************/
149 static int  Read   (stream_t *, void *p_read, unsigned int i_read);
150 static int  Peek   (stream_t *, const uint8_t **pp_peek, unsigned int i_peek);
151 static int  Control(stream_t *, int i_query, va_list);
152
153 static ssize_t read_M3U8_from_stream(stream_t *s, uint8_t **buffer);
154 static ssize_t read_M3U8_from_url(stream_t *s, const char *psz_url, uint8_t **buffer);
155 static char *ReadLine(uint8_t *buffer, uint8_t **pos, size_t len);
156
157 static int hls_Download(stream_t *s, segment_t *segment);
158
159 static void* hls_Thread(void *);
160 static void* hls_Reload(void *);
161
162 static segment_t *segment_GetSegment(hls_stream_t *hls, int wanted);
163 static void segment_Free(segment_t *segment);
164
165 /****************************************************************************
166  *
167  ****************************************************************************/
168 static bool isHTTPLiveStreaming(stream_t *s)
169 {
170     const uint8_t *peek;
171
172     int size = stream_Peek(s->p_source, &peek, 46);
173     if (size < 7)
174         return false;
175
176     if (memcmp(peek, "#EXTM3U", 7) != 0)
177         return false;
178
179     peek += 7;
180     size -= 7;
181
182     /* Parse stream and search for
183      * EXT-X-TARGETDURATION or EXT-X-STREAM-INF tag, see
184      * http://tools.ietf.org/html/draft-pantos-http-live-streaming-04#page-8 */
185     while (size--)
186     {
187         static const char *const ext[] = {
188             "TARGETDURATION",
189             "MEDIA-SEQUENCE",
190             "KEY",
191             "ALLOW-CACHE",
192             "ENDLIST",
193             "STREAM-INF",
194             "DISCONTINUITY",
195             "VERSION"
196         };
197
198         if (*peek++ != '#')
199             continue;
200
201         if (size < 6)
202             continue;
203
204         if (memcmp(peek, "EXT-X-", 6))
205             continue;
206
207         peek += 6;
208         size -= 6;
209
210         for (size_t i = 0; i < ARRAY_SIZE(ext); i++)
211         {
212             size_t len = strlen(ext[i]);
213             if (size < 0 || (size_t)size < len)
214                 continue;
215             if (!memcmp(peek, ext[i], len))
216                 return true;
217         }
218     }
219
220     return false;
221 }
222
223 /* HTTP Live Streaming */
224 static hls_stream_t *hls_New(vlc_array_t *hls_stream, const int id, const uint64_t bw, const char *uri)
225 {
226     hls_stream_t *hls = (hls_stream_t *)malloc(sizeof(hls_stream_t));
227     if (hls == NULL) return NULL;
228
229     hls->id = id;
230     hls->bandwidth = bw;
231     hls->duration = -1;/* unknown */
232     hls->size = 0;
233     hls->sequence = 0; /* default is 0 */
234     hls->version = 1;  /* default protocol version */
235     hls->b_cache = true;
236     hls->url = strdup(uri);
237     if (hls->url == NULL)
238     {
239         free(hls);
240         return NULL;
241     }
242     hls->psz_current_key_path = NULL;
243     hls->segments = vlc_array_new();
244     vlc_array_append(hls_stream, hls);
245     vlc_mutex_init(&hls->lock);
246     return hls;
247 }
248
249 static void hls_Free(hls_stream_t *hls)
250 {
251     vlc_mutex_destroy(&hls->lock);
252
253     if (hls->segments)
254     {
255         for (int n = 0; n < vlc_array_count(hls->segments); n++)
256         {
257             segment_t *segment = segment_GetSegment(hls, n);
258             if (segment) segment_Free(segment);
259         }
260         vlc_array_destroy(hls->segments);
261     }
262     free(hls->url);
263     free(hls->psz_current_key_path);
264     free(hls);
265 }
266
267 static hls_stream_t *hls_Copy(hls_stream_t *src, const bool b_cp_segments)
268 {
269     assert(src);
270     assert(!b_cp_segments); /* FIXME: copying segments is not implemented */
271
272     hls_stream_t *dst = (hls_stream_t *)malloc(sizeof(hls_stream_t));
273     if (dst == NULL) return NULL;
274
275     dst->id = src->id;
276     dst->bandwidth = src->bandwidth;
277     dst->duration = src->duration;
278     dst->size = src->size;
279     dst->sequence = src->sequence;
280     dst->version = src->version;
281     dst->b_cache = src->b_cache;
282     dst->psz_current_key_path = src->psz_current_key_path ?
283                 strdup( src->psz_current_key_path ) : NULL;
284     dst->url = strdup(src->url);
285     if (dst->url == NULL)
286     {
287         free(dst);
288         return NULL;
289     }
290     if (!b_cp_segments)
291         dst->segments = vlc_array_new();
292     vlc_mutex_init(&dst->lock);
293     return dst;
294 }
295
296 static hls_stream_t *hls_Get(vlc_array_t *hls_stream, const int wanted)
297 {
298     int count = vlc_array_count(hls_stream);
299     if (count <= 0)
300         return NULL;
301     if ((wanted < 0) || (wanted >= count))
302         return NULL;
303     return (hls_stream_t *) vlc_array_item_at_index(hls_stream, wanted);
304 }
305
306 static inline hls_stream_t *hls_GetFirst(vlc_array_t *hls_stream)
307 {
308     return hls_Get(hls_stream, 0);
309 }
310
311 static hls_stream_t *hls_GetLast(vlc_array_t *hls_stream)
312 {
313     int count = vlc_array_count(hls_stream);
314     if (count <= 0)
315         return NULL;
316     count--;
317     return hls_Get(hls_stream, count);
318 }
319
320 static hls_stream_t *hls_Find(vlc_array_t *hls_stream, hls_stream_t *hls_new)
321 {
322     int count = vlc_array_count(hls_stream);
323     for (int n = 0; n < count; n++)
324     {
325         hls_stream_t *hls = hls_Get(hls_stream, n);
326         if (hls)
327         {
328             /* compare */
329             if ((hls->id == hls_new->id) &&
330                 ((hls->bandwidth == hls_new->bandwidth)||(hls_new->bandwidth==0)))
331                 return hls;
332         }
333     }
334     return NULL;
335 }
336
337 static uint64_t hls_GetStreamSize(hls_stream_t *hls)
338 {
339     /* NOTE: Stream size is calculated based on segment duration and
340      * HLS stream bandwidth from the .m3u8 file. If these are not correct
341      * then the deviation from exact byte size will be big and the seek/
342      * progressbar will not behave entirely as one expects. */
343     uint64_t size = 0UL;
344
345     /* If there is no valid bandwidth yet, then there is no point in
346      * computing stream size. */
347     if (hls->bandwidth == 0)
348         return size;
349
350     int count = vlc_array_count(hls->segments);
351     for (int n = 0; n < count; n++)
352     {
353         segment_t *segment = segment_GetSegment(hls, n);
354         if (segment)
355         {
356             size += (segment->duration * (hls->bandwidth / 8));
357         }
358     }
359     return size;
360 }
361
362 /* Segment */
363 static segment_t *segment_New(hls_stream_t* hls, const int duration, const char *uri)
364 {
365     segment_t *segment = (segment_t *)malloc(sizeof(segment_t));
366     if (segment == NULL)
367         return NULL;
368
369     segment->duration = duration; /* seconds */
370     segment->size = 0; /* bytes */
371     segment->sequence = 0;
372     segment->bandwidth = 0;
373     segment->url = strdup(uri);
374     if (segment->url == NULL)
375     {
376         free(segment);
377         return NULL;
378     }
379     segment->data = NULL;
380     vlc_array_append(hls->segments, segment);
381     vlc_mutex_init(&segment->lock);
382     segment->b_key_loaded = false;
383     segment->psz_key_path = NULL;
384     if (hls->psz_current_key_path)
385         segment->psz_key_path = strdup(hls->psz_current_key_path);
386     return segment;
387 }
388
389 static void segment_Free(segment_t *segment)
390 {
391     vlc_mutex_destroy(&segment->lock);
392
393     free(segment->url);
394     free(segment->psz_key_path);
395     if (segment->data)
396         block_Release(segment->data);
397     free(segment);
398 }
399
400 static segment_t *segment_GetSegment(hls_stream_t *hls, const int wanted)
401 {
402     assert(hls);
403
404     int count = vlc_array_count(hls->segments);
405     if (count <= 0)
406         return NULL;
407     if ((wanted < 0) || (wanted >= count))
408         return NULL;
409     return (segment_t *) vlc_array_item_at_index(hls->segments, wanted);
410 }
411
412 static segment_t *segment_Find(hls_stream_t *hls, const int sequence)
413 {
414     assert(hls);
415
416     int count = vlc_array_count(hls->segments);
417     if (count <= 0) return NULL;
418     for (int n = 0; n < count; n++)
419     {
420         segment_t *segment = segment_GetSegment(hls, n);
421         if (segment == NULL) break;
422         if (segment->sequence == sequence)
423             return segment;
424     }
425     return NULL;
426 }
427
428 static int ChooseSegment(stream_t *s, const int current)
429 {
430     stream_sys_t *p_sys = (stream_sys_t *)s->p_sys;
431     hls_stream_t *hls = hls_Get(p_sys->hls_stream, current);
432     if (hls == NULL) return 0;
433
434     /* Choose a segment to start which is no closer than
435      * 3 times the target duration from the end of the playlist.
436      */
437     int wanted = 0;
438     int duration = 0;
439     int sequence = 0;
440     int count = vlc_array_count(hls->segments);
441     int i = p_sys->b_live ? count - 1 : 0;
442
443     while((i >= 0) && (i < count))
444     {
445         segment_t *segment = segment_GetSegment(hls, i);
446         assert(segment);
447
448         if (segment->duration > hls->duration)
449         {
450             msg_Err(s, "EXTINF:%d duration is larger than EXT-X-TARGETDURATION:%d",
451                     segment->duration, hls->duration);
452         }
453
454         duration += segment->duration;
455         if (duration >= 3 * hls->duration)
456         {
457             /* Start point found */
458             wanted = p_sys->b_live ? i : 0;
459             sequence = segment->sequence;
460             break;
461         }
462
463         if (p_sys->b_live)
464             i-- ;
465         else
466             i++;
467     }
468
469     msg_Info(s, "Choose segment %d/%d (sequence=%d)", wanted, count, sequence);
470     return wanted;
471 }
472
473 /* Parsing */
474 static char *parse_Attributes(const char *line, const char *attr)
475 {
476     char *p;
477     char *begin = (char *) line;
478     char *end = begin + strlen(line);
479
480     /* Find start of attributes */
481     if ((p = strchr(begin, ':' )) == NULL)
482         return NULL;
483
484     begin = p;
485     do
486     {
487         if (strncasecmp(begin, attr, strlen(attr)) == 0
488           && begin[strlen(attr)] == '=')
489         {
490             /* <attr>=<value>[,]* */
491             p = strchr(begin, ',');
492             begin += strlen(attr) + 1;
493             if (begin >= end)
494                 return NULL;
495             if (p == NULL) /* last attribute */
496                 return strndup(begin, end - begin);
497             /* copy till ',' */
498             return strndup(begin, p - begin);
499         }
500         begin++;
501     } while(begin < end);
502
503     return NULL;
504 }
505
506 static int string_to_IV(char *string_hexa, uint8_t iv[AES_BLOCK_SIZE])
507 {
508     unsigned long long iv_hi, iv_lo;
509     char *end = NULL;
510     if (*string_hexa++ != '0')
511         return VLC_EGENERIC;
512     if (*string_hexa != 'x' && *string_hexa != 'X')
513         return VLC_EGENERIC;
514
515     string_hexa++;
516
517     size_t len = strlen(string_hexa);
518     if (len <= 16) {
519         iv_hi = 0;
520         iv_lo = strtoull(string_hexa, &end, 16);
521         if (end)
522             return VLC_EGENERIC;
523     } else {
524         iv_lo = strtoull(&string_hexa[len-16], NULL, 16);
525         if (end)
526             return VLC_EGENERIC;
527         string_hexa[len-16] = '\0';
528         iv_hi = strtoull(string_hexa, NULL, 16);
529         if (end)
530             return VLC_EGENERIC;
531     }
532
533     for (int i = 7; i >= 0 ; --i) {
534         iv[  i] = iv_hi & 0xff;
535         iv[8+i] = iv_lo & 0xff;
536         iv_hi >>= 8;
537         iv_lo >>= 8;
538     }
539
540     return VLC_SUCCESS;
541 }
542
543 static char *relative_URI(const char *psz_url, const char *psz_path)
544 {
545     assert(psz_url != NULL && psz_path != NULL);
546     //If the path is actually an absolute URL, don't do anything.
547     if (strncmp(psz_path, "http", 4) == 0)
548         return NULL;
549
550     char    *path_end = strrchr(psz_url, '/');
551     if (path_end == NULL)
552         return NULL;
553     unsigned int    url_length = path_end - psz_url + 1;
554     char    *psz_res = malloc(url_length + strlen(psz_path) + 1);
555     strncpy(psz_res, psz_url, url_length);
556     psz_res[url_length] = 0;
557     strcat(psz_res, psz_path);
558     return psz_res;
559 }
560
561 static int parse_SegmentInformation(hls_stream_t *hls, char *p_read, int *duration)
562 {
563     assert(hls);
564     assert(p_read);
565
566     /* strip of #EXTINF: */
567     char *p_next = NULL;
568     char *token = strtok_r(p_read, ":", &p_next);
569     if (token == NULL)
570         return VLC_EGENERIC;
571
572     /* read duration */
573     token = strtok_r(NULL, ",", &p_next);
574     if (token == NULL)
575         return VLC_EGENERIC;
576
577     int value;
578     char *endptr;
579     if (hls->version < 3)
580     {
581         errno = 0;
582         value = strtol(token, &endptr, 10);
583         if (token == endptr || errno == ERANGE)
584         {
585             *duration = -1;
586             return VLC_EGENERIC;
587         }
588         *duration = value;
589     }
590     else
591     {
592         errno = 0;
593         double d = strtof(token, &endptr);
594         if (token == endptr || errno == ERANGE)
595         {
596             *duration = -1;
597             return VLC_EGENERIC;
598         }
599         if ((d) - ((int)d) >= 0.5)
600             value = ((int)d) + 1;
601         else
602             value = ((int)d);
603         *duration = value;
604     }
605
606     /* Ignore the rest of the line */
607     return VLC_SUCCESS;
608 }
609
610 static int parse_AddSegment(hls_stream_t *hls, const int duration, const char *uri)
611 {
612     assert(hls);
613     assert(uri);
614
615     /* Store segment information */
616     vlc_mutex_lock(&hls->lock);
617
618     char *psz_uri = relative_URI(hls->url, uri);
619
620     segment_t *segment = segment_New(hls, duration, psz_uri ? psz_uri : uri);
621     if (segment)
622         segment->sequence = hls->sequence + vlc_array_count(hls->segments) - 1;
623     free(psz_uri);
624
625     vlc_mutex_unlock(&hls->lock);
626
627     return segment ? VLC_SUCCESS : VLC_ENOMEM;
628 }
629
630 static int parse_TargetDuration(stream_t *s, hls_stream_t *hls, char *p_read)
631 {
632     assert(hls);
633
634     int duration = -1;
635     int ret = sscanf(p_read, "#EXT-X-TARGETDURATION:%d", &duration);
636     if (ret != 1)
637     {
638         msg_Err(s, "expected #EXT-X-TARGETDURATION:<s>");
639         return VLC_EGENERIC;
640     }
641
642     hls->duration = duration; /* seconds */
643     return VLC_SUCCESS;
644 }
645
646 static int parse_StreamInformation(stream_t *s, vlc_array_t **hls_stream,
647                                    hls_stream_t **hls, char *p_read, const char *uri)
648 {
649     int id;
650     uint64_t bw;
651     char *attr;
652
653     assert(*hls == NULL);
654
655     attr = parse_Attributes(p_read, "PROGRAM-ID");
656     if (attr)
657     {
658         id = atol(attr);
659         free(attr);
660     }
661     else
662         id = 0;
663
664     attr = parse_Attributes(p_read, "BANDWIDTH");
665     if (attr == NULL)
666     {
667         msg_Err(s, "#EXT-X-STREAM-INF: expected BANDWIDTH=<value>");
668         return VLC_EGENERIC;
669     }
670     bw = atoll(attr);
671     free(attr);
672
673     if (bw == 0)
674     {
675         msg_Err(s, "#EXT-X-STREAM-INF: bandwidth cannot be 0");
676         return VLC_EGENERIC;
677     }
678
679     msg_Info(s, "bandwidth adaptation detected (program-id=%d, bandwidth=%"PRIu64").", id, bw);
680
681     char *psz_uri = relative_URI(s->p_sys->m3u8, uri);
682
683     *hls = hls_New(*hls_stream, id, bw, psz_uri ? psz_uri : uri);
684
685     free(psz_uri);
686
687     return (*hls == NULL) ? VLC_ENOMEM : VLC_SUCCESS;
688 }
689
690 static int parse_MediaSequence(stream_t *s, hls_stream_t *hls, char *p_read)
691 {
692     assert(hls);
693
694     int sequence;
695     int ret = sscanf(p_read, "#EXT-X-MEDIA-SEQUENCE:%d", &sequence);
696     if (ret != 1)
697     {
698         msg_Err(s, "expected #EXT-X-MEDIA-SEQUENCE:<s>");
699         return VLC_EGENERIC;
700     }
701
702     if (hls->sequence > 0)
703     {
704         if (s->p_sys->b_live)
705         {
706             hls_stream_t *last = hls_GetLast(s->p_sys->hls_stream);
707             if ((last->sequence < sequence) && (sequence - last->sequence != 1))
708                 msg_Err(s, "EXT-X-MEDIA-SEQUENCE gap in playlist (new=%d, old=%d)",
709                             sequence, last->sequence);
710         }
711         else
712             msg_Err(s, "EXT-X-MEDIA-SEQUENCE already present in playlist (new=%d, old=%d)",
713                         sequence, hls->sequence);
714     }
715     hls->sequence = sequence;
716     return VLC_SUCCESS;
717 }
718
719 static int parse_Key(stream_t *s, hls_stream_t *hls, char *p_read)
720 {
721     assert(hls);
722
723     /* #EXT-X-KEY:METHOD=<method>[,URI="<URI>"][,IV=<IV>] */
724     int err = VLC_SUCCESS;
725     char *attr = parse_Attributes(p_read, "METHOD");
726     if (attr == NULL)
727     {
728         msg_Err(s, "#EXT-X-KEY: expected METHOD=<value>");
729         return err;
730     }
731
732     if (strncasecmp(attr, "NONE", 4) == 0)
733     {
734         char *uri = parse_Attributes(p_read, "URI");
735         if (uri != NULL)
736         {
737             msg_Err(s, "#EXT-X-KEY: URI not expected");
738             err = VLC_EGENERIC;
739         }
740         free(uri);
741         /* IV is only supported in version 2 and above */
742         if (hls->version >= 2)
743         {
744             char *iv = parse_Attributes(p_read, "IV");
745             if (iv != NULL)
746             {
747                 msg_Err(s, "#EXT-X-KEY: IV not expected");
748                 err = VLC_EGENERIC;
749             }
750             free(iv);
751         }
752     }
753     else if (strncasecmp(attr, "AES-128", 7) == 0)
754     {
755         char *value, *uri, *iv;
756         if (s->p_sys->b_aesmsg == false)
757         {
758             msg_Info(s, "playback of AES-128 encrypted HTTP Live media detected.");
759             s->p_sys->b_aesmsg = true;
760         }
761         value = uri = parse_Attributes(p_read, "URI");
762         if (value == NULL)
763         {
764             msg_Err(s, "#EXT-X-KEY: URI not found for encrypted HTTP Live media in AES-128");
765             free(attr);
766             return VLC_EGENERIC;
767         }
768
769         /* Url is put between quotes, remove them */
770         if (*value == '"')
771         {
772             /* We need to strip the "" from the attribute value */
773             uri = value + 1;
774             char* end = strchr(uri, '"');
775             if (end != NULL)
776                 *end = 0;
777         }
778         /* For absolute URI, just duplicate it
779          * don't limit to HTTP, maybe some sanity checking
780          * should be done more in here? */
781         if( strstr( uri , "://" ) )
782             hls->psz_current_key_path = strdup( uri );
783         else
784             hls->psz_current_key_path = relative_URI(hls->url, uri);
785         free(value);
786
787         value = iv = parse_Attributes(p_read, "IV");
788         if (iv == NULL)
789         {
790             /*
791             * If the EXT-X-KEY tag does not have the IV attribute, implementations
792             * MUST use the sequence number of the media file as the IV when
793             * encrypting or decrypting that media file.  The big-endian binary
794             * representation of the sequence number SHALL be placed in a 16-octet
795             * buffer and padded (on the left) with zeros.
796             */
797             hls->b_iv_loaded = false;
798         }
799         else
800         {
801             /*
802             * If the EXT-X-KEY tag has the IV attribute, implementations MUST use
803             * the attribute value as the IV when encrypting or decrypting with that
804             * key.  The value MUST be interpreted as a 128-bit hexadecimal number
805             * and MUST be prefixed with 0x or 0X.
806             */
807
808             if (string_to_IV(iv, hls->psz_AES_IV) == VLC_EGENERIC)
809             {
810                 msg_Err(s, "IV invalid");
811                 err = VLC_EGENERIC;
812             }
813             else
814                 hls->b_iv_loaded = true;
815             free(value);
816         }
817     }
818     else
819     {
820         msg_Warn(s, "playback of encrypted HTTP Live media is not supported.");
821         err = VLC_EGENERIC;
822     }
823     free(attr);
824     return err;
825 }
826
827 static int parse_ProgramDateTime(stream_t *s, hls_stream_t *hls, char *p_read)
828 {
829     VLC_UNUSED(hls);
830     msg_Dbg(s, "tag not supported: #EXT-X-PROGRAM-DATE-TIME %s", p_read);
831     return VLC_SUCCESS;
832 }
833
834 static int parse_AllowCache(stream_t *s, hls_stream_t *hls, char *p_read)
835 {
836     assert(hls);
837
838     char answer[4] = "\0";
839     int ret = sscanf(p_read, "#EXT-X-ALLOW-CACHE:%3s", answer);
840     if (ret != 1)
841     {
842         msg_Err(s, "#EXT-X-ALLOW-CACHE, ignoring ...");
843         return VLC_EGENERIC;
844     }
845
846     hls->b_cache = (strncmp(answer, "NO", 2) != 0);
847     return VLC_SUCCESS;
848 }
849
850 static int parse_Version(stream_t *s, hls_stream_t *hls, char *p_read)
851 {
852     assert(hls);
853
854     int version;
855     int ret = sscanf(p_read, "#EXT-X-VERSION:%d", &version);
856     if (ret != 1)
857     {
858         msg_Err(s, "#EXT-X-VERSION: no protocol version found, should be version 1.");
859         return VLC_EGENERIC;
860     }
861
862     /* Check version */
863     hls->version = version;
864     if (hls->version <= 0 || hls->version > 3)
865     {
866         msg_Err(s, "#EXT-X-VERSION should be version 1, 2 or 3 iso %d", version);
867         return VLC_EGENERIC;
868     }
869     return VLC_SUCCESS;
870 }
871
872 static int parse_EndList(stream_t *s, hls_stream_t *hls)
873 {
874     assert(hls);
875
876     s->p_sys->b_live = false;
877     msg_Info(s, "video on demand (vod) mode");
878     return VLC_SUCCESS;
879 }
880
881 static int parse_Discontinuity(stream_t *s, hls_stream_t *hls, char *p_read)
882 {
883     assert(hls);
884
885     /* FIXME: Do we need to act on discontinuity ?? */
886     msg_Dbg(s, "#EXT-X-DISCONTINUITY %s", p_read);
887     return VLC_SUCCESS;
888 }
889
890 static int hls_CompareStreams( const void* a, const void* b )
891 {
892     hls_stream_t*   stream_a = *(hls_stream_t**)a;
893     hls_stream_t*   stream_b = *(hls_stream_t**)b;
894     return stream_a->bandwidth > stream_b->bandwidth;
895 }
896
897 /* The http://tools.ietf.org/html/draft-pantos-http-live-streaming-04#page-8
898  * document defines the following new tags: EXT-X-TARGETDURATION,
899  * EXT-X-MEDIA-SEQUENCE, EXT-X-KEY, EXT-X-PROGRAM-DATE-TIME, EXT-X-
900  * ALLOW-CACHE, EXT-X-STREAM-INF, EXT-X-ENDLIST, EXT-X-DISCONTINUITY,
901  * and EXT-X-VERSION.
902  */
903 static int parse_M3U8(stream_t *s, vlc_array_t *streams, uint8_t *buffer, const ssize_t len)
904 {
905     stream_sys_t *p_sys = s->p_sys;
906     uint8_t *p_read, *p_begin, *p_end;
907
908     assert(streams);
909     assert(buffer);
910
911     msg_Dbg(s, "parse_M3U8\n%s", buffer);
912     p_begin = buffer;
913     p_end = p_begin + len;
914
915     char *line = ReadLine(p_begin, &p_read, p_end - p_begin);
916     if (line == NULL)
917         return VLC_ENOMEM;
918     p_begin = p_read;
919
920     if (strncmp(line, "#EXTM3U", 7) != 0)
921     {
922         msg_Err(s, "missing #EXTM3U tag .. aborting");
923         free(line);
924         return VLC_EGENERIC;
925     }
926
927     free(line);
928     line = NULL;
929
930     /* What is the version ? */
931     int version = 1;
932     uint8_t *p = (uint8_t *)strstr((const char *)buffer, "#EXT-X-VERSION:");
933     if (p != NULL)
934     {
935         uint8_t *tmp = NULL;
936         char *psz_version = ReadLine(p, &tmp, p_end - p);
937         if (psz_version == NULL)
938             return VLC_ENOMEM;
939         int ret = sscanf((const char*)psz_version, "#EXT-X-VERSION:%d", &version);
940         if (ret != 1)
941         {
942             msg_Warn(s, "#EXT-X-VERSION: no protocol version found, assuming version 1.");
943             version = 1;
944         }
945         free(psz_version);
946         p = NULL;
947     }
948
949     /* Is it a live stream ? */
950     p_sys->b_live = (strstr((const char *)buffer, "#EXT-X-ENDLIST") == NULL) ? true : false;
951
952     /* Is it a meta index file ? */
953     bool b_meta = (strstr((const char *)buffer, "#EXT-X-STREAM-INF") == NULL) ? false : true;
954
955     int err = VLC_SUCCESS;
956
957     if (b_meta)
958     {
959         msg_Info(s, "Meta playlist");
960
961         /* M3U8 Meta Index file */
962         do {
963             bool failed_to_download_stream_m3u8 = false;
964
965             /* Next line */
966             line = ReadLine(p_begin, &p_read, p_end - p_begin);
967             if (line == NULL)
968                 break;
969             p_begin = p_read;
970
971             /* */
972             if (strncmp(line, "#EXT-X-STREAM-INF", 17) == 0)
973             {
974                 p_sys->b_meta = true;
975                 char *uri = ReadLine(p_begin, &p_read, p_end - p_begin);
976                 if (uri == NULL)
977                     err = VLC_ENOMEM;
978                 else
979                 {
980                     if (*uri == '#')
981                     {
982                         msg_Info(s, "Skipping invalid stream-inf: %s", uri);
983                         free(uri);
984                     }
985                     else
986                     {
987                         bool new_stream_added = false;
988                         hls_stream_t *hls = NULL;
989                         err = parse_StreamInformation(s, &streams, &hls, line, uri);
990                         if (err == VLC_SUCCESS)
991                             new_stream_added = true;
992
993                         free(uri);
994
995                         /* Download playlist file from server */
996                         uint8_t *buf = NULL;
997                         ssize_t len = read_M3U8_from_url(s, hls->url, &buf);
998                         if (len < 0)
999                         {
1000                             msg_Warn(s, "failed to read %s, continue for other streams", hls->url);
1001                             failed_to_download_stream_m3u8 = true;
1002
1003                             /* remove stream just added */
1004                             if (new_stream_added)
1005                                 vlc_array_remove(streams, vlc_array_count(streams) - 1);
1006
1007                             /* ignore download error, so we have chance to try other streams */
1008                             err = VLC_SUCCESS;
1009                         }
1010                         else
1011                         {
1012                             /* Parse HLS m3u8 content. */
1013                             err = parse_M3U8(s, streams, buf, len);
1014                             free(buf);
1015                         }
1016
1017                         if (hls)
1018                         {
1019                             hls->version = version;
1020                             if (!p_sys->b_live)
1021                                 hls->size = hls_GetStreamSize(hls); /* Stream size (approximate) */
1022                         }
1023                     }
1024                 }
1025                 p_begin = p_read;
1026             }
1027
1028             free(line);
1029             line = NULL;
1030
1031             if (p_begin >= p_end)
1032                 break;
1033
1034         } while (err == VLC_SUCCESS);
1035
1036         size_t stream_count = vlc_array_count(streams);
1037         msg_Dbg(s, "%d streams loaded in Meta playlist", (int)stream_count);
1038         if (stream_count == 0)
1039         {
1040             msg_Err(s, "No playable streams found in Meta playlist");
1041             err = VLC_EGENERIC;
1042         }
1043     }
1044     else
1045     {
1046         msg_Info(s, "%s Playlist HLS protocol version: %d", p_sys->b_live ? "Live": "VOD", version);
1047
1048         hls_stream_t *hls = NULL;
1049         if (p_sys->b_meta)
1050             hls = hls_GetLast(streams);
1051         else
1052         {
1053             /* No Meta playlist used */
1054             hls = hls_New(streams, 0, 0, p_sys->m3u8);
1055             if (hls)
1056             {
1057                 /* Get TARGET-DURATION first */
1058                 p = (uint8_t *)strstr((const char *)buffer, "#EXT-X-TARGETDURATION:");
1059                 if (p)
1060                 {
1061                     uint8_t *p_rest = NULL;
1062                     char *psz_duration = ReadLine(p, &p_rest,  p_end - p);
1063                     if (psz_duration == NULL)
1064                         return VLC_EGENERIC;
1065                     err = parse_TargetDuration(s, hls, psz_duration);
1066                     free(psz_duration);
1067                     p = NULL;
1068                 }
1069
1070                 /* Store version */
1071                 hls->version = version;
1072             }
1073             else return VLC_ENOMEM;
1074         }
1075         assert(hls);
1076
1077         /* */
1078         bool media_sequence_loaded = false;
1079         int segment_duration = -1;
1080         do
1081         {
1082             /* Next line */
1083             line = ReadLine(p_begin, &p_read, p_end - p_begin);
1084             if (line == NULL)
1085                 break;
1086             p_begin = p_read;
1087
1088             if (strncmp(line, "#EXTINF", 7) == 0)
1089                 err = parse_SegmentInformation(hls, line, &segment_duration);
1090             else if (strncmp(line, "#EXT-X-TARGETDURATION", 21) == 0)
1091                 err = parse_TargetDuration(s, hls, line);
1092             else if (strncmp(line, "#EXT-X-MEDIA-SEQUENCE", 21) == 0)
1093             {
1094                 /* A Playlist file MUST NOT contain more than one EXT-X-MEDIA-SEQUENCE tag. */
1095                 /* We only care about first one */
1096                 if (!media_sequence_loaded)
1097                 {
1098                     err = parse_MediaSequence(s, hls, line);
1099                     media_sequence_loaded = true;
1100                 }
1101             }
1102             else if (strncmp(line, "#EXT-X-KEY", 10) == 0)
1103                 err = parse_Key(s, hls, line);
1104             else if (strncmp(line, "#EXT-X-PROGRAM-DATE-TIME", 24) == 0)
1105                 err = parse_ProgramDateTime(s, hls, line);
1106             else if (strncmp(line, "#EXT-X-ALLOW-CACHE", 18) == 0)
1107                 err = parse_AllowCache(s, hls, line);
1108             else if (strncmp(line, "#EXT-X-DISCONTINUITY", 20) == 0)
1109                 err = parse_Discontinuity(s, hls, line);
1110             else if (strncmp(line, "#EXT-X-VERSION", 14) == 0)
1111                 err = parse_Version(s, hls, line);
1112             else if (strncmp(line, "#EXT-X-ENDLIST", 14) == 0)
1113                 err = parse_EndList(s, hls);
1114             else if ((strncmp(line, "#", 1) != 0) && (*line != '\0') )
1115             {
1116                 err = parse_AddSegment(hls, segment_duration, line);
1117                 segment_duration = -1; /* reset duration */
1118             }
1119
1120             free(line);
1121             line = NULL;
1122
1123             if (p_begin >= p_end)
1124                 break;
1125
1126         } while (err == VLC_SUCCESS);
1127
1128         free(line);
1129     }
1130
1131     return err;
1132 }
1133
1134
1135 static int hls_DownloadSegmentKey(stream_t *s, segment_t *seg)
1136 {
1137     stream_t *p_m3u8 = stream_UrlNew(s, seg->psz_key_path);
1138     if (p_m3u8 == NULL)
1139     {
1140         msg_Err(s, "Failed to load the AES key for segment sequence %d", seg->sequence);
1141         return VLC_EGENERIC;
1142     }
1143
1144     int len = stream_Read(p_m3u8, seg->aes_key, sizeof(seg->aes_key));
1145     stream_Delete(p_m3u8);
1146     if (len != AES_BLOCK_SIZE)
1147     {
1148         msg_Err(s, "The AES key loaded doesn't have the right size (%d)", len);
1149         return VLC_EGENERIC;
1150     }
1151
1152     return VLC_SUCCESS;
1153 }
1154
1155 static int hls_ManageSegmentKeys(stream_t *s, hls_stream_t *hls)
1156 {
1157     segment_t   *seg = NULL;
1158     segment_t   *prev_seg;
1159     int         count = vlc_array_count(hls->segments);
1160
1161     for (int i = 0; i < count; i++)
1162     {
1163         prev_seg = seg;
1164         seg = segment_GetSegment(hls, i);
1165         if (seg == NULL )
1166             continue;
1167         if (seg->psz_key_path == NULL)
1168             continue;   /* No key to load ? continue */
1169         if (seg->b_key_loaded)
1170             continue;   /* The key is already loaded */
1171
1172         /* if the key has not changed, and already available from previous segment,
1173          * try to copy it, and don't load the key */
1174         if (prev_seg && prev_seg->b_key_loaded && strcmp(seg->psz_key_path, prev_seg->psz_key_path) == 0)
1175         {
1176             memcpy(seg->aes_key, prev_seg->aes_key, AES_BLOCK_SIZE);
1177             seg->b_key_loaded = true;
1178             continue;
1179         }
1180         if (hls_DownloadSegmentKey(s, seg) != VLC_SUCCESS)
1181             return VLC_EGENERIC;
1182        seg->b_key_loaded = true;
1183     }
1184     return VLC_SUCCESS;
1185 }
1186
1187 static int hls_DecodeSegmentData(stream_t *s, hls_stream_t *hls, segment_t *segment)
1188 {
1189     /* Did the segment need to be decoded ? */
1190     if (segment->psz_key_path == NULL)
1191         return VLC_SUCCESS;
1192
1193     /* Do we have loaded the key ? */
1194     if (!segment->b_key_loaded)
1195     {
1196         /* No ? try to download it now */
1197         if (hls_ManageSegmentKeys(s, hls) != VLC_SUCCESS)
1198             return VLC_EGENERIC;
1199     }
1200
1201     /* For now, we only decode AES-128 data */
1202     gcry_error_t i_gcrypt_err;
1203     gcry_cipher_hd_t aes_ctx;
1204     /* Setup AES */
1205     i_gcrypt_err = gcry_cipher_open(&aes_ctx, GCRY_CIPHER_AES,
1206                                      GCRY_CIPHER_MODE_CBC, 0);
1207     if (i_gcrypt_err)
1208     {
1209         msg_Err(s, "gcry_cipher_open failed: %s", gpg_strerror(i_gcrypt_err));
1210         gcry_cipher_close(aes_ctx);
1211         return VLC_EGENERIC;
1212     }
1213
1214     /* Set key */
1215     i_gcrypt_err = gcry_cipher_setkey(aes_ctx, segment->aes_key,
1216                                        sizeof(segment->aes_key));
1217     if (i_gcrypt_err)
1218     {
1219         msg_Err(s, "gcry_cipher_setkey failed: %s", gpg_strerror(i_gcrypt_err));
1220         gcry_cipher_close(aes_ctx);
1221         return VLC_EGENERIC;
1222     }
1223
1224     if (hls->b_iv_loaded == false)
1225     {
1226         memset(hls->psz_AES_IV, 0, AES_BLOCK_SIZE);
1227         hls->psz_AES_IV[15] = segment->sequence & 0xff;
1228         hls->psz_AES_IV[14] = (segment->sequence >> 8)& 0xff;
1229         hls->psz_AES_IV[13] = (segment->sequence >> 16)& 0xff;
1230         hls->psz_AES_IV[12] = (segment->sequence >> 24)& 0xff;
1231     }
1232
1233     i_gcrypt_err = gcry_cipher_setiv(aes_ctx, hls->psz_AES_IV,
1234                                       sizeof(hls->psz_AES_IV));
1235
1236     if (i_gcrypt_err)
1237     {
1238         msg_Err(s, "gcry_cipher_setiv failed: %s", gpg_strerror(i_gcrypt_err));
1239         gcry_cipher_close(aes_ctx);
1240         return VLC_EGENERIC;
1241     }
1242
1243     i_gcrypt_err = gcry_cipher_decrypt(aes_ctx,
1244                                        segment->data->p_buffer, /* out */
1245                                        segment->data->i_buffer,
1246                                        NULL, /* in */
1247                                        0);
1248     if (i_gcrypt_err)
1249     {
1250         msg_Err(s, "gcry_cipher_decrypt failed:  %s/%s\n", gcry_strsource(i_gcrypt_err), gcry_strerror(i_gcrypt_err));
1251         gcry_cipher_close(aes_ctx);
1252         return VLC_EGENERIC;
1253     }
1254     gcry_cipher_close(aes_ctx);
1255     /* remove the PKCS#7 padding from the buffer */
1256     int pad = segment->data->p_buffer[segment->data->i_buffer-1];
1257     if (pad <= 0 || pad > AES_BLOCK_SIZE)
1258     {
1259         msg_Err(s, "Bad padding character (0x%x), perhaps we failed to decrypt the segment with the correct key", pad);
1260         return VLC_EGENERIC;
1261     }
1262     int count = pad;
1263     while (count--)
1264     {
1265         if (segment->data->p_buffer[segment->data->i_buffer-1-count] != pad)
1266         {
1267                 msg_Err(s, "Bad ending buffer, perhaps we failed to decrypt the segment with the correct key");
1268                 return VLC_EGENERIC;
1269         }
1270     }
1271
1272     /* not all the data is readable because of padding */
1273     segment->data->i_buffer -= pad;
1274
1275     return VLC_SUCCESS;
1276 }
1277
1278 static int get_HTTPLiveMetaPlaylist(stream_t *s, vlc_array_t **streams)
1279 {
1280     stream_sys_t *p_sys = s->p_sys;
1281     assert(*streams);
1282     int err = VLC_EGENERIC;
1283
1284     /* Duplicate HLS stream META information */
1285     for (int i = 0; i < vlc_array_count(p_sys->hls_stream); i++)
1286     {
1287         hls_stream_t *src, *dst;
1288         src = hls_Get(p_sys->hls_stream, i);
1289         if (src == NULL)
1290             return VLC_EGENERIC;
1291
1292         dst = hls_Copy(src, false);
1293         if (dst == NULL)
1294             return VLC_ENOMEM;
1295         vlc_array_append(*streams, dst);
1296
1297         /* Download playlist file from server */
1298         uint8_t *buf = NULL;
1299         ssize_t len = read_M3U8_from_url(s, dst->url, &buf);
1300         if (len < 0)
1301             err = VLC_EGENERIC;
1302         else
1303         {
1304             /* Parse HLS m3u8 content. */
1305             err = parse_M3U8(s, *streams, buf, len);
1306             free(buf);
1307         }
1308     }
1309     return err;
1310 }
1311
1312 /* Update hls_old (an existing member of p_sys->hls_stream) to match hls_new
1313    (which represents a downloaded, perhaps newer version of the same playlist) */
1314 static int hls_UpdatePlaylist(stream_t *s, hls_stream_t *hls_new, hls_stream_t *hls_old)
1315 {
1316     int count = vlc_array_count(hls_new->segments);
1317
1318     msg_Info(s, "updating hls stream (program-id=%d, bandwidth=%"PRIu64") has %d segments",
1319              hls_new->id, hls_new->bandwidth, count);
1320
1321     vlc_mutex_lock(&hls_old->lock);
1322     for (int n = 0; n < count; n++)
1323     {
1324         segment_t *p = segment_GetSegment(hls_new, n);
1325         if (p == NULL) return VLC_EGENERIC;
1326
1327         segment_t *segment = segment_Find(hls_old, p->sequence);
1328         if (segment)
1329         {
1330             vlc_mutex_lock(&segment->lock);
1331
1332             assert(p->url);
1333             assert(segment->url);
1334
1335             /* they should be the same */
1336             if ((p->sequence != segment->sequence) ||
1337                 (p->duration != segment->duration) ||
1338                 (strcmp(p->url, segment->url) != 0))
1339             {
1340                 msg_Warn(s, "existing segment found with different content - resetting");
1341                 msg_Warn(s, "- sequence: new=%d, old=%d", p->sequence, segment->sequence);
1342                 msg_Warn(s, "- duration: new=%d, old=%d", p->duration, segment->duration);
1343                 msg_Warn(s, "- file: new=%s", p->url);
1344                 msg_Warn(s, "        old=%s", segment->url);
1345
1346                 /* Resetting content */
1347                 segment->sequence = p->sequence;
1348                 segment->duration = p->duration;
1349                 free(segment->url);
1350                 segment->url = strdup(p->url);
1351                 if ( segment->url == NULL )
1352                 {
1353                     msg_Err(s, "Failed updating segment %d - skipping it",  p->sequence);
1354                     segment_Free(p);
1355                     vlc_mutex_unlock(&segment->lock);
1356                     continue;
1357                 }
1358                 /* We must free the content, because if the key was not downloaded, content can't be decrypted */
1359                 if ((p->psz_key_path || p->b_key_loaded) &&
1360                     segment->data)
1361                 {
1362                     block_Release(segment->data);
1363                     segment->data = NULL;
1364                 }
1365                 free(segment->psz_key_path);
1366                 segment->psz_key_path = p->psz_key_path ? strdup(p->psz_key_path) : NULL;
1367                 segment_Free(p);
1368             }
1369             vlc_mutex_unlock(&segment->lock);
1370         }
1371         else
1372         {
1373             int last = vlc_array_count(hls_old->segments) - 1;
1374             segment_t *l = segment_GetSegment(hls_old, last);
1375             if (l == NULL) {
1376                 vlc_mutex_unlock(&hls_old->lock);
1377                 return VLC_EGENERIC;
1378             }
1379
1380             if ((l->sequence + 1) != p->sequence)
1381             {
1382                 msg_Err(s, "gap in sequence numbers found: new=%d expected %d",
1383                         p->sequence, l->sequence+1);
1384             }
1385             vlc_array_append(hls_old->segments, p);
1386             msg_Info(s, "- segment %d appended", p->sequence);
1387         }
1388     }
1389
1390     /* update meta information */
1391     hls_old->sequence = hls_new->sequence;
1392     hls_old->duration = (hls_new->duration == -1) ? hls_old->duration : hls_new->duration;
1393     hls_old->b_cache = hls_new->b_cache;
1394     vlc_mutex_unlock(&hls_old->lock);
1395     return VLC_SUCCESS;
1396
1397 }
1398
1399 static int hls_ReloadPlaylist(stream_t *s)
1400 {
1401     stream_sys_t *p_sys = s->p_sys;
1402
1403     vlc_array_t *hls_streams = vlc_array_new();
1404     if (hls_streams == NULL)
1405         return VLC_ENOMEM;
1406
1407     msg_Info(s, "Reloading HLS live meta playlist");
1408
1409     if (get_HTTPLiveMetaPlaylist(s, &hls_streams) != VLC_SUCCESS)
1410     {
1411         /* Free hls streams */
1412         for (int i = 0; i < vlc_array_count(hls_streams); i++)
1413         {
1414             hls_stream_t *hls;
1415             hls = hls_Get(hls_streams, i);
1416             if (hls) hls_Free(hls);
1417         }
1418         vlc_array_destroy(hls_streams);
1419
1420         msg_Err(s, "reloading playlist failed");
1421         return VLC_EGENERIC;
1422     }
1423
1424     /* merge playlists */
1425     int count = vlc_array_count(hls_streams);
1426     for (int n = 0; n < count; n++)
1427     {
1428         hls_stream_t *hls_new = hls_Get(hls_streams, n);
1429         if (hls_new == NULL)
1430             continue;
1431
1432         hls_stream_t *hls_old = hls_Find(p_sys->hls_stream, hls_new);
1433         if (hls_old == NULL)
1434         {   /* new hls stream - append */
1435             vlc_array_append(p_sys->hls_stream, hls_new);
1436             msg_Info(s, "new HLS stream appended (id=%d, bandwidth=%"PRIu64")",
1437                      hls_new->id, hls_new->bandwidth);
1438         }
1439         else if (hls_UpdatePlaylist(s, hls_new, hls_old) != VLC_SUCCESS)
1440             msg_Info(s, "failed updating HLS stream (id=%d, bandwidth=%"PRIu64")",
1441                      hls_new->id, hls_new->bandwidth);
1442     }
1443     vlc_array_destroy(hls_streams);
1444     return VLC_SUCCESS;
1445 }
1446
1447 /****************************************************************************
1448  * hls_Thread
1449  ****************************************************************************/
1450 static int BandwidthAdaptation(stream_t *s, int progid, uint64_t *bandwidth)
1451 {
1452     stream_sys_t *p_sys = s->p_sys;
1453     int candidate = -1;
1454     uint64_t bw = *bandwidth;
1455     uint64_t bw_candidate = 0;
1456
1457     int count = vlc_array_count(p_sys->hls_stream);
1458     for (int n = 0; n < count; n++)
1459     {
1460         /* Select best bandwidth match */
1461         hls_stream_t *hls = hls_Get(p_sys->hls_stream, n);
1462         if (hls == NULL) break;
1463
1464         /* only consider streams with the same PROGRAM-ID */
1465         if (hls->id == progid)
1466         {
1467             if ((bw >= hls->bandwidth) && (bw_candidate < hls->bandwidth))
1468             {
1469                 msg_Dbg(s, "candidate %d bandwidth (bits/s) %"PRIu64" >= %"PRIu64,
1470                          n, bw, hls->bandwidth); /* bits / s */
1471                 bw_candidate = hls->bandwidth;
1472                 candidate = n; /* possible candidate */
1473             }
1474         }
1475     }
1476     *bandwidth = bw_candidate;
1477     return candidate;
1478 }
1479
1480 static int hls_DownloadSegmentData(stream_t *s, hls_stream_t *hls, segment_t *segment, int *cur_stream)
1481 {
1482     stream_sys_t *p_sys = s->p_sys;
1483
1484     assert(hls);
1485     assert(segment);
1486
1487     vlc_mutex_lock(&segment->lock);
1488     if (segment->data != NULL)
1489     {
1490         /* Segment already downloaded */
1491         vlc_mutex_unlock(&segment->lock);
1492         return VLC_SUCCESS;
1493     }
1494
1495     /* sanity check - can we download this segment on time? */
1496     if ((p_sys->bandwidth > 0) && (hls->bandwidth > 0))
1497     {
1498         uint64_t size = (segment->duration * hls->bandwidth); /* bits */
1499         int estimated = (int)(size / p_sys->bandwidth);
1500         if (estimated > segment->duration)
1501         {
1502             msg_Warn(s,"downloading segment %d predicted to take %ds, which exceeds its length (%ds)",
1503                         segment->sequence, estimated, segment->duration);
1504         }
1505     }
1506
1507     mtime_t start = mdate();
1508     if (hls_Download(s, segment) != VLC_SUCCESS)
1509     {
1510         msg_Err(s, "downloading segment %d from stream %d failed",
1511                     segment->sequence, *cur_stream);
1512         vlc_mutex_unlock(&segment->lock);
1513         return VLC_EGENERIC;
1514     }
1515     mtime_t duration = mdate() - start;
1516     if (hls->bandwidth == 0 && segment->duration > 0)
1517     {
1518         /* Try to estimate the bandwidth for this stream */
1519         hls->bandwidth = (uint64_t)(((double)segment->size * 8) / ((double)segment->duration));
1520     }
1521
1522     /* If the segment is encrypted, decode it */
1523     if (hls_DecodeSegmentData(s, hls, segment) != VLC_SUCCESS)
1524     {
1525         vlc_mutex_unlock(&segment->lock);
1526         return VLC_EGENERIC;
1527     }
1528
1529     vlc_mutex_unlock(&segment->lock);
1530
1531     msg_Info(s, "downloaded segment %d from stream %d",
1532                 segment->sequence, *cur_stream);
1533
1534     uint64_t bw = segment->size * 8 * 1000000 / __MAX(1, duration); /* bits / s */
1535     p_sys->bandwidth = bw;
1536     if (p_sys->b_meta && (hls->bandwidth != bw))
1537     {
1538         int newstream = BandwidthAdaptation(s, hls->id, &bw);
1539
1540         /* FIXME: we need an average here */
1541         if ((newstream >= 0) && (newstream != *cur_stream))
1542         {
1543             msg_Info(s, "detected %s bandwidth (%"PRIu64") stream",
1544                      (bw >= hls->bandwidth) ? "faster" : "lower", bw);
1545             *cur_stream = newstream;
1546         }
1547     }
1548     return VLC_SUCCESS;
1549 }
1550
1551 static void* hls_Thread(void *p_this)
1552 {
1553     stream_t *s = (stream_t *)p_this;
1554     stream_sys_t *p_sys = s->p_sys;
1555
1556     int canc = vlc_savecancel();
1557
1558     while (vlc_object_alive(s))
1559     {
1560         hls_stream_t *hls = hls_Get(p_sys->hls_stream, p_sys->download.stream);
1561         assert(hls);
1562
1563         /* Sliding window (~60 seconds worth of movie) */
1564         vlc_mutex_lock(&hls->lock);
1565         int count = vlc_array_count(hls->segments);
1566         vlc_mutex_unlock(&hls->lock);
1567
1568         /* Is there a new segment to process? */
1569         if ((!p_sys->b_live && (p_sys->playback.segment < (count - 6))) ||
1570             (p_sys->download.segment >= count))
1571         {
1572             /* wait */
1573             vlc_mutex_lock(&p_sys->download.lock_wait);
1574             while (((p_sys->download.segment - p_sys->playback.segment > 6) ||
1575                     (p_sys->download.segment >= count)) &&
1576                    (p_sys->download.seek == -1))
1577             {
1578                 vlc_cond_wait(&p_sys->download.wait, &p_sys->download.lock_wait);
1579                 if (p_sys->b_live /*&& (mdate() >= p_sys->playlist.wakeup)*/)
1580                     break;
1581                 if (!vlc_object_alive(s))
1582                     break;
1583             }
1584             /* */
1585             if (p_sys->download.seek >= 0)
1586             {
1587                 p_sys->download.segment = p_sys->download.seek;
1588                 p_sys->download.seek = -1;
1589             }
1590             vlc_mutex_unlock(&p_sys->download.lock_wait);
1591         }
1592
1593         if (!vlc_object_alive(s)) break;
1594
1595         vlc_mutex_lock(&hls->lock);
1596         segment_t *segment = segment_GetSegment(hls, p_sys->download.segment);
1597         vlc_mutex_unlock(&hls->lock);
1598
1599         if ((segment != NULL) &&
1600             (hls_DownloadSegmentData(s, hls, segment, &p_sys->download.stream) != VLC_SUCCESS))
1601         {
1602             if (!vlc_object_alive(s)) break;
1603
1604             if (!p_sys->b_live)
1605             {
1606                 p_sys->b_error = true;
1607                 break;
1608             }
1609         }
1610
1611         /* download succeeded */
1612         /* determine next segment to download */
1613         vlc_mutex_lock(&p_sys->download.lock_wait);
1614         if (p_sys->download.seek >= 0)
1615         {
1616             p_sys->download.segment = p_sys->download.seek;
1617             p_sys->download.seek = -1;
1618         }
1619         else if (p_sys->download.segment < count)
1620             p_sys->download.segment++;
1621         vlc_cond_signal(&p_sys->download.wait);
1622         vlc_mutex_unlock(&p_sys->download.lock_wait);
1623     }
1624
1625     vlc_restorecancel(canc);
1626     return NULL;
1627 }
1628
1629 static void* hls_Reload(void *p_this)
1630 {
1631     stream_t *s = (stream_t *)p_this;
1632     stream_sys_t *p_sys = s->p_sys;
1633
1634     assert(p_sys->b_live);
1635
1636     int canc = vlc_savecancel();
1637
1638     double wait = 0.5;
1639     while (vlc_object_alive(s))
1640     {
1641         mtime_t now = mdate();
1642         if (now >= p_sys->playlist.wakeup)
1643         {
1644             /* reload the m3u8 */
1645             if (hls_ReloadPlaylist(s) != VLC_SUCCESS)
1646             {
1647                 /* No change in playlist, then backoff */
1648                 p_sys->playlist.tries++;
1649                 if (p_sys->playlist.tries == 1) wait = 0.5;
1650                 else if (p_sys->playlist.tries == 2) wait = 1;
1651                 else if (p_sys->playlist.tries >= 3) wait = 2;
1652
1653                 /* Can we afford to backoff? */
1654                 if (p_sys->download.segment - p_sys->playback.segment < 3)
1655                 {
1656                     p_sys->playlist.tries = 0;
1657                     wait = 0.5;
1658                 }
1659             }
1660             else
1661             {
1662                 p_sys->playlist.tries = 0;
1663                 wait = 0.5;
1664             }
1665
1666             hls_stream_t *hls = hls_Get(p_sys->hls_stream, p_sys->download.stream);
1667             assert(hls);
1668
1669             /* determine next time to update playlist */
1670             p_sys->playlist.last = now;
1671             p_sys->playlist.wakeup = now + ((mtime_t)(hls->duration * wait)
1672                                                    * (mtime_t)1000000);
1673         }
1674
1675         mwait(p_sys->playlist.wakeup);
1676     }
1677
1678     vlc_restorecancel(canc);
1679     return NULL;
1680 }
1681
1682 static int Prefetch(stream_t *s, int *current)
1683 {
1684     stream_sys_t *p_sys = s->p_sys;
1685     int stream = *current;
1686
1687     hls_stream_t *hls = hls_Get(p_sys->hls_stream, stream);
1688     if (hls == NULL)
1689         return VLC_EGENERIC;
1690
1691     if (vlc_array_count(hls->segments) == 0)
1692         return VLC_EGENERIC;
1693     else if (vlc_array_count(hls->segments) == 1 && p_sys->b_live)
1694         msg_Warn(s, "Only 1 segment available to prefetch in live stream; may stall");
1695
1696     /* Download first 2 segments of this HLS stream if they exist */
1697     for (int i = 0; i < __MIN(vlc_array_count(hls->segments), 2); i++)
1698     {
1699         segment_t *segment = segment_GetSegment(hls, p_sys->download.segment);
1700         if (segment == NULL )
1701             return VLC_EGENERIC;
1702
1703         /* It is useless to lock the segment here, as Prefetch is called before
1704            download and playlit thread are started. */
1705         if (segment->data)
1706         {
1707             p_sys->download.segment++;
1708             continue;
1709         }
1710
1711         if (hls_DownloadSegmentData(s, hls, segment, current) != VLC_SUCCESS)
1712             return VLC_EGENERIC;
1713
1714         p_sys->download.segment++;
1715
1716         /* adapt bandwidth? */
1717         if (*current != stream)
1718         {
1719             hls_stream_t *hls = hls_Get(p_sys->hls_stream, *current);
1720             if (hls == NULL)
1721                 return VLC_EGENERIC;
1722
1723              stream = *current;
1724         }
1725     }
1726
1727     return VLC_SUCCESS;
1728 }
1729
1730 /****************************************************************************
1731  *
1732  ****************************************************************************/
1733 static int hls_Download(stream_t *s, segment_t *segment)
1734 {
1735     assert(segment);
1736
1737     stream_t *p_ts = stream_UrlNew(s, segment->url);
1738     if (p_ts == NULL)
1739         return VLC_EGENERIC;
1740
1741     segment->size = stream_Size(p_ts);
1742     assert(segment->size > 0);
1743
1744     segment->data = block_Alloc(segment->size);
1745     if (segment->data == NULL)
1746     {
1747         stream_Delete(p_ts);
1748         return VLC_ENOMEM;
1749     }
1750
1751     assert(segment->data->i_buffer == segment->size);
1752
1753     ssize_t length = 0, curlen = 0;
1754     uint64_t size;
1755     do
1756     {
1757         /* NOTE: Beware the size reported for a segment by the HLS server may not
1758          * be correct, when downloading the segment data. Therefore check the size
1759          * and enlarge the segment data block if necessary.
1760          */
1761         size = stream_Size(p_ts);
1762         if (size > segment->size)
1763         {
1764             msg_Dbg(s, "size changed %"PRIu64, segment->size);
1765             block_t *p_block = block_Realloc(segment->data, 0, size);
1766             if (p_block == NULL)
1767             {
1768                 stream_Delete(p_ts);
1769                 block_Release(segment->data);
1770                 segment->data = NULL;
1771                 return VLC_ENOMEM;
1772             }
1773             segment->data = p_block;
1774             segment->size = size;
1775             assert(segment->data->i_buffer == segment->size);
1776             p_block = NULL;
1777         }
1778         length = stream_Read(p_ts, segment->data->p_buffer + curlen, segment->size - curlen);
1779         if (length <= 0)
1780             break;
1781         curlen += length;
1782     } while (vlc_object_alive(s));
1783
1784     stream_Delete(p_ts);
1785     return VLC_SUCCESS;
1786 }
1787
1788 /* Read M3U8 file */
1789 static ssize_t read_M3U8_from_stream(stream_t *s, uint8_t **buffer)
1790 {
1791     int64_t total_bytes = 0;
1792     int64_t total_allocated = 0;
1793     uint8_t *p = NULL;
1794
1795     while (1)
1796     {
1797         char buf[4096];
1798         int64_t bytes;
1799
1800         bytes = stream_Read(s, buf, sizeof(buf));
1801         if (bytes == 0)
1802             break;      /* EOF ? */
1803         else if (bytes < 0)
1804             return bytes;
1805
1806         if ( (total_bytes + bytes + 1) > total_allocated )
1807         {
1808             if (total_allocated)
1809                 total_allocated *= 2;
1810             else
1811                 total_allocated = __MIN((uint64_t)bytes+1, sizeof(buf));
1812
1813             p = realloc_or_free(p, total_allocated);
1814             if (p == NULL)
1815                 return VLC_ENOMEM;
1816         }
1817
1818         memcpy(p+total_bytes, buf, bytes);
1819         total_bytes += bytes;
1820     }
1821
1822     if (total_allocated == 0)
1823         return VLC_EGENERIC;
1824
1825     p[total_bytes] = '\0';
1826     *buffer = p;
1827
1828     return total_bytes;
1829 }
1830
1831 static ssize_t read_M3U8_from_url(stream_t *s, const char* psz_url, uint8_t **buffer)
1832 {
1833     assert(*buffer == NULL);
1834
1835     /* Construct URL */
1836     stream_t *p_m3u8 = stream_UrlNew(s, psz_url);
1837     if (p_m3u8 == NULL)
1838         return VLC_EGENERIC;
1839
1840     ssize_t size = read_M3U8_from_stream(p_m3u8, buffer);
1841     stream_Delete(p_m3u8);
1842
1843     return size;
1844 }
1845
1846 static char *ReadLine(uint8_t *buffer, uint8_t **pos, const size_t len)
1847 {
1848     assert(buffer);
1849
1850     char *line = NULL;
1851     uint8_t *begin = buffer;
1852     uint8_t *p = begin;
1853     uint8_t *end = p + len;
1854
1855     while (p < end)
1856     {
1857         if ((*p == '\r') || (*p == '\n') || (*p == '\0'))
1858             break;
1859         p++;
1860     }
1861
1862     /* copy line excluding \r \n or \0 */
1863     line = strndup((char *)begin, p - begin);
1864
1865     while ((*p == '\r') || (*p == '\n') || (*p == '\0'))
1866     {
1867         if (*p == '\0')
1868         {
1869             *pos = end;
1870             break;
1871         }
1872         else
1873         {
1874             /* next pass start after \r and \n */
1875             p++;
1876             *pos = p;
1877         }
1878     }
1879
1880     return line;
1881 }
1882
1883 /****************************************************************************
1884  * Open
1885  ****************************************************************************/
1886 static int Open(vlc_object_t *p_this)
1887 {
1888     stream_t *s = (stream_t*)p_this;
1889     stream_sys_t *p_sys;
1890
1891     if (!isHTTPLiveStreaming(s))
1892         return VLC_EGENERIC;
1893
1894     msg_Info(p_this, "HTTP Live Streaming (%s)", s->psz_path);
1895
1896     /* Initialize crypto bit */
1897     vlc_gcrypt_init();
1898
1899     /* */
1900     s->p_sys = p_sys = calloc(1, sizeof(*p_sys));
1901     if (p_sys == NULL)
1902         return VLC_ENOMEM;
1903
1904     char *psz_uri = NULL;
1905     if (asprintf(&psz_uri,"%s://%s", s->psz_access, s->psz_path) < 0)
1906     {
1907         free(p_sys);
1908         return VLC_ENOMEM;
1909     }
1910     p_sys->m3u8 = psz_uri;
1911
1912     char *new_path;
1913     if (asprintf(&new_path, "%s.ts", s->psz_path) < 0)
1914     {
1915         free(p_sys->m3u8);
1916         free(p_sys);
1917         return VLC_ENOMEM;
1918     }
1919     free(s->psz_path);
1920     s->psz_path = new_path;
1921
1922     p_sys->bandwidth = 0;
1923     p_sys->b_live = true;
1924     p_sys->b_meta = false;
1925     p_sys->b_error = false;
1926
1927     p_sys->hls_stream = vlc_array_new();
1928     if (p_sys->hls_stream == NULL)
1929     {
1930         free(p_sys->m3u8);
1931         free(p_sys);
1932         return VLC_ENOMEM;
1933     }
1934
1935     /* */
1936     s->pf_read = Read;
1937     s->pf_peek = Peek;
1938     s->pf_control = Control;
1939
1940     /* Parse HLS m3u8 content. */
1941     uint8_t *buffer = NULL;
1942     ssize_t len = read_M3U8_from_stream(s->p_source, &buffer);
1943     if (len < 0)
1944         goto fail;
1945     if (parse_M3U8(s, p_sys->hls_stream, buffer, len) != VLC_SUCCESS)
1946     {
1947         free(buffer);
1948         goto fail;
1949     }
1950     free(buffer);
1951     /* HLS standard doesn't provide any guaranty about streams
1952        being sorted by bandwidth, so we sort them */
1953     qsort( p_sys->hls_stream->pp_elems, p_sys->hls_stream->i_count,
1954            sizeof( hls_stream_t* ), &hls_CompareStreams );
1955
1956     /* Choose first HLS stream to start with */
1957     int current = p_sys->playback.stream = 0;
1958     p_sys->playback.segment = p_sys->download.segment = ChooseSegment(s, current);
1959
1960     /* manage encryption key if needed */
1961     hls_ManageSegmentKeys(s, hls_Get(p_sys->hls_stream, current));
1962
1963     if (Prefetch(s, &current) != VLC_SUCCESS)
1964     {
1965         msg_Err(s, "fetching first segment failed.");
1966         goto fail;
1967     }
1968
1969     p_sys->download.stream = current;
1970     p_sys->playback.stream = current;
1971     p_sys->download.seek = -1;
1972
1973     vlc_mutex_init(&p_sys->download.lock_wait);
1974     vlc_cond_init(&p_sys->download.wait);
1975
1976     /* Initialize HLS live stream */
1977     if (p_sys->b_live)
1978     {
1979         hls_stream_t *hls = hls_Get(p_sys->hls_stream, current);
1980         p_sys->playlist.last = mdate();
1981         p_sys->playlist.wakeup = p_sys->playlist.last +
1982                 ((mtime_t)hls->duration * UINT64_C(1000000));
1983
1984         if (vlc_clone(&p_sys->reload, hls_Reload, s, VLC_THREAD_PRIORITY_LOW))
1985         {
1986             goto fail_thread;
1987         }
1988     }
1989
1990     if (vlc_clone(&p_sys->thread, hls_Thread, s, VLC_THREAD_PRIORITY_INPUT))
1991     {
1992         if (p_sys->b_live)
1993             vlc_join(p_sys->reload, NULL);
1994         goto fail_thread;
1995     }
1996
1997     return VLC_SUCCESS;
1998
1999 fail_thread:
2000     vlc_mutex_destroy(&p_sys->download.lock_wait);
2001     vlc_cond_destroy(&p_sys->download.wait);
2002
2003 fail:
2004     /* Free hls streams */
2005     for (int i = 0; i < vlc_array_count(p_sys->hls_stream); i++)
2006     {
2007         hls_stream_t *hls = hls_Get(p_sys->hls_stream, i);
2008         if (hls) hls_Free(hls);
2009     }
2010     vlc_array_destroy(p_sys->hls_stream);
2011
2012     /* */
2013     free(p_sys->m3u8);
2014     free(p_sys);
2015     return VLC_EGENERIC;
2016 }
2017
2018 /****************************************************************************
2019  * Close
2020  ****************************************************************************/
2021 static void Close(vlc_object_t *p_this)
2022 {
2023     stream_t *s = (stream_t*)p_this;
2024     stream_sys_t *p_sys = s->p_sys;
2025
2026     assert(p_sys->hls_stream);
2027
2028     /* */
2029     vlc_mutex_lock(&p_sys->download.lock_wait);
2030     /* negate the condition variable's predicate */
2031     p_sys->download.segment = p_sys->playback.segment = 0;
2032     p_sys->download.seek = 0; /* better safe than sorry */
2033     vlc_cond_signal(&p_sys->download.wait);
2034     vlc_mutex_unlock(&p_sys->download.lock_wait);
2035
2036     /* */
2037     if (p_sys->b_live)
2038         vlc_join(p_sys->reload, NULL);
2039     vlc_join(p_sys->thread, NULL);
2040     vlc_mutex_destroy(&p_sys->download.lock_wait);
2041     vlc_cond_destroy(&p_sys->download.wait);
2042
2043     /* Free hls streams */
2044     for (int i = 0; i < vlc_array_count(p_sys->hls_stream); i++)
2045     {
2046         hls_stream_t *hls = hls_Get(p_sys->hls_stream, i);
2047         if (hls) hls_Free(hls);
2048     }
2049     vlc_array_destroy(p_sys->hls_stream);
2050
2051     /* */
2052     free(p_sys->m3u8);
2053     if (p_sys->peeked)
2054         block_Release (p_sys->peeked);
2055     free(p_sys);
2056 }
2057
2058 /****************************************************************************
2059  * Stream filters functions
2060  ****************************************************************************/
2061 static segment_t *GetSegment(stream_t *s)
2062 {
2063     stream_sys_t *p_sys = s->p_sys;
2064     segment_t *segment = NULL;
2065
2066     /* Is this segment of the current HLS stream ready? */
2067     hls_stream_t *hls = hls_Get(p_sys->hls_stream, p_sys->playback.stream);
2068     if (hls != NULL)
2069     {
2070         vlc_mutex_lock(&hls->lock);
2071         segment = segment_GetSegment(hls, p_sys->playback.segment);
2072         if (segment != NULL)
2073         {
2074             vlc_mutex_lock(&segment->lock);
2075             /* This segment is ready? */
2076             if (segment->data != NULL)
2077             {
2078                 vlc_mutex_unlock(&segment->lock);
2079                 p_sys->b_cache = hls->b_cache;
2080                 vlc_mutex_unlock(&hls->lock);
2081                 goto check;
2082             }
2083             vlc_mutex_unlock(&segment->lock);
2084         }
2085         vlc_mutex_unlock(&hls->lock);
2086     }
2087
2088     /* Was the HLS stream changed to another bitrate? */
2089     segment = NULL;
2090     for (int i_stream = 0; i_stream < vlc_array_count(p_sys->hls_stream); i_stream++)
2091     {
2092         /* Is the next segment ready */
2093         hls_stream_t *hls = hls_Get(p_sys->hls_stream, i_stream);
2094         if (hls == NULL)
2095             return NULL;
2096
2097         vlc_mutex_lock(&hls->lock);
2098         segment = segment_GetSegment(hls, p_sys->playback.segment);
2099         if (segment == NULL)
2100         {
2101             vlc_mutex_unlock(&hls->lock);
2102             break;
2103         }
2104
2105         vlc_mutex_lock(&p_sys->download.lock_wait);
2106         int i_segment = p_sys->download.segment;
2107         vlc_mutex_unlock(&p_sys->download.lock_wait);
2108
2109         vlc_mutex_lock(&segment->lock);
2110         /* This segment is ready? */
2111         if ((segment->data != NULL) &&
2112             (p_sys->playback.segment < i_segment))
2113         {
2114             p_sys->playback.stream = i_stream;
2115             p_sys->b_cache = hls->b_cache;
2116             vlc_mutex_unlock(&segment->lock);
2117             vlc_mutex_unlock(&hls->lock);
2118             goto check;
2119         }
2120         vlc_mutex_unlock(&segment->lock);
2121         vlc_mutex_unlock(&hls->lock);
2122
2123         if (!p_sys->b_meta)
2124             break;
2125     }
2126     /* */
2127     return NULL;
2128
2129 check:
2130     /* sanity check */
2131     assert(segment->data);
2132     if (segment->data->i_buffer == 0)
2133     {
2134         vlc_mutex_lock(&hls->lock);
2135         int count = vlc_array_count(hls->segments);
2136         vlc_mutex_unlock(&hls->lock);
2137
2138         if ((p_sys->download.segment - p_sys->playback.segment == 0) &&
2139             ((count != p_sys->download.segment) || p_sys->b_live))
2140             msg_Err(s, "playback will stall");
2141         else if ((p_sys->download.segment - p_sys->playback.segment < 3) &&
2142                  ((count != p_sys->download.segment) || p_sys->b_live))
2143             msg_Warn(s, "playback in danger of stalling");
2144     }
2145     return segment;
2146 }
2147
2148 static int segment_RestorePos(segment_t *segment)
2149 {
2150     if (segment->data)
2151     {
2152         uint64_t size = segment->size - segment->data->i_buffer;
2153         if (size > 0)
2154         {
2155             segment->data->i_buffer += size;
2156             segment->data->p_buffer -= size;
2157         }
2158     }
2159     return VLC_SUCCESS;
2160 }
2161
2162 /* p_read might be NULL if caller wants to skip data */
2163 static ssize_t hls_Read(stream_t *s, uint8_t *p_read, unsigned int i_read)
2164 {
2165     stream_sys_t *p_sys = s->p_sys;
2166     ssize_t used = 0;
2167
2168     do
2169     {
2170         /* Determine next segment to read. If this is a meta playlist and
2171          * bandwidth conditions changed, then the stream might have switched
2172          * to another bandwidth. */
2173         segment_t *segment = GetSegment(s);
2174         if (segment == NULL)
2175             break;
2176
2177         vlc_mutex_lock(&segment->lock);
2178         if (segment->data->i_buffer == 0)
2179         {
2180             if (!p_sys->b_cache || p_sys->b_live)
2181             {
2182                 block_Release(segment->data);
2183                 segment->data = NULL;
2184             }
2185             else
2186                 segment_RestorePos(segment);
2187
2188             vlc_mutex_unlock(&segment->lock);
2189
2190             /* signal download thread */
2191             vlc_mutex_lock(&p_sys->download.lock_wait);
2192             p_sys->playback.segment++;
2193             vlc_cond_signal(&p_sys->download.wait);
2194             vlc_mutex_unlock(&p_sys->download.lock_wait);
2195             continue;
2196         }
2197
2198         if (segment->size == segment->data->i_buffer)
2199             msg_Info(s, "playing segment %d from stream %d",
2200                      segment->sequence, p_sys->playback.stream);
2201
2202         ssize_t len = -1;
2203         if (i_read <= segment->data->i_buffer)
2204             len = i_read;
2205         else if (i_read > segment->data->i_buffer)
2206             len = segment->data->i_buffer;
2207
2208         if (len > 0)
2209         {
2210             if (p_read) /* if NULL, then caller skips data */
2211                 memcpy(p_read + used, segment->data->p_buffer, len);
2212             segment->data->i_buffer -= len;
2213             segment->data->p_buffer += len;
2214             used += len;
2215             i_read -= len;
2216         }
2217         vlc_mutex_unlock(&segment->lock);
2218
2219     } while (i_read > 0);
2220
2221     return used;
2222 }
2223
2224 static int Read(stream_t *s, void *buffer, unsigned int i_read)
2225 {
2226     stream_sys_t *p_sys = s->p_sys;
2227     ssize_t length = 0;
2228
2229     assert(p_sys->hls_stream);
2230
2231     if (p_sys->b_error)
2232         return 0;
2233
2234     /* NOTE: buffer might be NULL if caller wants to skip data */
2235     length = hls_Read(s, (uint8_t*) buffer, i_read);
2236     if (length < 0)
2237         return 0;
2238
2239     p_sys->playback.offset += length;
2240     return length;
2241 }
2242
2243 static int Peek(stream_t *s, const uint8_t **pp_peek, unsigned int i_peek)
2244 {
2245     stream_sys_t *p_sys = s->p_sys;
2246     segment_t *segment;
2247     unsigned int len = i_peek;
2248
2249     segment = GetSegment(s);
2250     if (segment == NULL)
2251     {
2252         msg_Err(s, "segment %d should have been available (stream %d)",
2253                 p_sys->playback.segment, p_sys->playback.stream);
2254         return 0; /* eof? */
2255     }
2256
2257     vlc_mutex_lock(&segment->lock);
2258
2259     size_t i_buff = segment->data->i_buffer;
2260     uint8_t *p_buff = segment->data->p_buffer;
2261
2262     if (i_peek < i_buff)
2263     {
2264         *pp_peek = p_buff;
2265         vlc_mutex_unlock(&segment->lock);
2266         return i_peek;
2267     }
2268
2269     else /* This will seldom be run */
2270     {
2271         /* remember segment to read */
2272         int peek_segment = p_sys->playback.segment;
2273         size_t curlen = 0;
2274         segment_t *nsegment;
2275         p_sys->playback.segment++;
2276         block_t *peeked = p_sys->peeked;
2277
2278         if (peeked == NULL)
2279             peeked = block_Alloc (i_peek);
2280         else if (peeked->i_buffer < i_peek)
2281             peeked = block_Realloc (peeked, 0, i_peek);
2282         if (peeked == NULL)
2283             return 0;
2284         p_sys->peeked = peeked;
2285
2286         memcpy(peeked->p_buffer, p_buff, i_buff);
2287         curlen = i_buff;
2288         len -= i_buff;
2289         vlc_mutex_unlock(&segment->lock);
2290
2291         i_buff = peeked->i_buffer;
2292         p_buff = peeked->p_buffer;
2293         *pp_peek = p_buff;
2294
2295         while (curlen < i_peek)
2296         {
2297             nsegment = GetSegment(s);
2298             if (nsegment == NULL)
2299             {
2300                 msg_Err(s, "segment %d should have been available (stream %d)",
2301                         p_sys->playback.segment, p_sys->playback.stream);
2302                 /* restore segment to read */
2303                 p_sys->playback.segment = peek_segment;
2304                 return curlen; /* eof? */
2305             }
2306
2307             vlc_mutex_lock(&nsegment->lock);
2308
2309             if (len < nsegment->data->i_buffer)
2310             {
2311                 memcpy(p_buff + curlen, nsegment->data->p_buffer, len);
2312                 curlen += len;
2313             }
2314             else
2315             {
2316                 size_t i_nbuff = nsegment->data->i_buffer;
2317                 memcpy(p_buff + curlen, nsegment->data->p_buffer, i_nbuff);
2318                 curlen += i_nbuff;
2319                 len -= i_nbuff;
2320
2321                 p_sys->playback.segment++;
2322             }
2323
2324             vlc_mutex_unlock(&nsegment->lock);
2325         }
2326
2327         /* restore segment to read */
2328         p_sys->playback.segment = peek_segment;
2329         return curlen;
2330     }
2331 }
2332
2333 static bool hls_MaySeek(stream_t *s)
2334 {
2335     stream_sys_t *p_sys = s->p_sys;
2336
2337     if (p_sys->hls_stream == NULL)
2338         return false;
2339
2340     hls_stream_t *hls = hls_Get(p_sys->hls_stream, p_sys->playback.stream);
2341     if (hls == NULL) return false;
2342
2343     if (p_sys->b_live)
2344     {
2345         vlc_mutex_lock(&hls->lock);
2346         int count = vlc_array_count(hls->segments);
2347         vlc_mutex_unlock(&hls->lock);
2348
2349         vlc_mutex_lock(&p_sys->download.lock_wait);
2350         bool may_seek = (p_sys->download.segment < (count - 2));
2351         vlc_mutex_unlock(&p_sys->download.lock_wait);
2352         return may_seek;
2353     }
2354     return true;
2355 }
2356
2357 static uint64_t GetStreamSize(stream_t *s)
2358 {
2359     stream_sys_t *p_sys = s->p_sys;
2360
2361     if (p_sys->b_live)
2362         return 0;
2363
2364     hls_stream_t *hls = hls_Get(p_sys->hls_stream, p_sys->playback.stream);
2365     if (hls == NULL) return 0;
2366
2367     vlc_mutex_lock(&hls->lock);
2368     if (hls->size == 0)
2369         hls->size = hls_GetStreamSize(hls);
2370     uint64_t size = hls->size;
2371     vlc_mutex_unlock(&hls->lock);
2372
2373     return size;
2374 }
2375
2376 static int segment_Seek(stream_t *s, const uint64_t pos)
2377 {
2378     stream_sys_t *p_sys = s->p_sys;
2379
2380     hls_stream_t *hls = hls_Get(p_sys->hls_stream, p_sys->playback.stream);
2381     if (hls == NULL)
2382         return VLC_EGENERIC;
2383
2384     vlc_mutex_lock(&hls->lock);
2385
2386     bool b_found = false;
2387     uint64_t length = 0;
2388     uint64_t size = hls->size;
2389     int count = vlc_array_count(hls->segments);
2390
2391     segment_t *currentSegment = segment_GetSegment(hls, p_sys->playback.segment);
2392     if (currentSegment == NULL)
2393     {
2394         vlc_mutex_unlock(&hls->lock);
2395         return VLC_EGENERIC;
2396     }
2397
2398     for (int n = 0; n < count; n++)
2399     {
2400         segment_t *segment = segment_GetSegment(hls, n);
2401         if (segment == NULL)
2402         {
2403             vlc_mutex_unlock(&hls->lock);
2404             return VLC_EGENERIC;
2405         }
2406
2407         vlc_mutex_lock(&segment->lock);
2408         length += segment->duration * (hls->bandwidth/8);
2409         vlc_mutex_unlock(&segment->lock);
2410
2411         if (pos <= length)
2412         {
2413             if (count - n >= 3)
2414             {
2415                 p_sys->playback.segment = n;
2416                 b_found = true;
2417                 break;
2418             }
2419             /* Do not search in last 3 segments */
2420             vlc_mutex_unlock(&hls->lock);
2421             return VLC_EGENERIC;
2422         }
2423     }
2424
2425     /* */
2426     if (!b_found && (pos >= size))
2427     {
2428         p_sys->playback.segment = count - 1;
2429         b_found = true;
2430     }
2431
2432     /* */
2433     if (b_found)
2434     {
2435
2436         /* restore current segment to start position */
2437         vlc_mutex_lock(&currentSegment->lock);
2438         segment_RestorePos(currentSegment);
2439         vlc_mutex_unlock(&currentSegment->lock);
2440
2441         /* restore seeked segment to start position */
2442         segment_t *segment = segment_GetSegment(hls, p_sys->playback.segment);
2443         if (segment == NULL)
2444         {
2445             vlc_mutex_unlock(&hls->lock);
2446             return VLC_EGENERIC;
2447         }
2448
2449         vlc_mutex_lock(&segment->lock);
2450         segment_RestorePos(segment);
2451         vlc_mutex_unlock(&segment->lock);
2452
2453         /* start download at current playback segment */
2454         vlc_mutex_unlock(&hls->lock);
2455
2456         /* Wake up download thread */
2457         vlc_mutex_lock(&p_sys->download.lock_wait);
2458         p_sys->download.seek = p_sys->playback.segment;
2459         vlc_cond_signal(&p_sys->download.wait);
2460
2461         /* Wait for download to be finished */
2462         msg_Info(s, "seek to segment %d", p_sys->playback.segment);
2463         while ((p_sys->download.seek != -1) ||
2464            ((p_sys->download.segment - p_sys->playback.segment < 3) &&
2465                 (p_sys->download.segment < count)))
2466         {
2467             vlc_cond_wait(&p_sys->download.wait, &p_sys->download.lock_wait);
2468             if (!vlc_object_alive(s) || s->b_error) break;
2469         }
2470         vlc_mutex_unlock(&p_sys->download.lock_wait);
2471
2472         return VLC_SUCCESS;
2473     }
2474     vlc_mutex_unlock(&hls->lock);
2475
2476     return b_found ? VLC_SUCCESS : VLC_EGENERIC;
2477 }
2478
2479 static int Control(stream_t *s, int i_query, va_list args)
2480 {
2481     stream_sys_t *p_sys = s->p_sys;
2482
2483     switch (i_query)
2484     {
2485         case STREAM_CAN_SEEK:
2486             *(va_arg (args, bool *)) = hls_MaySeek(s);
2487             break;
2488         case STREAM_GET_POSITION:
2489             *(va_arg (args, uint64_t *)) = p_sys->playback.offset;
2490             break;
2491         case STREAM_SET_POSITION:
2492             if (hls_MaySeek(s))
2493             {
2494                 uint64_t pos = (uint64_t)va_arg(args, uint64_t);
2495                 if (segment_Seek(s, pos) == VLC_SUCCESS)
2496                 {
2497                     p_sys->playback.offset = pos;
2498                     break;
2499                 }
2500             }
2501             return VLC_EGENERIC;
2502         case STREAM_GET_SIZE:
2503             *(va_arg (args, uint64_t *)) = GetStreamSize(s);
2504             break;
2505         default:
2506             return VLC_EGENERIC;
2507     }
2508     return VLC_SUCCESS;
2509 }