Merge commit '2758cdedfb7ac61f8b5e4861f99218b6fd43491d'
[ffmpeg.git] / libavformat / avio.c
1 /*
2  * unbuffered I/O
3  * Copyright (c) 2001 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/avstring.h"
23 #include "libavutil/dict.h"
24 #include "libavutil/opt.h"
25 #include "libavutil/time.h"
26 #include "libavutil/avassert.h"
27 #include "os_support.h"
28 #include "avformat.h"
29 #if CONFIG_NETWORK
30 #include "network.h"
31 #endif
32 #include "url.h"
33
34 /** @name Logging context. */
35 /*@{*/
36 static const char *urlcontext_to_name(void *ptr)
37 {
38     URLContext *h = (URLContext *)ptr;
39     if (h->prot)
40         return h->prot->name;
41     else
42         return "NULL";
43 }
44
45 static void *urlcontext_child_next(void *obj, void *prev)
46 {
47     URLContext *h = obj;
48     if (!prev && h->priv_data && h->prot->priv_data_class)
49         return h->priv_data;
50     return NULL;
51 }
52
53 static const AVClass *urlcontext_child_class_next(const AVClass *prev)
54 {
55     int i;
56
57     /* find the protocol that corresponds to prev */
58     for (i = 0; ff_url_protocols[i]; i++) {
59         if (ff_url_protocols[i]->priv_data_class == prev) {
60             i++;
61             break;
62         }
63     }
64
65     /* find next protocol with priv options */
66     for (; ff_url_protocols[i]; i++)
67         if (ff_url_protocols[i]->priv_data_class)
68             return ff_url_protocols[i]->priv_data_class;
69     return NULL;
70 }
71
72 #define OFFSET(x) offsetof(URLContext,x)
73 #define E AV_OPT_FLAG_ENCODING_PARAM
74 #define D AV_OPT_FLAG_DECODING_PARAM
75 static const AVOption options[] = {
76     {"protocol_whitelist", "List of protocols that are allowed to be used", OFFSET(protocol_whitelist), AV_OPT_TYPE_STRING, { .str = NULL },  CHAR_MIN, CHAR_MAX, D },
77     { NULL }
78 };
79 const AVClass ffurl_context_class = {
80     .class_name       = "URLContext",
81     .item_name        = urlcontext_to_name,
82     .option           = options,
83     .version          = LIBAVUTIL_VERSION_INT,
84     .child_next       = urlcontext_child_next,
85     .child_class_next = urlcontext_child_class_next,
86 };
87 /*@}*/
88
89 const char *avio_enum_protocols(void **opaque, int output)
90 {
91     const URLProtocol **p = *opaque;
92
93     p = p ? p + 1 : ff_url_protocols;
94     *opaque = p;
95     if (!*p) {
96         *opaque = NULL;
97         return NULL;
98     }
99     if ((output && (*p)->url_write) || (!output && (*p)->url_read))
100         return (*p)->name;
101     return avio_enum_protocols(opaque, output);
102 }
103
104 static int url_alloc_for_protocol(URLContext **puc, const URLProtocol *up,
105                                   const char *filename, int flags,
106                                   const AVIOInterruptCB *int_cb)
107 {
108     URLContext *uc;
109     int err;
110
111 #if CONFIG_NETWORK
112     if (up->flags & URL_PROTOCOL_FLAG_NETWORK && !ff_network_init())
113         return AVERROR(EIO);
114 #endif
115     if ((flags & AVIO_FLAG_READ) && !up->url_read) {
116         av_log(NULL, AV_LOG_ERROR,
117                "Impossible to open the '%s' protocol for reading\n", up->name);
118         return AVERROR(EIO);
119     }
120     if ((flags & AVIO_FLAG_WRITE) && !up->url_write) {
121         av_log(NULL, AV_LOG_ERROR,
122                "Impossible to open the '%s' protocol for writing\n", up->name);
123         return AVERROR(EIO);
124     }
125     uc = av_mallocz(sizeof(URLContext) + strlen(filename) + 1);
126     if (!uc) {
127         err = AVERROR(ENOMEM);
128         goto fail;
129     }
130     uc->av_class = &ffurl_context_class;
131     uc->filename = (char *)&uc[1];
132     strcpy(uc->filename, filename);
133     uc->prot            = up;
134     uc->flags           = flags;
135     uc->is_streamed     = 0; /* default = not streamed */
136     uc->max_packet_size = 0; /* default: stream file */
137     if (up->priv_data_size) {
138         uc->priv_data = av_mallocz(up->priv_data_size);
139         if (!uc->priv_data) {
140             err = AVERROR(ENOMEM);
141             goto fail;
142         }
143         if (up->priv_data_class) {
144             int proto_len= strlen(up->name);
145             char *start = strchr(uc->filename, ',');
146             *(const AVClass **)uc->priv_data = up->priv_data_class;
147             av_opt_set_defaults(uc->priv_data);
148             if(!strncmp(up->name, uc->filename, proto_len) && uc->filename + proto_len == start){
149                 int ret= 0;
150                 char *p= start;
151                 char sep= *++p;
152                 char *key, *val;
153                 p++;
154
155                 if (strcmp(up->name, "subfile"))
156                     ret = AVERROR(EINVAL);
157
158                 while(ret >= 0 && (key= strchr(p, sep)) && p<key && (val = strchr(key+1, sep))){
159                     *val= *key= 0;
160                     if (strcmp(p, "start") && strcmp(p, "end")) {
161                         ret = AVERROR_OPTION_NOT_FOUND;
162                     } else
163                         ret= av_opt_set(uc->priv_data, p, key+1, 0);
164                     if (ret == AVERROR_OPTION_NOT_FOUND)
165                         av_log(uc, AV_LOG_ERROR, "Key '%s' not found.\n", p);
166                     *val= *key= sep;
167                     p= val+1;
168                 }
169                 if(ret<0 || p!=key){
170                     av_log(uc, AV_LOG_ERROR, "Error parsing options string %s\n", start);
171                     av_freep(&uc->priv_data);
172                     av_freep(&uc);
173                     err = AVERROR(EINVAL);
174                     goto fail;
175                 }
176                 memmove(start, key+1, strlen(key));
177             }
178         }
179     }
180     if (int_cb)
181         uc->interrupt_callback = *int_cb;
182
183     *puc = uc;
184     return 0;
185 fail:
186     *puc = NULL;
187     if (uc)
188         av_freep(&uc->priv_data);
189     av_freep(&uc);
190 #if CONFIG_NETWORK
191     if (up->flags & URL_PROTOCOL_FLAG_NETWORK)
192         ff_network_close();
193 #endif
194     return err;
195 }
196
197 int ffurl_connect(URLContext *uc, AVDictionary **options)
198 {
199     int err;
200     AVDictionary *tmp_opts = NULL;
201     AVDictionaryEntry *e;
202
203     if (!options)
204         options = &tmp_opts;
205
206     // Check that URLContext was initialized correctly and lists are matching if set
207     av_assert0(!(e=av_dict_get(*options, "protocol_whitelist", NULL, 0)) ||
208                (uc->protocol_whitelist && !strcmp(uc->protocol_whitelist, e->value)));
209
210     if (uc->protocol_whitelist && av_match_list(uc->prot->name, uc->protocol_whitelist, ',') <= 0) {
211         av_log(uc, AV_LOG_ERROR, "Protocol not on whitelist \'%s\'!\n", uc->protocol_whitelist);
212         return AVERROR(EINVAL);
213     }
214
215     if (!uc->protocol_whitelist && uc->prot->default_whitelist) {
216         av_log(uc, AV_LOG_DEBUG, "Setting default whitelist '%s'\n", uc->prot->default_whitelist);
217         uc->protocol_whitelist = av_strdup(uc->prot->default_whitelist);
218         if (!uc->protocol_whitelist) {
219             return AVERROR(ENOMEM);
220         }
221     } else if (!uc->protocol_whitelist)
222         av_log(uc, AV_LOG_DEBUG, "No default whitelist set\n"); // This should be an error once all declare a default whitelist
223
224     if ((err = av_dict_set(options, "protocol_whitelist", uc->protocol_whitelist, 0)) < 0)
225         return err;
226
227     err =
228         uc->prot->url_open2 ? uc->prot->url_open2(uc,
229                                                   uc->filename,
230                                                   uc->flags,
231                                                   options) :
232         uc->prot->url_open(uc, uc->filename, uc->flags);
233
234     av_dict_set(options, "protocol_whitelist", NULL, 0);
235
236     if (err)
237         return err;
238     uc->is_connected = 1;
239     /* We must be careful here as ffurl_seek() could be slow,
240      * for example for http */
241     if ((uc->flags & AVIO_FLAG_WRITE) || !strcmp(uc->prot->name, "file"))
242         if (!uc->is_streamed && ffurl_seek(uc, 0, SEEK_SET) < 0)
243             uc->is_streamed = 1;
244     return 0;
245 }
246
247 int ffurl_accept(URLContext *s, URLContext **c)
248 {
249     av_assert0(!*c);
250     if (s->prot->url_accept)
251         return s->prot->url_accept(s, c);
252     return AVERROR(EBADF);
253 }
254
255 int ffurl_handshake(URLContext *c)
256 {
257     int ret;
258     if (c->prot->url_handshake) {
259         ret = c->prot->url_handshake(c);
260         if (ret)
261             return ret;
262     }
263     c->is_connected = 1;
264     return 0;
265 }
266
267 #define URL_SCHEME_CHARS                        \
268     "abcdefghijklmnopqrstuvwxyz"                \
269     "ABCDEFGHIJKLMNOPQRSTUVWXYZ"                \
270     "0123456789+-."
271
272 static const struct URLProtocol *url_find_protocol(const char *filename)
273 {
274     const URLProtocol *up;
275     char proto_str[128], proto_nested[128], *ptr;
276     size_t proto_len = strspn(filename, URL_SCHEME_CHARS);
277     int i;
278
279     if (filename[proto_len] != ':' &&
280         (strncmp(filename, "subfile,", 8) || !strchr(filename + proto_len + 1, ':')) ||
281         is_dos_path(filename))
282         strcpy(proto_str, "file");
283     else
284         av_strlcpy(proto_str, filename,
285                    FFMIN(proto_len + 1, sizeof(proto_str)));
286
287     if ((ptr = strchr(proto_str, ',')))
288         *ptr = '\0';
289     av_strlcpy(proto_nested, proto_str, sizeof(proto_nested));
290     if ((ptr = strchr(proto_nested, '+')))
291         *ptr = '\0';
292
293     for (i = 0; ff_url_protocols[i]; i++) {
294         up = ff_url_protocols[i];
295         if (!strcmp(proto_str, up->name))
296             break;
297         if (up->flags & URL_PROTOCOL_FLAG_NESTED_SCHEME &&
298             !strcmp(proto_nested, up->name))
299             break;
300     }
301
302     return up;
303 }
304
305 int ffurl_alloc(URLContext **puc, const char *filename, int flags,
306                 const AVIOInterruptCB *int_cb)
307 {
308     const URLProtocol *p = NULL;
309
310     p = url_find_protocol(filename);
311     if (p)
312        return url_alloc_for_protocol(puc, p, filename, flags, int_cb);
313
314     *puc = NULL;
315     if (av_strstart(filename, "https:", NULL))
316         av_log(NULL, AV_LOG_WARNING, "https protocol not found, recompile FFmpeg with "
317                                      "openssl, gnutls,\n"
318                                      "or securetransport enabled.\n");
319     return AVERROR_PROTOCOL_NOT_FOUND;
320 }
321
322 int ffurl_open_whitelist(URLContext **puc, const char *filename, int flags,
323                          const AVIOInterruptCB *int_cb, AVDictionary **options, const char *whitelist)
324 {
325     AVDictionary *tmp_opts = NULL;
326     AVDictionaryEntry *e;
327     int ret = ffurl_alloc(puc, filename, flags, int_cb);
328     if (ret < 0)
329         return ret;
330     if (options && (*puc)->prot->priv_data_class &&
331         (ret = av_opt_set_dict((*puc)->priv_data, options)) < 0)
332         goto fail;
333
334     if (!options)
335         options = &tmp_opts;
336
337     av_assert0(!whitelist ||
338                !(e=av_dict_get(*options, "protocol_whitelist", NULL, 0)) ||
339                !strcmp(whitelist, e->value));
340
341     if ((ret = av_dict_set(options, "protocol_whitelist", whitelist, 0)) < 0)
342         goto fail;
343
344     if ((ret = av_opt_set_dict(*puc, options)) < 0)
345         goto fail;
346
347     ret = ffurl_connect(*puc, options);
348
349     if (!ret)
350         return 0;
351 fail:
352     ffurl_close(*puc);
353     *puc = NULL;
354     return ret;
355 }
356
357 int ffurl_open(URLContext **puc, const char *filename, int flags,
358                const AVIOInterruptCB *int_cb, AVDictionary **options)
359 {
360     return ffurl_open_whitelist(puc, filename, flags,
361                                 int_cb, options, NULL);
362 }
363
364 static inline int retry_transfer_wrapper(URLContext *h, uint8_t *buf,
365                                          int size, int size_min,
366                                          int (*transfer_func)(URLContext *h,
367                                                               uint8_t *buf,
368                                                               int size))
369 {
370     int ret, len;
371     int fast_retries = 5;
372     int64_t wait_since = 0;
373
374     len = 0;
375     while (len < size_min) {
376         if (ff_check_interrupt(&h->interrupt_callback))
377             return AVERROR_EXIT;
378         ret = transfer_func(h, buf + len, size - len);
379         if (ret == AVERROR(EINTR))
380             continue;
381         if (h->flags & AVIO_FLAG_NONBLOCK)
382             return ret;
383         if (ret == AVERROR(EAGAIN)) {
384             ret = 0;
385             if (fast_retries) {
386                 fast_retries--;
387             } else {
388                 if (h->rw_timeout) {
389                     if (!wait_since)
390                         wait_since = av_gettime_relative();
391                     else if (av_gettime_relative() > wait_since + h->rw_timeout)
392                         return AVERROR(EIO);
393                 }
394                 av_usleep(1000);
395             }
396         } else if (ret < 1)
397             return (ret < 0 && ret != AVERROR_EOF) ? ret : len;
398         if (ret)
399             fast_retries = FFMAX(fast_retries, 2);
400         len += ret;
401     }
402     return len;
403 }
404
405 int ffurl_read(URLContext *h, unsigned char *buf, int size)
406 {
407     if (!(h->flags & AVIO_FLAG_READ))
408         return AVERROR(EIO);
409     return retry_transfer_wrapper(h, buf, size, 1, h->prot->url_read);
410 }
411
412 int ffurl_read_complete(URLContext *h, unsigned char *buf, int size)
413 {
414     if (!(h->flags & AVIO_FLAG_READ))
415         return AVERROR(EIO);
416     return retry_transfer_wrapper(h, buf, size, size, h->prot->url_read);
417 }
418
419 int ffurl_write(URLContext *h, const unsigned char *buf, int size)
420 {
421     if (!(h->flags & AVIO_FLAG_WRITE))
422         return AVERROR(EIO);
423     /* avoid sending too big packets */
424     if (h->max_packet_size && size > h->max_packet_size)
425         return AVERROR(EIO);
426
427     return retry_transfer_wrapper(h, (unsigned char *)buf, size, size,
428                                   (int (*)(struct URLContext *, uint8_t *, int))
429                                   h->prot->url_write);
430 }
431
432 int64_t ffurl_seek(URLContext *h, int64_t pos, int whence)
433 {
434     int64_t ret;
435
436     if (!h->prot->url_seek)
437         return AVERROR(ENOSYS);
438     ret = h->prot->url_seek(h, pos, whence & ~AVSEEK_FORCE);
439     return ret;
440 }
441
442 int ffurl_closep(URLContext **hh)
443 {
444     URLContext *h= *hh;
445     int ret = 0;
446     if (!h)
447         return 0;     /* can happen when ffurl_open fails */
448
449     if (h->is_connected && h->prot->url_close)
450         ret = h->prot->url_close(h);
451 #if CONFIG_NETWORK
452     if (h->prot->flags & URL_PROTOCOL_FLAG_NETWORK)
453         ff_network_close();
454 #endif
455     if (h->prot->priv_data_size) {
456         if (h->prot->priv_data_class)
457             av_opt_free(h->priv_data);
458         av_freep(&h->priv_data);
459     }
460     av_opt_free(h);
461     av_freep(hh);
462     return ret;
463 }
464
465 int ffurl_close(URLContext *h)
466 {
467     return ffurl_closep(&h);
468 }
469
470
471 const char *avio_find_protocol_name(const char *url)
472 {
473     const URLProtocol *p = url_find_protocol(url);
474
475     return p ? p->name : NULL;
476 }
477
478 int avio_check(const char *url, int flags)
479 {
480     URLContext *h;
481     int ret = ffurl_alloc(&h, url, flags, NULL);
482     if (ret < 0)
483         return ret;
484
485     if (h->prot->url_check) {
486         ret = h->prot->url_check(h, flags);
487     } else {
488         ret = ffurl_connect(h, NULL);
489         if (ret >= 0)
490             ret = flags;
491     }
492
493     ffurl_close(h);
494     return ret;
495 }
496
497 int avpriv_io_move(const char *url_src, const char *url_dst)
498 {
499     URLContext *h_src, *h_dst;
500     int ret = ffurl_alloc(&h_src, url_src, AVIO_FLAG_READ_WRITE, NULL);
501     if (ret < 0)
502         return ret;
503     ret = ffurl_alloc(&h_dst, url_dst, AVIO_FLAG_WRITE, NULL);
504     if (ret < 0) {
505         ffurl_close(h_src);
506         return ret;
507     }
508
509     if (h_src->prot == h_dst->prot && h_src->prot->url_move)
510         ret = h_src->prot->url_move(h_src, h_dst);
511     else
512         ret = AVERROR(ENOSYS);
513
514     ffurl_close(h_src);
515     ffurl_close(h_dst);
516     return ret;
517 }
518
519 int avpriv_io_delete(const char *url)
520 {
521     URLContext *h;
522     int ret = ffurl_alloc(&h, url, AVIO_FLAG_WRITE, NULL);
523     if (ret < 0)
524         return ret;
525
526     if (h->prot->url_delete)
527         ret = h->prot->url_delete(h);
528     else
529         ret = AVERROR(ENOSYS);
530
531     ffurl_close(h);
532     return ret;
533 }
534
535 int avio_open_dir(AVIODirContext **s, const char *url, AVDictionary **options)
536 {
537     URLContext *h = NULL;
538     AVIODirContext *ctx = NULL;
539     int ret;
540     av_assert0(s);
541
542     ctx = av_mallocz(sizeof(*ctx));
543     if (!ctx) {
544         ret = AVERROR(ENOMEM);
545         goto fail;
546     }
547
548     if ((ret = ffurl_alloc(&h, url, AVIO_FLAG_READ, NULL)) < 0)
549         goto fail;
550
551     if (h->prot->url_open_dir && h->prot->url_read_dir && h->prot->url_close_dir) {
552         if (options && h->prot->priv_data_class &&
553             (ret = av_opt_set_dict(h->priv_data, options)) < 0)
554             goto fail;
555         ret = h->prot->url_open_dir(h);
556     } else
557         ret = AVERROR(ENOSYS);
558     if (ret < 0)
559         goto fail;
560
561     h->is_connected = 1;
562     ctx->url_context = h;
563     *s = ctx;
564     return 0;
565
566   fail:
567     av_free(ctx);
568     *s = NULL;
569     ffurl_close(h);
570     return ret;
571 }
572
573 int avio_read_dir(AVIODirContext *s, AVIODirEntry **next)
574 {
575     URLContext *h;
576     int ret;
577
578     if (!s || !s->url_context)
579         return AVERROR(EINVAL);
580     h = s->url_context;
581     if ((ret = h->prot->url_read_dir(h, next)) < 0)
582         avio_free_directory_entry(next);
583     return ret;
584 }
585
586 int avio_close_dir(AVIODirContext **s)
587 {
588     URLContext *h;
589
590     av_assert0(s);
591     if (!(*s) || !(*s)->url_context)
592         return AVERROR(EINVAL);
593     h = (*s)->url_context;
594     h->prot->url_close_dir(h);
595     ffurl_close(h);
596     av_freep(s);
597     *s = NULL;
598     return 0;
599 }
600
601 void avio_free_directory_entry(AVIODirEntry **entry)
602 {
603     if (!entry || !*entry)
604         return;
605     av_free((*entry)->name);
606     av_freep(entry);
607 }
608
609 int64_t ffurl_size(URLContext *h)
610 {
611     int64_t pos, size;
612
613     size = ffurl_seek(h, 0, AVSEEK_SIZE);
614     if (size < 0) {
615         pos = ffurl_seek(h, 0, SEEK_CUR);
616         if ((size = ffurl_seek(h, -1, SEEK_END)) < 0)
617             return size;
618         size++;
619         ffurl_seek(h, pos, SEEK_SET);
620     }
621     return size;
622 }
623
624 int ffurl_get_file_handle(URLContext *h)
625 {
626     if (!h->prot->url_get_file_handle)
627         return -1;
628     return h->prot->url_get_file_handle(h);
629 }
630
631 int ffurl_get_multi_file_handle(URLContext *h, int **handles, int *numhandles)
632 {
633     if (!h->prot->url_get_multi_file_handle) {
634         if (!h->prot->url_get_file_handle)
635             return AVERROR(ENOSYS);
636         *handles = av_malloc(sizeof(**handles));
637         if (!*handles)
638             return AVERROR(ENOMEM);
639         *numhandles = 1;
640         *handles[0] = h->prot->url_get_file_handle(h);
641         return 0;
642     }
643     return h->prot->url_get_multi_file_handle(h, handles, numhandles);
644 }
645
646 int ffurl_shutdown(URLContext *h, int flags)
647 {
648     if (!h->prot->url_shutdown)
649         return AVERROR(EINVAL);
650     return h->prot->url_shutdown(h, flags);
651 }
652
653 int ff_check_interrupt(AVIOInterruptCB *cb)
654 {
655     int ret;
656     if (cb && cb->callback && (ret = cb->callback(cb->opaque)))
657         return ret;
658     return 0;
659 }