Merge commit 'f7986239f4dbec91c743c4c5eb0a2339bd325bf6'
[ffmpeg.git] / libavformat / avio.c
1 /*
2  * unbuffered I/O
3  * Copyright (c) 2001 Fabrice Bellard
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/avstring.h"
23 #include "libavutil/dict.h"
24 #include "libavutil/opt.h"
25 #include "libavutil/time.h"
26 #include "libavutil/avassert.h"
27 #include "os_support.h"
28 #include "avformat.h"
29 #if CONFIG_NETWORK
30 #include "network.h"
31 #endif
32 #include "url.h"
33
34 static URLProtocol *first_protocol = NULL;
35
36 URLProtocol *ffurl_protocol_next(const URLProtocol *prev)
37 {
38     return prev ? prev->next : first_protocol;
39 }
40
41 /** @name Logging context. */
42 /*@{*/
43 static const char *urlcontext_to_name(void *ptr)
44 {
45     URLContext *h = (URLContext *)ptr;
46     if (h->prot)
47         return h->prot->name;
48     else
49         return "NULL";
50 }
51
52 static void *urlcontext_child_next(void *obj, void *prev)
53 {
54     URLContext *h = obj;
55     if (!prev && h->priv_data && h->prot->priv_data_class)
56         return h->priv_data;
57     return NULL;
58 }
59
60 static const AVClass *urlcontext_child_class_next(const AVClass *prev)
61 {
62     URLProtocol *p = NULL;
63
64     /* find the protocol that corresponds to prev */
65     while (prev && (p = ffurl_protocol_next(p)))
66         if (p->priv_data_class == prev)
67             break;
68
69     /* find next protocol with priv options */
70     while (p = ffurl_protocol_next(p))
71         if (p->priv_data_class)
72             return p->priv_data_class;
73     return NULL;
74 }
75
76 static const AVOption options[] = { { NULL } };
77 const AVClass ffurl_context_class = {
78     .class_name       = "URLContext",
79     .item_name        = urlcontext_to_name,
80     .option           = options,
81     .version          = LIBAVUTIL_VERSION_INT,
82     .child_next       = urlcontext_child_next,
83     .child_class_next = urlcontext_child_class_next,
84 };
85 /*@}*/
86
87 const char *avio_enum_protocols(void **opaque, int output)
88 {
89     URLProtocol *p;
90     *opaque = ffurl_protocol_next(*opaque);
91     if (!(p = *opaque))
92         return NULL;
93     if ((output && p->url_write) || (!output && p->url_read))
94         return p->name;
95     return avio_enum_protocols(opaque, output);
96 }
97
98 int ffurl_register_protocol(URLProtocol *protocol)
99 {
100     URLProtocol **p;
101     p = &first_protocol;
102     while (*p)
103         p = &(*p)->next;
104     *p             = protocol;
105     protocol->next = NULL;
106     return 0;
107 }
108
109 static int url_alloc_for_protocol(URLContext **puc, struct URLProtocol *up,
110                                   const char *filename, int flags,
111                                   const AVIOInterruptCB *int_cb)
112 {
113     URLContext *uc;
114     int err;
115
116 #if CONFIG_NETWORK
117     if (up->flags & URL_PROTOCOL_FLAG_NETWORK && !ff_network_init())
118         return AVERROR(EIO);
119 #endif
120     if ((flags & AVIO_FLAG_READ) && !up->url_read) {
121         av_log(NULL, AV_LOG_ERROR,
122                "Impossible to open the '%s' protocol for reading\n", up->name);
123         return AVERROR(EIO);
124     }
125     if ((flags & AVIO_FLAG_WRITE) && !up->url_write) {
126         av_log(NULL, AV_LOG_ERROR,
127                "Impossible to open the '%s' protocol for writing\n", up->name);
128         return AVERROR(EIO);
129     }
130     uc = av_mallocz(sizeof(URLContext) + strlen(filename) + 1);
131     if (!uc) {
132         err = AVERROR(ENOMEM);
133         goto fail;
134     }
135     uc->av_class = &ffurl_context_class;
136     uc->filename = (char *)&uc[1];
137     strcpy(uc->filename, filename);
138     uc->prot            = up;
139     uc->flags           = flags;
140     uc->is_streamed     = 0; /* default = not streamed */
141     uc->max_packet_size = 0; /* default: stream file */
142     if (up->priv_data_size) {
143         uc->priv_data = av_mallocz(up->priv_data_size);
144         if (!uc->priv_data) {
145             err = AVERROR(ENOMEM);
146             goto fail;
147         }
148         if (up->priv_data_class) {
149             int proto_len= strlen(up->name);
150             char *start = strchr(uc->filename, ',');
151             *(const AVClass **)uc->priv_data = up->priv_data_class;
152             av_opt_set_defaults(uc->priv_data);
153             if(!strncmp(up->name, uc->filename, proto_len) && uc->filename + proto_len == start){
154                 int ret= 0;
155                 char *p= start;
156                 char sep= *++p;
157                 char *key, *val;
158                 p++;
159                 while(ret >= 0 && (key= strchr(p, sep)) && p<key && (val = strchr(key+1, sep))){
160                     *val= *key= 0;
161                     ret= av_opt_set(uc->priv_data, p, key+1, 0);
162                     if (ret == AVERROR_OPTION_NOT_FOUND)
163                         av_log(uc, AV_LOG_ERROR, "Key '%s' not found.\n", p);
164                     *val= *key= sep;
165                     p= val+1;
166                 }
167                 if(ret<0 || p!=key){
168                     av_log(uc, AV_LOG_ERROR, "Error parsing options string %s\n", start);
169                     av_freep(&uc->priv_data);
170                     av_freep(&uc);
171                     err = AVERROR(EINVAL);
172                     goto fail;
173                 }
174                 memmove(start, key+1, strlen(key));
175             }
176         }
177     }
178     if (int_cb)
179         uc->interrupt_callback = *int_cb;
180
181     *puc = uc;
182     return 0;
183 fail:
184     *puc = NULL;
185     if (uc)
186         av_freep(&uc->priv_data);
187     av_freep(&uc);
188 #if CONFIG_NETWORK
189     if (up->flags & URL_PROTOCOL_FLAG_NETWORK)
190         ff_network_close();
191 #endif
192     return err;
193 }
194
195 int ffurl_connect(URLContext *uc, AVDictionary **options)
196 {
197     int err =
198         uc->prot->url_open2 ? uc->prot->url_open2(uc,
199                                                   uc->filename,
200                                                   uc->flags,
201                                                   options) :
202         uc->prot->url_open(uc, uc->filename, uc->flags);
203     if (err)
204         return err;
205     uc->is_connected = 1;
206     /* We must be careful here as ffurl_seek() could be slow,
207      * for example for http */
208     if ((uc->flags & AVIO_FLAG_WRITE) || !strcmp(uc->prot->name, "file"))
209         if (!uc->is_streamed && ffurl_seek(uc, 0, SEEK_SET) < 0)
210             uc->is_streamed = 1;
211     return 0;
212 }
213
214 int ffurl_accept(URLContext *s, URLContext **c)
215 {
216     av_assert0(!*c);
217     if (s->prot->url_accept)
218         return s->prot->url_accept(s, c);
219     return AVERROR(EBADF);
220 }
221
222 int ffurl_handshake(URLContext *c)
223 {
224     int ret;
225     if (c->prot->url_handshake) {
226         ret = c->prot->url_handshake(c);
227         if (ret)
228             return ret;
229     }
230     c->is_connected = 1;
231     return 0;
232 }
233
234 #define URL_SCHEME_CHARS                        \
235     "abcdefghijklmnopqrstuvwxyz"                \
236     "ABCDEFGHIJKLMNOPQRSTUVWXYZ"                \
237     "0123456789+-."
238
239 static struct URLProtocol *url_find_protocol(const char *filename)
240 {
241     URLProtocol *up = NULL;
242     char proto_str[128], proto_nested[128], *ptr;
243     size_t proto_len = strspn(filename, URL_SCHEME_CHARS);
244
245     if (filename[proto_len] != ':' &&
246         (filename[proto_len] != ',' || !strchr(filename + proto_len + 1, ':')) ||
247         is_dos_path(filename))
248         strcpy(proto_str, "file");
249     else
250         av_strlcpy(proto_str, filename,
251                    FFMIN(proto_len + 1, sizeof(proto_str)));
252
253     if ((ptr = strchr(proto_str, ',')))
254         *ptr = '\0';
255     av_strlcpy(proto_nested, proto_str, sizeof(proto_nested));
256     if ((ptr = strchr(proto_nested, '+')))
257         *ptr = '\0';
258
259     while (up = ffurl_protocol_next(up)) {
260         if (!strcmp(proto_str, up->name))
261             break;
262         if (up->flags & URL_PROTOCOL_FLAG_NESTED_SCHEME &&
263             !strcmp(proto_nested, up->name))
264             break;
265     }
266
267     return up;
268 }
269
270 int ffurl_alloc(URLContext **puc, const char *filename, int flags,
271                 const AVIOInterruptCB *int_cb)
272 {
273     URLProtocol *p = NULL;
274
275     if (!first_protocol) {
276         av_log(NULL, AV_LOG_WARNING, "No URL Protocols are registered. "
277                                      "Missing call to av_register_all()?\n");
278     }
279
280     p = url_find_protocol(filename);
281     if (p)
282        return url_alloc_for_protocol(puc, p, filename, flags, int_cb);
283
284     *puc = NULL;
285     if (av_strstart(filename, "https:", NULL))
286         av_log(NULL, AV_LOG_WARNING, "https protocol not found, recompile FFmpeg with "
287                                      "openssl, gnutls,\n"
288                                      "or securetransport enabled.\n");
289     return AVERROR_PROTOCOL_NOT_FOUND;
290 }
291
292 int ffurl_open(URLContext **puc, const char *filename, int flags,
293                const AVIOInterruptCB *int_cb, AVDictionary **options)
294 {
295     int ret = ffurl_alloc(puc, filename, flags, int_cb);
296     if (ret < 0)
297         return ret;
298     if (options && (*puc)->prot->priv_data_class &&
299         (ret = av_opt_set_dict((*puc)->priv_data, options)) < 0)
300         goto fail;
301     if ((ret = av_opt_set_dict(*puc, options)) < 0)
302         goto fail;
303     ret = ffurl_connect(*puc, options);
304     if (!ret)
305         return 0;
306 fail:
307     ffurl_close(*puc);
308     *puc = NULL;
309     return ret;
310 }
311
312 static inline int retry_transfer_wrapper(URLContext *h, uint8_t *buf,
313                                          int size, int size_min,
314                                          int (*transfer_func)(URLContext *h,
315                                                               uint8_t *buf,
316                                                               int size))
317 {
318     int ret, len;
319     int fast_retries = 5;
320     int64_t wait_since = 0;
321
322     len = 0;
323     while (len < size_min) {
324         if (ff_check_interrupt(&h->interrupt_callback))
325             return AVERROR_EXIT;
326         ret = transfer_func(h, buf + len, size - len);
327         if (ret == AVERROR(EINTR))
328             continue;
329         if (h->flags & AVIO_FLAG_NONBLOCK)
330             return ret;
331         if (ret == AVERROR(EAGAIN)) {
332             ret = 0;
333             if (fast_retries) {
334                 fast_retries--;
335             } else {
336                 if (h->rw_timeout) {
337                     if (!wait_since)
338                         wait_since = av_gettime_relative();
339                     else if (av_gettime_relative() > wait_since + h->rw_timeout)
340                         return AVERROR(EIO);
341                 }
342                 av_usleep(1000);
343             }
344         } else if (ret < 1)
345             return (ret < 0 && ret != AVERROR_EOF) ? ret : len;
346         if (ret)
347             fast_retries = FFMAX(fast_retries, 2);
348         len += ret;
349     }
350     return len;
351 }
352
353 int ffurl_read(URLContext *h, unsigned char *buf, int size)
354 {
355     if (!(h->flags & AVIO_FLAG_READ))
356         return AVERROR(EIO);
357     return retry_transfer_wrapper(h, buf, size, 1, h->prot->url_read);
358 }
359
360 int ffurl_read_complete(URLContext *h, unsigned char *buf, int size)
361 {
362     if (!(h->flags & AVIO_FLAG_READ))
363         return AVERROR(EIO);
364     return retry_transfer_wrapper(h, buf, size, size, h->prot->url_read);
365 }
366
367 int ffurl_write(URLContext *h, const unsigned char *buf, int size)
368 {
369     if (!(h->flags & AVIO_FLAG_WRITE))
370         return AVERROR(EIO);
371     /* avoid sending too big packets */
372     if (h->max_packet_size && size > h->max_packet_size)
373         return AVERROR(EIO);
374
375     return retry_transfer_wrapper(h, (unsigned char *)buf, size, size,
376                                   (int (*)(struct URLContext *, uint8_t *, int))
377                                   h->prot->url_write);
378 }
379
380 int64_t ffurl_seek(URLContext *h, int64_t pos, int whence)
381 {
382     int64_t ret;
383
384     if (!h->prot->url_seek)
385         return AVERROR(ENOSYS);
386     ret = h->prot->url_seek(h, pos, whence & ~AVSEEK_FORCE);
387     return ret;
388 }
389
390 int ffurl_closep(URLContext **hh)
391 {
392     URLContext *h= *hh;
393     int ret = 0;
394     if (!h)
395         return 0;     /* can happen when ffurl_open fails */
396
397     if (h->is_connected && h->prot->url_close)
398         ret = h->prot->url_close(h);
399 #if CONFIG_NETWORK
400     if (h->prot->flags & URL_PROTOCOL_FLAG_NETWORK)
401         ff_network_close();
402 #endif
403     if (h->prot->priv_data_size) {
404         if (h->prot->priv_data_class)
405             av_opt_free(h->priv_data);
406         av_freep(&h->priv_data);
407     }
408     av_freep(hh);
409     return ret;
410 }
411
412 int ffurl_close(URLContext *h)
413 {
414     return ffurl_closep(&h);
415 }
416
417
418 const char *avio_find_protocol_name(const char *url)
419 {
420     URLProtocol *p = url_find_protocol(url);
421
422     return p ? p->name : NULL;
423 }
424
425 int avio_check(const char *url, int flags)
426 {
427     URLContext *h;
428     int ret = ffurl_alloc(&h, url, flags, NULL);
429     if (ret < 0)
430         return ret;
431
432     if (h->prot->url_check) {
433         ret = h->prot->url_check(h, flags);
434     } else {
435         ret = ffurl_connect(h, NULL);
436         if (ret >= 0)
437             ret = flags;
438     }
439
440     ffurl_close(h);
441     return ret;
442 }
443
444 int avpriv_io_move(const char *url_src, const char *url_dst)
445 {
446     URLContext *h_src, *h_dst;
447     int ret = ffurl_alloc(&h_src, url_src, AVIO_FLAG_READ_WRITE, NULL);
448     if (ret < 0)
449         return ret;
450     ret = ffurl_alloc(&h_dst, url_dst, AVIO_FLAG_WRITE, NULL);
451     if (ret < 0) {
452         ffurl_close(h_src);
453         return ret;
454     }
455
456     if (h_src->prot == h_dst->prot && h_src->prot->url_move)
457         ret = h_src->prot->url_move(h_src, h_dst);
458     else
459         ret = AVERROR(ENOSYS);
460
461     ffurl_close(h_src);
462     ffurl_close(h_dst);
463     return ret;
464 }
465
466 int avpriv_io_delete(const char *url)
467 {
468     URLContext *h;
469     int ret = ffurl_alloc(&h, url, AVIO_FLAG_WRITE, NULL);
470     if (ret < 0)
471         return ret;
472
473     if (h->prot->url_delete)
474         ret = h->prot->url_delete(h);
475     else
476         ret = AVERROR(ENOSYS);
477
478     ffurl_close(h);
479     return ret;
480 }
481
482 int avio_open_dir(AVIODirContext **s, const char *url, AVDictionary **options)
483 {
484     URLContext *h = NULL;
485     AVIODirContext *ctx = NULL;
486     int ret;
487     av_assert0(s);
488
489     ctx = av_mallocz(sizeof(*ctx));
490     if (!ctx) {
491         ret = AVERROR(ENOMEM);
492         goto fail;
493     }
494
495     if ((ret = ffurl_alloc(&h, url, AVIO_FLAG_READ, NULL)) < 0)
496         goto fail;
497
498     if (h->prot->url_open_dir && h->prot->url_read_dir && h->prot->url_close_dir) {
499         if (options && h->prot->priv_data_class &&
500             (ret = av_opt_set_dict(h->priv_data, options)) < 0)
501             goto fail;
502         ret = h->prot->url_open_dir(h);
503     } else
504         ret = AVERROR(ENOSYS);
505     if (ret < 0)
506         goto fail;
507
508     h->is_connected = 1;
509     ctx->url_context = h;
510     *s = ctx;
511     return 0;
512
513   fail:
514     av_free(ctx);
515     *s = NULL;
516     ffurl_close(h);
517     return ret;
518 }
519
520 int avio_read_dir(AVIODirContext *s, AVIODirEntry **next)
521 {
522     URLContext *h;
523     int ret;
524
525     if (!s || !s->url_context)
526         return AVERROR(EINVAL);
527     h = s->url_context;
528     if ((ret = h->prot->url_read_dir(h, next)) < 0)
529         avio_free_directory_entry(next);
530     return ret;
531 }
532
533 int avio_close_dir(AVIODirContext **s)
534 {
535     URLContext *h;
536
537     av_assert0(s);
538     if (!(*s) || !(*s)->url_context)
539         return AVERROR(EINVAL);
540     h = (*s)->url_context;
541     h->prot->url_close_dir(h);
542     ffurl_close(h);
543     av_freep(s);
544     *s = NULL;
545     return 0;
546 }
547
548 void avio_free_directory_entry(AVIODirEntry **entry)
549 {
550     if (!entry || !*entry)
551         return;
552     av_free((*entry)->name);
553     av_freep(entry);
554 }
555
556 int64_t ffurl_size(URLContext *h)
557 {
558     int64_t pos, size;
559
560     size = ffurl_seek(h, 0, AVSEEK_SIZE);
561     if (size < 0) {
562         pos = ffurl_seek(h, 0, SEEK_CUR);
563         if ((size = ffurl_seek(h, -1, SEEK_END)) < 0)
564             return size;
565         size++;
566         ffurl_seek(h, pos, SEEK_SET);
567     }
568     return size;
569 }
570
571 int ffurl_get_file_handle(URLContext *h)
572 {
573     if (!h->prot->url_get_file_handle)
574         return -1;
575     return h->prot->url_get_file_handle(h);
576 }
577
578 int ffurl_get_multi_file_handle(URLContext *h, int **handles, int *numhandles)
579 {
580     if (!h->prot->url_get_multi_file_handle) {
581         if (!h->prot->url_get_file_handle)
582             return AVERROR(ENOSYS);
583         *handles = av_malloc(sizeof(**handles));
584         if (!*handles)
585             return AVERROR(ENOMEM);
586         *numhandles = 1;
587         *handles[0] = h->prot->url_get_file_handle(h);
588         return 0;
589     }
590     return h->prot->url_get_multi_file_handle(h, handles, numhandles);
591 }
592
593 int ffurl_shutdown(URLContext *h, int flags)
594 {
595     if (!h->prot->url_shutdown)
596         return AVERROR(EINVAL);
597     return h->prot->url_shutdown(h, flags);
598 }
599
600 int ff_check_interrupt(AVIOInterruptCB *cb)
601 {
602     int ret;
603     if (cb && cb->callback && (ret = cb->callback(cb->opaque)))
604         return ret;
605     return 0;
606 }