Replace all remaining occurances of step/depth_minus1 and offset_plus1
[ffmpeg.git] / libavformat / async.c
1 /*
2  * Input async protocol.
3  * Copyright (c) 2015 Zhang Rui <bbcallen@gmail.com>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  *
21  * Based on libavformat/cache.c by Michael Niedermayer
22  */
23
24  /**
25  * @TODO
26  *      support timeout
27  *      support backward short seek
28  *      support work with concatdec, hls
29  */
30
31 #include "libavutil/avassert.h"
32 #include "libavutil/avstring.h"
33 #include "libavutil/error.h"
34 #include "libavutil/fifo.h"
35 #include "libavutil/log.h"
36 #include "libavutil/opt.h"
37 #include "url.h"
38 #include <stdint.h>
39 #include <pthread.h>
40
41 #if HAVE_UNISTD_H
42 #include <unistd.h>
43 #endif
44
45 #define BUFFER_CAPACITY         (4 * 1024 * 1024)
46 #define SHORT_SEEK_THRESHOLD    (256 * 1024)
47
48 typedef struct Context {
49     AVClass        *class;
50     URLContext     *inner;
51
52     int             seek_request;
53     int64_t         seek_pos;
54     int             seek_whence;
55     int             seek_completed;
56     int64_t         seek_ret;
57
58     int             io_error;
59     int             io_eof_reached;
60
61     int64_t         logical_pos;
62     int64_t         logical_size;
63     AVFifoBuffer   *fifo;
64
65     pthread_cond_t  cond_wakeup_main;
66     pthread_cond_t  cond_wakeup_background;
67     pthread_mutex_t mutex;
68     pthread_t       async_buffer_thread;
69
70     int             abort_request;
71     AVIOInterruptCB interrupt_callback;
72 } Context;
73
74 static int async_check_interrupt(void *arg)
75 {
76     URLContext *h   = arg;
77     Context    *c   = h->priv_data;
78
79     if (c->abort_request)
80         return 1;
81
82     if (ff_check_interrupt(&c->interrupt_callback))
83         c->abort_request = 1;
84
85     return c->abort_request;
86 }
87
88 static void *async_buffer_task(void *arg)
89 {
90     URLContext   *h    = arg;
91     Context      *c    = h->priv_data;
92     AVFifoBuffer *fifo = c->fifo;
93     int           ret  = 0;
94     int64_t       seek_ret;
95
96     while (1) {
97         int fifo_space, to_copy;
98
99         pthread_mutex_lock(&c->mutex);
100         if (async_check_interrupt(h)) {
101             c->io_eof_reached = 1;
102             c->io_error       = AVERROR_EXIT;
103             pthread_cond_signal(&c->cond_wakeup_main);
104             pthread_mutex_unlock(&c->mutex);
105             break;
106         }
107
108         if (c->seek_request) {
109             seek_ret = ffurl_seek(c->inner, c->seek_pos, c->seek_whence);
110             if (seek_ret < 0) {
111                 c->io_eof_reached = 1;
112                 c->io_error       = (int)seek_ret;
113             } else {
114                 c->io_eof_reached = 0;
115                 c->io_error       = 0;
116             }
117
118             c->seek_completed = 1;
119             c->seek_ret       = seek_ret;
120             c->seek_request   = 0;
121
122             av_fifo_reset(fifo);
123
124             pthread_cond_signal(&c->cond_wakeup_main);
125             pthread_mutex_unlock(&c->mutex);
126             continue;
127         }
128
129         fifo_space = av_fifo_space(fifo);
130         if (c->io_eof_reached || fifo_space <= 0) {
131             pthread_cond_signal(&c->cond_wakeup_main);
132             pthread_cond_wait(&c->cond_wakeup_background, &c->mutex);
133             pthread_mutex_unlock(&c->mutex);
134             continue;
135         }
136         pthread_mutex_unlock(&c->mutex);
137
138         to_copy = FFMIN(4096, fifo_space);
139         ret = av_fifo_generic_write(fifo, c->inner, to_copy, (void *)ffurl_read);
140
141         pthread_mutex_lock(&c->mutex);
142         if (ret <= 0) {
143             c->io_eof_reached = 1;
144             if (ret < 0) {
145                 c->io_error = ret;
146             }
147         }
148
149         pthread_cond_signal(&c->cond_wakeup_main);
150         pthread_mutex_unlock(&c->mutex);
151     }
152
153     return NULL;
154 }
155
156 static int async_open(URLContext *h, const char *arg, int flags, AVDictionary **options)
157 {
158     Context         *c = h->priv_data;
159     int              ret;
160     AVIOInterruptCB  interrupt_callback = {.callback = async_check_interrupt, .opaque = h};
161
162     av_strstart(arg, "async:", &arg);
163
164     c->fifo = av_fifo_alloc(BUFFER_CAPACITY);
165     if (!c->fifo) {
166         ret = AVERROR(ENOMEM);
167         goto fifo_fail;
168     }
169
170     /* wrap interrupt callback */
171     c->interrupt_callback = h->interrupt_callback;
172     ret = ffurl_open(&c->inner, arg, flags, &interrupt_callback, options);
173     if (ret != 0) {
174         av_log(h, AV_LOG_ERROR, "ffurl_open failed : %s, %s\n", av_err2str(ret), arg);
175         goto url_fail;
176     }
177
178     c->logical_size = ffurl_size(c->inner);
179     h->is_streamed  = c->inner->is_streamed;
180
181     ret = pthread_mutex_init(&c->mutex, NULL);
182     if (ret != 0) {
183         av_log(h, AV_LOG_ERROR, "pthread_mutex_init failed : %s\n", av_err2str(ret));
184         goto mutex_fail;
185     }
186
187     ret = pthread_cond_init(&c->cond_wakeup_main, NULL);
188     if (ret != 0) {
189         av_log(h, AV_LOG_ERROR, "pthread_cond_init failed : %s\n", av_err2str(ret));
190         goto cond_wakeup_main_fail;
191     }
192
193     ret = pthread_cond_init(&c->cond_wakeup_background, NULL);
194     if (ret != 0) {
195         av_log(h, AV_LOG_ERROR, "pthread_cond_init failed : %s\n", av_err2str(ret));
196         goto cond_wakeup_background_fail;
197     }
198
199     ret = pthread_create(&c->async_buffer_thread, NULL, async_buffer_task, h);
200     if (ret) {
201         av_log(h, AV_LOG_ERROR, "pthread_create failed : %s\n", av_err2str(ret));
202         goto thread_fail;
203     }
204
205     return 0;
206
207 thread_fail:
208     pthread_cond_destroy(&c->cond_wakeup_background);
209 cond_wakeup_background_fail:
210     pthread_cond_destroy(&c->cond_wakeup_main);
211 cond_wakeup_main_fail:
212     pthread_mutex_destroy(&c->mutex);
213 mutex_fail:
214     ffurl_close(c->inner);
215 url_fail:
216     av_fifo_freep(&c->fifo);
217 fifo_fail:
218     return ret;
219 }
220
221 static int async_close(URLContext *h)
222 {
223     Context *c = h->priv_data;
224     int      ret;
225
226     pthread_mutex_lock(&c->mutex);
227     c->abort_request = 1;
228     pthread_cond_signal(&c->cond_wakeup_background);
229     pthread_mutex_unlock(&c->mutex);
230
231     ret = pthread_join(c->async_buffer_thread, NULL);
232     if (ret != 0)
233         av_log(h, AV_LOG_ERROR, "pthread_join(): %s\n", av_err2str(ret));
234
235     pthread_cond_destroy(&c->cond_wakeup_background);
236     pthread_cond_destroy(&c->cond_wakeup_main);
237     pthread_mutex_destroy(&c->mutex);
238     ffurl_close(c->inner);
239     av_fifo_freep(&c->fifo);
240
241     return 0;
242 }
243
244 static int async_read_internal(URLContext *h, void *dest, int size, int read_complete,
245                                void (*func)(void*, void*, int))
246 {
247     Context      *c       = h->priv_data;
248     AVFifoBuffer *fifo    = c->fifo;
249     int           to_read = size;
250     int           ret     = 0;
251
252     pthread_mutex_lock(&c->mutex);
253
254     while (to_read > 0) {
255         int fifo_size, to_copy;
256         if (async_check_interrupt(h)) {
257             ret = AVERROR_EXIT;
258             break;
259         }
260         fifo_size = av_fifo_size(fifo);
261         to_copy   = FFMIN(to_read, fifo_size);
262         if (to_copy > 0) {
263             av_fifo_generic_read(fifo, dest, to_copy, func);
264             if (!func)
265                 dest = (uint8_t *)dest + to_copy;
266             c->logical_pos += to_copy;
267             to_read        -= to_copy;
268             ret             = size - to_read;
269
270             if (to_read <= 0 || !read_complete)
271                 break;
272         } else if (c->io_eof_reached) {
273             if (ret <= 0)
274                 ret = AVERROR_EOF;
275             break;
276         }
277         pthread_cond_signal(&c->cond_wakeup_background);
278         pthread_cond_wait(&c->cond_wakeup_main, &c->mutex);
279     }
280
281     pthread_cond_signal(&c->cond_wakeup_background);
282     pthread_mutex_unlock(&c->mutex);
283
284     return ret;
285 }
286
287 static int async_read(URLContext *h, unsigned char *buf, int size)
288 {
289     return async_read_internal(h, buf, size, 0, NULL);
290 }
291
292 static void fifo_do_not_copy_func(void* dest, void* src, int size) {
293     // do not copy
294 }
295
296 static int64_t async_seek(URLContext *h, int64_t pos, int whence)
297 {
298     Context      *c    = h->priv_data;
299     AVFifoBuffer *fifo = c->fifo;
300     int64_t       ret;
301     int64_t       new_logical_pos;
302     int fifo_size;
303
304     if (whence == AVSEEK_SIZE) {
305         av_log(h, AV_LOG_TRACE, "async_seek: AVSEEK_SIZE: %"PRId64"\n", (int64_t)c->logical_size);
306         return c->logical_size;
307     } else if (whence == SEEK_CUR) {
308         av_log(h, AV_LOG_TRACE, "async_seek: %"PRId64"\n", pos);
309         new_logical_pos = pos + c->logical_pos;
310     } else if (whence == SEEK_SET){
311         av_log(h, AV_LOG_TRACE, "async_seek: %"PRId64"\n", pos);
312         new_logical_pos = pos;
313     } else {
314         return AVERROR(EINVAL);
315     }
316     if (new_logical_pos < 0)
317         return AVERROR(EINVAL);
318
319     fifo_size = av_fifo_size(fifo);
320     if (new_logical_pos == c->logical_pos) {
321         /* current position */
322         return c->logical_pos;
323     } else if ((new_logical_pos > c->logical_pos) &&
324                (new_logical_pos < (c->logical_pos + fifo_size + SHORT_SEEK_THRESHOLD))) {
325         /* fast seek */
326         av_log(h, AV_LOG_TRACE, "async_seek: fask_seek %"PRId64" from %d dist:%d/%d\n",
327                 new_logical_pos, (int)c->logical_pos,
328                 (int)(new_logical_pos - c->logical_pos), fifo_size);
329         async_read_internal(h, NULL, (int)(new_logical_pos - c->logical_pos), 1, fifo_do_not_copy_func);
330         return c->logical_pos;
331     } else if (c->logical_size <= 0) {
332         /* can not seek */
333         return AVERROR(EINVAL);
334     } else if (new_logical_pos > c->logical_size) {
335         /* beyond end */
336         return AVERROR(EINVAL);
337     }
338
339     pthread_mutex_lock(&c->mutex);
340
341     c->seek_request   = 1;
342     c->seek_pos       = new_logical_pos;
343     c->seek_whence    = SEEK_SET;
344     c->seek_completed = 0;
345     c->seek_ret       = 0;
346
347     while (1) {
348         if (async_check_interrupt(h)) {
349             ret = AVERROR_EXIT;
350             break;
351         }
352         if (c->seek_completed) {
353             if (c->seek_ret >= 0)
354                 c->logical_pos  = c->seek_ret;
355             ret = c->seek_ret;
356             break;
357         }
358         pthread_cond_signal(&c->cond_wakeup_background);
359         pthread_cond_wait(&c->cond_wakeup_main, &c->mutex);
360     }
361
362     pthread_mutex_unlock(&c->mutex);
363
364     return ret;
365 }
366
367 #define OFFSET(x) offsetof(Context, x)
368 #define D AV_OPT_FLAG_DECODING_PARAM
369
370 static const AVOption options[] = {
371     {NULL},
372 };
373
374 static const AVClass async_context_class = {
375     .class_name = "Async",
376     .item_name  = av_default_item_name,
377     .option     = options,
378     .version    = LIBAVUTIL_VERSION_INT,
379 };
380
381 URLProtocol ff_async_protocol = {
382     .name                = "async",
383     .url_open2           = async_open,
384     .url_read            = async_read,
385     .url_seek            = async_seek,
386     .url_close           = async_close,
387     .priv_data_size      = sizeof(Context),
388     .priv_data_class     = &async_context_class,
389 };
390
391 #ifdef TEST
392
393 #define TEST_SEEK_POS    (1536)
394 #define TEST_STREAM_SIZE (2048)
395
396 typedef struct TestContext {
397     AVClass        *class;
398     int64_t         logical_pos;
399     int64_t         logical_size;
400 } TestContext;
401
402 static int async_test_open(URLContext *h, const char *arg, int flags, AVDictionary **options)
403 {
404     TestContext *c = h->priv_data;
405     c->logical_pos  = 0;
406     c->logical_size = TEST_STREAM_SIZE;
407     return 0;
408 }
409
410 static int async_test_close(URLContext *h)
411 {
412     return 0;
413 }
414
415 static int async_test_read(URLContext *h, unsigned char *buf, int size)
416 {
417     TestContext *c = h->priv_data;
418     int          i;
419     int          read_len = 0;
420
421     if (c->logical_pos >= c->logical_size)
422         return AVERROR_EOF;
423
424     for (i = 0; i < size; ++i) {
425         buf[i] = c->logical_pos & 0xFF;
426
427         c->logical_pos++;
428         read_len++;
429
430         if (c->logical_pos >= c->logical_size)
431             break;
432     }
433
434     return read_len;
435 }
436
437 static int64_t async_test_seek(URLContext *h, int64_t pos, int whence)
438 {
439     TestContext *c = h->priv_data;
440     int64_t      new_logical_pos;
441
442     if (whence == AVSEEK_SIZE) {
443         return c->logical_size;
444     } else if (whence == SEEK_CUR) {
445         new_logical_pos = pos + c->logical_pos;
446     } else if (whence == SEEK_SET){
447         new_logical_pos = pos;
448     } else {
449         return AVERROR(EINVAL);
450     }
451     if (new_logical_pos < 0)
452         return AVERROR(EINVAL);
453
454     c->logical_pos = new_logical_pos;
455     return new_logical_pos;
456 }
457
458 static const AVClass async_test_context_class = {
459     .class_name = "Async-Test",
460     .item_name  = av_default_item_name,
461     .version    = LIBAVUTIL_VERSION_INT,
462 };
463
464 URLProtocol ff_async_test_protocol = {
465     .name                = "async-test",
466     .url_open2           = async_test_open,
467     .url_read            = async_test_read,
468     .url_seek            = async_test_seek,
469     .url_close           = async_test_close,
470     .priv_data_size      = sizeof(TestContext),
471     .priv_data_class     = &async_test_context_class,
472 };
473
474 int main(void)
475 {
476     URLContext   *h = NULL;
477     int           i;
478     int           ret;
479     int64_t       size;
480     int64_t       pos;
481     int64_t       read_len;
482     unsigned char buf[4096];
483
484     ffurl_register_protocol(&ff_async_protocol);
485     ffurl_register_protocol(&ff_async_test_protocol);
486
487     ret = ffurl_open(&h, "async:async-test:", AVIO_FLAG_READ, NULL, NULL);
488     printf("open: %d\n", ret);
489
490     size = ffurl_size(h);
491     printf("size: %"PRId64"\n", size);
492
493     pos = ffurl_seek(h, 0, SEEK_CUR);
494     read_len = 0;
495     while (1) {
496         ret = ffurl_read(h, buf, sizeof(buf));
497         if (ret == AVERROR_EOF) {
498             printf("read-error: AVERROR_EOF at %"PRId64"\n", ffurl_seek(h, 0, SEEK_CUR));
499             break;
500         }
501         else if (ret == 0)
502             break;
503         else if (ret < 0) {
504             printf("read-error: %d at %"PRId64"\n", ret, ffurl_seek(h, 0, SEEK_CUR));
505             goto fail;
506         } else {
507             for (i = 0; i < ret; ++i) {
508                 if (buf[i] != (pos & 0xFF)) {
509                     printf("read-mismatch: actual %d, expecting %d, at %"PRId64"\n",
510                            (int)buf[i], (int)(pos & 0xFF), pos);
511                     break;
512                 }
513                 pos++;
514             }
515         }
516
517         read_len += ret;
518     }
519     printf("read: %"PRId64"\n", read_len);
520
521     ret = ffurl_read(h, buf, 1);
522     printf("read: %d\n", ret);
523
524     pos = ffurl_seek(h, TEST_SEEK_POS, SEEK_SET);
525     printf("seek: %"PRId64"\n", pos);
526
527     read_len = 0;
528     while (1) {
529         ret = ffurl_read(h, buf, sizeof(buf));
530         if (ret == AVERROR_EOF)
531             break;
532         else if (ret == 0)
533             break;
534         else if (ret < 0) {
535             printf("read-error: %d at %"PRId64"\n", ret, ffurl_seek(h, 0, SEEK_CUR));
536             goto fail;
537         } else {
538             for (i = 0; i < ret; ++i) {
539                 if (buf[i] != (pos & 0xFF)) {
540                     printf("read-mismatch: actual %d, expecting %d, at %"PRId64"\n",
541                            (int)buf[i], (int)(pos & 0xFF), pos);
542                     break;
543                 }
544                 pos++;
545             }
546         }
547
548         read_len += ret;
549     }
550     printf("read: %"PRId64"\n", read_len);
551
552     ret = ffurl_read(h, buf, 1);
553     printf("read: %d\n", ret);
554
555 fail:
556     ffurl_close(h);
557     return 0;
558 }
559
560 #endif