support forward seeking in non seekable streams
[ffmpeg.git] / libavformat / aviobuf.c
1 /*
2  * Buffered I/O for ffmpeg system
3  * Copyright (c) 2000,2001 Fabrice Bellard
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18  */
19 #include "avformat.h"
20 #include "avio.h"
21 #include <stdarg.h>
22
23 #define IO_BUFFER_SIZE 32768
24
25 static void fill_buffer(ByteIOContext *s);
26
27 int init_put_byte(ByteIOContext *s,
28                   unsigned char *buffer,
29                   int buffer_size,
30                   int write_flag,
31                   void *opaque,
32                   int (*read_packet)(void *opaque, uint8_t *buf, int buf_size),
33                   int (*write_packet)(void *opaque, uint8_t *buf, int buf_size),
34                   offset_t (*seek)(void *opaque, offset_t offset, int whence))
35 {
36     s->buffer = buffer;
37     s->buffer_size = buffer_size;
38     s->buf_ptr = buffer;
39     s->write_flag = write_flag;
40     if (!s->write_flag)
41         s->buf_end = buffer;
42     else
43         s->buf_end = buffer + buffer_size;
44     s->opaque = opaque;
45     s->write_packet = write_packet;
46     s->read_packet = read_packet;
47     s->seek = seek;
48     s->pos = 0;
49     s->must_flush = 0;
50     s->eof_reached = 0;
51     s->error = 0;
52     s->is_streamed = 0;
53     s->max_packet_size = 0;
54     s->update_checksum= NULL;
55     return 0;
56 }
57
58 static void flush_buffer(ByteIOContext *s)
59 {
60     if (s->buf_ptr > s->buffer) {
61         if (s->write_packet && !s->error){
62             int ret= s->write_packet(s->opaque, s->buffer, s->buf_ptr - s->buffer);
63             if(ret < 0){
64                 s->error = ret;
65             }
66         }
67         if(s->update_checksum){
68             s->checksum= s->update_checksum(s->checksum, s->checksum_ptr, s->buf_ptr - s->checksum_ptr);
69             s->checksum_ptr= s->buffer;
70         }
71         s->pos += s->buf_ptr - s->buffer;
72     }
73     s->buf_ptr = s->buffer;
74 }
75
76 void put_byte(ByteIOContext *s, int b)
77 {
78     *(s->buf_ptr)++ = b;
79     if (s->buf_ptr >= s->buf_end)
80         flush_buffer(s);
81 }
82
83 void put_buffer(ByteIOContext *s, const unsigned char *buf, int size)
84 {
85     int len;
86
87     while (size > 0) {
88         len = (s->buf_end - s->buf_ptr);
89         if (len > size)
90             len = size;
91         memcpy(s->buf_ptr, buf, len);
92         s->buf_ptr += len;
93
94         if (s->buf_ptr >= s->buf_end)
95             flush_buffer(s);
96
97         buf += len;
98         size -= len;
99     }
100 }
101
102 void put_flush_packet(ByteIOContext *s)
103 {
104     flush_buffer(s);
105     s->must_flush = 0;
106 }
107
108 offset_t url_fseek(ByteIOContext *s, offset_t offset, int whence)
109 {
110     offset_t offset1;
111     offset_t pos= s->pos - (s->write_flag ? 0 : (s->buf_end - s->buffer));
112
113     if (whence != SEEK_CUR && whence != SEEK_SET)
114         return -EINVAL;
115
116     if (whence == SEEK_CUR) {
117         offset1 = pos + (s->buf_ptr - s->buffer);
118         if (offset == 0)
119             return offset1;
120         offset += offset1;
121     }
122     offset1 = offset - pos;
123     if (!s->must_flush &&
124         offset1 >= 0 && offset1 < (s->buf_end - s->buffer)) {
125         /* can do the seek inside the buffer */
126         s->buf_ptr = s->buffer + offset1;
127     } else if(s->is_streamed && !s->write_flag &&
128               offset1 >= 0 && offset1 < (s->buf_end - s->buffer) + (1<<16)){
129         while(s->pos < offset && !s->eof_reached)
130             fill_buffer(s);
131         s->buf_ptr = s->buf_end + offset - s->pos;
132     } else {
133 #ifdef CONFIG_MUXERS
134         if (s->write_flag) {
135             flush_buffer(s);
136             s->must_flush = 1;
137         } else
138 #endif //CONFIG_MUXERS
139         {
140             s->buf_end = s->buffer;
141         }
142         s->buf_ptr = s->buffer;
143         if (!s->seek || s->seek(s->opaque, offset, SEEK_SET) == (offset_t)-EPIPE)
144             return -EPIPE;
145         s->pos = offset;
146     }
147     s->eof_reached = 0;
148     return offset;
149 }
150
151 void url_fskip(ByteIOContext *s, offset_t offset)
152 {
153     url_fseek(s, offset, SEEK_CUR);
154 }
155
156 offset_t url_ftell(ByteIOContext *s)
157 {
158     return url_fseek(s, 0, SEEK_CUR);
159 }
160
161 offset_t url_fsize(ByteIOContext *s)
162 {
163     offset_t size;
164
165     if (!s->seek)
166         return -EPIPE;
167     size = s->seek(s->opaque, -1, SEEK_END) + 1;
168     s->seek(s->opaque, s->pos, SEEK_SET);
169     return size;
170 }
171
172 int url_feof(ByteIOContext *s)
173 {
174     return s->eof_reached;
175 }
176
177 int url_ferror(ByteIOContext *s)
178 {
179     return s->error;
180 }
181
182 #if defined(CONFIG_MUXERS) || defined(CONFIG_PROTOCOLS)
183 void put_le32(ByteIOContext *s, unsigned int val)
184 {
185     put_byte(s, val);
186     put_byte(s, val >> 8);
187     put_byte(s, val >> 16);
188     put_byte(s, val >> 24);
189 }
190
191 void put_be32(ByteIOContext *s, unsigned int val)
192 {
193     put_byte(s, val >> 24);
194     put_byte(s, val >> 16);
195     put_byte(s, val >> 8);
196     put_byte(s, val);
197 }
198
199 void put_strz(ByteIOContext *s, const char *str)
200 {
201     if (str)
202         put_buffer(s, (const unsigned char *) str, strlen(str) + 1);
203     else
204         put_byte(s, 0);
205 }
206
207 void put_le64(ByteIOContext *s, uint64_t val)
208 {
209     put_le32(s, (uint32_t)(val & 0xffffffff));
210     put_le32(s, (uint32_t)(val >> 32));
211 }
212
213 void put_be64(ByteIOContext *s, uint64_t val)
214 {
215     put_be32(s, (uint32_t)(val >> 32));
216     put_be32(s, (uint32_t)(val & 0xffffffff));
217 }
218
219 void put_le16(ByteIOContext *s, unsigned int val)
220 {
221     put_byte(s, val);
222     put_byte(s, val >> 8);
223 }
224
225 void put_be16(ByteIOContext *s, unsigned int val)
226 {
227     put_byte(s, val >> 8);
228     put_byte(s, val);
229 }
230
231 void put_le24(ByteIOContext *s, unsigned int val)
232 {
233     put_le16(s, val & 0xffff);
234     put_byte(s, val >> 16);
235 }
236
237 void put_be24(ByteIOContext *s, unsigned int val)
238 {
239     put_be16(s, val >> 8);
240     put_byte(s, val);
241 }
242
243 void put_tag(ByteIOContext *s, const char *tag)
244 {
245     while (*tag) {
246         put_byte(s, *tag++);
247     }
248 }
249 #endif //CONFIG_MUXERS || CONFIG_PROTOCOLS
250
251 /* Input stream */
252
253 static void fill_buffer(ByteIOContext *s)
254 {
255     int len;
256
257     /* no need to do anything if EOF already reached */
258     if (s->eof_reached)
259         return;
260
261     if(s->update_checksum){
262         if(s->buf_end > s->checksum_ptr)
263             s->checksum= s->update_checksum(s->checksum, s->checksum_ptr, s->buf_end - s->checksum_ptr);
264         s->checksum_ptr= s->buffer;
265     }
266
267     len = s->read_packet(s->opaque, s->buffer, s->buffer_size);
268     if (len <= 0) {
269         /* do not modify buffer if EOF reached so that a seek back can
270            be done without rereading data */
271         s->eof_reached = 1;
272     if(len<0)
273         s->error= len;
274     } else {
275         s->pos += len;
276         s->buf_ptr = s->buffer;
277         s->buf_end = s->buffer + len;
278     }
279 }
280
281 unsigned long get_checksum(ByteIOContext *s){
282     s->checksum= s->update_checksum(s->checksum, s->checksum_ptr, s->buf_ptr - s->checksum_ptr);
283     s->update_checksum= NULL;
284     return s->checksum;
285 }
286
287 void init_checksum(ByteIOContext *s, unsigned long (*update_checksum)(unsigned long c, const uint8_t *p, unsigned int len), unsigned long checksum){
288     s->update_checksum= update_checksum;
289     if(s->update_checksum){
290         s->checksum= checksum;
291         s->checksum_ptr= s->buf_ptr;
292     }
293 }
294
295 /* NOTE: return 0 if EOF, so you cannot use it if EOF handling is
296    necessary */
297 /* XXX: put an inline version */
298 int get_byte(ByteIOContext *s)
299 {
300     if (s->buf_ptr < s->buf_end) {
301         return *s->buf_ptr++;
302     } else {
303         fill_buffer(s);
304         if (s->buf_ptr < s->buf_end)
305             return *s->buf_ptr++;
306         else
307             return 0;
308     }
309 }
310
311 /* NOTE: return URL_EOF (-1) if EOF */
312 int url_fgetc(ByteIOContext *s)
313 {
314     if (s->buf_ptr < s->buf_end) {
315         return *s->buf_ptr++;
316     } else {
317         fill_buffer(s);
318         if (s->buf_ptr < s->buf_end)
319             return *s->buf_ptr++;
320         else
321             return URL_EOF;
322     }
323 }
324
325 int get_buffer(ByteIOContext *s, unsigned char *buf, int size)
326 {
327     int len, size1;
328
329     size1 = size;
330     while (size > 0) {
331         len = s->buf_end - s->buf_ptr;
332         if (len > size)
333             len = size;
334         if (len == 0) {
335             if(size > s->buffer_size && !s->update_checksum){
336                 len = s->read_packet(s->opaque, buf, size);
337                 if (len <= 0) {
338                     /* do not modify buffer if EOF reached so that a seek back can
339                     be done without rereading data */
340                     s->eof_reached = 1;
341                     if(len<0)
342                         s->error= len;
343                     break;
344                 } else {
345                     s->pos += len;
346                     size -= len;
347                     buf += len;
348                     s->buf_ptr = s->buffer;
349                     s->buf_end = s->buffer/* + len*/;
350                 }
351             }else{
352                 fill_buffer(s);
353                 len = s->buf_end - s->buf_ptr;
354                 if (len == 0)
355                     break;
356             }
357         } else {
358             memcpy(buf, s->buf_ptr, len);
359             buf += len;
360             s->buf_ptr += len;
361             size -= len;
362         }
363     }
364     return size1 - size;
365 }
366
367 int get_partial_buffer(ByteIOContext *s, unsigned char *buf, int size)
368 {
369     int len;
370
371     if(size<0)
372         return -1;
373
374     len = s->buf_end - s->buf_ptr;
375     if (len == 0) {
376         fill_buffer(s);
377         len = s->buf_end - s->buf_ptr;
378     }
379     if (len > size)
380         len = size;
381     memcpy(buf, s->buf_ptr, len);
382     s->buf_ptr += len;
383     return len;
384 }
385
386 unsigned int get_le16(ByteIOContext *s)
387 {
388     unsigned int val;
389     val = get_byte(s);
390     val |= get_byte(s) << 8;
391     return val;
392 }
393
394 unsigned int get_le24(ByteIOContext *s)
395 {
396     unsigned int val;
397     val = get_le16(s);
398     val |= get_byte(s) << 16;
399     return val;
400 }
401
402 unsigned int get_le32(ByteIOContext *s)
403 {
404     unsigned int val;
405     val = get_le16(s);
406     val |= get_le16(s) << 16;
407     return val;
408 }
409
410 uint64_t get_le64(ByteIOContext *s)
411 {
412     uint64_t val;
413     val = (uint64_t)get_le32(s);
414     val |= (uint64_t)get_le32(s) << 32;
415     return val;
416 }
417
418 unsigned int get_be16(ByteIOContext *s)
419 {
420     unsigned int val;
421     val = get_byte(s) << 8;
422     val |= get_byte(s);
423     return val;
424 }
425
426 unsigned int get_be24(ByteIOContext *s)
427 {
428     unsigned int val;
429     val = get_be16(s) << 8;
430     val |= get_byte(s);
431     return val;
432 }
433 unsigned int get_be32(ByteIOContext *s)
434 {
435     unsigned int val;
436     val = get_be16(s) << 16;
437     val |= get_be16(s);
438     return val;
439 }
440
441 char *get_strz(ByteIOContext *s, char *buf, int maxlen)
442 {
443     int i = 0;
444     char c;
445
446     while ((c = get_byte(s))) {
447         if (i < maxlen-1)
448             buf[i++] = c;
449     }
450
451     buf[i] = 0; /* Ensure null terminated, but may be truncated */
452
453     return buf;
454 }
455
456 uint64_t get_be64(ByteIOContext *s)
457 {
458     uint64_t val;
459     val = (uint64_t)get_be32(s) << 32;
460     val |= (uint64_t)get_be32(s);
461     return val;
462 }
463
464 /* link with avio functions */
465
466 #ifdef CONFIG_MUXERS
467 static int url_write_packet(void *opaque, uint8_t *buf, int buf_size)
468 {
469     URLContext *h = opaque;
470     return url_write(h, buf, buf_size);
471 }
472 #else
473 #define         url_write_packet NULL
474 #endif //CONFIG_MUXERS
475
476 static int url_read_packet(void *opaque, uint8_t *buf, int buf_size)
477 {
478     URLContext *h = opaque;
479     return url_read(h, buf, buf_size);
480 }
481
482 static offset_t url_seek_packet(void *opaque, offset_t offset, int whence)
483 {
484     URLContext *h = opaque;
485     return url_seek(h, offset, whence);
486     //return 0;
487 }
488
489 int url_fdopen(ByteIOContext *s, URLContext *h)
490 {
491     uint8_t *buffer;
492     int buffer_size, max_packet_size;
493
494
495     max_packet_size = url_get_max_packet_size(h);
496     if (max_packet_size) {
497         buffer_size = max_packet_size; /* no need to bufferize more than one packet */
498     } else {
499         buffer_size = IO_BUFFER_SIZE;
500     }
501     buffer = av_malloc(buffer_size);
502     if (!buffer)
503         return -ENOMEM;
504
505     if (init_put_byte(s, buffer, buffer_size,
506                       (h->flags & URL_WRONLY || h->flags & URL_RDWR), h,
507                       url_read_packet, url_write_packet, url_seek_packet) < 0) {
508         av_free(buffer);
509         return AVERROR_IO;
510     }
511     s->is_streamed = h->is_streamed;
512     s->max_packet_size = max_packet_size;
513     return 0;
514 }
515
516 /* XXX: must be called before any I/O */
517 int url_setbufsize(ByteIOContext *s, int buf_size)
518 {
519     uint8_t *buffer;
520     buffer = av_malloc(buf_size);
521     if (!buffer)
522         return -ENOMEM;
523
524     av_free(s->buffer);
525     s->buffer = buffer;
526     s->buffer_size = buf_size;
527     s->buf_ptr = buffer;
528     if (!s->write_flag)
529         s->buf_end = buffer;
530     else
531         s->buf_end = buffer + buf_size;
532     return 0;
533 }
534
535 /* NOTE: when opened as read/write, the buffers are only used for
536    reading */
537 int url_fopen(ByteIOContext *s, const char *filename, int flags)
538 {
539     URLContext *h;
540     int err;
541
542     err = url_open(&h, filename, flags);
543     if (err < 0)
544         return err;
545     err = url_fdopen(s, h);
546     if (err < 0) {
547         url_close(h);
548         return err;
549     }
550     return 0;
551 }
552
553 int url_fclose(ByteIOContext *s)
554 {
555     URLContext *h = s->opaque;
556
557     av_free(s->buffer);
558     memset(s, 0, sizeof(ByteIOContext));
559     return url_close(h);
560 }
561
562 URLContext *url_fileno(ByteIOContext *s)
563 {
564     return s->opaque;
565 }
566
567 #ifdef CONFIG_MUXERS
568 /* XXX: currently size is limited */
569 int url_fprintf(ByteIOContext *s, const char *fmt, ...)
570 {
571     va_list ap;
572     char buf[4096];
573     int ret;
574
575     va_start(ap, fmt);
576     ret = vsnprintf(buf, sizeof(buf), fmt, ap);
577     va_end(ap);
578     put_buffer(s, buf, strlen(buf));
579     return ret;
580 }
581 #endif //CONFIG_MUXERS
582
583 /* note: unlike fgets, the EOL character is not returned and a whole
584    line is parsed. return NULL if first char read was EOF */
585 char *url_fgets(ByteIOContext *s, char *buf, int buf_size)
586 {
587     int c;
588     char *q;
589
590     c = url_fgetc(s);
591     if (c == EOF)
592         return NULL;
593     q = buf;
594     for(;;) {
595         if (c == EOF || c == '\n')
596             break;
597         if ((q - buf) < buf_size - 1)
598             *q++ = c;
599         c = url_fgetc(s);
600     }
601     if (buf_size > 0)
602         *q = '\0';
603     return buf;
604 }
605
606 /*
607  * Return the maximum packet size associated to packetized buffered file
608  * handle. If the file is not packetized (stream like http or file on
609  * disk), then 0 is returned.
610  *
611  * @param h buffered file handle
612  * @return maximum packet size in bytes
613  */
614 int url_fget_max_packet_size(ByteIOContext *s)
615 {
616     return s->max_packet_size;
617 }
618
619 #ifdef CONFIG_MUXERS
620 /* buffer handling */
621 int url_open_buf(ByteIOContext *s, uint8_t *buf, int buf_size, int flags)
622 {
623     return init_put_byte(s, buf, buf_size,
624                          (flags & URL_WRONLY || flags & URL_RDWR),
625                          NULL, NULL, NULL, NULL);
626 }
627
628 /* return the written or read size */
629 int url_close_buf(ByteIOContext *s)
630 {
631     put_flush_packet(s);
632     return s->buf_ptr - s->buffer;
633 }
634
635 /* output in a dynamic buffer */
636
637 typedef struct DynBuffer {
638     int pos, size, allocated_size;
639     uint8_t *buffer;
640     int io_buffer_size;
641     uint8_t io_buffer[1];
642 } DynBuffer;
643
644 static int dyn_buf_write(void *opaque, uint8_t *buf, int buf_size)
645 {
646     DynBuffer *d = opaque;
647     int new_size, new_allocated_size;
648
649     /* reallocate buffer if needed */
650     new_size = d->pos + buf_size;
651     new_allocated_size = d->allocated_size;
652     if(new_size < d->pos || new_size > INT_MAX/2)
653         return -1;
654     while (new_size > new_allocated_size) {
655         if (!new_allocated_size)
656             new_allocated_size = new_size;
657         else
658             new_allocated_size += new_allocated_size / 2 + 1;
659     }
660
661     if (new_allocated_size > d->allocated_size) {
662         d->buffer = av_realloc(d->buffer, new_allocated_size);
663         if(d->buffer == NULL)
664              return -1234;
665         d->allocated_size = new_allocated_size;
666     }
667     memcpy(d->buffer + d->pos, buf, buf_size);
668     d->pos = new_size;
669     if (d->pos > d->size)
670         d->size = d->pos;
671     return buf_size;
672 }
673
674 static int dyn_packet_buf_write(void *opaque, uint8_t *buf, int buf_size)
675 {
676     unsigned char buf1[4];
677     int ret;
678
679     /* packetized write: output the header */
680     buf1[0] = (buf_size >> 24);
681     buf1[1] = (buf_size >> 16);
682     buf1[2] = (buf_size >> 8);
683     buf1[3] = (buf_size);
684     ret= dyn_buf_write(opaque, buf1, 4);
685     if(ret < 0)
686         return ret;
687
688     /* then the data */
689     return dyn_buf_write(opaque, buf, buf_size);
690 }
691
692 static offset_t dyn_buf_seek(void *opaque, offset_t offset, int whence)
693 {
694     DynBuffer *d = opaque;
695
696     if (whence == SEEK_CUR)
697         offset += d->pos;
698     else if (whence == SEEK_END)
699         offset += d->size;
700     if (offset < 0 || offset > 0x7fffffffLL)
701         return -1;
702     d->pos = offset;
703     return 0;
704 }
705
706 static int url_open_dyn_buf_internal(ByteIOContext *s, int max_packet_size)
707 {
708     DynBuffer *d;
709     int io_buffer_size, ret;
710
711     if (max_packet_size)
712         io_buffer_size = max_packet_size;
713     else
714         io_buffer_size = 1024;
715
716     if(sizeof(DynBuffer) + io_buffer_size < io_buffer_size)
717         return -1;
718     d = av_malloc(sizeof(DynBuffer) + io_buffer_size);
719     if (!d)
720         return -1;
721     d->io_buffer_size = io_buffer_size;
722     d->buffer = NULL;
723     d->pos = 0;
724     d->size = 0;
725     d->allocated_size = 0;
726     ret = init_put_byte(s, d->io_buffer, io_buffer_size,
727                         1, d, NULL,
728                         max_packet_size ? dyn_packet_buf_write : dyn_buf_write,
729                         max_packet_size ? NULL : dyn_buf_seek);
730     if (ret == 0) {
731         s->max_packet_size = max_packet_size;
732     }
733     return ret;
734 }
735
736 /*
737  * Open a write only memory stream.
738  *
739  * @param s new IO context
740  * @return zero if no error.
741  */
742 int url_open_dyn_buf(ByteIOContext *s)
743 {
744     return url_open_dyn_buf_internal(s, 0);
745 }
746
747 /*
748  * Open a write only packetized memory stream with a maximum packet
749  * size of 'max_packet_size'.  The stream is stored in a memory buffer
750  * with a big endian 4 byte header giving the packet size in bytes.
751  *
752  * @param s new IO context
753  * @param max_packet_size maximum packet size (must be > 0)
754  * @return zero if no error.
755  */
756 int url_open_dyn_packet_buf(ByteIOContext *s, int max_packet_size)
757 {
758     if (max_packet_size <= 0)
759         return -1;
760     return url_open_dyn_buf_internal(s, max_packet_size);
761 }
762
763 /*
764  * Return the written size and a pointer to the buffer. The buffer
765  *  must be freed with av_free().
766  * @param s IO context
767  * @param pointer to a byte buffer
768  * @return the length of the byte buffer
769  */
770 int url_close_dyn_buf(ByteIOContext *s, uint8_t **pbuffer)
771 {
772     DynBuffer *d = s->opaque;
773     int size;
774
775     put_flush_packet(s);
776
777     *pbuffer = d->buffer;
778     size = d->size;
779     av_free(d);
780     return size;
781 }
782 #endif //CONFIG_MUXERS