e0832c6359b145baf5931e1631fb4908f47df9a2
[ffmpeg.git] / libavformat / aviobuf.c
1 /*
2  * Buffered I/O for ffmpeg system
3  * Copyright (c) 2000,2001 Fabrice Bellard
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18  */
19 #include "avformat.h"
20 #include "avio.h"
21 #include <stdarg.h>
22
23 #define IO_BUFFER_SIZE 32768
24
25 int init_put_byte(ByteIOContext *s,
26                   unsigned char *buffer,
27                   int buffer_size,
28                   int write_flag,
29                   void *opaque,
30                   int (*read_packet)(void *opaque, uint8_t *buf, int buf_size),
31                   int (*write_packet)(void *opaque, uint8_t *buf, int buf_size),
32                   offset_t (*seek)(void *opaque, offset_t offset, int whence))
33 {
34     s->buffer = buffer;
35     s->buffer_size = buffer_size;
36     s->buf_ptr = buffer;
37     s->write_flag = write_flag;
38     if (!s->write_flag)
39         s->buf_end = buffer;
40     else
41         s->buf_end = buffer + buffer_size;
42     s->opaque = opaque;
43     s->write_packet = write_packet;
44     s->read_packet = read_packet;
45     s->seek = seek;
46     s->pos = 0;
47     s->must_flush = 0;
48     s->eof_reached = 0;
49     s->error = 0;
50     s->is_streamed = 0;
51     s->max_packet_size = 0;
52     s->update_checksum= NULL;
53     return 0;
54 }
55
56 static void flush_buffer(ByteIOContext *s)
57 {
58     if (s->buf_ptr > s->buffer) {
59         if (s->write_packet && !s->error){
60             int ret= s->write_packet(s->opaque, s->buffer, s->buf_ptr - s->buffer);
61             if(ret < 0){
62                 s->error = ret;
63             }
64         }
65         if(s->update_checksum){
66             s->checksum= s->update_checksum(s->checksum, s->checksum_ptr, s->buf_ptr - s->checksum_ptr);
67             s->checksum_ptr= s->buffer;
68         }
69         s->pos += s->buf_ptr - s->buffer;
70     }
71     s->buf_ptr = s->buffer;
72 }
73
74 void put_byte(ByteIOContext *s, int b)
75 {
76     *(s->buf_ptr)++ = b;
77     if (s->buf_ptr >= s->buf_end)
78         flush_buffer(s);
79 }
80
81 void put_buffer(ByteIOContext *s, const unsigned char *buf, int size)
82 {
83     int len;
84
85     while (size > 0) {
86         len = (s->buf_end - s->buf_ptr);
87         if (len > size)
88             len = size;
89         memcpy(s->buf_ptr, buf, len);
90         s->buf_ptr += len;
91
92         if (s->buf_ptr >= s->buf_end)
93             flush_buffer(s);
94
95         buf += len;
96         size -= len;
97     }
98 }
99
100 void put_flush_packet(ByteIOContext *s)
101 {
102     flush_buffer(s);
103     s->must_flush = 0;
104 }
105
106 offset_t url_fseek(ByteIOContext *s, offset_t offset, int whence)
107 {
108     offset_t offset1;
109     offset_t pos= s->pos - (s->write_flag ? 0 : (s->buf_end - s->buffer));
110
111     if (whence != SEEK_CUR && whence != SEEK_SET)
112         return -EINVAL;
113
114     if (whence == SEEK_CUR) {
115         offset1 = pos + (s->buf_ptr - s->buffer);
116         if (offset == 0)
117             return offset1;
118         offset += offset1;
119     }
120     offset1 = offset - pos;
121     if (!s->must_flush &&
122         offset1 >= 0 && offset1 < (s->buf_end - s->buffer)) {
123         /* can do the seek inside the buffer */
124         s->buf_ptr = s->buffer + offset1;
125     } else {
126         if (!s->seek)
127             return -EPIPE;
128
129 #ifdef CONFIG_MUXERS
130         if (s->write_flag) {
131             flush_buffer(s);
132             s->must_flush = 1;
133         } else
134 #endif //CONFIG_MUXERS
135         {
136             s->buf_end = s->buffer;
137         }
138         s->buf_ptr = s->buffer;
139         if (s->seek(s->opaque, offset, SEEK_SET) == (offset_t)-EPIPE)
140             return -EPIPE;
141         s->pos = offset;
142     }
143     s->eof_reached = 0;
144     return offset;
145 }
146
147 void url_fskip(ByteIOContext *s, offset_t offset)
148 {
149     url_fseek(s, offset, SEEK_CUR);
150 }
151
152 offset_t url_ftell(ByteIOContext *s)
153 {
154     return url_fseek(s, 0, SEEK_CUR);
155 }
156
157 offset_t url_fsize(ByteIOContext *s)
158 {
159     offset_t size;
160
161     if (!s->seek)
162         return -EPIPE;
163     size = s->seek(s->opaque, -1, SEEK_END) + 1;
164     s->seek(s->opaque, s->pos, SEEK_SET);
165     return size;
166 }
167
168 int url_feof(ByteIOContext *s)
169 {
170     return s->eof_reached;
171 }
172
173 int url_ferror(ByteIOContext *s)
174 {
175     return s->error;
176 }
177
178 #if defined(CONFIG_MUXERS) || defined(CONFIG_PROTOCOLS)
179 void put_le32(ByteIOContext *s, unsigned int val)
180 {
181     put_byte(s, val);
182     put_byte(s, val >> 8);
183     put_byte(s, val >> 16);
184     put_byte(s, val >> 24);
185 }
186
187 void put_be32(ByteIOContext *s, unsigned int val)
188 {
189     put_byte(s, val >> 24);
190     put_byte(s, val >> 16);
191     put_byte(s, val >> 8);
192     put_byte(s, val);
193 }
194
195 void put_strz(ByteIOContext *s, const char *str)
196 {
197     if (str)
198         put_buffer(s, (const unsigned char *) str, strlen(str) + 1);
199     else
200         put_byte(s, 0);
201 }
202
203 void put_le64(ByteIOContext *s, uint64_t val)
204 {
205     put_le32(s, (uint32_t)(val & 0xffffffff));
206     put_le32(s, (uint32_t)(val >> 32));
207 }
208
209 void put_be64(ByteIOContext *s, uint64_t val)
210 {
211     put_be32(s, (uint32_t)(val >> 32));
212     put_be32(s, (uint32_t)(val & 0xffffffff));
213 }
214
215 void put_le16(ByteIOContext *s, unsigned int val)
216 {
217     put_byte(s, val);
218     put_byte(s, val >> 8);
219 }
220
221 void put_be16(ByteIOContext *s, unsigned int val)
222 {
223     put_byte(s, val >> 8);
224     put_byte(s, val);
225 }
226
227 void put_le24(ByteIOContext *s, unsigned int val)
228 {
229     put_le16(s, val & 0xffff);
230     put_byte(s, val >> 16);
231 }
232
233 void put_be24(ByteIOContext *s, unsigned int val)
234 {
235     put_be16(s, val >> 8);
236     put_byte(s, val);
237 }
238
239 void put_tag(ByteIOContext *s, const char *tag)
240 {
241     while (*tag) {
242         put_byte(s, *tag++);
243     }
244 }
245 #endif //CONFIG_MUXERS || CONFIG_PROTOCOLS
246
247 /* Input stream */
248
249 static void fill_buffer(ByteIOContext *s)
250 {
251     int len;
252
253     /* no need to do anything if EOF already reached */
254     if (s->eof_reached)
255         return;
256
257     if(s->update_checksum){
258         if(s->buf_end > s->checksum_ptr)
259             s->checksum= s->update_checksum(s->checksum, s->checksum_ptr, s->buf_end - s->checksum_ptr);
260         s->checksum_ptr= s->buffer;
261     }
262
263     len = s->read_packet(s->opaque, s->buffer, s->buffer_size);
264     if (len <= 0) {
265         /* do not modify buffer if EOF reached so that a seek back can
266            be done without rereading data */
267         s->eof_reached = 1;
268     if(len<0)
269         s->error= len;
270     } else {
271         s->pos += len;
272         s->buf_ptr = s->buffer;
273         s->buf_end = s->buffer + len;
274     }
275 }
276
277 unsigned long get_checksum(ByteIOContext *s){
278     s->checksum= s->update_checksum(s->checksum, s->checksum_ptr, s->buf_ptr - s->checksum_ptr);
279     s->update_checksum= NULL;
280     return s->checksum;
281 }
282
283 void init_checksum(ByteIOContext *s, unsigned long (*update_checksum)(unsigned long c, const uint8_t *p, unsigned int len), unsigned long checksum){
284     s->update_checksum= update_checksum;
285     if(s->update_checksum){
286         s->checksum= checksum;
287         s->checksum_ptr= s->buf_ptr;
288     }
289 }
290
291 /* NOTE: return 0 if EOF, so you cannot use it if EOF handling is
292    necessary */
293 /* XXX: put an inline version */
294 int get_byte(ByteIOContext *s)
295 {
296     if (s->buf_ptr < s->buf_end) {
297         return *s->buf_ptr++;
298     } else {
299         fill_buffer(s);
300         if (s->buf_ptr < s->buf_end)
301             return *s->buf_ptr++;
302         else
303             return 0;
304     }
305 }
306
307 /* NOTE: return URL_EOF (-1) if EOF */
308 int url_fgetc(ByteIOContext *s)
309 {
310     if (s->buf_ptr < s->buf_end) {
311         return *s->buf_ptr++;
312     } else {
313         fill_buffer(s);
314         if (s->buf_ptr < s->buf_end)
315             return *s->buf_ptr++;
316         else
317             return URL_EOF;
318     }
319 }
320
321 int get_buffer(ByteIOContext *s, unsigned char *buf, int size)
322 {
323     int len, size1;
324
325     size1 = size;
326     while (size > 0) {
327         len = s->buf_end - s->buf_ptr;
328         if (len > size)
329             len = size;
330         if (len == 0) {
331             if(size > s->buffer_size && !s->update_checksum){
332                 len = s->read_packet(s->opaque, buf, size);
333                 if (len <= 0) {
334                     /* do not modify buffer if EOF reached so that a seek back can
335                     be done without rereading data */
336                     s->eof_reached = 1;
337                     if(len<0)
338                         s->error= len;
339                     break;
340                 } else {
341                     s->pos += len;
342                     size -= len;
343                     buf += len;
344                     s->buf_ptr = s->buffer;
345                     s->buf_end = s->buffer/* + len*/;
346                 }
347             }else{
348                 fill_buffer(s);
349                 len = s->buf_end - s->buf_ptr;
350                 if (len == 0)
351                     break;
352             }
353         } else {
354             memcpy(buf, s->buf_ptr, len);
355             buf += len;
356             s->buf_ptr += len;
357             size -= len;
358         }
359     }
360     return size1 - size;
361 }
362
363 int get_partial_buffer(ByteIOContext *s, unsigned char *buf, int size)
364 {
365     int len;
366
367     if(size<0)
368         return -1;
369
370     len = s->buf_end - s->buf_ptr;
371     if (len == 0) {
372         fill_buffer(s);
373         len = s->buf_end - s->buf_ptr;
374     }
375     if (len > size)
376         len = size;
377     memcpy(buf, s->buf_ptr, len);
378     s->buf_ptr += len;
379     return len;
380 }
381
382 unsigned int get_le16(ByteIOContext *s)
383 {
384     unsigned int val;
385     val = get_byte(s);
386     val |= get_byte(s) << 8;
387     return val;
388 }
389
390 unsigned int get_le24(ByteIOContext *s)
391 {
392     unsigned int val;
393     val = get_le16(s);
394     val |= get_byte(s) << 16;
395     return val;
396 }
397
398 unsigned int get_le32(ByteIOContext *s)
399 {
400     unsigned int val;
401     val = get_le16(s);
402     val |= get_le16(s) << 16;
403     return val;
404 }
405
406 uint64_t get_le64(ByteIOContext *s)
407 {
408     uint64_t val;
409     val = (uint64_t)get_le32(s);
410     val |= (uint64_t)get_le32(s) << 32;
411     return val;
412 }
413
414 unsigned int get_be16(ByteIOContext *s)
415 {
416     unsigned int val;
417     val = get_byte(s) << 8;
418     val |= get_byte(s);
419     return val;
420 }
421
422 unsigned int get_be24(ByteIOContext *s)
423 {
424     unsigned int val;
425     val = get_be16(s) << 8;
426     val |= get_byte(s);
427     return val;
428 }
429 unsigned int get_be32(ByteIOContext *s)
430 {
431     unsigned int val;
432     val = get_be16(s) << 16;
433     val |= get_be16(s);
434     return val;
435 }
436
437 char *get_strz(ByteIOContext *s, char *buf, int maxlen)
438 {
439     int i = 0;
440     char c;
441
442     while ((c = get_byte(s))) {
443         if (i < maxlen-1)
444             buf[i++] = c;
445     }
446
447     buf[i] = 0; /* Ensure null terminated, but may be truncated */
448
449     return buf;
450 }
451
452 uint64_t get_be64(ByteIOContext *s)
453 {
454     uint64_t val;
455     val = (uint64_t)get_be32(s) << 32;
456     val |= (uint64_t)get_be32(s);
457     return val;
458 }
459
460 /* link with avio functions */
461
462 #ifdef CONFIG_MUXERS
463 static int url_write_packet(void *opaque, uint8_t *buf, int buf_size)
464 {
465     URLContext *h = opaque;
466     return url_write(h, buf, buf_size);
467 }
468 #else
469 #define         url_write_packet NULL
470 #endif //CONFIG_MUXERS
471
472 static int url_read_packet(void *opaque, uint8_t *buf, int buf_size)
473 {
474     URLContext *h = opaque;
475     return url_read(h, buf, buf_size);
476 }
477
478 static offset_t url_seek_packet(void *opaque, offset_t offset, int whence)
479 {
480     URLContext *h = opaque;
481     return url_seek(h, offset, whence);
482     //return 0;
483 }
484
485 int url_fdopen(ByteIOContext *s, URLContext *h)
486 {
487     uint8_t *buffer;
488     int buffer_size, max_packet_size;
489
490
491     max_packet_size = url_get_max_packet_size(h);
492     if (max_packet_size) {
493         buffer_size = max_packet_size; /* no need to bufferize more than one packet */
494     } else {
495         buffer_size = IO_BUFFER_SIZE;
496     }
497     buffer = av_malloc(buffer_size);
498     if (!buffer)
499         return -ENOMEM;
500
501     if (init_put_byte(s, buffer, buffer_size,
502                       (h->flags & URL_WRONLY || h->flags & URL_RDWR), h,
503                       url_read_packet, url_write_packet, url_seek_packet) < 0) {
504         av_free(buffer);
505         return AVERROR_IO;
506     }
507     s->is_streamed = h->is_streamed;
508     s->max_packet_size = max_packet_size;
509     return 0;
510 }
511
512 /* XXX: must be called before any I/O */
513 int url_setbufsize(ByteIOContext *s, int buf_size)
514 {
515     uint8_t *buffer;
516     buffer = av_malloc(buf_size);
517     if (!buffer)
518         return -ENOMEM;
519
520     av_free(s->buffer);
521     s->buffer = buffer;
522     s->buffer_size = buf_size;
523     s->buf_ptr = buffer;
524     if (!s->write_flag)
525         s->buf_end = buffer;
526     else
527         s->buf_end = buffer + buf_size;
528     return 0;
529 }
530
531 /* NOTE: when opened as read/write, the buffers are only used for
532    reading */
533 int url_fopen(ByteIOContext *s, const char *filename, int flags)
534 {
535     URLContext *h;
536     int err;
537
538     err = url_open(&h, filename, flags);
539     if (err < 0)
540         return err;
541     err = url_fdopen(s, h);
542     if (err < 0) {
543         url_close(h);
544         return err;
545     }
546     return 0;
547 }
548
549 int url_fclose(ByteIOContext *s)
550 {
551     URLContext *h = s->opaque;
552
553     av_free(s->buffer);
554     memset(s, 0, sizeof(ByteIOContext));
555     return url_close(h);
556 }
557
558 URLContext *url_fileno(ByteIOContext *s)
559 {
560     return s->opaque;
561 }
562
563 #ifdef CONFIG_MUXERS
564 /* XXX: currently size is limited */
565 int url_fprintf(ByteIOContext *s, const char *fmt, ...)
566 {
567     va_list ap;
568     char buf[4096];
569     int ret;
570
571     va_start(ap, fmt);
572     ret = vsnprintf(buf, sizeof(buf), fmt, ap);
573     va_end(ap);
574     put_buffer(s, buf, strlen(buf));
575     return ret;
576 }
577 #endif //CONFIG_MUXERS
578
579 /* note: unlike fgets, the EOL character is not returned and a whole
580    line is parsed. return NULL if first char read was EOF */
581 char *url_fgets(ByteIOContext *s, char *buf, int buf_size)
582 {
583     int c;
584     char *q;
585
586     c = url_fgetc(s);
587     if (c == EOF)
588         return NULL;
589     q = buf;
590     for(;;) {
591         if (c == EOF || c == '\n')
592             break;
593         if ((q - buf) < buf_size - 1)
594             *q++ = c;
595         c = url_fgetc(s);
596     }
597     if (buf_size > 0)
598         *q = '\0';
599     return buf;
600 }
601
602 /*
603  * Return the maximum packet size associated to packetized buffered file
604  * handle. If the file is not packetized (stream like http or file on
605  * disk), then 0 is returned.
606  *
607  * @param h buffered file handle
608  * @return maximum packet size in bytes
609  */
610 int url_fget_max_packet_size(ByteIOContext *s)
611 {
612     return s->max_packet_size;
613 }
614
615 #ifdef CONFIG_MUXERS
616 /* buffer handling */
617 int url_open_buf(ByteIOContext *s, uint8_t *buf, int buf_size, int flags)
618 {
619     return init_put_byte(s, buf, buf_size,
620                          (flags & URL_WRONLY || flags & URL_RDWR),
621                          NULL, NULL, NULL, NULL);
622 }
623
624 /* return the written or read size */
625 int url_close_buf(ByteIOContext *s)
626 {
627     put_flush_packet(s);
628     return s->buf_ptr - s->buffer;
629 }
630
631 /* output in a dynamic buffer */
632
633 typedef struct DynBuffer {
634     int pos, size, allocated_size;
635     uint8_t *buffer;
636     int io_buffer_size;
637     uint8_t io_buffer[1];
638 } DynBuffer;
639
640 static int dyn_buf_write(void *opaque, uint8_t *buf, int buf_size)
641 {
642     DynBuffer *d = opaque;
643     int new_size, new_allocated_size;
644
645     /* reallocate buffer if needed */
646     new_size = d->pos + buf_size;
647     new_allocated_size = d->allocated_size;
648     if(new_size < d->pos || new_size > INT_MAX/2)
649         return -1;
650     while (new_size > new_allocated_size) {
651         if (!new_allocated_size)
652             new_allocated_size = new_size;
653         else
654             new_allocated_size += new_allocated_size / 2 + 1;
655     }
656
657     if (new_allocated_size > d->allocated_size) {
658         d->buffer = av_realloc(d->buffer, new_allocated_size);
659         if(d->buffer == NULL)
660              return -1234;
661         d->allocated_size = new_allocated_size;
662     }
663     memcpy(d->buffer + d->pos, buf, buf_size);
664     d->pos = new_size;
665     if (d->pos > d->size)
666         d->size = d->pos;
667     return buf_size;
668 }
669
670 static int dyn_packet_buf_write(void *opaque, uint8_t *buf, int buf_size)
671 {
672     unsigned char buf1[4];
673     int ret;
674
675     /* packetized write: output the header */
676     buf1[0] = (buf_size >> 24);
677     buf1[1] = (buf_size >> 16);
678     buf1[2] = (buf_size >> 8);
679     buf1[3] = (buf_size);
680     ret= dyn_buf_write(opaque, buf1, 4);
681     if(ret < 0)
682         return ret;
683
684     /* then the data */
685     return dyn_buf_write(opaque, buf, buf_size);
686 }
687
688 static offset_t dyn_buf_seek(void *opaque, offset_t offset, int whence)
689 {
690     DynBuffer *d = opaque;
691
692     if (whence == SEEK_CUR)
693         offset += d->pos;
694     else if (whence == SEEK_END)
695         offset += d->size;
696     if (offset < 0 || offset > 0x7fffffffLL)
697         return -1;
698     d->pos = offset;
699     return 0;
700 }
701
702 static int url_open_dyn_buf_internal(ByteIOContext *s, int max_packet_size)
703 {
704     DynBuffer *d;
705     int io_buffer_size, ret;
706
707     if (max_packet_size)
708         io_buffer_size = max_packet_size;
709     else
710         io_buffer_size = 1024;
711
712     if(sizeof(DynBuffer) + io_buffer_size < io_buffer_size)
713         return -1;
714     d = av_malloc(sizeof(DynBuffer) + io_buffer_size);
715     if (!d)
716         return -1;
717     d->io_buffer_size = io_buffer_size;
718     d->buffer = NULL;
719     d->pos = 0;
720     d->size = 0;
721     d->allocated_size = 0;
722     ret = init_put_byte(s, d->io_buffer, io_buffer_size,
723                         1, d, NULL,
724                         max_packet_size ? dyn_packet_buf_write : dyn_buf_write,
725                         max_packet_size ? NULL : dyn_buf_seek);
726     if (ret == 0) {
727         s->max_packet_size = max_packet_size;
728     }
729     return ret;
730 }
731
732 /*
733  * Open a write only memory stream.
734  *
735  * @param s new IO context
736  * @return zero if no error.
737  */
738 int url_open_dyn_buf(ByteIOContext *s)
739 {
740     return url_open_dyn_buf_internal(s, 0);
741 }
742
743 /*
744  * Open a write only packetized memory stream with a maximum packet
745  * size of 'max_packet_size'.  The stream is stored in a memory buffer
746  * with a big endian 4 byte header giving the packet size in bytes.
747  *
748  * @param s new IO context
749  * @param max_packet_size maximum packet size (must be > 0)
750  * @return zero if no error.
751  */
752 int url_open_dyn_packet_buf(ByteIOContext *s, int max_packet_size)
753 {
754     if (max_packet_size <= 0)
755         return -1;
756     return url_open_dyn_buf_internal(s, max_packet_size);
757 }
758
759 /*
760  * Return the written size and a pointer to the buffer. The buffer
761  *  must be freed with av_free().
762  * @param s IO context
763  * @param pointer to a byte buffer
764  * @return the length of the byte buffer
765  */
766 int url_close_dyn_buf(ByteIOContext *s, uint8_t **pbuffer)
767 {
768     DynBuffer *d = s->opaque;
769     int size;
770
771     put_flush_packet(s);
772
773     *pbuffer = d->buffer;
774     size = d->size;
775     av_free(d);
776     return size;
777 }
778 #endif //CONFIG_MUXERS