avformat/avienc: Store pal8 palette
[ffmpeg.git] / libavformat / internal.h
1 /*
2  * copyright (c) 2001 Fabrice Bellard
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #ifndef AVFORMAT_INTERNAL_H
22 #define AVFORMAT_INTERNAL_H
23
24 #include <stdint.h>
25 #include "avformat.h"
26 #include "os_support.h"
27
28 #define MAX_URL_SIZE 4096
29
30 /** size of probe buffer, for guessing file type from file contents */
31 #define PROBE_BUF_MIN 2048
32 #define PROBE_BUF_MAX (1 << 20)
33
34 #define MAX_PROBE_PACKETS 2500
35
36 #ifdef DEBUG
37 #    define hex_dump_debug(class, buf, size) av_hex_dump_log(class, AV_LOG_DEBUG, buf, size)
38 #else
39 #    define hex_dump_debug(class, buf, size) do { if (0) av_hex_dump_log(class, AV_LOG_DEBUG, buf, size); } while(0)
40 #endif
41
42 typedef struct AVCodecTag {
43     enum AVCodecID id;
44     unsigned int tag;
45 } AVCodecTag;
46
47 typedef struct CodecMime{
48     char str[32];
49     enum AVCodecID id;
50 } CodecMime;
51
52 /*************************************************/
53 /* fractional numbers for exact pts handling */
54
55 /**
56  * The exact value of the fractional number is: 'val + num / den'.
57  * num is assumed to be 0 <= num < den.
58  */
59 typedef struct FFFrac {
60     int64_t val, num, den;
61 } FFFrac;
62
63
64 struct AVFormatInternal {
65     /**
66      * Number of streams relevant for interleaving.
67      * Muxing only.
68      */
69     int nb_interleaved_streams;
70
71     /**
72      * This buffer is only needed when packets were already buffered but
73      * not decoded, for example to get the codec parameters in MPEG
74      * streams.
75      */
76     struct AVPacketList *packet_buffer;
77     struct AVPacketList *packet_buffer_end;
78
79     /* av_seek_frame() support */
80     int64_t data_offset; /**< offset of the first packet */
81
82     /**
83      * Raw packets from the demuxer, prior to parsing and decoding.
84      * This buffer is used for buffering packets until the codec can
85      * be identified, as parsing cannot be done without knowing the
86      * codec.
87      */
88     struct AVPacketList *raw_packet_buffer;
89     struct AVPacketList *raw_packet_buffer_end;
90     /**
91      * Packets split by the parser get queued here.
92      */
93     struct AVPacketList *parse_queue;
94     struct AVPacketList *parse_queue_end;
95     /**
96      * Remaining size available for raw_packet_buffer, in bytes.
97      */
98 #define RAW_PACKET_BUFFER_SIZE 2500000
99     int raw_packet_buffer_remaining_size;
100
101     /**
102      * Offset to remap timestamps to be non-negative.
103      * Expressed in timebase units.
104      * @see AVStream.mux_ts_offset
105      */
106     int64_t offset;
107
108     /**
109      * Timebase for the timestamp offset.
110      */
111     AVRational offset_timebase;
112
113 #if FF_API_COMPUTE_PKT_FIELDS2
114     int missing_ts_warning;
115 #endif
116
117     int inject_global_side_data;
118
119     int avoid_negative_ts_use_pts;
120
121     /**
122      * Whether or not a header has already been written
123      */
124     int header_written;
125 };
126
127 struct AVStreamInternal {
128     /**
129      * Set to 1 if the codec allows reordering, so pts can be different
130      * from dts.
131      */
132     int reorder;
133
134     /**
135      * bitstream filter to run on stream
136      * - encoding: Set by muxer using ff_stream_add_bitstream_filter
137      * - decoding: unused
138      */
139     AVBitStreamFilterContext *bsfc;
140
141     /**
142      * Whether or not check_bitstream should still be run on each packet
143      */
144     int bitstream_checked;
145 };
146
147 #ifdef __GNUC__
148 #define dynarray_add(tab, nb_ptr, elem)\
149 do {\
150     __typeof__(tab) _tab = (tab);\
151     __typeof__(elem) _elem = (elem);\
152     (void)sizeof(**_tab == _elem); /* check that types are compatible */\
153     av_dynarray_add(_tab, nb_ptr, _elem);\
154 } while(0)
155 #else
156 #define dynarray_add(tab, nb_ptr, elem)\
157 do {\
158     av_dynarray_add((tab), nb_ptr, (elem));\
159 } while(0)
160 #endif
161
162 struct tm *ff_brktimegm(time_t secs, struct tm *tm);
163
164 char *ff_data_to_hex(char *buf, const uint8_t *src, int size, int lowercase);
165
166 /**
167  * Parse a string of hexadecimal strings. Any space between the hexadecimal
168  * digits is ignored.
169  *
170  * @param data if non-null, the parsed data is written to this pointer
171  * @param p the string to parse
172  * @return the number of bytes written (or to be written, if data is null)
173  */
174 int ff_hex_to_data(uint8_t *data, const char *p);
175
176 /**
177  * Add packet to AVFormatContext->packet_buffer list, determining its
178  * interleaved position using compare() function argument.
179  * @return 0, or < 0 on error
180  */
181 int ff_interleave_add_packet(AVFormatContext *s, AVPacket *pkt,
182                              int (*compare)(AVFormatContext *, AVPacket *, AVPacket *));
183
184 void ff_read_frame_flush(AVFormatContext *s);
185
186 #define NTP_OFFSET 2208988800ULL
187 #define NTP_OFFSET_US (NTP_OFFSET * 1000000ULL)
188
189 /** Get the current time since NTP epoch in microseconds. */
190 uint64_t ff_ntp_time(void);
191
192 /**
193  * Append the media-specific SDP fragment for the media stream c
194  * to the buffer buff.
195  *
196  * Note, the buffer needs to be initialized, since it is appended to
197  * existing content.
198  *
199  * @param buff the buffer to append the SDP fragment to
200  * @param size the size of the buff buffer
201  * @param st the AVStream of the media to describe
202  * @param idx the global stream index
203  * @param dest_addr the destination address of the media stream, may be NULL
204  * @param dest_type the destination address type, may be NULL
205  * @param port the destination port of the media stream, 0 if unknown
206  * @param ttl the time to live of the stream, 0 if not multicast
207  * @param fmt the AVFormatContext, which might contain options modifying
208  *            the generated SDP
209  */
210 void ff_sdp_write_media(char *buff, int size, AVStream *st, int idx,
211                         const char *dest_addr, const char *dest_type,
212                         int port, int ttl, AVFormatContext *fmt);
213
214 /**
215  * Write a packet to another muxer than the one the user originally
216  * intended. Useful when chaining muxers, where one muxer internally
217  * writes a received packet to another muxer.
218  *
219  * @param dst the muxer to write the packet to
220  * @param dst_stream the stream index within dst to write the packet to
221  * @param pkt the packet to be written
222  * @param src the muxer the packet originally was intended for
223  * @param interleave 0->use av_write_frame, 1->av_interleaved_write_frame
224  * @return the value av_write_frame returned
225  */
226 int ff_write_chained(AVFormatContext *dst, int dst_stream, AVPacket *pkt,
227                      AVFormatContext *src, int interleave);
228
229 /**
230  * Get the length in bytes which is needed to store val as v.
231  */
232 int ff_get_v_length(uint64_t val);
233
234 /**
235  * Put val using a variable number of bytes.
236  */
237 void ff_put_v(AVIOContext *bc, uint64_t val);
238
239 /**
240  * Read a whole line of text from AVIOContext. Stop reading after reaching
241  * either a \\n, a \\0 or EOF. The returned string is always \\0-terminated,
242  * and may be truncated if the buffer is too small.
243  *
244  * @param s the read-only AVIOContext
245  * @param buf buffer to store the read line
246  * @param maxlen size of the buffer
247  * @return the length of the string written in the buffer, not including the
248  *         final \\0
249  */
250 int ff_get_line(AVIOContext *s, char *buf, int maxlen);
251
252 #define SPACE_CHARS " \t\r\n"
253
254 /**
255  * Callback function type for ff_parse_key_value.
256  *
257  * @param key a pointer to the key
258  * @param key_len the number of bytes that belong to the key, including the '='
259  *                char
260  * @param dest return the destination pointer for the value in *dest, may
261  *             be null to ignore the value
262  * @param dest_len the length of the *dest buffer
263  */
264 typedef void (*ff_parse_key_val_cb)(void *context, const char *key,
265                                     int key_len, char **dest, int *dest_len);
266 /**
267  * Parse a string with comma-separated key=value pairs. The value strings
268  * may be quoted and may contain escaped characters within quoted strings.
269  *
270  * @param str the string to parse
271  * @param callback_get_buf function that returns where to store the
272  *                         unescaped value string.
273  * @param context the opaque context pointer to pass to callback_get_buf
274  */
275 void ff_parse_key_value(const char *str, ff_parse_key_val_cb callback_get_buf,
276                         void *context);
277
278 /**
279  * Find stream index based on format-specific stream ID
280  * @return stream index, or < 0 on error
281  */
282 int ff_find_stream_index(AVFormatContext *s, int id);
283
284 /**
285  * Internal version of av_index_search_timestamp
286  */
287 int ff_index_search_timestamp(const AVIndexEntry *entries, int nb_entries,
288                               int64_t wanted_timestamp, int flags);
289
290 /**
291  * Internal version of av_add_index_entry
292  */
293 int ff_add_index_entry(AVIndexEntry **index_entries,
294                        int *nb_index_entries,
295                        unsigned int *index_entries_allocated_size,
296                        int64_t pos, int64_t timestamp, int size, int distance, int flags);
297
298 void ff_configure_buffers_for_index(AVFormatContext *s, int64_t time_tolerance);
299
300 /**
301  * Add a new chapter.
302  *
303  * @param s media file handle
304  * @param id unique ID for this chapter
305  * @param start chapter start time in time_base units
306  * @param end chapter end time in time_base units
307  * @param title chapter title
308  *
309  * @return AVChapter or NULL on error
310  */
311 AVChapter *avpriv_new_chapter(AVFormatContext *s, int id, AVRational time_base,
312                               int64_t start, int64_t end, const char *title);
313
314 /**
315  * Ensure the index uses less memory than the maximum specified in
316  * AVFormatContext.max_index_size by discarding entries if it grows
317  * too large.
318  */
319 void ff_reduce_index(AVFormatContext *s, int stream_index);
320
321 enum AVCodecID ff_guess_image2_codec(const char *filename);
322
323 /**
324  * Perform a binary search using av_index_search_timestamp() and
325  * AVInputFormat.read_timestamp().
326  *
327  * @param target_ts target timestamp in the time base of the given stream
328  * @param stream_index stream number
329  */
330 int ff_seek_frame_binary(AVFormatContext *s, int stream_index,
331                          int64_t target_ts, int flags);
332
333 /**
334  * Update cur_dts of all streams based on the given timestamp and AVStream.
335  *
336  * Stream ref_st unchanged, others set cur_dts in their native time base.
337  * Only needed for timestamp wrapping or if (dts not set and pts!=dts).
338  * @param timestamp new dts expressed in time_base of param ref_st
339  * @param ref_st reference stream giving time_base of param timestamp
340  */
341 void ff_update_cur_dts(AVFormatContext *s, AVStream *ref_st, int64_t timestamp);
342
343 int ff_find_last_ts(AVFormatContext *s, int stream_index, int64_t *ts, int64_t *pos,
344                     int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ));
345
346 /**
347  * Perform a binary search using read_timestamp().
348  *
349  * @param target_ts target timestamp in the time base of the given stream
350  * @param stream_index stream number
351  */
352 int64_t ff_gen_search(AVFormatContext *s, int stream_index,
353                       int64_t target_ts, int64_t pos_min,
354                       int64_t pos_max, int64_t pos_limit,
355                       int64_t ts_min, int64_t ts_max,
356                       int flags, int64_t *ts_ret,
357                       int64_t (*read_timestamp)(struct AVFormatContext *, int , int64_t *, int64_t ));
358
359 /**
360  * Set the time base and wrapping info for a given stream. This will be used
361  * to interpret the stream's timestamps. If the new time base is invalid
362  * (numerator or denominator are non-positive), it leaves the stream
363  * unchanged.
364  *
365  * @param s stream
366  * @param pts_wrap_bits number of bits effectively used by the pts
367  *        (used for wrap control)
368  * @param pts_num time base numerator
369  * @param pts_den time base denominator
370  */
371 void avpriv_set_pts_info(AVStream *s, int pts_wrap_bits,
372                          unsigned int pts_num, unsigned int pts_den);
373
374 /**
375  * Add side data to a packet for changing parameters to the given values.
376  * Parameters set to 0 aren't included in the change.
377  */
378 int ff_add_param_change(AVPacket *pkt, int32_t channels,
379                         uint64_t channel_layout, int32_t sample_rate,
380                         int32_t width, int32_t height);
381
382 /**
383  * Set the timebase for each stream from the corresponding codec timebase and
384  * print it.
385  */
386 int ff_framehash_write_header(AVFormatContext *s);
387
388 /**
389  * Read a transport packet from a media file.
390  *
391  * @param s media file handle
392  * @param pkt is filled
393  * @return 0 if OK, AVERROR_xxx on error
394  */
395 int ff_read_packet(AVFormatContext *s, AVPacket *pkt);
396
397 /**
398  * Interleave a packet per dts in an output media file.
399  *
400  * Packets with pkt->destruct == av_destruct_packet will be freed inside this
401  * function, so they cannot be used after it. Note that calling av_packet_unref()
402  * on them is still safe.
403  *
404  * @param s media file handle
405  * @param out the interleaved packet will be output here
406  * @param pkt the input packet
407  * @param flush 1 if no further packets are available as input and all
408  *              remaining packets should be output
409  * @return 1 if a packet was output, 0 if no packet could be output,
410  *         < 0 if an error occurred
411  */
412 int ff_interleave_packet_per_dts(AVFormatContext *s, AVPacket *out,
413                                  AVPacket *pkt, int flush);
414
415 void ff_free_stream(AVFormatContext *s, AVStream *st);
416
417 /**
418  * Return the frame duration in seconds. Return 0 if not available.
419  */
420 void ff_compute_frame_duration(AVFormatContext *s, int *pnum, int *pden, AVStream *st,
421                                AVCodecParserContext *pc, AVPacket *pkt);
422
423 unsigned int ff_codec_get_tag(const AVCodecTag *tags, enum AVCodecID id);
424
425 enum AVCodecID ff_codec_get_id(const AVCodecTag *tags, unsigned int tag);
426
427 /**
428  * Select a PCM codec based on the given parameters.
429  *
430  * @param bps     bits-per-sample
431  * @param flt     floating-point
432  * @param be      big-endian
433  * @param sflags  signed flags. each bit corresponds to one byte of bit depth.
434  *                e.g. the 1st bit indicates if 8-bit should be signed or
435  *                unsigned, the 2nd bit indicates if 16-bit should be signed or
436  *                unsigned, etc... This is useful for formats such as WAVE where
437  *                only 8-bit is unsigned and all other bit depths are signed.
438  * @return        a PCM codec id or AV_CODEC_ID_NONE
439  */
440 enum AVCodecID ff_get_pcm_codec_id(int bps, int flt, int be, int sflags);
441
442 /**
443  * Chooses a timebase for muxing the specified stream.
444  *
445  * The chosen timebase allows sample accurate timestamps based
446  * on the framerate or sample rate for audio streams. It also is
447  * at least as precise as 1/min_precision would be.
448  */
449 AVRational ff_choose_timebase(AVFormatContext *s, AVStream *st, int min_precision);
450
451 /**
452  * Chooses a timebase for muxing the specified stream.
453  */
454 enum AVChromaLocation ff_choose_chroma_location(AVFormatContext *s, AVStream *st);
455
456 /**
457  * Generate standard extradata for AVC-Intra based on width/height and field
458  * order.
459  */
460 int ff_generate_avci_extradata(AVStream *st);
461
462 /**
463  * Add a bitstream filter to a stream.
464  *
465  * @param st output stream to add a filter to
466  * @param name the name of the filter to add
467  * @param args filter-specific argument string
468  * @return  >0 on success;
469  *          AVERROR code on failure
470  */
471 int ff_stream_add_bitstream_filter(AVStream *st, const char *name, const char *args);
472
473 /**
474  * Wrap errno on rename() error.
475  *
476  * @param oldpath source path
477  * @param newpath destination path
478  * @return        0 or AVERROR on failure
479  */
480 static inline int ff_rename(const char *oldpath, const char *newpath, void *logctx)
481 {
482     int ret = 0;
483     if (rename(oldpath, newpath) == -1) {
484         ret = AVERROR(errno);
485         if (logctx)
486             av_log(logctx, AV_LOG_ERROR, "failed to rename file %s to %s\n", oldpath, newpath);
487     }
488     return ret;
489 }
490
491 /**
492  * Allocate extradata with additional AV_INPUT_BUFFER_PADDING_SIZE at end
493  * which is always set to 0.
494  *
495  * @param size size of extradata
496  * @return 0 if OK, AVERROR_xxx on error
497  */
498 int ff_alloc_extradata(AVCodecContext *avctx, int size);
499
500 /**
501  * Allocate extradata with additional AV_INPUT_BUFFER_PADDING_SIZE at end
502  * which is always set to 0 and fill it from pb.
503  *
504  * @param size size of extradata
505  * @return >= 0 if OK, AVERROR_xxx on error
506  */
507 int ff_get_extradata(AVCodecContext *avctx, AVIOContext *pb, int size);
508
509 /**
510  * add frame for rfps calculation.
511  *
512  * @param dts timestamp of the i-th frame
513  * @return 0 if OK, AVERROR_xxx on error
514  */
515 int ff_rfps_add_frame(AVFormatContext *ic, AVStream *st, int64_t dts);
516
517 void ff_rfps_calculate(AVFormatContext *ic);
518
519 /**
520  * Flags for AVFormatContext.write_uncoded_frame()
521  */
522 enum AVWriteUncodedFrameFlags {
523
524     /**
525      * Query whether the feature is possible on this stream.
526      * The frame argument is ignored.
527      */
528     AV_WRITE_UNCODED_FRAME_QUERY           = 0x0001,
529
530 };
531
532 /**
533  * Copies the whilelists from one context to the other
534  */
535 int ff_copy_whitelists(AVFormatContext *dst, AVFormatContext *src);
536
537 int ffio_open2_wrapper(struct AVFormatContext *s, AVIOContext **pb, const char *url, int flags,
538                        const AVIOInterruptCB *int_cb, AVDictionary **options);
539
540 /**
541  * Returned by demuxers to indicate that data was consumed but discarded
542  * (ignored streams or junk data). The framework will re-call the demuxer.
543  */
544 #define FFERROR_REDO FFERRTAG('R','E','D','O')
545
546 /*
547  * A wrapper around AVFormatContext.io_close that should be used
548  * intead of calling the pointer directly.
549  */
550 void ff_format_io_close(AVFormatContext *s, AVIOContext **pb);
551
552 /**
553  * Parse creation_time in AVFormatContext metadata if exists and warn if the
554  * parsing fails.
555  *
556  * @param s AVFormatContext
557  * @param timestamp parsed timestamp in microseconds, only set on successful parsing
558  * @param return_seconds set this to get the number of seconds in timestamp instead of microseconds
559  * @return 1 if OK, 0 if the metadata was not present, AVERROR(EINVAL) on parse error
560  */
561 int ff_parse_creation_time_metadata(AVFormatContext *s, int64_t *timestamp, int return_seconds);
562
563
564 #define CONTAINS_PAL 2
565 /**
566  * Reshuffles the lines to use the user specified stride.
567  *
568  * @param ppkt input and output packet
569  * @return negative error code or
570  *         0 if no new packet was allocated
571  *         non-zero if a new packet was allocated and ppkt has to be freed
572  *         CONTAINS_PAL if in addition to a new packet the old contained a palette
573  */
574 int ff_reshuffle_raw_rgb(AVFormatContext *s, AVPacket **ppkt, AVCodecContext *enc, int expected_stride);
575
576 #endif /* AVFORMAT_INTERNAL_H */