libopenh264enc: Return a more sensible error code in some init failure paths
[ffmpeg.git] / libavcodec / internal.h
1 /*
2  * This file is part of Libav.
3  *
4  * Libav is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * Libav is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with Libav; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 /**
20  * @file
21  * common internal api header.
22  */
23
24 #ifndef AVCODEC_INTERNAL_H
25 #define AVCODEC_INTERNAL_H
26
27 #include <stdint.h>
28
29 #include "libavutil/buffer.h"
30 #include "libavutil/channel_layout.h"
31 #include "libavutil/mathematics.h"
32 #include "libavutil/pixfmt.h"
33 #include "avcodec.h"
34 #include "config.h"
35
36 /**
37  * The codec does not modify any global variables in the init function,
38  * allowing to call the init function without locking any global mutexes.
39  */
40 #define FF_CODEC_CAP_INIT_THREADSAFE        (1 << 0)
41 /**
42  * The codec allows calling the close function for deallocation even if
43  * the init function returned a failure. Without this capability flag, a
44  * codec does such cleanup internally when returning failures from the
45  * init function and does not expect the close function to be called at
46  * all.
47  */
48 #define FF_CODEC_CAP_INIT_CLEANUP           (1 << 1)
49 /**
50  * Decoders marked with FF_CODEC_CAP_SETS_PKT_DTS want to set
51  * AVFrame.pkt_dts manually. If the flag is set, utils.c won't overwrite
52  * this field. If it's unset, utils.c tries to guess the pkt_dts field
53  * from the input AVPacket.
54  */
55 #define FF_CODEC_CAP_SETS_PKT_DTS           (1 << 2)
56
57 #ifdef DEBUG
58 #   define ff_dlog(ctx, ...) av_log(ctx, AV_LOG_DEBUG, __VA_ARGS__)
59 #else
60 #   define ff_dlog(ctx, ...) do { } while (0)
61 #endif
62
63 #ifdef TRACE
64 #   define ff_tlog(ctx, ...) av_log(ctx, AV_LOG_TRACE, __VA_ARGS__)
65 #else
66 #   define ff_tlog(ctx, ...) do { } while (0)
67 #endif
68
69
70 #if !FF_API_QUANT_BIAS
71 #define FF_DEFAULT_QUANT_BIAS 999999
72 #endif
73
74 #define FF_SANE_NB_CHANNELS 63U
75
76 #define FF_SIGNBIT(x) (x >> CHAR_BIT * sizeof(x) - 1)
77
78 typedef struct FramePool {
79     /**
80      * Pools for each data plane. For audio all the planes have the same size,
81      * so only pools[0] is used.
82      */
83     AVBufferPool *pools[4];
84
85     /*
86      * Pool parameters
87      */
88     int format;
89     int width, height;
90     int stride_align[AV_NUM_DATA_POINTERS];
91     int linesize[4];
92     int planes;
93     int channels;
94     int samples;
95 } FramePool;
96
97 typedef struct AVCodecInternal {
98     /**
99      * Whether the parent AVCodecContext is a copy of the context which had
100      * init() called on it.
101      * This is used by multithreading - shared tables and picture pointers
102      * should be freed from the original context only.
103      */
104     int is_copy;
105
106     /**
107      * Whether to allocate progress for frame threading.
108      *
109      * The codec must set it to 1 if it uses ff_thread_await/report_progress(),
110      * then progress will be allocated in ff_thread_get_buffer(). The frames
111      * then MUST be freed with ff_thread_release_buffer().
112      *
113      * If the codec does not need to call the progress functions (there are no
114      * dependencies between the frames), it should leave this at 0. Then it can
115      * decode straight to the user-provided frames (which the user will then
116      * free with av_frame_unref()), there is no need to call
117      * ff_thread_release_buffer().
118      */
119     int allocate_progress;
120
121     /**
122      * An audio frame with less than required samples has been submitted and
123      * padded with silence. Reject all subsequent frames.
124      */
125     int last_audio_frame;
126
127     AVFrame *to_free;
128
129     FramePool *pool;
130
131     void *thread_ctx;
132
133     /**
134      * Current packet as passed into the decoder, to avoid having to pass the
135      * packet into every function.
136      */
137     AVPacket *pkt;
138
139     /**
140      * hwaccel-specific private data
141      */
142     void *hwaccel_priv_data;
143
144     /**
145      * checks API usage: after codec draining, flush is required to resume operation
146      */
147     int draining;
148
149     /**
150      * buffers for using new encode/decode API through legacy API
151      */
152     AVPacket *buffer_pkt;
153     int buffer_pkt_valid; // encoding: packet without data can be valid
154     AVFrame *buffer_frame;
155     int draining_done;
156 } AVCodecInternal;
157
158 struct AVCodecDefault {
159     const uint8_t *key;
160     const uint8_t *value;
161 };
162
163 /**
164  * Return the index into tab at which {a,b} match elements {[0],[1]} of tab.
165  * If there is no such matching pair then size is returned.
166  */
167 int ff_match_2uint16(const uint16_t (*tab)[2], int size, int a, int b);
168
169 unsigned int avpriv_toupper4(unsigned int x);
170
171 int avpriv_lock_avformat(void);
172 int avpriv_unlock_avformat(void);
173
174 /**
175  * Maximum size in bytes of extradata.
176  * This value was chosen such that every bit of the buffer is
177  * addressable by a 32-bit signed integer as used by get_bits.
178  */
179 #define FF_MAX_EXTRADATA_SIZE ((1 << 28) - AV_INPUT_BUFFER_PADDING_SIZE)
180
181 /**
182  * Check AVPacket size and/or allocate data.
183  *
184  * Encoders supporting AVCodec.encode2() can use this as a convenience to
185  * ensure the output packet data is large enough, whether provided by the user
186  * or allocated in this function.
187  *
188  * @param avpkt   the AVPacket
189  *                If avpkt->data is already set, avpkt->size is checked
190  *                to ensure it is large enough.
191  *                If avpkt->data is NULL, a new buffer is allocated.
192  *                avpkt->size is set to the specified size.
193  *                All other AVPacket fields will be reset with av_init_packet().
194  * @param size    the minimum required packet size
195  * @return        0 on success, negative error code on failure
196  */
197 int ff_alloc_packet(AVPacket *avpkt, int size);
198
199 /**
200  * Rescale from sample rate to AVCodecContext.time_base.
201  */
202 static av_always_inline int64_t ff_samples_to_time_base(AVCodecContext *avctx,
203                                                         int64_t samples)
204 {
205     return av_rescale_q(samples, (AVRational){ 1, avctx->sample_rate },
206                         avctx->time_base);
207 }
208
209 /**
210  * Get a buffer for a frame. This is a wrapper around
211  * AVCodecContext.get_buffer() and should be used instead calling get_buffer()
212  * directly.
213  */
214 int ff_get_buffer(AVCodecContext *avctx, AVFrame *frame, int flags);
215
216 /**
217  * Identical in function to av_frame_make_writable(), except it uses
218  * ff_get_buffer() to allocate the buffer when needed.
219  */
220 int ff_reget_buffer(AVCodecContext *avctx, AVFrame *frame);
221
222 const uint8_t *avpriv_find_start_code(const uint8_t *restrict p,
223                                       const uint8_t *end,
224                                       uint32_t *restrict state);
225
226 /**
227  * Check that the provided frame dimensions are valid and set them on the codec
228  * context.
229  */
230 int ff_set_dimensions(AVCodecContext *s, int width, int height);
231
232 /**
233  * Check that the provided sample aspect ratio is valid and set it on the codec
234  * context.
235  */
236 int ff_set_sar(AVCodecContext *avctx, AVRational sar);
237
238 /**
239  * Add or update AV_FRAME_DATA_MATRIXENCODING side data.
240  */
241 int ff_side_data_update_matrix_encoding(AVFrame *frame,
242                                         enum AVMatrixEncoding matrix_encoding);
243
244 /**
245  * Select the (possibly hardware accelerated) pixel format.
246  * This is a wrapper around AVCodecContext.get_format() and should be used
247  * instead of calling get_format() directly.
248  */
249 int ff_get_format(AVCodecContext *avctx, const enum AVPixelFormat *fmt);
250
251 /**
252  * Set various frame properties from the codec context / packet data.
253  */
254 int ff_decode_frame_props(AVCodecContext *avctx, AVFrame *frame);
255
256 /**
257  * Add a CPB properties side data to an encoding context.
258  */
259 AVCPBProperties *ff_add_cpb_side_data(AVCodecContext *avctx);
260
261 #endif /* AVCODEC_INTERNAL_H */