lavfi/vf_libvmaf: convert to framesync2.
[ffmpeg.git] / libavfilter / internal.h
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #ifndef AVFILTER_INTERNAL_H
20 #define AVFILTER_INTERNAL_H
21
22 /**
23  * @file
24  * internal API functions
25  */
26
27 #include "libavutil/internal.h"
28 #include "avfilter.h"
29 #include "formats.h"
30 #include "framepool.h"
31 #include "framequeue.h"
32 #include "thread.h"
33 #include "version.h"
34 #include "video.h"
35 #include "libavcodec/avcodec.h"
36
37 typedef struct AVFilterCommand {
38     double time;                ///< time expressed in seconds
39     char *command;              ///< command
40     char *arg;                  ///< optional argument for the command
41     int flags;
42     struct AVFilterCommand *next;
43 } AVFilterCommand;
44
45 /**
46  * Update the position of a link in the age heap.
47  */
48 void ff_avfilter_graph_update_heap(AVFilterGraph *graph, AVFilterLink *link);
49
50 /**
51  * A filter pad used for either input or output.
52  */
53 struct AVFilterPad {
54     /**
55      * Pad name. The name is unique among inputs and among outputs, but an
56      * input may have the same name as an output. This may be NULL if this
57      * pad has no need to ever be referenced by name.
58      */
59     const char *name;
60
61     /**
62      * AVFilterPad type.
63      */
64     enum AVMediaType type;
65
66     /**
67      * Callback function to get a video buffer. If NULL, the filter system will
68      * use ff_default_get_video_buffer().
69      *
70      * Input video pads only.
71      */
72     AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h);
73
74     /**
75      * Callback function to get an audio buffer. If NULL, the filter system will
76      * use ff_default_get_audio_buffer().
77      *
78      * Input audio pads only.
79      */
80     AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples);
81
82     /**
83      * Filtering callback. This is where a filter receives a frame with
84      * audio/video data and should do its processing.
85      *
86      * Input pads only.
87      *
88      * @return >= 0 on success, a negative AVERROR on error. This function
89      * must ensure that frame is properly unreferenced on error if it
90      * hasn't been passed on to another filter.
91      */
92     int (*filter_frame)(AVFilterLink *link, AVFrame *frame);
93
94     /**
95      * Frame poll callback. This returns the number of immediately available
96      * samples. It should return a positive value if the next request_frame()
97      * is guaranteed to return one frame (with no delay).
98      *
99      * Defaults to just calling the source poll_frame() method.
100      *
101      * Output pads only.
102      */
103     int (*poll_frame)(AVFilterLink *link);
104
105     /**
106      * Frame request callback. A call to this should result in some progress
107      * towards producing output over the given link. This should return zero
108      * on success, and another value on error.
109      *
110      * Output pads only.
111      */
112     int (*request_frame)(AVFilterLink *link);
113
114     /**
115      * Link configuration callback.
116      *
117      * For output pads, this should set the link properties such as
118      * width/height. This should NOT set the format property - that is
119      * negotiated between filters by the filter system using the
120      * query_formats() callback before this function is called.
121      *
122      * For input pads, this should check the properties of the link, and update
123      * the filter's internal state as necessary.
124      *
125      * For both input and output filters, this should return zero on success,
126      * and another value on error.
127      */
128     int (*config_props)(AVFilterLink *link);
129
130     /**
131      * The filter expects a fifo to be inserted on its input link,
132      * typically because it has a delay.
133      *
134      * input pads only.
135      */
136     int needs_fifo;
137
138     /**
139      * The filter expects writable frames from its input link,
140      * duplicating data buffers if needed.
141      *
142      * input pads only.
143      */
144     int needs_writable;
145 };
146
147 struct AVFilterGraphInternal {
148     void *thread;
149     avfilter_execute_func *thread_execute;
150     FFFrameQueueGlobal frame_queues;
151 };
152
153 struct AVFilterInternal {
154     avfilter_execute_func *execute;
155 };
156
157 /**
158  * Tell if an integer is contained in the provided -1-terminated list of integers.
159  * This is useful for determining (for instance) if an AVPixelFormat is in an
160  * array of supported formats.
161  *
162  * @param fmt provided format
163  * @param fmts -1-terminated list of formats
164  * @return 1 if present, 0 if absent
165  */
166 int ff_fmt_is_in(int fmt, const int *fmts);
167
168 /* Functions to parse audio format arguments */
169
170 /**
171  * Parse a pixel format.
172  *
173  * @param ret pixel format pointer to where the value should be written
174  * @param arg string to parse
175  * @param log_ctx log context
176  * @return >= 0 in case of success, a negative AVERROR code on error
177  */
178 av_warn_unused_result
179 int ff_parse_pixel_format(enum AVPixelFormat *ret, const char *arg, void *log_ctx);
180
181 /**
182  * Parse a sample rate.
183  *
184  * @param ret unsigned integer pointer to where the value should be written
185  * @param arg string to parse
186  * @param log_ctx log context
187  * @return >= 0 in case of success, a negative AVERROR code on error
188  */
189 av_warn_unused_result
190 int ff_parse_sample_rate(int *ret, const char *arg, void *log_ctx);
191
192 /**
193  * Parse a time base.
194  *
195  * @param ret unsigned AVRational pointer to where the value should be written
196  * @param arg string to parse
197  * @param log_ctx log context
198  * @return >= 0 in case of success, a negative AVERROR code on error
199  */
200 av_warn_unused_result
201 int ff_parse_time_base(AVRational *ret, const char *arg, void *log_ctx);
202
203 /**
204  * Parse a sample format name or a corresponding integer representation.
205  *
206  * @param ret integer pointer to where the value should be written
207  * @param arg string to parse
208  * @param log_ctx log context
209  * @return >= 0 in case of success, a negative AVERROR code on error
210  */
211 av_warn_unused_result
212 int ff_parse_sample_format(int *ret, const char *arg, void *log_ctx);
213
214 /**
215  * Parse a channel layout or a corresponding integer representation.
216  *
217  * @param ret 64bit integer pointer to where the value should be written.
218  * @param nret integer pointer to the number of channels;
219  *             if not NULL, then unknown channel layouts are accepted
220  * @param arg string to parse
221  * @param log_ctx log context
222  * @return >= 0 in case of success, a negative AVERROR code on error
223  */
224 av_warn_unused_result
225 int ff_parse_channel_layout(int64_t *ret, int *nret, const char *arg,
226                             void *log_ctx);
227
228 void ff_update_link_current_pts(AVFilterLink *link, int64_t pts);
229
230 /**
231  * Set the status field of a link from the source filter.
232  * The pts should reflect the timestamp of the status change,
233  * in link time base and relative to the frames timeline.
234  * In particular, for AVERROR_EOF, it should reflect the
235  * end time of the last frame.
236  */
237 void ff_avfilter_link_set_in_status(AVFilterLink *link, int status, int64_t pts);
238
239 /**
240  * Set the status field of a link from the destination filter.
241  * The pts should probably be left unset (AV_NOPTS_VALUE).
242  */
243 void ff_avfilter_link_set_out_status(AVFilterLink *link, int status, int64_t pts);
244
245 void ff_command_queue_pop(AVFilterContext *filter);
246
247 /* misc trace functions */
248
249 /* #define FF_AVFILTER_TRACE */
250
251 #ifdef FF_AVFILTER_TRACE
252 #    define ff_tlog(pctx, ...) av_log(pctx, AV_LOG_DEBUG, __VA_ARGS__)
253 #else
254 #    define ff_tlog(pctx, ...) do { if (0) av_log(pctx, AV_LOG_DEBUG, __VA_ARGS__); } while (0)
255 #endif
256
257 #define FF_TPRINTF_START(ctx, func) ff_tlog(NULL, "%-16s: ", #func)
258
259 char *ff_get_ref_perms_string(char *buf, size_t buf_size, int perms);
260
261 void ff_tlog_ref(void *ctx, AVFrame *ref, int end);
262
263 void ff_tlog_link(void *ctx, AVFilterLink *link, int end);
264
265 /**
266  * Insert a new pad.
267  *
268  * @param idx Insertion point. Pad is inserted at the end if this point
269  *            is beyond the end of the list of pads.
270  * @param count Pointer to the number of pads in the list
271  * @param padidx_off Offset within an AVFilterLink structure to the element
272  *                   to increment when inserting a new pad causes link
273  *                   numbering to change
274  * @param pads Pointer to the pointer to the beginning of the list of pads
275  * @param links Pointer to the pointer to the beginning of the list of links
276  * @param newpad The new pad to add. A copy is made when adding.
277  * @return >= 0 in case of success, a negative AVERROR code on error
278  */
279 int ff_insert_pad(unsigned idx, unsigned *count, size_t padidx_off,
280                    AVFilterPad **pads, AVFilterLink ***links,
281                    AVFilterPad *newpad);
282
283 /** Insert a new input pad for the filter. */
284 static inline int ff_insert_inpad(AVFilterContext *f, unsigned index,
285                                    AVFilterPad *p)
286 {
287     return ff_insert_pad(index, &f->nb_inputs, offsetof(AVFilterLink, dstpad),
288                   &f->input_pads, &f->inputs, p);
289 }
290
291 /** Insert a new output pad for the filter. */
292 static inline int ff_insert_outpad(AVFilterContext *f, unsigned index,
293                                     AVFilterPad *p)
294 {
295     return ff_insert_pad(index, &f->nb_outputs, offsetof(AVFilterLink, srcpad),
296                   &f->output_pads, &f->outputs, p);
297 }
298
299 /**
300  * Poll a frame from the filter chain.
301  *
302  * @param  link the input link
303  * @return the number of immediately available frames, a negative
304  * number in case of error
305  */
306 int ff_poll_frame(AVFilterLink *link);
307
308 /**
309  * Request an input frame from the filter at the other end of the link.
310  *
311  * This function must not be used by filters using the activate callback,
312  * use ff_link_set_frame_wanted() instead.
313  *
314  * The input filter may pass the request on to its inputs, fulfill the
315  * request from an internal buffer or any other means specific to its function.
316  *
317  * When the end of a stream is reached AVERROR_EOF is returned and no further
318  * frames are returned after that.
319  *
320  * When a filter is unable to output a frame for example due to its sources
321  * being unable to do so or because it depends on external means pushing data
322  * into it then AVERROR(EAGAIN) is returned.
323  * It is important that a AVERROR(EAGAIN) return is returned all the way to the
324  * caller (generally eventually a user application) as this step may (but does
325  * not have to be) necessary to provide the input with the next frame.
326  *
327  * If a request is successful then some progress has been made towards
328  * providing a frame on the link (through ff_filter_frame()). A filter that
329  * needs several frames to produce one is allowed to return success if one
330  * more frame has been processed but no output has been produced yet. A
331  * filter is also allowed to simply forward a success return value.
332  *
333  * @param link the input link
334  * @return     zero on success
335  *             AVERROR_EOF on end of file
336  *             AVERROR(EAGAIN) if the previous filter cannot output a frame
337  *             currently and can neither guarantee that EOF has been reached.
338  */
339 int ff_request_frame(AVFilterLink *link);
340
341 #define AVFILTER_DEFINE_CLASS(fname)            \
342     static const AVClass fname##_class = {      \
343         .class_name = #fname,                   \
344         .item_name  = av_default_item_name,     \
345         .option     = fname##_options,          \
346         .version    = LIBAVUTIL_VERSION_INT,    \
347         .category   = AV_CLASS_CATEGORY_FILTER, \
348     }
349
350 /**
351  * Find the index of a link.
352  *
353  * I.e. find i such that link == ctx->(in|out)puts[i]
354  */
355 #define FF_INLINK_IDX(link)  ((int)((link)->dstpad - (link)->dst->input_pads))
356 #define FF_OUTLINK_IDX(link) ((int)((link)->srcpad - (link)->src->output_pads))
357
358 /**
359  * Send a frame of data to the next filter.
360  *
361  * @param link   the output link over which the data is being sent
362  * @param frame a reference to the buffer of data being sent. The
363  *              receiving filter will free this reference when it no longer
364  *              needs it or pass it on to the next filter.
365  *
366  * @return >= 0 on success, a negative AVERROR on error. The receiving filter
367  * is responsible for unreferencing frame in case of error.
368  */
369 int ff_filter_frame(AVFilterLink *link, AVFrame *frame);
370
371 /**
372  * Allocate a new filter context and return it.
373  *
374  * @param filter what filter to create an instance of
375  * @param inst_name name to give to the new filter context
376  *
377  * @return newly created filter context or NULL on failure
378  */
379 AVFilterContext *ff_filter_alloc(const AVFilter *filter, const char *inst_name);
380
381 int ff_filter_activate(AVFilterContext *filter);
382
383 /**
384  * Remove a filter from a graph;
385  */
386 void ff_filter_graph_remove_filter(AVFilterGraph *graph, AVFilterContext *filter);
387
388 /**
389  * The filter is aware of hardware frames, and any hardware frame context
390  * should not be automatically propagated through it.
391  */
392 #define FF_FILTER_FLAG_HWFRAME_AWARE (1 << 0)
393
394 /**
395  * Run one round of processing on a filter graph.
396  */
397 int ff_filter_graph_run_once(AVFilterGraph *graph);
398
399 /**
400  * Normalize the qscale factor
401  * FIXME the H264 qscale is a log based scale, mpeg1/2 is not, the code below
402  *       cannot be optimal
403  */
404 static inline int ff_norm_qscale(int qscale, int type)
405 {
406     switch (type) {
407     case FF_QSCALE_TYPE_MPEG1: return qscale;
408     case FF_QSCALE_TYPE_MPEG2: return qscale >> 1;
409     case FF_QSCALE_TYPE_H264:  return qscale >> 2;
410     case FF_QSCALE_TYPE_VP56:  return (63 - qscale + 2) >> 2;
411     }
412     return qscale;
413 }
414
415 /**
416  * Get number of threads for current filter instance.
417  * This number is always same or less than graph->nb_threads.
418  */
419 int ff_filter_get_nb_threads(AVFilterContext *ctx);
420
421 #endif /* AVFILTER_INTERNAL_H */