avfilter/vf_zoompan: rewrite so it doesn't cache all output frames
[ffmpeg.git] / libavfilter / vf_zoompan.c
1 /*
2  * Copyright (c) 2013 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/eval.h"
23 #include "libavutil/opt.h"
24 #include "libavutil/pixdesc.h"
25 #include "avfilter.h"
26 #include "formats.h"
27 #include "internal.h"
28 #include "video.h"
29 #include "libswscale/swscale.h"
30
31 static const char *const var_names[] = {
32     "in_w",   "iw",
33     "in_h",   "ih",
34     "out_w",  "ow",
35     "out_h",  "oh",
36     "in",
37     "on",
38     "duration",
39     "pduration",
40     "time",
41     "frame",
42     "zoom",
43     "pzoom",
44     "x", "px",
45     "y", "py",
46     "a",
47     "sar",
48     "dar",
49     "hsub",
50     "vsub",
51     NULL
52 };
53
54 enum var_name {
55     VAR_IN_W,   VAR_IW,
56     VAR_IN_H,   VAR_IH,
57     VAR_OUT_W,  VAR_OW,
58     VAR_OUT_H,  VAR_OH,
59     VAR_IN,
60     VAR_ON,
61     VAR_DURATION,
62     VAR_PDURATION,
63     VAR_TIME,
64     VAR_FRAME,
65     VAR_ZOOM,
66     VAR_PZOOM,
67     VAR_X, VAR_PX,
68     VAR_Y, VAR_PY,
69     VAR_A,
70     VAR_SAR,
71     VAR_DAR,
72     VAR_HSUB,
73     VAR_VSUB,
74     VARS_NB
75 };
76
77 typedef struct ZPcontext {
78     const AVClass *class;
79     char *zoom_expr_str;
80     char *x_expr_str;
81     char *y_expr_str;
82     char *duration_expr_str;
83     int w, h;
84     double x, y;
85     double prev_zoom;
86     int prev_nb_frames;
87     struct SwsContext *sws;
88     int64_t frame_count;
89     const AVPixFmtDescriptor *desc;
90     AVFrame *in;
91     double var_values[VARS_NB];
92     int nb_frames;
93     int current_frame;
94     int finished;
95 } ZPContext;
96
97 #define OFFSET(x) offsetof(ZPContext, x)
98 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
99 static const AVOption zoompan_options[] = {
100     { "zoom", "set the zoom expression", OFFSET(zoom_expr_str), AV_OPT_TYPE_STRING, {.str = "1" }, .flags = FLAGS },
101     { "z", "set the zoom expression", OFFSET(zoom_expr_str), AV_OPT_TYPE_STRING, {.str = "1" }, .flags = FLAGS },
102     { "x", "set the x expression", OFFSET(x_expr_str), AV_OPT_TYPE_STRING, {.str="0"}, .flags = FLAGS },
103     { "y", "set the y expression", OFFSET(y_expr_str), AV_OPT_TYPE_STRING, {.str="0"}, .flags = FLAGS },
104     { "d", "set the duration expression", OFFSET(duration_expr_str), AV_OPT_TYPE_STRING, {.str="90"}, .flags = FLAGS },
105     { "s", "set the output image size", OFFSET(w), AV_OPT_TYPE_IMAGE_SIZE, {.str="hd720"}, .flags = FLAGS },
106     { NULL }
107 };
108
109 AVFILTER_DEFINE_CLASS(zoompan);
110
111 static av_cold int init(AVFilterContext *ctx)
112 {
113     ZPContext *s = ctx->priv;
114
115     s->prev_zoom = 1;
116     return 0;
117 }
118
119 static int config_output(AVFilterLink *outlink)
120 {
121     AVFilterContext *ctx = outlink->src;
122     ZPContext *s = ctx->priv;
123
124     outlink->w = s->w;
125     outlink->h = s->h;
126     s->desc = av_pix_fmt_desc_get(outlink->format);
127
128     return 0;
129 }
130
131 static int output_single_frame(AVFilterContext *ctx, AVFrame *in, double *var_values, int i,
132                                double *zoom, double *dx, double *dy)
133 {
134     ZPContext *s = ctx->priv;
135     AVFilterLink *outlink = ctx->outputs[0];
136     int64_t pts = av_rescale_q(in->pts, ctx->inputs[0]->time_base,
137                                outlink->time_base) + s->frame_count;
138     int k, x, y, w, h, ret = 0;
139     uint8_t *input[4];
140     int px[4], py[4];
141     AVFrame *out;
142
143     var_values[VAR_TIME] = pts * av_q2d(outlink->time_base);
144     var_values[VAR_FRAME] = i;
145     var_values[VAR_ON] = outlink->frame_count + 1;
146     if ((ret = av_expr_parse_and_eval(zoom, s->zoom_expr_str,
147                                       var_names, var_values,
148                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0)
149         return ret;
150
151     *zoom = av_clipd(*zoom, 1, 10);
152     var_values[VAR_ZOOM] = *zoom;
153     w = in->width * (1.0 / *zoom);
154     h = in->height * (1.0 / *zoom);
155
156     if ((ret = av_expr_parse_and_eval(dx, s->x_expr_str,
157                                       var_names, var_values,
158                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0)
159         return ret;
160     x = *dx = av_clipd(*dx, 0, FFMAX(in->width - w, 0));
161     var_values[VAR_X] = *dx;
162     x &= ~((1 << s->desc->log2_chroma_w) - 1);
163
164     if ((ret = av_expr_parse_and_eval(dy, s->y_expr_str,
165                                       var_names, var_values,
166                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0)
167         return ret;
168     y = *dy = av_clipd(*dy, 0, FFMAX(in->height - h, 0));
169     var_values[VAR_Y] = *dy;
170     y &= ~((1 << s->desc->log2_chroma_h) - 1);
171
172     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
173     if (!out) {
174         ret = AVERROR(ENOMEM);
175         return ret;
176     }
177
178     px[1] = px[2] = FF_CEIL_RSHIFT(x, s->desc->log2_chroma_w);
179     px[0] = px[3] = x;
180
181     py[1] = py[2] = FF_CEIL_RSHIFT(y, s->desc->log2_chroma_h);
182     py[0] = py[3] = y;
183
184     s->sws = sws_alloc_context();
185     if (!s->sws) {
186         ret = AVERROR(ENOMEM);
187         return ret;
188     }
189
190     for (k = 0; in->data[k]; k++)
191         input[k] = in->data[k] + py[k] * in->linesize[k] + px[k];
192
193     av_opt_set_int(s->sws, "srcw", w, 0);
194     av_opt_set_int(s->sws, "srch", h, 0);
195     av_opt_set_int(s->sws, "src_format", in->format, 0);
196     av_opt_set_int(s->sws, "dstw", outlink->w, 0);
197     av_opt_set_int(s->sws, "dsth", outlink->h, 0);
198     av_opt_set_int(s->sws, "dst_format", outlink->format, 0);
199     av_opt_set_int(s->sws, "sws_flags", SWS_BICUBIC, 0);
200
201     if ((ret = sws_init_context(s->sws, NULL, NULL)) < 0)
202         return ret;
203
204     sws_scale(s->sws, (const uint8_t *const *)&input, in->linesize, 0, h, out->data, out->linesize);
205
206     out->pts = pts;
207     s->frame_count++;
208
209     ret = ff_filter_frame(outlink, out);
210     sws_freeContext(s->sws);
211     s->sws = NULL;
212     s->current_frame++;
213     return ret;
214 }
215
216 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
217 {
218     AVFilterContext *ctx = inlink->dst;
219     AVFilterLink *outlink = ctx->outputs[0];
220     ZPContext *s = ctx->priv;
221     double nb_frames;
222     int ret;
223
224     if (s->in) {
225         av_frame_free(&in);
226         return 0;
227     }
228
229     s->finished = 0;
230     s->var_values[VAR_IN_W]  = s->var_values[VAR_IW] = in->width;
231     s->var_values[VAR_IN_H]  = s->var_values[VAR_IH] = in->height;
232     s->var_values[VAR_OUT_W] = s->var_values[VAR_OW] = s->w;
233     s->var_values[VAR_OUT_H] = s->var_values[VAR_OH] = s->h;
234     s->var_values[VAR_IN]    = inlink->frame_count + 1;
235     s->var_values[VAR_ON]    = outlink->frame_count + 1;
236     s->var_values[VAR_PX]    = s->x;
237     s->var_values[VAR_PY]    = s->y;
238     s->var_values[VAR_X]     = 0;
239     s->var_values[VAR_Y]     = 0;
240     s->var_values[VAR_PZOOM] = s->prev_zoom;
241     s->var_values[VAR_ZOOM]  = 1;
242     s->var_values[VAR_PDURATION] = s->prev_nb_frames;
243     s->var_values[VAR_A]     = (double) in->width / in->height;
244     s->var_values[VAR_SAR]   = inlink->sample_aspect_ratio.num ?
245         (double) inlink->sample_aspect_ratio.num / inlink->sample_aspect_ratio.den : 1;
246     s->var_values[VAR_DAR]   = s->var_values[VAR_A] * s->var_values[VAR_SAR];
247     s->var_values[VAR_HSUB]  = 1 << s->desc->log2_chroma_w;
248     s->var_values[VAR_VSUB]  = 1 << s->desc->log2_chroma_h;
249
250     if ((ret = av_expr_parse_and_eval(&nb_frames, s->duration_expr_str,
251                                       var_names, s->var_values,
252                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0) {
253         av_frame_free(&in);
254         return ret;
255     }
256
257     s->var_values[VAR_DURATION] = s->nb_frames = nb_frames;
258     s->in = in;
259
260     return 0;
261 }
262
263 static int request_frame(AVFilterLink *outlink)
264 {
265     AVFilterContext *ctx = outlink->src;
266     ZPContext *s = ctx->priv;
267     AVFrame *in = s->in;
268     double zoom, dx, dy;
269     int ret;
270
271     if (in) {
272         ret = output_single_frame(ctx, in, s->var_values, s->current_frame,
273                                   &zoom, &dx, &dy);
274         if (ret < 0)
275             goto fail;
276     }
277
278     if (s->current_frame >= s->nb_frames) {
279         s->x = dx;
280         s->y = dy;
281         s->prev_zoom = zoom;
282         s->prev_nb_frames = s->nb_frames;
283         s->nb_frames = 0;
284         s->current_frame = 0;
285         av_frame_free(&s->in);
286         ret = 0;
287         s->finished = 1;
288         ret = ff_request_frame(ctx->inputs[0]);
289     }
290
291 fail:
292     sws_freeContext(s->sws);
293     s->sws = NULL;
294
295     return ret;
296 }
297
298 static int poll_frame(AVFilterLink *link)
299 {
300     ZPContext *s = link->src->priv;
301     return s->nb_frames - s->current_frame;
302 }
303
304 static int query_formats(AVFilterContext *ctx)
305 {
306     static const enum AVPixelFormat pix_fmts[] = {
307         AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV422P,
308         AV_PIX_FMT_YUV420P,  AV_PIX_FMT_YUV411P,
309         AV_PIX_FMT_YUV410P,  AV_PIX_FMT_YUV440P,
310         AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUVA422P,
311         AV_PIX_FMT_YUVA420P,
312         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ440P,
313         AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ420P,
314         AV_PIX_FMT_YUVJ411P,
315         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP,
316         AV_PIX_FMT_GRAY8,
317         AV_PIX_FMT_NONE
318     };
319
320     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
321     if (!fmts_list)
322         return AVERROR(ENOMEM);
323     return ff_set_common_formats(ctx, fmts_list);
324 }
325
326 static av_cold void uninit(AVFilterContext *ctx)
327 {
328     ZPContext *s = ctx->priv;
329
330     sws_freeContext(s->sws);
331     s->sws = NULL;
332 }
333
334 static const AVFilterPad inputs[] = {
335     {
336         .name         = "default",
337         .type         = AVMEDIA_TYPE_VIDEO,
338         .filter_frame = filter_frame,
339     },
340     { NULL }
341 };
342
343 static const AVFilterPad outputs[] = {
344     {
345         .name          = "default",
346         .type          = AVMEDIA_TYPE_VIDEO,
347         .config_props  = config_output,
348         .poll_frame    = poll_frame,
349         .request_frame = request_frame,
350     },
351     { NULL }
352 };
353
354 AVFilter ff_vf_zoompan = {
355     .name          = "zoompan",
356     .description   = NULL_IF_CONFIG_SMALL("Apply Zoom & Pan effect."),
357     .priv_size     = sizeof(ZPContext),
358     .priv_class    = &zoompan_class,
359     .init          = init,
360     .uninit        = uninit,
361     .query_formats = query_formats,
362     .inputs        = inputs,
363     .outputs       = outputs,
364     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
365 };