avfilter/af_pan: fix null pointer dereference on empty token
[ffmpeg.git] / libavfilter / vf_zoompan.c
1 /*
2  * Copyright (c) 2013 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avassert.h"
22 #include "libavutil/eval.h"
23 #include "libavutil/opt.h"
24 #include "libavutil/pixdesc.h"
25 #include "avfilter.h"
26 #include "formats.h"
27 #include "internal.h"
28 #include "video.h"
29 #include "libswscale/swscale.h"
30
31 static const char *const var_names[] = {
32     "in_w",   "iw",
33     "in_h",   "ih",
34     "out_w",  "ow",
35     "out_h",  "oh",
36     "in",
37     "on",
38     "duration",
39     "pduration",
40     "time",
41     "frame",
42     "zoom",
43     "pzoom",
44     "x", "px",
45     "y", "py",
46     "a",
47     "sar",
48     "dar",
49     "hsub",
50     "vsub",
51     NULL
52 };
53
54 enum var_name {
55     VAR_IN_W,   VAR_IW,
56     VAR_IN_H,   VAR_IH,
57     VAR_OUT_W,  VAR_OW,
58     VAR_OUT_H,  VAR_OH,
59     VAR_IN,
60     VAR_ON,
61     VAR_DURATION,
62     VAR_PDURATION,
63     VAR_TIME,
64     VAR_FRAME,
65     VAR_ZOOM,
66     VAR_PZOOM,
67     VAR_X, VAR_PX,
68     VAR_Y, VAR_PY,
69     VAR_A,
70     VAR_SAR,
71     VAR_DAR,
72     VAR_HSUB,
73     VAR_VSUB,
74     VARS_NB
75 };
76
77 typedef struct ZPcontext {
78     const AVClass *class;
79     char *zoom_expr_str;
80     char *x_expr_str;
81     char *y_expr_str;
82     char *duration_expr_str;
83     int w, h;
84     double x, y;
85     double prev_zoom;
86     int prev_nb_frames;
87     struct SwsContext *sws;
88     int64_t frame_count;
89     const AVPixFmtDescriptor *desc;
90     AVFrame *in;
91     double var_values[VARS_NB];
92     int nb_frames;
93     int current_frame;
94     int finished;
95     AVRational framerate;
96 } ZPContext;
97
98 #define OFFSET(x) offsetof(ZPContext, x)
99 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
100 static const AVOption zoompan_options[] = {
101     { "zoom", "set the zoom expression", OFFSET(zoom_expr_str), AV_OPT_TYPE_STRING, {.str = "1" }, .flags = FLAGS },
102     { "z", "set the zoom expression", OFFSET(zoom_expr_str), AV_OPT_TYPE_STRING, {.str = "1" }, .flags = FLAGS },
103     { "x", "set the x expression", OFFSET(x_expr_str), AV_OPT_TYPE_STRING, {.str="0"}, .flags = FLAGS },
104     { "y", "set the y expression", OFFSET(y_expr_str), AV_OPT_TYPE_STRING, {.str="0"}, .flags = FLAGS },
105     { "d", "set the duration expression", OFFSET(duration_expr_str), AV_OPT_TYPE_STRING, {.str="90"}, .flags = FLAGS },
106     { "s", "set the output image size", OFFSET(w), AV_OPT_TYPE_IMAGE_SIZE, {.str="hd720"}, .flags = FLAGS },
107     { "fps", "set the output framerate", OFFSET(framerate), AV_OPT_TYPE_VIDEO_RATE, { .str = "25" }, 0, INT_MAX, .flags = FLAGS },
108     { NULL }
109 };
110
111 AVFILTER_DEFINE_CLASS(zoompan);
112
113 static av_cold int init(AVFilterContext *ctx)
114 {
115     ZPContext *s = ctx->priv;
116
117     s->prev_zoom = 1;
118     return 0;
119 }
120
121 static int config_output(AVFilterLink *outlink)
122 {
123     AVFilterContext *ctx = outlink->src;
124     ZPContext *s = ctx->priv;
125
126     outlink->w = s->w;
127     outlink->h = s->h;
128     outlink->time_base = av_inv_q(s->framerate);
129     outlink->frame_rate = s->framerate;
130     s->desc = av_pix_fmt_desc_get(outlink->format);
131
132     return 0;
133 }
134
135 static int output_single_frame(AVFilterContext *ctx, AVFrame *in, double *var_values, int i,
136                                double *zoom, double *dx, double *dy)
137 {
138     ZPContext *s = ctx->priv;
139     AVFilterLink *outlink = ctx->outputs[0];
140     int64_t pts = s->frame_count;
141     int k, x, y, w, h, ret = 0;
142     uint8_t *input[4];
143     int px[4], py[4];
144     AVFrame *out;
145
146     var_values[VAR_PX]    = s->x;
147     var_values[VAR_PY]    = s->y;
148     var_values[VAR_PZOOM] = s->prev_zoom;
149     var_values[VAR_PDURATION] = s->prev_nb_frames;
150     var_values[VAR_TIME] = pts * av_q2d(outlink->time_base);
151     var_values[VAR_FRAME] = i;
152     var_values[VAR_ON] = outlink->frame_count_in + 1;
153     if ((ret = av_expr_parse_and_eval(zoom, s->zoom_expr_str,
154                                       var_names, var_values,
155                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0)
156         return ret;
157
158     *zoom = av_clipd(*zoom, 1, 10);
159     var_values[VAR_ZOOM] = *zoom;
160     w = in->width * (1.0 / *zoom);
161     h = in->height * (1.0 / *zoom);
162
163     if ((ret = av_expr_parse_and_eval(dx, s->x_expr_str,
164                                       var_names, var_values,
165                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0)
166         return ret;
167     x = *dx = av_clipd(*dx, 0, FFMAX(in->width - w, 0));
168     var_values[VAR_X] = *dx;
169     x &= ~((1 << s->desc->log2_chroma_w) - 1);
170
171     if ((ret = av_expr_parse_and_eval(dy, s->y_expr_str,
172                                       var_names, var_values,
173                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0)
174         return ret;
175     y = *dy = av_clipd(*dy, 0, FFMAX(in->height - h, 0));
176     var_values[VAR_Y] = *dy;
177     y &= ~((1 << s->desc->log2_chroma_h) - 1);
178
179     out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
180     if (!out) {
181         ret = AVERROR(ENOMEM);
182         return ret;
183     }
184
185     px[1] = px[2] = AV_CEIL_RSHIFT(x, s->desc->log2_chroma_w);
186     px[0] = px[3] = x;
187
188     py[1] = py[2] = AV_CEIL_RSHIFT(y, s->desc->log2_chroma_h);
189     py[0] = py[3] = y;
190
191     s->sws = sws_alloc_context();
192     if (!s->sws) {
193         ret = AVERROR(ENOMEM);
194         return ret;
195     }
196
197     for (k = 0; in->data[k]; k++)
198         input[k] = in->data[k] + py[k] * in->linesize[k] + px[k];
199
200     av_opt_set_int(s->sws, "srcw", w, 0);
201     av_opt_set_int(s->sws, "srch", h, 0);
202     av_opt_set_int(s->sws, "src_format", in->format, 0);
203     av_opt_set_int(s->sws, "dstw", outlink->w, 0);
204     av_opt_set_int(s->sws, "dsth", outlink->h, 0);
205     av_opt_set_int(s->sws, "dst_format", outlink->format, 0);
206     av_opt_set_int(s->sws, "sws_flags", SWS_BICUBIC, 0);
207
208     if ((ret = sws_init_context(s->sws, NULL, NULL)) < 0)
209         return ret;
210
211     sws_scale(s->sws, (const uint8_t *const *)&input, in->linesize, 0, h, out->data, out->linesize);
212
213     out->pts = pts;
214     s->frame_count++;
215
216     ret = ff_filter_frame(outlink, out);
217     sws_freeContext(s->sws);
218     s->sws = NULL;
219     s->current_frame++;
220     return ret;
221 }
222
223 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
224 {
225     AVFilterContext *ctx = inlink->dst;
226     AVFilterLink *outlink = ctx->outputs[0];
227     ZPContext *s = ctx->priv;
228     double nb_frames;
229     int ret;
230
231     av_assert0(s->in == NULL);
232
233     s->finished = 0;
234     s->var_values[VAR_IN_W]  = s->var_values[VAR_IW] = in->width;
235     s->var_values[VAR_IN_H]  = s->var_values[VAR_IH] = in->height;
236     s->var_values[VAR_OUT_W] = s->var_values[VAR_OW] = s->w;
237     s->var_values[VAR_OUT_H] = s->var_values[VAR_OH] = s->h;
238     s->var_values[VAR_IN]    = inlink->frame_count_out + 1;
239     s->var_values[VAR_ON]    = outlink->frame_count_in + 1;
240     s->var_values[VAR_PX]    = s->x;
241     s->var_values[VAR_PY]    = s->y;
242     s->var_values[VAR_X]     = 0;
243     s->var_values[VAR_Y]     = 0;
244     s->var_values[VAR_PZOOM] = s->prev_zoom;
245     s->var_values[VAR_ZOOM]  = 1;
246     s->var_values[VAR_PDURATION] = s->prev_nb_frames;
247     s->var_values[VAR_A]     = (double) in->width / in->height;
248     s->var_values[VAR_SAR]   = inlink->sample_aspect_ratio.num ?
249         (double) inlink->sample_aspect_ratio.num / inlink->sample_aspect_ratio.den : 1;
250     s->var_values[VAR_DAR]   = s->var_values[VAR_A] * s->var_values[VAR_SAR];
251     s->var_values[VAR_HSUB]  = 1 << s->desc->log2_chroma_w;
252     s->var_values[VAR_VSUB]  = 1 << s->desc->log2_chroma_h;
253
254     if ((ret = av_expr_parse_and_eval(&nb_frames, s->duration_expr_str,
255                                       var_names, s->var_values,
256                                       NULL, NULL, NULL, NULL, NULL, 0, ctx)) < 0) {
257         av_frame_free(&in);
258         return ret;
259     }
260
261     s->var_values[VAR_DURATION] = s->nb_frames = nb_frames;
262     s->in = in;
263
264     return 0;
265 }
266
267 static int request_frame(AVFilterLink *outlink)
268 {
269     AVFilterContext *ctx = outlink->src;
270     ZPContext *s = ctx->priv;
271     AVFrame *in = s->in;
272     double zoom=-1, dx=-1, dy=-1;
273     int ret = -1;
274
275     if (in) {
276         ret = output_single_frame(ctx, in, s->var_values, s->current_frame,
277                                   &zoom, &dx, &dy);
278         if (ret < 0)
279             goto fail;
280     }
281
282     if (s->current_frame >= s->nb_frames) {
283         if (dx != -1)
284             s->x = dx;
285         if (dy != -1)
286             s->y = dy;
287         if (zoom != -1)
288             s->prev_zoom = zoom;
289         s->prev_nb_frames = s->nb_frames;
290         s->nb_frames = 0;
291         s->current_frame = 0;
292         av_frame_free(&s->in);
293         s->finished = 1;
294         ret = ff_request_frame(ctx->inputs[0]);
295     }
296
297 fail:
298     sws_freeContext(s->sws);
299     s->sws = NULL;
300
301     return ret;
302 }
303
304 static int poll_frame(AVFilterLink *link)
305 {
306     ZPContext *s = link->src->priv;
307     return s->nb_frames - s->current_frame;
308 }
309
310 static int query_formats(AVFilterContext *ctx)
311 {
312     static const enum AVPixelFormat pix_fmts[] = {
313         AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV422P,
314         AV_PIX_FMT_YUV420P,  AV_PIX_FMT_YUV411P,
315         AV_PIX_FMT_YUV410P,  AV_PIX_FMT_YUV440P,
316         AV_PIX_FMT_YUVA444P, AV_PIX_FMT_YUVA422P,
317         AV_PIX_FMT_YUVA420P,
318         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ440P,
319         AV_PIX_FMT_YUVJ422P, AV_PIX_FMT_YUVJ420P,
320         AV_PIX_FMT_YUVJ411P,
321         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP,
322         AV_PIX_FMT_GRAY8,
323         AV_PIX_FMT_NONE
324     };
325
326     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
327     if (!fmts_list)
328         return AVERROR(ENOMEM);
329     return ff_set_common_formats(ctx, fmts_list);
330 }
331
332 static av_cold void uninit(AVFilterContext *ctx)
333 {
334     ZPContext *s = ctx->priv;
335
336     sws_freeContext(s->sws);
337     s->sws = NULL;
338 }
339
340 static const AVFilterPad inputs[] = {
341     {
342         .name         = "default",
343         .type         = AVMEDIA_TYPE_VIDEO,
344         .filter_frame = filter_frame,
345         .needs_fifo   = 1,
346     },
347     { NULL }
348 };
349
350 static const AVFilterPad outputs[] = {
351     {
352         .name          = "default",
353         .type          = AVMEDIA_TYPE_VIDEO,
354         .config_props  = config_output,
355         .poll_frame    = poll_frame,
356         .request_frame = request_frame,
357     },
358     { NULL }
359 };
360
361 AVFilter ff_vf_zoompan = {
362     .name          = "zoompan",
363     .description   = NULL_IF_CONFIG_SMALL("Apply Zoom & Pan effect."),
364     .priv_size     = sizeof(ZPContext),
365     .priv_class    = &zoompan_class,
366     .init          = init,
367     .uninit        = uninit,
368     .query_formats = query_formats,
369     .inputs        = inputs,
370     .outputs       = outputs,
371     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
372 };