avcodec/utils: Check bits_per_coded_sample
[ffmpeg.git] / libavfilter / vf_hue.c
1 /*
2  * Copyright (c) 2003 Michael Niedermayer
3  * Copyright (c) 2012 Jeremy Tran
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Apply a hue/saturation filter to the input video
25  * Ported from MPlayer libmpcodecs/vf_hue.c.
26  */
27
28 #include <float.h>
29 #include "libavutil/eval.h"
30 #include "libavutil/imgutils.h"
31 #include "libavutil/opt.h"
32 #include "libavutil/pixdesc.h"
33
34 #include "avfilter.h"
35 #include "formats.h"
36 #include "internal.h"
37 #include "video.h"
38
39 #define SAT_MIN_VAL -10
40 #define SAT_MAX_VAL 10
41
42 static const char *const var_names[] = {
43     "n",   // frame count
44     "pts", // presentation timestamp expressed in AV_TIME_BASE units
45     "r",   // frame rate
46     "t",   // timestamp expressed in seconds
47     "tb",  // timebase
48     NULL
49 };
50
51 enum var_name {
52     VAR_N,
53     VAR_PTS,
54     VAR_R,
55     VAR_T,
56     VAR_TB,
57     VAR_NB
58 };
59
60 typedef struct HueContext {
61     const    AVClass *class;
62     float    hue_deg; /* hue expressed in degrees */
63     float    hue; /* hue expressed in radians */
64     char     *hue_deg_expr;
65     char     *hue_expr;
66     AVExpr   *hue_deg_pexpr;
67     AVExpr   *hue_pexpr;
68     float    saturation;
69     char     *saturation_expr;
70     AVExpr   *saturation_pexpr;
71     float    brightness;
72     char     *brightness_expr;
73     AVExpr   *brightness_pexpr;
74     int      hsub;
75     int      vsub;
76     int is_first;
77     int32_t hue_sin;
78     int32_t hue_cos;
79     double   var_values[VAR_NB];
80     uint8_t  lut_l[256];
81     uint8_t  lut_u[256][256];
82     uint8_t  lut_v[256][256];
83     uint16_t  lut_l16[65536];
84     uint16_t  lut_u10[1024][1024];
85     uint16_t  lut_v10[1024][1024];
86 } HueContext;
87
88 #define OFFSET(x) offsetof(HueContext, x)
89 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
90 static const AVOption hue_options[] = {
91     { "h", "set the hue angle degrees expression", OFFSET(hue_deg_expr), AV_OPT_TYPE_STRING,
92       { .str = NULL }, .flags = FLAGS },
93     { "s", "set the saturation expression", OFFSET(saturation_expr), AV_OPT_TYPE_STRING,
94       { .str = "1" }, .flags = FLAGS },
95     { "H", "set the hue angle radians expression", OFFSET(hue_expr), AV_OPT_TYPE_STRING,
96       { .str = NULL }, .flags = FLAGS },
97     { "b", "set the brightness expression", OFFSET(brightness_expr), AV_OPT_TYPE_STRING,
98       { .str = "0" }, .flags = FLAGS },
99     { NULL }
100 };
101
102 AVFILTER_DEFINE_CLASS(hue);
103
104 static inline void compute_sin_and_cos(HueContext *hue)
105 {
106     /*
107      * Scale the value to the norm of the resulting (U,V) vector, that is
108      * the saturation.
109      * This will be useful in the apply_lut function.
110      */
111     hue->hue_sin = lrint(sin(hue->hue) * (1 << 16) * hue->saturation);
112     hue->hue_cos = lrint(cos(hue->hue) * (1 << 16) * hue->saturation);
113 }
114
115 static inline void create_luma_lut(HueContext *h)
116 {
117     const float b = h->brightness;
118     int i;
119
120     for (i = 0; i < 256; i++) {
121         h->lut_l[i] = av_clip_uint8(i + b * 25.5);
122     }
123     for (i = 0; i < 65536; i++) {
124         h->lut_l16[i] = av_clip_uintp2(i + b * 102.4, 10);
125     }
126 }
127
128 static inline void create_chrominance_lut(HueContext *h, const int32_t c,
129                                           const int32_t s)
130 {
131     int32_t i, j, u, v, new_u, new_v;
132
133     /*
134      * If we consider U and V as the components of a 2D vector then its angle
135      * is the hue and the norm is the saturation
136      */
137     for (i = 0; i < 256; i++) {
138         for (j = 0; j < 256; j++) {
139             /* Normalize the components from range [16;140] to [-112;112] */
140             u = i - 128;
141             v = j - 128;
142             /*
143              * Apply the rotation of the vector : (c * u) - (s * v)
144              *                                    (s * u) + (c * v)
145              * De-normalize the components (without forgetting to scale 128
146              * by << 16)
147              * Finally scale back the result by >> 16
148              */
149             new_u = ((c * u) - (s * v) + (1 << 15) + (128 << 16)) >> 16;
150             new_v = ((s * u) + (c * v) + (1 << 15) + (128 << 16)) >> 16;
151
152             /* Prevent a potential overflow */
153             h->lut_u[i][j] = av_clip_uint8(new_u);
154             h->lut_v[i][j] = av_clip_uint8(new_v);
155         }
156     }
157     for (i = 0; i < 1024; i++) {
158         for (j = 0; j < 1024; j++) {
159             u = i - 512;
160             v = j - 512;
161             /*
162              * Apply the rotation of the vector : (c * u) - (s * v)
163              *                                    (s * u) + (c * v)
164              * De-normalize the components (without forgetting to scale 512
165              * by << 16)
166              * Finally scale back the result by >> 16
167              */
168             new_u = ((c * u) - (s * v) + (1 << 15) + (512 << 16)) >> 16;
169             new_v = ((s * u) + (c * v) + (1 << 15) + (512 << 16)) >> 16;
170
171             /* Prevent a potential overflow */
172             h->lut_u10[i][j] = av_clip_uintp2(new_u, 10);
173             h->lut_v10[i][j] = av_clip_uintp2(new_v, 10);
174         }
175     }
176 }
177
178 static int set_expr(AVExpr **pexpr_ptr, char **expr_ptr,
179                     const char *expr, const char *option, void *log_ctx)
180 {
181     int ret;
182     AVExpr *new_pexpr;
183     char *new_expr;
184
185     new_expr = av_strdup(expr);
186     if (!new_expr)
187         return AVERROR(ENOMEM);
188     ret = av_expr_parse(&new_pexpr, expr, var_names,
189                         NULL, NULL, NULL, NULL, 0, log_ctx);
190     if (ret < 0) {
191         av_log(log_ctx, AV_LOG_ERROR,
192                "Error when evaluating the expression '%s' for %s\n",
193                expr, option);
194         av_free(new_expr);
195         return ret;
196     }
197
198     if (*pexpr_ptr)
199         av_expr_free(*pexpr_ptr);
200     *pexpr_ptr = new_pexpr;
201     av_freep(expr_ptr);
202     *expr_ptr = new_expr;
203
204     return 0;
205 }
206
207 static av_cold int init(AVFilterContext *ctx)
208 {
209     HueContext *hue = ctx->priv;
210     int ret;
211
212     if (hue->hue_expr && hue->hue_deg_expr) {
213         av_log(ctx, AV_LOG_ERROR,
214                "H and h options are incompatible and cannot be specified "
215                "at the same time\n");
216         return AVERROR(EINVAL);
217     }
218
219 #define SET_EXPR(expr, option)                                          \
220     if (hue->expr##_expr) do {                                          \
221         ret = set_expr(&hue->expr##_pexpr, &hue->expr##_expr,           \
222                        hue->expr##_expr, option, ctx);                  \
223         if (ret < 0)                                                    \
224             return ret;                                                 \
225     } while (0)
226     SET_EXPR(brightness, "b");
227     SET_EXPR(saturation, "s");
228     SET_EXPR(hue_deg,    "h");
229     SET_EXPR(hue,        "H");
230 #undef SET_EXPR
231
232     av_log(ctx, AV_LOG_VERBOSE,
233            "H_expr:%s h_deg_expr:%s s_expr:%s b_expr:%s\n",
234            hue->hue_expr, hue->hue_deg_expr, hue->saturation_expr, hue->brightness_expr);
235     compute_sin_and_cos(hue);
236     hue->is_first = 1;
237
238     return 0;
239 }
240
241 static av_cold void uninit(AVFilterContext *ctx)
242 {
243     HueContext *hue = ctx->priv;
244
245     av_expr_free(hue->brightness_pexpr);
246     av_expr_free(hue->hue_deg_pexpr);
247     av_expr_free(hue->hue_pexpr);
248     av_expr_free(hue->saturation_pexpr);
249 }
250
251 static int query_formats(AVFilterContext *ctx)
252 {
253     static const enum AVPixelFormat pix_fmts[] = {
254         AV_PIX_FMT_YUV444P,      AV_PIX_FMT_YUV422P,
255         AV_PIX_FMT_YUV420P,      AV_PIX_FMT_YUV411P,
256         AV_PIX_FMT_YUV410P,      AV_PIX_FMT_YUV440P,
257         AV_PIX_FMT_YUVA444P,     AV_PIX_FMT_YUVA422P,
258         AV_PIX_FMT_YUVA420P,
259         AV_PIX_FMT_YUV444P10,      AV_PIX_FMT_YUV422P10,
260         AV_PIX_FMT_YUV420P10,
261         AV_PIX_FMT_YUV440P10,
262         AV_PIX_FMT_YUVA444P10,     AV_PIX_FMT_YUVA422P10,
263         AV_PIX_FMT_YUVA420P10,
264         AV_PIX_FMT_NONE
265     };
266     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
267     if (!fmts_list)
268         return AVERROR(ENOMEM);
269     return ff_set_common_formats(ctx, fmts_list);
270 }
271
272 static int config_props(AVFilterLink *inlink)
273 {
274     HueContext *hue = inlink->dst->priv;
275     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
276
277     hue->hsub = desc->log2_chroma_w;
278     hue->vsub = desc->log2_chroma_h;
279
280     hue->var_values[VAR_N]  = 0;
281     hue->var_values[VAR_TB] = av_q2d(inlink->time_base);
282     hue->var_values[VAR_R]  = inlink->frame_rate.num == 0 || inlink->frame_rate.den == 0 ?
283         NAN : av_q2d(inlink->frame_rate);
284
285     return 0;
286 }
287
288 static void apply_luma_lut(HueContext *s,
289                            uint8_t *ldst, const int dst_linesize,
290                            uint8_t *lsrc, const int src_linesize,
291                            int w, int h)
292 {
293     int i;
294
295     while (h--) {
296         for (i = 0; i < w; i++)
297             ldst[i] = s->lut_l[lsrc[i]];
298
299         lsrc += src_linesize;
300         ldst += dst_linesize;
301     }
302 }
303
304 static void apply_luma_lut10(HueContext *s,
305                              uint16_t *ldst, const int dst_linesize,
306                              uint16_t *lsrc, const int src_linesize,
307                              int w, int h)
308 {
309     int i;
310
311     while (h--) {
312         for (i = 0; i < w; i++)
313             ldst[i] = s->lut_l16[lsrc[i]];
314
315         lsrc += src_linesize;
316         ldst += dst_linesize;
317     }
318 }
319
320 static void apply_lut(HueContext *s,
321                       uint8_t *udst, uint8_t *vdst, const int dst_linesize,
322                       uint8_t *usrc, uint8_t *vsrc, const int src_linesize,
323                       int w, int h)
324 {
325     int i;
326
327     while (h--) {
328         for (i = 0; i < w; i++) {
329             const int u = usrc[i];
330             const int v = vsrc[i];
331
332             udst[i] = s->lut_u[u][v];
333             vdst[i] = s->lut_v[u][v];
334         }
335
336         usrc += src_linesize;
337         vsrc += src_linesize;
338         udst += dst_linesize;
339         vdst += dst_linesize;
340     }
341 }
342
343 static void apply_lut10(HueContext *s,
344                       uint16_t *udst, uint16_t *vdst, const int dst_linesize,
345                       uint16_t *usrc, uint16_t *vsrc, const int src_linesize,
346                       int w, int h)
347 {
348     int i;
349
350     while (h--) {
351         for (i = 0; i < w; i++) {
352             const int u = av_clip_uintp2(usrc[i], 10);
353             const int v = av_clip_uintp2(vsrc[i], 10);
354
355             udst[i] = s->lut_u10[u][v];
356             vdst[i] = s->lut_v10[u][v];
357         }
358
359         usrc += src_linesize;
360         vsrc += src_linesize;
361         udst += dst_linesize;
362         vdst += dst_linesize;
363     }
364 }
365
366 #define TS2D(ts) ((ts) == AV_NOPTS_VALUE ? NAN : (double)(ts))
367 #define TS2T(ts, tb) ((ts) == AV_NOPTS_VALUE ? NAN : (double)(ts) * av_q2d(tb))
368
369 static int filter_frame(AVFilterLink *inlink, AVFrame *inpic)
370 {
371     HueContext *hue = inlink->dst->priv;
372     AVFilterLink *outlink = inlink->dst->outputs[0];
373     AVFrame *outpic;
374     const int32_t old_hue_sin = hue->hue_sin, old_hue_cos = hue->hue_cos;
375     const float old_brightness = hue->brightness;
376     int direct = 0;
377     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
378     const int bps = desc->comp[0].depth > 8 ? 2 : 1;
379
380     if (av_frame_is_writable(inpic)) {
381         direct = 1;
382         outpic = inpic;
383     } else {
384         outpic = ff_get_video_buffer(outlink, outlink->w, outlink->h);
385         if (!outpic) {
386             av_frame_free(&inpic);
387             return AVERROR(ENOMEM);
388         }
389         av_frame_copy_props(outpic, inpic);
390     }
391
392     hue->var_values[VAR_N]   = inlink->frame_count_out;
393     hue->var_values[VAR_T]   = TS2T(inpic->pts, inlink->time_base);
394     hue->var_values[VAR_PTS] = TS2D(inpic->pts);
395
396     if (hue->saturation_expr) {
397         hue->saturation = av_expr_eval(hue->saturation_pexpr, hue->var_values, NULL);
398
399         if (hue->saturation < SAT_MIN_VAL || hue->saturation > SAT_MAX_VAL) {
400             hue->saturation = av_clip(hue->saturation, SAT_MIN_VAL, SAT_MAX_VAL);
401             av_log(inlink->dst, AV_LOG_WARNING,
402                    "Saturation value not in range [%d,%d]: clipping value to %0.1f\n",
403                    SAT_MIN_VAL, SAT_MAX_VAL, hue->saturation);
404         }
405     }
406
407     if (hue->brightness_expr) {
408         hue->brightness = av_expr_eval(hue->brightness_pexpr, hue->var_values, NULL);
409
410         if (hue->brightness < -10 || hue->brightness > 10) {
411             hue->brightness = av_clipf(hue->brightness, -10, 10);
412             av_log(inlink->dst, AV_LOG_WARNING,
413                    "Brightness value not in range [%d,%d]: clipping value to %0.1f\n",
414                    -10, 10, hue->brightness);
415         }
416     }
417
418     if (hue->hue_deg_expr) {
419         hue->hue_deg = av_expr_eval(hue->hue_deg_pexpr, hue->var_values, NULL);
420         hue->hue = hue->hue_deg * M_PI / 180;
421     } else if (hue->hue_expr) {
422         hue->hue = av_expr_eval(hue->hue_pexpr, hue->var_values, NULL);
423         hue->hue_deg = hue->hue * 180 / M_PI;
424     }
425
426     av_log(inlink->dst, AV_LOG_DEBUG,
427            "H:%0.1f*PI h:%0.1f s:%0.1f b:%0.f t:%0.1f n:%d\n",
428            hue->hue/M_PI, hue->hue_deg, hue->saturation, hue->brightness,
429            hue->var_values[VAR_T], (int)hue->var_values[VAR_N]);
430
431     compute_sin_and_cos(hue);
432     if (hue->is_first || (old_hue_sin != hue->hue_sin || old_hue_cos != hue->hue_cos))
433         create_chrominance_lut(hue, hue->hue_cos, hue->hue_sin);
434
435     if (hue->is_first || (old_brightness != hue->brightness && hue->brightness))
436         create_luma_lut(hue);
437
438     if (!direct) {
439         if (!hue->brightness)
440             av_image_copy_plane(outpic->data[0], outpic->linesize[0],
441                                 inpic->data[0],   inpic->linesize[0],
442                                 inlink->w * bps, inlink->h);
443         if (inpic->data[3])
444             av_image_copy_plane(outpic->data[3], outpic->linesize[3],
445                                 inpic->data[3],   inpic->linesize[3],
446                                 inlink->w * bps, inlink->h);
447     }
448
449     if (bps > 1) {
450         apply_lut10(hue, (uint16_t*)outpic->data[1], (uint16_t*)outpic->data[2], outpic->linesize[1]/2,
451                          (uint16_t*) inpic->data[1], (uint16_t*) inpic->data[2],  inpic->linesize[1]/2,
452                     AV_CEIL_RSHIFT(inlink->w, hue->hsub),
453                     AV_CEIL_RSHIFT(inlink->h, hue->vsub));
454         if (hue->brightness)
455             apply_luma_lut10(hue, (uint16_t*)outpic->data[0], outpic->linesize[0]/2,
456                                   (uint16_t*) inpic->data[0],  inpic->linesize[0]/2, inlink->w, inlink->h);
457     } else {
458         apply_lut(hue, outpic->data[1], outpic->data[2], outpic->linesize[1],
459                        inpic->data[1],   inpic->data[2],  inpic->linesize[1],
460                   AV_CEIL_RSHIFT(inlink->w, hue->hsub),
461                   AV_CEIL_RSHIFT(inlink->h, hue->vsub));
462         if (hue->brightness)
463             apply_luma_lut(hue, outpic->data[0], outpic->linesize[0],
464                                 inpic->data[0],  inpic->linesize[0], inlink->w, inlink->h);
465     }
466
467     if (!direct)
468         av_frame_free(&inpic);
469
470     hue->is_first = 0;
471     return ff_filter_frame(outlink, outpic);
472 }
473
474 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
475                            char *res, int res_len, int flags)
476 {
477     HueContext *hue = ctx->priv;
478     int ret;
479
480 #define SET_EXPR(expr, option)                                          \
481     do {                                                                \
482         ret = set_expr(&hue->expr##_pexpr, &hue->expr##_expr,           \
483                        args, option, ctx);                              \
484         if (ret < 0)                                                    \
485             return ret;                                                 \
486     } while (0)
487
488     if (!strcmp(cmd, "h")) {
489         SET_EXPR(hue_deg, "h");
490         av_freep(&hue->hue_expr);
491     } else if (!strcmp(cmd, "H")) {
492         SET_EXPR(hue, "H");
493         av_freep(&hue->hue_deg_expr);
494     } else if (!strcmp(cmd, "s")) {
495         SET_EXPR(saturation, "s");
496     } else if (!strcmp(cmd, "b")) {
497         SET_EXPR(brightness, "b");
498     } else
499         return AVERROR(ENOSYS);
500
501     return 0;
502 }
503
504 static const AVFilterPad hue_inputs[] = {
505     {
506         .name         = "default",
507         .type         = AVMEDIA_TYPE_VIDEO,
508         .filter_frame = filter_frame,
509         .config_props = config_props,
510     },
511     { NULL }
512 };
513
514 static const AVFilterPad hue_outputs[] = {
515     {
516         .name = "default",
517         .type = AVMEDIA_TYPE_VIDEO,
518     },
519     { NULL }
520 };
521
522 AVFilter ff_vf_hue = {
523     .name            = "hue",
524     .description     = NULL_IF_CONFIG_SMALL("Adjust the hue and saturation of the input video."),
525     .priv_size       = sizeof(HueContext),
526     .init            = init,
527     .uninit          = uninit,
528     .query_formats   = query_formats,
529     .process_command = process_command,
530     .inputs          = hue_inputs,
531     .outputs         = hue_outputs,
532     .priv_class      = &hue_class,
533     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
534 };