Merge commit 'a6a750c7ef240b72ce01e9653343a0ddf247d196'
[ffmpeg.git] / libavfilter / vf_extractplanes.c
1 /*
2  * Copyright (c) 2013 Paul B Mahol
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/avstring.h"
22 #include "libavutil/imgutils.h"
23 #include "libavutil/opt.h"
24 #include "libavutil/pixdesc.h"
25 #include "avfilter.h"
26 #include "drawutils.h"
27 #include "internal.h"
28
29 #define PLANE_R 0x01
30 #define PLANE_G 0x02
31 #define PLANE_B 0x04
32 #define PLANE_A 0x08
33 #define PLANE_Y 0x10
34 #define PLANE_U 0x20
35 #define PLANE_V 0x40
36
37 typedef struct {
38     const AVClass *class;
39     int requested_planes;
40     int map[4];
41     int linesize[4];
42     int is_packed;
43     int depth;
44     int step;
45 } ExtractPlanesContext;
46
47 #define OFFSET(x) offsetof(ExtractPlanesContext, x)
48 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
49 static const AVOption extractplanes_options[] = {
50     { "planes", "set planes",  OFFSET(requested_planes), AV_OPT_TYPE_FLAGS, {.i64=1}, 1, 0xff, FLAGS, "flags"},
51     {      "y", "set luma plane",  0, AV_OPT_TYPE_CONST, {.i64=PLANE_Y}, 0, 0, FLAGS, "flags"},
52     {      "u", "set u plane",     0, AV_OPT_TYPE_CONST, {.i64=PLANE_U}, 0, 0, FLAGS, "flags"},
53     {      "v", "set v plane",     0, AV_OPT_TYPE_CONST, {.i64=PLANE_V}, 0, 0, FLAGS, "flags"},
54     {      "r", "set red plane",   0, AV_OPT_TYPE_CONST, {.i64=PLANE_R}, 0, 0, FLAGS, "flags"},
55     {      "g", "set green plane", 0, AV_OPT_TYPE_CONST, {.i64=PLANE_G}, 0, 0, FLAGS, "flags"},
56     {      "b", "set blue plane",  0, AV_OPT_TYPE_CONST, {.i64=PLANE_B}, 0, 0, FLAGS, "flags"},
57     {      "a", "set alpha plane", 0, AV_OPT_TYPE_CONST, {.i64=PLANE_A}, 0, 0, FLAGS, "flags"},
58     { NULL }
59 };
60
61 AVFILTER_DEFINE_CLASS(extractplanes);
62
63 static int query_formats(AVFilterContext *ctx)
64 {
65     static const enum AVPixelFormat in_pixfmts_le[] = {
66         AV_PIX_FMT_YUV410P,
67         AV_PIX_FMT_YUV411P,
68         AV_PIX_FMT_YUV440P,
69         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUVA420P,
70         AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVA422P,
71         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ422P,
72         AV_PIX_FMT_YUVJ440P, AV_PIX_FMT_YUVJ444P,
73         AV_PIX_FMT_YUVJ411P,
74         AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVA444P,
75         AV_PIX_FMT_YUV420P16LE, AV_PIX_FMT_YUVA420P16LE,
76         AV_PIX_FMT_YUV422P16LE, AV_PIX_FMT_YUVA422P16LE,
77         AV_PIX_FMT_YUV444P16LE, AV_PIX_FMT_YUVA444P16LE,
78         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY8A,
79         AV_PIX_FMT_YA16LE, AV_PIX_FMT_GRAY16LE,
80         AV_PIX_FMT_RGB24, AV_PIX_FMT_BGR24,
81         AV_PIX_FMT_RGBA, AV_PIX_FMT_BGRA,
82         AV_PIX_FMT_ARGB, AV_PIX_FMT_ABGR,
83         AV_PIX_FMT_RGB0, AV_PIX_FMT_BGR0,
84         AV_PIX_FMT_0RGB, AV_PIX_FMT_0BGR,
85         AV_PIX_FMT_RGB48LE, AV_PIX_FMT_BGR48LE,
86         AV_PIX_FMT_RGBA64LE, AV_PIX_FMT_BGRA64LE,
87         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP,
88         AV_PIX_FMT_GBRP16LE, AV_PIX_FMT_GBRAP16LE,
89         AV_PIX_FMT_NONE,
90     };
91     static const enum AVPixelFormat in_pixfmts_be[] = {
92         AV_PIX_FMT_YUV410P,
93         AV_PIX_FMT_YUV411P,
94         AV_PIX_FMT_YUV440P,
95         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUVA420P,
96         AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUVA422P,
97         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ422P,
98         AV_PIX_FMT_YUVJ440P, AV_PIX_FMT_YUVJ444P,
99         AV_PIX_FMT_YUVJ411P,
100         AV_PIX_FMT_YUV444P, AV_PIX_FMT_YUVA444P,
101         AV_PIX_FMT_YUV420P16BE, AV_PIX_FMT_YUVA420P16BE,
102         AV_PIX_FMT_YUV422P16BE, AV_PIX_FMT_YUVA422P16BE,
103         AV_PIX_FMT_YUV444P16BE, AV_PIX_FMT_YUVA444P16BE,
104         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY8A,
105         AV_PIX_FMT_YA16BE, AV_PIX_FMT_GRAY16BE,
106         AV_PIX_FMT_RGB24, AV_PIX_FMT_BGR24,
107         AV_PIX_FMT_RGBA, AV_PIX_FMT_BGRA,
108         AV_PIX_FMT_ARGB, AV_PIX_FMT_ABGR,
109         AV_PIX_FMT_RGB0, AV_PIX_FMT_BGR0,
110         AV_PIX_FMT_0RGB, AV_PIX_FMT_0BGR,
111         AV_PIX_FMT_RGB48BE, AV_PIX_FMT_BGR48BE,
112         AV_PIX_FMT_RGBA64BE, AV_PIX_FMT_BGRA64BE,
113         AV_PIX_FMT_GBRP, AV_PIX_FMT_GBRAP,
114         AV_PIX_FMT_GBRP16BE, AV_PIX_FMT_GBRAP16BE,
115         AV_PIX_FMT_NONE,
116     };
117     static const enum AVPixelFormat out8_pixfmts[] = { AV_PIX_FMT_GRAY8, AV_PIX_FMT_NONE };
118     static const enum AVPixelFormat out16le_pixfmts[] = { AV_PIX_FMT_GRAY16LE, AV_PIX_FMT_NONE };
119     static const enum AVPixelFormat out16be_pixfmts[] = { AV_PIX_FMT_GRAY16BE, AV_PIX_FMT_NONE };
120     const enum AVPixelFormat *out_pixfmts, *in_pixfmts;
121     const AVPixFmtDescriptor *desc;
122     AVFilterFormats *avff;
123     int i, ret, depth = 0, be = 0;
124
125     if (!ctx->inputs[0]->in_formats ||
126         !ctx->inputs[0]->in_formats->nb_formats) {
127         return AVERROR(EAGAIN);
128     }
129
130     avff = ctx->inputs[0]->in_formats;
131     desc = av_pix_fmt_desc_get(avff->formats[0]);
132     depth = desc->comp[0].depth;
133     be = desc->flags & AV_PIX_FMT_FLAG_BE;
134     if (be) {
135         in_pixfmts = in_pixfmts_be;
136     } else {
137         in_pixfmts = in_pixfmts_le;
138     }
139     if (!ctx->inputs[0]->out_formats)
140         if ((ret = ff_formats_ref(ff_make_format_list(in_pixfmts), &ctx->inputs[0]->out_formats)) < 0)
141             return ret;
142
143     for (i = 1; i < avff->nb_formats; i++) {
144         desc = av_pix_fmt_desc_get(avff->formats[i]);
145         if (depth != desc->comp[0].depth ||
146             be    != (desc->flags & AV_PIX_FMT_FLAG_BE)) {
147             return AVERROR(EAGAIN);
148         }
149     }
150
151     if (depth == 8)
152         out_pixfmts = out8_pixfmts;
153     else if (be)
154         out_pixfmts = out16be_pixfmts;
155     else
156         out_pixfmts = out16le_pixfmts;
157
158     for (i = 0; i < ctx->nb_outputs; i++)
159         if ((ret = ff_formats_ref(ff_make_format_list(out_pixfmts), &ctx->outputs[i]->in_formats)) < 0)
160             return ret;
161     return 0;
162 }
163
164 static int config_input(AVFilterLink *inlink)
165 {
166     AVFilterContext *ctx = inlink->dst;
167     ExtractPlanesContext *s = ctx->priv;
168     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
169     int plane_avail, ret, i;
170     uint8_t rgba_map[4];
171
172     plane_avail = ((desc->flags & AV_PIX_FMT_FLAG_RGB) ? PLANE_R|PLANE_G|PLANE_B :
173                                                  PLANE_Y |
174                                 ((desc->nb_components > 2) ? PLANE_U|PLANE_V : 0)) |
175                   ((desc->flags & AV_PIX_FMT_FLAG_ALPHA) ? PLANE_A : 0);
176     if (s->requested_planes & ~plane_avail) {
177         av_log(ctx, AV_LOG_ERROR, "Requested planes not available.\n");
178         return AVERROR(EINVAL);
179     }
180     if ((ret = av_image_fill_linesizes(s->linesize, inlink->format, inlink->w)) < 0)
181         return ret;
182
183     s->depth = desc->comp[0].depth >> 3;
184     s->step = av_get_padded_bits_per_pixel(desc) >> 3;
185     s->is_packed = !(desc->flags & AV_PIX_FMT_FLAG_PLANAR) &&
186                     (desc->nb_components > 1);
187     if (desc->flags & AV_PIX_FMT_FLAG_RGB) {
188         ff_fill_rgba_map(rgba_map, inlink->format);
189         for (i = 0; i < 4; i++)
190             s->map[i] = rgba_map[s->map[i]];
191     }
192
193     return 0;
194 }
195
196 static int config_output(AVFilterLink *outlink)
197 {
198     AVFilterContext *ctx = outlink->src;
199     AVFilterLink *inlink = ctx->inputs[0];
200     ExtractPlanesContext *s = ctx->priv;
201     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
202     const int output = outlink->srcpad - ctx->output_pads;
203
204     if (s->map[output] == 1 || s->map[output] == 2) {
205         outlink->h = AV_CEIL_RSHIFT(inlink->h, desc->log2_chroma_h);
206         outlink->w = AV_CEIL_RSHIFT(inlink->w, desc->log2_chroma_w);
207     }
208
209     return 0;
210 }
211
212 static void extract_from_packed(uint8_t *dst, int dst_linesize,
213                                 const uint8_t *src, int src_linesize,
214                                 int width, int height,
215                                 int depth, int step, int comp)
216 {
217     int x, y;
218
219     for (y = 0; y < height; y++) {
220         switch (depth) {
221         case 1:
222             for (x = 0; x < width; x++)
223                 dst[x] = src[x * step + comp];
224             break;
225         case 2:
226             for (x = 0; x < width; x++) {
227                 dst[x * 2    ] = src[x * step + comp * 2    ];
228                 dst[x * 2 + 1] = src[x * step + comp * 2 + 1];
229             }
230             break;
231         }
232         dst += dst_linesize;
233         src += src_linesize;
234     }
235 }
236
237 static int filter_frame(AVFilterLink *inlink, AVFrame *frame)
238 {
239     AVFilterContext *ctx = inlink->dst;
240     ExtractPlanesContext *s = ctx->priv;
241     int i, eof = 0, ret = 0;
242
243     for (i = 0; i < ctx->nb_outputs; i++) {
244         AVFilterLink *outlink = ctx->outputs[i];
245         const int idx = s->map[i];
246         AVFrame *out;
247
248         if (outlink->status)
249             continue;
250
251         out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
252         if (!out) {
253             ret = AVERROR(ENOMEM);
254             break;
255         }
256         av_frame_copy_props(out, frame);
257
258         if (s->is_packed) {
259             extract_from_packed(out->data[0], out->linesize[0],
260                                 frame->data[0], frame->linesize[0],
261                                 outlink->w, outlink->h,
262                                 s->depth,
263                                 s->step, idx);
264         } else {
265             av_image_copy_plane(out->data[0], out->linesize[0],
266                                 frame->data[idx], frame->linesize[idx],
267                                 s->linesize[idx], outlink->h);
268         }
269
270         ret = ff_filter_frame(outlink, out);
271         if (ret == AVERROR_EOF)
272             eof++;
273         else if (ret < 0)
274             break;
275     }
276     av_frame_free(&frame);
277
278     if (eof == ctx->nb_outputs)
279         ret = AVERROR_EOF;
280     else if (ret == AVERROR_EOF)
281         ret = 0;
282     return ret;
283 }
284
285 static av_cold int init(AVFilterContext *ctx)
286 {
287     ExtractPlanesContext *s = ctx->priv;
288     int planes = (s->requested_planes & 0xf) | (s->requested_planes >> 4);
289     int i;
290
291     for (i = 0; i < 4; i++) {
292         char *name;
293         AVFilterPad pad = { 0 };
294
295         if (!(planes & (1 << i)))
296             continue;
297
298         name = av_asprintf("out%d", ctx->nb_outputs);
299         if (!name)
300             return AVERROR(ENOMEM);
301         s->map[ctx->nb_outputs] = i;
302         pad.name = name;
303         pad.type = AVMEDIA_TYPE_VIDEO;
304         pad.config_props = config_output;
305
306         ff_insert_outpad(ctx, ctx->nb_outputs, &pad);
307     }
308
309     return 0;
310 }
311
312 static av_cold void uninit(AVFilterContext *ctx)
313 {
314     int i;
315
316     for (i = 0; i < ctx->nb_outputs; i++)
317         av_freep(&ctx->output_pads[i].name);
318 }
319
320 static const AVFilterPad extractplanes_inputs[] = {
321     {
322         .name         = "default",
323         .type         = AVMEDIA_TYPE_VIDEO,
324         .filter_frame = filter_frame,
325         .config_props = config_input,
326     },
327     { NULL }
328 };
329
330 AVFilter ff_vf_extractplanes = {
331     .name          = "extractplanes",
332     .description   = NULL_IF_CONFIG_SMALL("Extract planes as grayscale frames."),
333     .priv_size     = sizeof(ExtractPlanesContext),
334     .priv_class    = &extractplanes_class,
335     .init          = init,
336     .uninit        = uninit,
337     .query_formats = query_formats,
338     .inputs        = extractplanes_inputs,
339     .outputs       = NULL,
340     .flags         = AVFILTER_FLAG_DYNAMIC_OUTPUTS,
341 };
342
343 #if CONFIG_ALPHAEXTRACT_FILTER
344
345 static av_cold int init_alphaextract(AVFilterContext *ctx)
346 {
347     ExtractPlanesContext *s = ctx->priv;
348
349     s->requested_planes = PLANE_A;
350
351     return init(ctx);
352 }
353
354 AVFilter ff_vf_alphaextract = {
355     .name           = "alphaextract",
356     .description    = NULL_IF_CONFIG_SMALL("Extract an alpha channel as a "
357                       "grayscale image component."),
358     .priv_size      = sizeof(ExtractPlanesContext),
359     .init           = init_alphaextract,
360     .uninit         = uninit,
361     .query_formats  = query_formats,
362     .inputs         = extractplanes_inputs,
363     .outputs        = NULL,
364     .flags          = AVFILTER_FLAG_DYNAMIC_OUTPUTS,
365 };
366 #endif  /* CONFIG_ALPHAEXTRACT_FILTER */