avfilter/idet: add current frame classification to metadata
[ffmpeg.git] / libavfilter / vf_idet.c
1 /*
2  * Copyright (C) 2012 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include <float.h> /* FLT_MAX */
22
23 #include "libavutil/cpu.h"
24 #include "libavutil/common.h"
25 #include "libavutil/opt.h"
26 #include "internal.h"
27 #include "vf_idet.h"
28
29 #define OFFSET(x) offsetof(IDETContext, x)
30 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
31
32 static const AVOption idet_options[] = {
33     { "intl_thres", "set interlacing threshold", OFFSET(interlace_threshold),   AV_OPT_TYPE_FLOAT, {.dbl = 1.04}, -1, FLT_MAX, FLAGS },
34     { "prog_thres", "set progressive threshold", OFFSET(progressive_threshold), AV_OPT_TYPE_FLOAT, {.dbl = 1.5},  -1, FLT_MAX, FLAGS },
35     { NULL }
36 };
37
38 AVFILTER_DEFINE_CLASS(idet);
39
40 static const char *type2str(Type type)
41 {
42     switch(type) {
43         case TFF          : return "tff";
44         case BFF          : return "bff";
45         case PROGRESSIVE  : return "progressive";
46         case UNDETERMINED : return "undetermined";
47     }
48     return NULL;
49 }
50
51 int ff_idet_filter_line_c(const uint8_t *a, const uint8_t *b, const uint8_t *c, int w)
52 {
53     int x;
54     int ret=0;
55
56     for(x=0; x<w; x++){
57         int v = (*a++ + *c++) - 2 * *b++;
58         ret += FFABS(v);
59     }
60
61     return ret;
62 }
63
64 int ff_idet_filter_line_c_16bit(const uint16_t *a, const uint16_t *b, const uint16_t *c, int w)
65 {
66     int x;
67     int ret=0;
68
69     for(x=0; x<w; x++){
70         int v = (*a++ + *c++) - 2 * *b++;
71         ret += FFABS(v);
72     }
73
74     return ret;
75 }
76
77 static void filter(AVFilterContext *ctx)
78 {
79     IDETContext *idet = ctx->priv;
80     int y, i;
81     int64_t alpha[2]={0};
82     int64_t delta=0;
83     Type type, best_type;
84     int match = 0;
85     AVDictionary **metadata = avpriv_frame_get_metadatap(idet->cur);
86
87     for (i = 0; i < idet->csp->nb_components; i++) {
88         int w = idet->cur->width;
89         int h = idet->cur->height;
90         int refs = idet->cur->linesize[i];
91
92         if (i && i<3) {
93             w = FF_CEIL_RSHIFT(w, idet->csp->log2_chroma_w);
94             h = FF_CEIL_RSHIFT(h, idet->csp->log2_chroma_h);
95         }
96
97         for (y = 2; y < h - 2; y++) {
98             uint8_t *prev = &idet->prev->data[i][y*refs];
99             uint8_t *cur  = &idet->cur ->data[i][y*refs];
100             uint8_t *next = &idet->next->data[i][y*refs];
101             alpha[ y   &1] += idet->filter_line(cur-refs, prev, cur+refs, w);
102             alpha[(y^1)&1] += idet->filter_line(cur-refs, next, cur+refs, w);
103             delta          += idet->filter_line(cur-refs,  cur, cur+refs, w);
104         }
105     }
106
107     if      (alpha[0] > idet->interlace_threshold * alpha[1]){
108         type = TFF;
109     }else if(alpha[1] > idet->interlace_threshold * alpha[0]){
110         type = BFF;
111     }else if(alpha[1] > idet->progressive_threshold * delta){
112         type = PROGRESSIVE;
113     }else{
114         type = UNDETERMINED;
115     }
116
117     memmove(idet->history+1, idet->history, HIST_SIZE-1);
118     idet->history[0] = type;
119     best_type = UNDETERMINED;
120     for(i=0; i<HIST_SIZE; i++){
121         if(idet->history[i] != UNDETERMINED){
122             if(best_type == UNDETERMINED)
123                 best_type = idet->history[i];
124
125             if(idet->history[i] == best_type) {
126                 match++;
127             }else{
128                 match=0;
129                 break;
130             }
131         }
132     }
133     if(idet->last_type == UNDETERMINED){
134         if(match  ) idet->last_type = best_type;
135     }else{
136         if(match>2) idet->last_type = best_type;
137     }
138
139     if      (idet->last_type == TFF){
140         idet->cur->top_field_first = 1;
141         idet->cur->interlaced_frame = 1;
142     }else if(idet->last_type == BFF){
143         idet->cur->top_field_first = 0;
144         idet->cur->interlaced_frame = 1;
145     }else if(idet->last_type == PROGRESSIVE){
146         idet->cur->interlaced_frame = 0;
147     }
148
149     idet->prestat [           type] ++;
150     idet->poststat[idet->last_type] ++;
151
152     av_log(ctx, AV_LOG_DEBUG, "Single frame:%12s, Multi frame:%12s\n", type2str(type), type2str(idet->last_type));
153
154     av_dict_set    (metadata, "lavfi.idet.single.current_frame", type2str(type), 0);
155     av_dict_set_int(metadata, "lavfi.idet.single.tff", idet->prestat[TFF], 0);
156     av_dict_set_int(metadata, "lavfi.idet.single.bff", idet->prestat[BFF], 0);
157     av_dict_set_int(metadata, "lavfi.idet.single.progressive", idet->prestat[PROGRESSIVE], 0);
158     av_dict_set_int(metadata, "lavfi.idet.single.undetermined", idet->prestat[UNDETERMINED], 0);
159
160     av_dict_set    (metadata, "lavfi.idet.multiple.current_frame", type2str(idet->last_type), 0);
161     av_dict_set_int(metadata, "lavfi.idet.multiple.tff", idet->poststat[TFF], 0);
162     av_dict_set_int(metadata, "lavfi.idet.multiple.bff", idet->poststat[BFF], 0);
163     av_dict_set_int(metadata, "lavfi.idet.multiple.progressive", idet->poststat[PROGRESSIVE], 0);
164     av_dict_set_int(metadata, "lavfi.idet.multiple.undetermined", idet->poststat[UNDETERMINED], 0);
165
166 }
167
168 static int filter_frame(AVFilterLink *link, AVFrame *picref)
169 {
170     AVFilterContext *ctx = link->dst;
171     IDETContext *idet = ctx->priv;
172
173     if (idet->prev)
174         av_frame_free(&idet->prev);
175     idet->prev = idet->cur;
176     idet->cur  = idet->next;
177     idet->next = picref;
178
179     if (!idet->cur)
180         return 0;
181
182     if (!idet->prev)
183         idet->prev = av_frame_clone(idet->cur);
184
185     if (!idet->csp)
186         idet->csp = av_pix_fmt_desc_get(link->format);
187     if (idet->csp->comp[0].depth_minus1 / 8 == 1){
188         idet->filter_line = (ff_idet_filter_func)ff_idet_filter_line_c_16bit;
189         if (ARCH_X86)
190             ff_idet_init_x86(idet, 1);
191     }
192
193     filter(ctx);
194
195     return ff_filter_frame(ctx->outputs[0], av_frame_clone(idet->cur));
196 }
197
198 static int request_frame(AVFilterLink *link)
199 {
200     AVFilterContext *ctx = link->src;
201     IDETContext *idet = ctx->priv;
202
203     do {
204         int ret;
205
206         if (idet->eof)
207             return AVERROR_EOF;
208
209         ret = ff_request_frame(link->src->inputs[0]);
210
211         if (ret == AVERROR_EOF && idet->cur) {
212             AVFrame *next = av_frame_clone(idet->next);
213
214             if (!next)
215                 return AVERROR(ENOMEM);
216
217             filter_frame(link->src->inputs[0], next);
218             idet->eof = 1;
219         } else if (ret < 0) {
220             return ret;
221         }
222     } while (!idet->cur);
223
224     return 0;
225 }
226
227 static av_cold void uninit(AVFilterContext *ctx)
228 {
229     IDETContext *idet = ctx->priv;
230
231     av_log(ctx, AV_LOG_INFO, "Single frame detection: TFF:%d BFF:%d Progressive:%d Undetermined:%d\n",
232            idet->prestat[TFF],
233            idet->prestat[BFF],
234            idet->prestat[PROGRESSIVE],
235            idet->prestat[UNDETERMINED]
236     );
237     av_log(ctx, AV_LOG_INFO, "Multi frame detection: TFF:%d BFF:%d Progressive:%d Undetermined:%d\n",
238            idet->poststat[TFF],
239            idet->poststat[BFF],
240            idet->poststat[PROGRESSIVE],
241            idet->poststat[UNDETERMINED]
242     );
243
244     av_frame_free(&idet->prev);
245     av_frame_free(&idet->cur );
246     av_frame_free(&idet->next);
247 }
248
249 static int query_formats(AVFilterContext *ctx)
250 {
251     static const enum AVPixelFormat pix_fmts[] = {
252         AV_PIX_FMT_YUV420P,
253         AV_PIX_FMT_YUV422P,
254         AV_PIX_FMT_YUV444P,
255         AV_PIX_FMT_YUV410P,
256         AV_PIX_FMT_YUV411P,
257         AV_PIX_FMT_GRAY8,
258         AV_PIX_FMT_YUVJ420P,
259         AV_PIX_FMT_YUVJ422P,
260         AV_PIX_FMT_YUVJ444P,
261         AV_PIX_FMT_GRAY16,
262         AV_PIX_FMT_YUV440P,
263         AV_PIX_FMT_YUVJ440P,
264         AV_PIX_FMT_YUV420P10,
265         AV_PIX_FMT_YUV422P10,
266         AV_PIX_FMT_YUV444P10,
267         AV_PIX_FMT_YUV420P16,
268         AV_PIX_FMT_YUV422P16,
269         AV_PIX_FMT_YUV444P16,
270         AV_PIX_FMT_YUVA420P,
271         AV_PIX_FMT_NONE
272     };
273
274     ff_set_common_formats(ctx, ff_make_format_list(pix_fmts));
275
276     return 0;
277 }
278
279 static int config_output(AVFilterLink *outlink)
280 {
281     outlink->flags |= FF_LINK_FLAG_REQUEST_LOOP;
282     return 0;
283 }
284
285 static av_cold int init(AVFilterContext *ctx)
286 {
287     IDETContext *idet = ctx->priv;
288
289     idet->eof = 0;
290     idet->last_type = UNDETERMINED;
291     memset(idet->history, UNDETERMINED, HIST_SIZE);
292
293     idet->filter_line = ff_idet_filter_line_c;
294
295     if (ARCH_X86)
296         ff_idet_init_x86(idet, 0);
297
298     return 0;
299 }
300
301
302 static const AVFilterPad idet_inputs[] = {
303     {
304         .name         = "default",
305         .type         = AVMEDIA_TYPE_VIDEO,
306         .filter_frame = filter_frame,
307     },
308     { NULL }
309 };
310
311 static const AVFilterPad idet_outputs[] = {
312     {
313         .name         = "default",
314         .type         = AVMEDIA_TYPE_VIDEO,
315         .config_props = config_output,
316         .request_frame = request_frame
317     },
318     { NULL }
319 };
320
321 AVFilter ff_vf_idet = {
322     .name          = "idet",
323     .description   = NULL_IF_CONFIG_SMALL("Interlace detect Filter."),
324     .priv_size     = sizeof(IDETContext),
325     .init          = init,
326     .uninit        = uninit,
327     .query_formats = query_formats,
328     .inputs        = idet_inputs,
329     .outputs       = idet_outputs,
330     .priv_class    = &idet_class,
331 };