avfilter/vf_spp: Allocate qp storage after qp_stride is known
[ffmpeg.git] / libavfilter / vf_spp.c
1 /*
2  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
3  * Copyright (c) 2013 Clément Bœsch <u pkh me>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License along
18  * with FFmpeg; if not, write to the Free Software Foundation, Inc.,
19  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
20  */
21
22 /**
23  * @file
24  * Simple post processing filter
25  *
26  * This implementation is based on an algorithm described in
27  * "Aria Nosratinia Embedded Post-Processing for
28  * Enhancement of Compressed Images (1999)"
29  *
30  * Originally written by Michael Niedermayer for the MPlayer project, and
31  * ported by Clément Bœsch for FFmpeg.
32  */
33
34 #include "libavutil/avassert.h"
35 #include "libavutil/imgutils.h"
36 #include "libavutil/opt.h"
37 #include "libavutil/pixdesc.h"
38 #include "internal.h"
39 #include "vf_spp.h"
40
41 enum mode {
42     MODE_HARD,
43     MODE_SOFT,
44     NB_MODES
45 };
46
47 static const AVClass *child_class_next(const AVClass *prev)
48 {
49     return prev ? NULL : avcodec_dct_get_class();
50 }
51
52 static void *child_next(void *obj, void *prev)
53 {
54     SPPContext *s = obj;
55     return prev ? NULL : s->dct;
56 }
57
58 #define OFFSET(x) offsetof(SPPContext, x)
59 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
60 static const AVOption spp_options[] = {
61     { "quality", "set quality", OFFSET(log2_count), AV_OPT_TYPE_INT, {.i64 = 3}, 0, MAX_LEVEL, FLAGS },
62     { "qp", "force a constant quantizer parameter", OFFSET(qp), AV_OPT_TYPE_INT, {.i64 = 0}, 0, 63, FLAGS },
63     { "mode", "set thresholding mode", OFFSET(mode), AV_OPT_TYPE_INT, {.i64 = MODE_HARD}, 0, NB_MODES - 1, FLAGS, "mode" },
64         { "hard", "hard thresholding", 0, AV_OPT_TYPE_CONST, {.i64 = MODE_HARD}, INT_MIN, INT_MAX, FLAGS, "mode" },
65         { "soft", "soft thresholding", 0, AV_OPT_TYPE_CONST, {.i64 = MODE_SOFT}, INT_MIN, INT_MAX, FLAGS, "mode" },
66     { "use_bframe_qp", "use B-frames' QP", OFFSET(use_bframe_qp), AV_OPT_TYPE_INT, {.i64 = 0}, 0, 1, FLAGS },
67     { NULL }
68 };
69
70 static const AVClass spp_class = {
71     .class_name       = "spp",
72     .item_name        = av_default_item_name,
73     .option           = spp_options,
74     .version          = LIBAVUTIL_VERSION_INT,
75     .category         = AV_CLASS_CATEGORY_FILTER,
76     .child_class_next = child_class_next,
77     .child_next       = child_next,
78 };
79
80 // XXX: share between filters?
81 DECLARE_ALIGNED(8, static const uint8_t, ldither)[8][8] = {
82     {  0,  48,  12,  60,   3,  51,  15,  63 },
83     { 32,  16,  44,  28,  35,  19,  47,  31 },
84     {  8,  56,   4,  52,  11,  59,   7,  55 },
85     { 40,  24,  36,  20,  43,  27,  39,  23 },
86     {  2,  50,  14,  62,   1,  49,  13,  61 },
87     { 34,  18,  46,  30,  33,  17,  45,  29 },
88     { 10,  58,   6,  54,   9,  57,   5,  53 },
89     { 42,  26,  38,  22,  41,  25,  37,  21 },
90 };
91
92 static const uint8_t offset[127][2] = {
93     {0,0},
94     {0,0}, {4,4},                                           // quality = 1
95     {0,0}, {2,2}, {6,4}, {4,6},                             // quality = 2
96     {0,0}, {5,1}, {2,2}, {7,3}, {4,4}, {1,5}, {6,6}, {3,7}, // quality = 3
97
98     {0,0}, {4,0}, {1,1}, {5,1}, {3,2}, {7,2}, {2,3}, {6,3}, // quality = 4
99     {0,4}, {4,4}, {1,5}, {5,5}, {3,6}, {7,6}, {2,7}, {6,7},
100
101     {0,0}, {0,2}, {0,4}, {0,6}, {1,1}, {1,3}, {1,5}, {1,7}, // quality = 5
102     {2,0}, {2,2}, {2,4}, {2,6}, {3,1}, {3,3}, {3,5}, {3,7},
103     {4,0}, {4,2}, {4,4}, {4,6}, {5,1}, {5,3}, {5,5}, {5,7},
104     {6,0}, {6,2}, {6,4}, {6,6}, {7,1}, {7,3}, {7,5}, {7,7},
105
106     {0,0}, {4,4}, {0,4}, {4,0}, {2,2}, {6,6}, {2,6}, {6,2}, // quality = 6
107     {0,2}, {4,6}, {0,6}, {4,2}, {2,0}, {6,4}, {2,4}, {6,0},
108     {1,1}, {5,5}, {1,5}, {5,1}, {3,3}, {7,7}, {3,7}, {7,3},
109     {1,3}, {5,7}, {1,7}, {5,3}, {3,1}, {7,5}, {3,5}, {7,1},
110     {0,1}, {4,5}, {0,5}, {4,1}, {2,3}, {6,7}, {2,7}, {6,3},
111     {0,3}, {4,7}, {0,7}, {4,3}, {2,1}, {6,5}, {2,5}, {6,1},
112     {1,0}, {5,4}, {1,4}, {5,0}, {3,2}, {7,6}, {3,6}, {7,2},
113     {1,2}, {5,6}, {1,6}, {5,2}, {3,0}, {7,4}, {3,4}, {7,0},
114 };
115
116 static void hardthresh_c(int16_t dst[64], const int16_t src[64],
117                          int qp, const uint8_t *permutation)
118 {
119     int i;
120     int bias = 0; // FIXME
121
122     unsigned threshold1 = qp * ((1<<4) - bias) - 1;
123     unsigned threshold2 = threshold1 << 1;
124
125     memset(dst, 0, 64 * sizeof(dst[0]));
126     dst[0] = (src[0] + 4) >> 3;
127
128     for (i = 1; i < 64; i++) {
129         int level = src[i];
130         if (((unsigned)(level + threshold1)) > threshold2) {
131             const int j = permutation[i];
132             dst[j] = (level + 4) >> 3;
133         }
134     }
135 }
136
137 static void softthresh_c(int16_t dst[64], const int16_t src[64],
138                          int qp, const uint8_t *permutation)
139 {
140     int i;
141     int bias = 0; //FIXME
142
143     unsigned threshold1 = qp * ((1<<4) - bias) - 1;
144     unsigned threshold2 = threshold1 << 1;
145
146     memset(dst, 0, 64 * sizeof(dst[0]));
147     dst[0] = (src[0] + 4) >> 3;
148
149     for (i = 1; i < 64; i++) {
150         int level = src[i];
151         if (((unsigned)(level + threshold1)) > threshold2) {
152             const int j = permutation[i];
153             if (level > 0) dst[j] = (level - threshold1 + 4) >> 3;
154             else           dst[j] = (level + threshold1 + 4) >> 3;
155         }
156     }
157 }
158
159 static void store_slice_c(uint8_t *dst, const uint16_t *src,
160                           int dst_linesize, int src_linesize,
161                           int width, int height, int log2_scale,
162                           const uint8_t dither[8][8])
163 {
164     int y, x;
165
166 #define STORE(pos) do {                                                     \
167     temp = ((src[x + y*src_linesize + pos] << log2_scale) + d[pos]) >> 6;   \
168     if (temp & 0x100)                                                       \
169         temp = ~(temp >> 31);                                               \
170     dst[x + y*dst_linesize + pos] = temp;                                   \
171 } while (0)
172
173     for (y = 0; y < height; y++) {
174         const uint8_t *d = dither[y];
175         for (x = 0; x < width; x += 8) {
176             int temp;
177             STORE(0);
178             STORE(1);
179             STORE(2);
180             STORE(3);
181             STORE(4);
182             STORE(5);
183             STORE(6);
184             STORE(7);
185         }
186     }
187 }
188
189 static inline void add_block(uint16_t *dst, int linesize, const int16_t block[64])
190 {
191     int y;
192
193     for (y = 0; y < 8; y++) {
194         *(uint32_t *)&dst[0 + y*linesize] += *(uint32_t *)&block[0 + y*8];
195         *(uint32_t *)&dst[2 + y*linesize] += *(uint32_t *)&block[2 + y*8];
196         *(uint32_t *)&dst[4 + y*linesize] += *(uint32_t *)&block[4 + y*8];
197         *(uint32_t *)&dst[6 + y*linesize] += *(uint32_t *)&block[6 + y*8];
198     }
199 }
200
201 // XXX: export the function?
202 static inline int norm_qscale(int qscale, int type)
203 {
204     switch (type) {
205     case FF_QSCALE_TYPE_MPEG1: return qscale;
206     case FF_QSCALE_TYPE_MPEG2: return qscale >> 1;
207     case FF_QSCALE_TYPE_H264:  return qscale >> 2;
208     case FF_QSCALE_TYPE_VP56:  return (63 - qscale + 2) >> 2;
209     }
210     return qscale;
211 }
212
213 static void filter(SPPContext *p, uint8_t *dst, uint8_t *src,
214                    int dst_linesize, int src_linesize, int width, int height,
215                    const uint8_t *qp_table, int qp_stride, int is_luma)
216 {
217     int x, y, i;
218     const int count = 1 << p->log2_count;
219     const int linesize = is_luma ? p->temp_linesize : FFALIGN(width+16, 16);
220     DECLARE_ALIGNED(16, uint64_t, block_align)[32];
221     int16_t *block  = (int16_t *)block_align;
222     int16_t *block2 = (int16_t *)(block_align + 16);
223
224     for (y = 0; y < height; y++) {
225         int index = 8 + 8*linesize + y*linesize;
226         memcpy(p->src + index, src + y*src_linesize, width);
227         for (x = 0; x < 8; x++) {
228             p->src[index         - x - 1] = p->src[index +         x    ];
229             p->src[index + width + x    ] = p->src[index + width - x - 1];
230         }
231     }
232     for (y = 0; y < 8; y++) {
233         memcpy(p->src + (       7-y)*linesize, p->src + (       y+8)*linesize, linesize);
234         memcpy(p->src + (height+8+y)*linesize, p->src + (height-y+7)*linesize, linesize);
235     }
236
237     for (y = 0; y < height + 8; y += 8) {
238         memset(p->temp + (8 + y) * linesize, 0, 8 * linesize * sizeof(*p->temp));
239         for (x = 0; x < width + 8; x += 8) {
240             int qp;
241
242             if (p->qp) {
243                 qp = p->qp;
244             } else{
245                 const int qps = 3 + is_luma;
246                 qp = qp_table[(FFMIN(x, width - 1) >> qps) + (FFMIN(y, height - 1) >> qps) * qp_stride];
247                 qp = FFMAX(1, norm_qscale(qp, p->qscale_type));
248             }
249             for (i = 0; i < count; i++) {
250                 const int x1 = x + offset[i + count - 1][0];
251                 const int y1 = y + offset[i + count - 1][1];
252                 const int index = x1 + y1*linesize;
253                 p->dct->get_pixels(block, p->src + index, linesize);
254                 p->dct->fdct(block);
255                 p->requantize(block2, block, qp, p->dct->idct_permutation);
256                 p->dct->idct(block2);
257                 add_block(p->temp + index, linesize, block2);
258             }
259         }
260         if (y)
261             p->store_slice(dst + (y - 8) * dst_linesize, p->temp + 8 + y*linesize,
262                            dst_linesize, linesize, width,
263                            FFMIN(8, height + 8 - y), MAX_LEVEL - p->log2_count,
264                            ldither);
265     }
266 }
267
268 static int query_formats(AVFilterContext *ctx)
269 {
270     static const enum PixelFormat pix_fmts[] = {
271         AV_PIX_FMT_YUV444P,  AV_PIX_FMT_YUV422P,
272         AV_PIX_FMT_YUV420P,  AV_PIX_FMT_YUV411P,
273         AV_PIX_FMT_YUV410P,  AV_PIX_FMT_YUV440P,
274         AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ422P,
275         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ440P,
276         AV_PIX_FMT_NONE
277     };
278     ff_set_common_formats(ctx, ff_make_format_list(pix_fmts));
279     return 0;
280 }
281
282 static int config_input(AVFilterLink *inlink)
283 {
284     SPPContext *spp = inlink->dst->priv;
285     const int h = FFALIGN(inlink->h + 16, 16);
286     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
287
288     spp->hsub = desc->log2_chroma_w;
289     spp->vsub = desc->log2_chroma_h;
290     spp->temp_linesize = FFALIGN(inlink->w + 16, 16);
291     spp->temp = av_malloc_array(spp->temp_linesize, h * sizeof(*spp->temp));
292     spp->src  = av_malloc_array(spp->temp_linesize, h * sizeof(*spp->src));
293
294     if (!spp->temp || !spp->src)
295         return AVERROR(ENOMEM);
296     return 0;
297 }
298
299 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
300 {
301     AVFilterContext *ctx = inlink->dst;
302     SPPContext *spp = ctx->priv;
303     AVFilterLink *outlink = ctx->outputs[0];
304     AVFrame *out = in;
305     int qp_stride = 0;
306     const int8_t *qp_table = NULL;
307
308     /* if we are not in a constant user quantizer mode and we don't want to use
309      * the quantizers from the B-frames (B-frames often have a higher QP), we
310      * need to save the qp table from the last non B-frame; this is what the
311      * following code block does */
312     if (!spp->qp) {
313         qp_table = av_frame_get_qp_table(in, &qp_stride, &spp->qscale_type);
314
315         if (qp_table && !spp->use_bframe_qp && in->pict_type != AV_PICTURE_TYPE_B) {
316             int w, h;
317
318             /* if the qp stride is not set, it means the QP are only defined on
319              * a line basis */
320             if (!qp_stride) {
321                 w = FF_CEIL_RSHIFT(inlink->w, 4);
322                 h = 1;
323             } else {
324                 w = FF_CEIL_RSHIFT(qp_stride, 4);
325                 h = FF_CEIL_RSHIFT(inlink->h, 4);
326             }
327
328             if (w * h > spp->non_b_qp_alloc_size) {
329                 int ret = av_reallocp_array(&spp->non_b_qp_table, w, h);
330                 if (ret < 0) {
331                     spp->non_b_qp_alloc_size = 0;
332                     return ret;
333                 }
334                 spp->non_b_qp_alloc_size = w * h;
335             }
336
337             av_assert0(w * h <= spp->non_b_qp_alloc_size);
338             memcpy(spp->non_b_qp_table, qp_table, w * h);
339         }
340     }
341
342     if (spp->log2_count && !ctx->is_disabled) {
343         if (!spp->use_bframe_qp && spp->non_b_qp_table)
344             qp_table = spp->non_b_qp_table;
345
346         if (qp_table || spp->qp) {
347             const int cw = FF_CEIL_RSHIFT(inlink->w, spp->hsub);
348             const int ch = FF_CEIL_RSHIFT(inlink->h, spp->vsub);
349
350             /* get a new frame if in-place is not possible or if the dimensions
351              * are not multiple of 8 */
352             if (!av_frame_is_writable(in) || (inlink->w & 7) || (inlink->h & 7)) {
353                 const int aligned_w = FFALIGN(inlink->w, 8);
354                 const int aligned_h = FFALIGN(inlink->h, 8);
355
356                 out = ff_get_video_buffer(outlink, aligned_w, aligned_h);
357                 if (!out) {
358                     av_frame_free(&in);
359                     return AVERROR(ENOMEM);
360                 }
361                 av_frame_copy_props(out, in);
362                 out->width  = in->width;
363                 out->height = in->height;
364             }
365
366             filter(spp, out->data[0], in->data[0], out->linesize[0], in->linesize[0], inlink->w, inlink->h, qp_table, qp_stride, 1);
367             filter(spp, out->data[1], in->data[1], out->linesize[1], in->linesize[1], cw,        ch,        qp_table, qp_stride, 0);
368             filter(spp, out->data[2], in->data[2], out->linesize[2], in->linesize[2], cw,        ch,        qp_table, qp_stride, 0);
369             emms_c();
370         }
371     }
372
373     if (in != out) {
374         if (in->data[3])
375             av_image_copy_plane(out->data[3], out->linesize[3],
376                                 in ->data[3], in ->linesize[3],
377                                 inlink->w, inlink->h);
378         av_frame_free(&in);
379     }
380     return ff_filter_frame(outlink, out);
381 }
382
383 static int process_command(AVFilterContext *ctx, const char *cmd, const char *args,
384                            char *res, int res_len, int flags)
385 {
386     SPPContext *spp = ctx->priv;
387
388     if (!strcmp(cmd, "level")) {
389         if (!strcmp(args, "max"))
390             spp->log2_count = MAX_LEVEL;
391         else
392             spp->log2_count = av_clip(strtol(args, NULL, 10), 0, MAX_LEVEL);
393         return 0;
394     }
395     return AVERROR(ENOSYS);
396 }
397
398 static av_cold int init_dict(AVFilterContext *ctx, AVDictionary **opts)
399 {
400     SPPContext *spp = ctx->priv;
401     int ret;
402
403     spp->avctx = avcodec_alloc_context3(NULL);
404     spp->dct = avcodec_dct_alloc();
405     if (!spp->avctx || !spp->dct)
406         return AVERROR(ENOMEM);
407
408     if (opts) {
409         AVDictionaryEntry *e = NULL;
410
411         while ((e = av_dict_get(*opts, "", e, AV_DICT_IGNORE_SUFFIX))) {
412             if ((ret = av_opt_set(spp->dct, e->key, e->value, 0)) < 0)
413                 return ret;
414         }
415         av_dict_free(opts);
416     }
417
418     avcodec_dct_init(spp->dct);
419     spp->store_slice = store_slice_c;
420     switch (spp->mode) {
421     case MODE_HARD: spp->requantize = hardthresh_c; break;
422     case MODE_SOFT: spp->requantize = softthresh_c; break;
423     }
424     if (ARCH_X86)
425         ff_spp_init_x86(spp);
426     return 0;
427 }
428
429 static av_cold void uninit(AVFilterContext *ctx)
430 {
431     SPPContext *spp = ctx->priv;
432
433     av_freep(&spp->temp);
434     av_freep(&spp->src);
435     if (spp->avctx) {
436         avcodec_close(spp->avctx);
437         av_freep(&spp->avctx);
438     }
439     av_freep(&spp->dct);
440     av_freep(&spp->non_b_qp_table);
441 }
442
443 static const AVFilterPad spp_inputs[] = {
444     {
445         .name         = "default",
446         .type         = AVMEDIA_TYPE_VIDEO,
447         .config_props = config_input,
448         .filter_frame = filter_frame,
449     },
450     { NULL }
451 };
452
453 static const AVFilterPad spp_outputs[] = {
454     {
455         .name = "default",
456         .type = AVMEDIA_TYPE_VIDEO,
457     },
458     { NULL }
459 };
460
461 AVFilter ff_vf_spp = {
462     .name            = "spp",
463     .description     = NULL_IF_CONFIG_SMALL("Apply a simple post processing filter."),
464     .priv_size       = sizeof(SPPContext),
465     .init_dict       = init_dict,
466     .uninit          = uninit,
467     .query_formats   = query_formats,
468     .inputs          = spp_inputs,
469     .outputs         = spp_outputs,
470     .process_command = process_command,
471     .priv_class      = &spp_class,
472     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL,
473 };