tests/checkasm: fix stack smash in check_loopfilter
[ffmpeg.git] / tests / checkasm / vp9dsp.c
1 /*
2  * Copyright (c) 2015 Ronald S. Bultje <rsbultje@gmail.com>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License along
17  * with FFmpeg; if not, write to the Free Software Foundation, Inc.,
18  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
19  */
20
21 #include <string.h>
22 #include "checkasm.h"
23 #include "libavcodec/vp9dsp.h"
24 #include "libavutil/common.h"
25 #include "libavutil/internal.h"
26 #include "libavutil/intreadwrite.h"
27
28 static const uint32_t pixel_mask[3] = { 0xffffffff, 0x03ff03ff, 0x0fff0fff };
29 #define SIZEOF_PIXEL ((bit_depth + 7) / 8)
30
31 #define randomize_buffers()                                        \
32     do {                                                           \
33         uint32_t mask = pixel_mask[(bit_depth - 8) >> 1];          \
34         int k;                                                     \
35         for (k = -4;  k < SIZEOF_PIXEL * FFMAX(8, size); k += 4) { \
36             uint32_t r = rnd() & mask;                             \
37             AV_WN32A(a + k, r);                                    \
38         }                                                          \
39         for (k = 0; k < size * SIZEOF_PIXEL; k += 4) {             \
40             uint32_t r = rnd() & mask;                             \
41             AV_WN32A(l + k, r);                                    \
42         }                                                          \
43     } while (0)
44
45 static void check_ipred(void)
46 {
47     LOCAL_ALIGNED_32(uint8_t, a_buf, [64 * 2]);
48     uint8_t *a = &a_buf[32 * 2];
49     LOCAL_ALIGNED_32(uint8_t, l, [32 * 2]);
50     LOCAL_ALIGNED_32(uint8_t, dst0, [32 * 32 * 2]);
51     LOCAL_ALIGNED_32(uint8_t, dst1, [32 * 32 * 2]);
52     VP9DSPContext dsp;
53     int tx, mode, bit_depth;
54     declare_func(void, uint8_t *dst, ptrdiff_t stride,
55                  const uint8_t *left, const uint8_t *top);
56     static const char *const mode_names[N_INTRA_PRED_MODES] = {
57         [VERT_PRED] = "vert",
58         [HOR_PRED] = "hor",
59         [DC_PRED] = "dc",
60         [DIAG_DOWN_LEFT_PRED] = "diag_downleft",
61         [DIAG_DOWN_RIGHT_PRED] = "diag_downright",
62         [VERT_RIGHT_PRED] = "vert_right",
63         [HOR_DOWN_PRED] = "hor_down",
64         [VERT_LEFT_PRED] = "vert_left",
65         [HOR_UP_PRED] = "hor_up",
66         [TM_VP8_PRED] = "tm",
67         [LEFT_DC_PRED] = "dc_left",
68         [TOP_DC_PRED] = "dc_top",
69         [DC_128_PRED] = "dc_128",
70         [DC_127_PRED] = "dc_127",
71         [DC_129_PRED] = "dc_129",
72     };
73
74     for (bit_depth = 8; bit_depth <= 12; bit_depth += 2) {
75         ff_vp9dsp_init(&dsp, bit_depth, 0);
76         for (tx = 0; tx < 4; tx++) {
77             int size = 4 << tx;
78
79             for (mode = 0; mode < N_INTRA_PRED_MODES; mode++) {
80                 if (check_func(dsp.intra_pred[tx][mode], "vp9_%s_%dx%d_%dbpp",
81                                mode_names[mode], size, size, bit_depth)) {
82                     randomize_buffers();
83                     call_ref(dst0, size * SIZEOF_PIXEL, l, a);
84                     call_new(dst1, size * SIZEOF_PIXEL, l, a);
85                     if (memcmp(dst0, dst1, size * size * SIZEOF_PIXEL))
86                         fail();
87                     bench_new(dst1, size * SIZEOF_PIXEL,l, a);
88                 }
89             }
90         }
91     }
92     report("ipred");
93 }
94
95 #undef randomize_buffers
96
97 #define setpx(a,b,c) \
98     do { \
99         if (SIZEOF_PIXEL == 1) { \
100             buf0[(a) + (b) * jstride] = c; \
101         } else { \
102             ((uint16_t *)buf0)[(a) + (b) * jstride] = c; \
103         } \
104     } while (0)
105 #define setdx(a,b,c,d) setpx(a,b,(c)-(d)+(rnd()%((d)*2+1)))
106 #define setsx(a,b,c,d) setdx(a,b,c,(d) << (bit_depth - 8))
107 #define randomize_buffers(bidx, lineoff, str) \
108     do { \
109         uint32_t mask = (1 << bit_depth) - 1; \
110         int off = dir ? lineoff : lineoff * 16; \
111         int istride = dir ? 1 : 16; \
112         int jstride = dir ? str : 1; \
113         int i, j; \
114         for (i = 0; i < 2; i++) /* flat16 */ { \
115             int idx = off + i * istride, p0, q0; \
116             setpx(idx,  0, q0 = rnd() & mask); \
117             setsx(idx, -1, p0 = q0, E[bidx] >> 2); \
118             for (j = 1; j < 8; j++) { \
119                 setsx(idx, -1 - j, p0, F[bidx]); \
120                 setsx(idx, j, q0, F[bidx]); \
121             } \
122         } \
123         for (i = 2; i < 4; i++) /* flat8 */ { \
124             int idx = off + i * istride, p0, q0; \
125             setpx(idx,  0, q0 = rnd() & mask); \
126             setsx(idx, -1, p0 = q0, E[bidx] >> 2); \
127             for (j = 1; j < 4; j++) { \
128                 setsx(idx, -1 - j, p0, F[bidx]); \
129                 setsx(idx, j, q0, F[bidx]); \
130             } \
131             for (j = 4; j < 8; j++) { \
132                 setpx(idx, -1 - j, rnd() & mask); \
133                 setpx(idx, j, rnd() & mask); \
134             } \
135         } \
136         for (i = 4; i < 6; i++) /* regular */ { \
137             int idx = off + i * istride, p2, p1, p0, q0, q1, q2; \
138             setpx(idx,  0, q0 = rnd() & mask); \
139             setsx(idx,  1, q1 = q0, I[bidx]); \
140             setsx(idx,  2, q2 = q1, I[bidx]); \
141             setsx(idx,  3, q2,      I[bidx]); \
142             setsx(idx, -1, p0 = q0, E[bidx] >> 2); \
143             setsx(idx, -2, p1 = p0, I[bidx]); \
144             setsx(idx, -3, p2 = p1, I[bidx]); \
145             setsx(idx, -4, p2,      I[bidx]); \
146             for (j = 4; j < 8; j++) { \
147                 setpx(idx, -1 - j, rnd() & mask); \
148                 setpx(idx, j, rnd() & mask); \
149             } \
150         } \
151         for (i = 6; i < 8; i++) /* off */ { \
152             int idx = off + i * istride; \
153             for (j = 0; j < 8; j++) { \
154                 setpx(idx, -1 - j, rnd() & mask); \
155                 setpx(idx, j, rnd() & mask); \
156             } \
157         } \
158     } while (0)
159
160 static void check_loopfilter()
161 {
162     LOCAL_ALIGNED_32(uint8_t, base0, [32 + 16 * 16 * 2]);
163     LOCAL_ALIGNED_32(uint8_t, base1, [32 + 16 * 16 * 2]);
164     VP9DSPContext dsp;
165     int dir, wd, wd2, bit_depth;
166     static const char *const dir_name[2] = { "h", "v" };
167     int E[2] = { 20, 28 }, I[2] = { 10, 16 }, H[2] = { 7, 11 }, F[2] = { 1, 1 };
168     declare_func(void, uint8_t *dst, ptrdiff_t stride, int E, int I, int H);
169
170     for (bit_depth = 8; bit_depth <= 12; bit_depth += 2) {
171         ff_vp9dsp_init(&dsp, bit_depth, 0);
172
173         for (dir = 0; dir < 2; dir++) {
174             uint8_t *buf0, *buf1;
175             int midoff = (dir ? 8 * 8 : 8) * SIZEOF_PIXEL;
176             int midoff_aligned = (dir ? 8 * 8 : 16) * SIZEOF_PIXEL;
177
178             buf0 = base0 + midoff_aligned;
179             buf1 = base1 + midoff_aligned;
180
181             for (wd = 0; wd < 3; wd++) {
182                 // 4/8/16wd_8px
183                 if (check_func(dsp.loop_filter_8[wd][dir],
184                                "vp9_loop_filter_%s_%d_8_%dbpp",
185                                dir_name[dir], 4 << wd, bit_depth)) {
186                     randomize_buffers(0, 0, 8);
187                     memcpy(buf1 - midoff, buf0 - midoff,
188                            16 * 8 * SIZEOF_PIXEL);
189                     call_ref(buf0, 16 * SIZEOF_PIXEL >> dir, E[0], I[0], H[0]);
190                     call_new(buf1, 16 * SIZEOF_PIXEL >> dir, E[0], I[0], H[0]);
191                     if (memcmp(buf0 - midoff, buf1 - midoff, 16 * 8 * SIZEOF_PIXEL))
192                         fail();
193                     bench_new(buf1, 16 * SIZEOF_PIXEL >> dir, E[0], I[0], H[0]);
194                 }
195             }
196
197             midoff = (dir ? 16 * 8 : 8) * SIZEOF_PIXEL;
198             midoff_aligned = (dir ? 16 * 8 : 16) * SIZEOF_PIXEL;
199
200             buf0 = base0 + midoff_aligned;
201             buf1 = base1 + midoff_aligned;
202
203             // 16wd_16px loopfilter
204             if (check_func(dsp.loop_filter_16[dir],
205                            "vp9_loop_filter_%s_16_16_%dbpp",
206                            dir_name[dir], bit_depth)) {
207                 randomize_buffers(0, 0, 16);
208                 randomize_buffers(0, 8, 16);
209                 memcpy(buf1 - midoff, buf0 - midoff, 16 * 16 * SIZEOF_PIXEL);
210                 call_ref(buf0, 16 * SIZEOF_PIXEL, E[0], I[0], H[0]);
211                 call_new(buf1, 16 * SIZEOF_PIXEL, E[0], I[0], H[0]);
212                 if (memcmp(buf0 - midoff, buf1 - midoff, 16 * 16 * SIZEOF_PIXEL))
213                     fail();
214                 bench_new(buf1, 16 * SIZEOF_PIXEL, E[0], I[0], H[0]);
215             }
216
217             for (wd = 0; wd < 2; wd++) {
218                 for (wd2 = 0; wd2 < 2; wd2++) {
219                     // mix2 loopfilter
220                     if (check_func(dsp.loop_filter_mix2[wd][wd2][dir],
221                                    "vp9_loop_filter_mix2_%s_%d%d_16_%dbpp",
222                                    dir_name[dir], 4 << wd, 4 << wd2, bit_depth)) {
223                         randomize_buffers(0, 0, 16);
224                         randomize_buffers(1, 8, 16);
225                         memcpy(buf1 - midoff, buf0 - midoff, 16 * 16 * SIZEOF_PIXEL);
226 #define M(a) (((a)[1] << 8) | (a)[0])
227                         call_ref(buf0, 16 * SIZEOF_PIXEL, M(E), M(I), M(H));
228                         call_new(buf1, 16 * SIZEOF_PIXEL, M(E), M(I), M(H));
229                         if (memcmp(buf0 - midoff, buf1 - midoff, 16 * 16 * SIZEOF_PIXEL))
230                             fail();
231                         bench_new(buf1, 16 * SIZEOF_PIXEL, M(E), M(I), M(H));
232 #undef M
233                     }
234                 }
235             }
236         }
237     }
238     report("loopfilter");
239 }
240
241 #undef setsx
242 #undef setpx
243 #undef setdx
244 #undef randomize_buffers
245
246 #define DST_BUF_SIZE (size * size * SIZEOF_PIXEL)
247 #define SRC_BUF_STRIDE 72
248 #define SRC_BUF_SIZE ((size + 7) * SRC_BUF_STRIDE * SIZEOF_PIXEL)
249 #define src (buf + 3 * SIZEOF_PIXEL * (SRC_BUF_STRIDE + 1))
250
251 #define randomize_buffers()                               \
252     do {                                                  \
253         uint32_t mask = pixel_mask[(bit_depth - 8) >> 1]; \
254         int k;                                            \
255         for (k = 0; k < SRC_BUF_SIZE; k += 4) {           \
256             uint32_t r = rnd() & mask;                    \
257             AV_WN32A(buf + k, r);                         \
258         }                                                 \
259         if (op == 1) {                                    \
260             for (k = 0; k < DST_BUF_SIZE; k += 4) {       \
261                 uint32_t r = rnd() & mask;                \
262                 AV_WN32A(dst0 + k, r);                    \
263                 AV_WN32A(dst1 + k, r);                    \
264             }                                             \
265         }                                                 \
266     } while (0)
267
268 static void check_mc(void)
269 {
270     LOCAL_ALIGNED_32(uint8_t, buf, [72 * 72 * 2]);
271     LOCAL_ALIGNED_32(uint8_t, dst0, [64 * 64 * 2]);
272     LOCAL_ALIGNED_32(uint8_t, dst1, [64 * 64 * 2]);
273     VP9DSPContext dsp;
274     int op, hsize, bit_depth, filter, dx, dy;
275     declare_func(void, uint8_t *dst, ptrdiff_t dst_stride,
276                  const uint8_t *ref, ptrdiff_t ref_stride,
277                  int h, int mx, int my);
278     static const char *const filter_names[4] = {
279         "8tap_smooth", "8tap_regular", "8tap_sharp", "bilin"
280     };
281     static const char *const subpel_names[2][2] = { { "", "h" }, { "v", "hv" } };
282     static const char *const op_names[2] = { "put", "avg" };
283     char str[256];
284
285     for (op = 0; op < 2; op++) {
286         for (bit_depth = 8; bit_depth <= 12; bit_depth += 2) {
287             ff_vp9dsp_init(&dsp, bit_depth, 0);
288             for (hsize = 0; hsize < 5; hsize++) {
289                 int size = 64 >> hsize;
290
291                 for (filter = 0; filter < 4; filter++) {
292                     for (dx = 0; dx < 2; dx++) {
293                         for (dy = 0; dy < 2; dy++) {
294                             if (dx || dy) {
295                                 snprintf(str, sizeof(str),
296                                          "%s_%s_%d%s", op_names[op],
297                                          filter_names[filter], size,
298                                          subpel_names[dy][dx]);
299                             } else {
300                                 snprintf(str, sizeof(str),
301                                          "%s%d", op_names[op], size);
302                             }
303                             if (check_func(dsp.mc[hsize][filter][op][dx][dy],
304                                            "vp9_%s_%dbpp", str, bit_depth)) {
305                                 int mx = dx ? 1 + (rnd() % 14) : 0;
306                                 int my = dy ? 1 + (rnd() % 14) : 0;
307                                 randomize_buffers();
308                                 call_ref(dst0, size * SIZEOF_PIXEL,
309                                          src, SRC_BUF_STRIDE * SIZEOF_PIXEL,
310                                          size, mx, my);
311                                 call_new(dst1, size * SIZEOF_PIXEL,
312                                          src, SRC_BUF_STRIDE * SIZEOF_PIXEL,
313                                          size, mx, my);
314                                 if (memcmp(dst0, dst1, DST_BUF_SIZE))
315                                     fail();
316
317                                 // simd implementations for each filter of subpel
318                                 // functions are identical
319                                 if (filter >= 1 && filter <= 2) continue;
320                                 // 10/12 bpp for bilin are identical
321                                 if (bit_depth == 12 && filter == 3) continue;
322
323                                 bench_new(dst1, size * SIZEOF_PIXEL,
324                                           src, SRC_BUF_STRIDE * SIZEOF_PIXEL,
325                                           size, mx, my);
326                             }
327                         }
328                     }
329                 }
330             }
331         }
332     }
333     report("mc");
334 }
335
336 void checkasm_check_vp9dsp(void)
337 {
338     check_ipred();
339     check_loopfilter();
340     check_mc();
341 }