20ce56932fe5de4f5cde1ec3ddedf12497f837e6
[ffmpeg.git] / tests / checkasm / checkasm.c
1 /*
2  * Assembly testing and benchmarking tool
3  * Copyright (c) 2015 Henrik Gramner
4  * Copyright (c) 2008 Loren Merritt
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License along
19  * with FFmpeg; if not, write to the Free Software Foundation, Inc.,
20  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
21  */
22
23 #include "config.h"
24
25 #if CONFIG_LINUX_PERF
26 # ifndef _GNU_SOURCE
27 #  define _GNU_SOURCE // for syscall (performance monitoring API)
28 # endif
29 #endif
30
31 #include <stdarg.h>
32 #include <stdio.h>
33 #include <stdlib.h>
34 #include <string.h>
35 #include "checkasm.h"
36 #include "libavutil/common.h"
37 #include "libavutil/cpu.h"
38 #include "libavutil/intfloat.h"
39 #include "libavutil/random_seed.h"
40
41 #if HAVE_IO_H
42 #include <io.h>
43 #endif
44
45 #if HAVE_SETCONSOLETEXTATTRIBUTE
46 #include <windows.h>
47 #define COLOR_RED    FOREGROUND_RED
48 #define COLOR_GREEN  FOREGROUND_GREEN
49 #define COLOR_YELLOW (FOREGROUND_RED|FOREGROUND_GREEN)
50 #else
51 #define COLOR_RED    1
52 #define COLOR_GREEN  2
53 #define COLOR_YELLOW 3
54 #endif
55
56 #if HAVE_UNISTD_H
57 #include <unistd.h>
58 #endif
59
60 #if !HAVE_ISATTY
61 #define isatty(fd) 1
62 #endif
63
64 #if ARCH_ARM && HAVE_ARMV5TE_EXTERNAL
65 #include "libavutil/arm/cpu.h"
66
67 void (*checkasm_checked_call)(void *func, int dummy, ...) = checkasm_checked_call_novfp;
68 #endif
69
70 /* List of tests to invoke */
71 static const struct {
72     const char *name;
73     void (*func)(void);
74 } tests[] = {
75 #if CONFIG_AVCODEC
76     #if CONFIG_AAC_DECODER
77         { "aacpsdsp", checkasm_check_aacpsdsp },
78         { "sbrdsp",   checkasm_check_sbrdsp },
79     #endif
80     #if CONFIG_ALAC_DECODER
81         { "alacdsp", checkasm_check_alacdsp },
82     #endif
83     #if CONFIG_AUDIODSP
84         { "audiodsp", checkasm_check_audiodsp },
85     #endif
86     #if CONFIG_BLOCKDSP
87         { "blockdsp", checkasm_check_blockdsp },
88     #endif
89     #if CONFIG_BSWAPDSP
90         { "bswapdsp", checkasm_check_bswapdsp },
91     #endif
92     #if CONFIG_DCA_DECODER
93         { "synth_filter", checkasm_check_synth_filter },
94     #endif
95     #if CONFIG_EXR_DECODER
96         { "exrdsp", checkasm_check_exrdsp },
97     #endif
98     #if CONFIG_FLACDSP
99         { "flacdsp", checkasm_check_flacdsp },
100     #endif
101     #if CONFIG_FMTCONVERT
102         { "fmtconvert", checkasm_check_fmtconvert },
103     #endif
104     #if CONFIG_G722DSP
105         { "g722dsp", checkasm_check_g722dsp },
106     #endif
107     #if CONFIG_H264DSP
108         { "h264dsp", checkasm_check_h264dsp },
109     #endif
110     #if CONFIG_H264PRED
111         { "h264pred", checkasm_check_h264pred },
112     #endif
113     #if CONFIG_H264QPEL
114         { "h264qpel", checkasm_check_h264qpel },
115     #endif
116     #if CONFIG_HEVC_DECODER
117         { "hevc_add_res", checkasm_check_hevc_add_res },
118         { "hevc_idct", checkasm_check_hevc_idct },
119         { "hevc_sao", checkasm_check_hevc_sao },
120     #endif
121     #if CONFIG_HUFFYUV_DECODER
122         { "huffyuvdsp", checkasm_check_huffyuvdsp },
123     #endif
124     #if CONFIG_JPEG2000_DECODER
125         { "jpeg2000dsp", checkasm_check_jpeg2000dsp },
126     #endif
127     #if CONFIG_HUFFYUVDSP
128         { "llviddsp", checkasm_check_llviddsp },
129     #endif
130     #if CONFIG_LLVIDENCDSP
131         { "llviddspenc", checkasm_check_llviddspenc },
132     #endif
133     #if CONFIG_PIXBLOCKDSP
134         { "pixblockdsp", checkasm_check_pixblockdsp },
135     #endif
136     #if CONFIG_UTVIDEO_DECODER
137         { "utvideodsp", checkasm_check_utvideodsp },
138     #endif
139     #if CONFIG_V210_ENCODER
140         { "v210enc", checkasm_check_v210enc },
141     #endif
142     #if CONFIG_VP8DSP
143         { "vp8dsp", checkasm_check_vp8dsp },
144     #endif
145     #if CONFIG_VP9_DECODER
146         { "vp9dsp", checkasm_check_vp9dsp },
147     #endif
148     #if CONFIG_VIDEODSP
149         { "videodsp", checkasm_check_videodsp },
150     #endif
151 #endif
152 #if CONFIG_AVFILTER
153     #if CONFIG_BLEND_FILTER
154         { "vf_blend", checkasm_check_blend },
155     #endif
156     #if CONFIG_COLORSPACE_FILTER
157         { "vf_colorspace", checkasm_check_colorspace },
158     #endif
159     #if CONFIG_HFLIP_FILTER
160         { "vf_hflip", checkasm_check_vf_hflip },
161     #endif
162     #if CONFIG_THRESHOLD_FILTER
163         { "vf_threshold", checkasm_check_vf_threshold },
164     #endif
165 #endif
166 #if CONFIG_SWSCALE
167     { "sw_rgb", checkasm_check_sw_rgb },
168 #endif
169 #if CONFIG_AVUTIL
170         { "fixed_dsp", checkasm_check_fixed_dsp },
171         { "float_dsp", checkasm_check_float_dsp },
172 #endif
173     { NULL }
174 };
175
176 /* List of cpu flags to check */
177 static const struct {
178     const char *name;
179     const char *suffix;
180     int flag;
181 } cpus[] = {
182 #if   ARCH_AARCH64
183     { "ARMV8",    "armv8",    AV_CPU_FLAG_ARMV8 },
184     { "NEON",     "neon",     AV_CPU_FLAG_NEON },
185 #elif ARCH_ARM
186     { "ARMV5TE",  "armv5te",  AV_CPU_FLAG_ARMV5TE },
187     { "ARMV6",    "armv6",    AV_CPU_FLAG_ARMV6 },
188     { "ARMV6T2",  "armv6t2",  AV_CPU_FLAG_ARMV6T2 },
189     { "VFP",      "vfp",      AV_CPU_FLAG_VFP },
190     { "VFP_VM",   "vfp_vm",   AV_CPU_FLAG_VFP_VM },
191     { "VFPV3",    "vfp3",     AV_CPU_FLAG_VFPV3 },
192     { "NEON",     "neon",     AV_CPU_FLAG_NEON },
193 #elif ARCH_PPC
194     { "ALTIVEC",  "altivec",  AV_CPU_FLAG_ALTIVEC },
195     { "VSX",      "vsx",      AV_CPU_FLAG_VSX },
196     { "POWER8",   "power8",   AV_CPU_FLAG_POWER8 },
197 #elif ARCH_X86
198     { "MMX",      "mmx",      AV_CPU_FLAG_MMX|AV_CPU_FLAG_CMOV },
199     { "MMXEXT",   "mmxext",   AV_CPU_FLAG_MMXEXT },
200     { "3DNOW",    "3dnow",    AV_CPU_FLAG_3DNOW },
201     { "3DNOWEXT", "3dnowext", AV_CPU_FLAG_3DNOWEXT },
202     { "SSE",      "sse",      AV_CPU_FLAG_SSE },
203     { "SSE2",     "sse2",     AV_CPU_FLAG_SSE2|AV_CPU_FLAG_SSE2SLOW },
204     { "SSE3",     "sse3",     AV_CPU_FLAG_SSE3|AV_CPU_FLAG_SSE3SLOW },
205     { "SSSE3",    "ssse3",    AV_CPU_FLAG_SSSE3|AV_CPU_FLAG_ATOM },
206     { "SSE4.1",   "sse4",     AV_CPU_FLAG_SSE4 },
207     { "SSE4.2",   "sse42",    AV_CPU_FLAG_SSE42 },
208     { "AES-NI",   "aesni",    AV_CPU_FLAG_AESNI },
209     { "AVX",      "avx",      AV_CPU_FLAG_AVX },
210     { "XOP",      "xop",      AV_CPU_FLAG_XOP },
211     { "FMA3",     "fma3",     AV_CPU_FLAG_FMA3 },
212     { "FMA4",     "fma4",     AV_CPU_FLAG_FMA4 },
213     { "AVX2",     "avx2",     AV_CPU_FLAG_AVX2 },
214     { "AVX-512",  "avx512",   AV_CPU_FLAG_AVX512 },
215 #endif
216     { NULL }
217 };
218
219 typedef struct CheckasmFuncVersion {
220     struct CheckasmFuncVersion *next;
221     void *func;
222     int ok;
223     int cpu;
224     CheckasmPerf perf;
225 } CheckasmFuncVersion;
226
227 /* Binary search tree node */
228 typedef struct CheckasmFunc {
229     struct CheckasmFunc *child[2];
230     CheckasmFuncVersion versions;
231     uint8_t color; /* 0 = red, 1 = black */
232     char name[1];
233 } CheckasmFunc;
234
235 /* Internal state */
236 static struct {
237     CheckasmFunc *funcs;
238     CheckasmFunc *current_func;
239     CheckasmFuncVersion *current_func_ver;
240     const char *current_test_name;
241     const char *bench_pattern;
242     int bench_pattern_len;
243     int num_checked;
244     int num_failed;
245
246     /* perf */
247     int nop_time;
248     int sysfd;
249
250     int cpu_flag;
251     const char *cpu_flag_name;
252     const char *test_name;
253 } state;
254
255 /* PRNG state */
256 AVLFG checkasm_lfg;
257
258 /* float compare support code */
259 static int is_negative(union av_intfloat32 u)
260 {
261     return u.i >> 31;
262 }
263
264 int float_near_ulp(float a, float b, unsigned max_ulp)
265 {
266     union av_intfloat32 x, y;
267
268     x.f = a;
269     y.f = b;
270
271     if (is_negative(x) != is_negative(y)) {
272         // handle -0.0 == +0.0
273         return a == b;
274     }
275
276     if (llabs((int64_t)x.i - y.i) <= max_ulp)
277         return 1;
278
279     return 0;
280 }
281
282 int float_near_ulp_array(const float *a, const float *b, unsigned max_ulp,
283                          unsigned len)
284 {
285     unsigned i;
286
287     for (i = 0; i < len; i++) {
288         if (!float_near_ulp(a[i], b[i], max_ulp))
289             return 0;
290     }
291     return 1;
292 }
293
294 int float_near_abs_eps(float a, float b, float eps)
295 {
296     float abs_diff = fabsf(a - b);
297
298     return abs_diff < eps;
299 }
300
301 int float_near_abs_eps_array(const float *a, const float *b, float eps,
302                          unsigned len)
303 {
304     unsigned i;
305
306     for (i = 0; i < len; i++) {
307         if (!float_near_abs_eps(a[i], b[i], eps))
308             return 0;
309     }
310     return 1;
311 }
312
313 int float_near_abs_eps_ulp(float a, float b, float eps, unsigned max_ulp)
314 {
315     return float_near_ulp(a, b, max_ulp) || float_near_abs_eps(a, b, eps);
316 }
317
318 int float_near_abs_eps_array_ulp(const float *a, const float *b, float eps,
319                          unsigned max_ulp, unsigned len)
320 {
321     unsigned i;
322
323     for (i = 0; i < len; i++) {
324         if (!float_near_abs_eps_ulp(a[i], b[i], eps, max_ulp))
325             return 0;
326     }
327     return 1;
328 }
329
330 int double_near_abs_eps(double a, double b, double eps)
331 {
332     double abs_diff = fabs(a - b);
333
334     return abs_diff < eps;
335 }
336
337 int double_near_abs_eps_array(const double *a, const double *b, double eps,
338                               unsigned len)
339 {
340     unsigned i;
341
342     for (i = 0; i < len; i++) {
343         if (!double_near_abs_eps(a[i], b[i], eps))
344             return 0;
345     }
346     return 1;
347 }
348
349 /* Print colored text to stderr if the terminal supports it */
350 static void color_printf(int color, const char *fmt, ...)
351 {
352     static int use_color = -1;
353     va_list arg;
354
355 #if HAVE_SETCONSOLETEXTATTRIBUTE
356     static HANDLE con;
357     static WORD org_attributes;
358
359     if (use_color < 0) {
360         CONSOLE_SCREEN_BUFFER_INFO con_info;
361         con = GetStdHandle(STD_ERROR_HANDLE);
362         if (con && con != INVALID_HANDLE_VALUE && GetConsoleScreenBufferInfo(con, &con_info)) {
363             org_attributes = con_info.wAttributes;
364             use_color = 1;
365         } else
366             use_color = 0;
367     }
368     if (use_color)
369         SetConsoleTextAttribute(con, (org_attributes & 0xfff0) | (color & 0x0f));
370 #else
371     if (use_color < 0) {
372         const char *term = getenv("TERM");
373         use_color = term && strcmp(term, "dumb") && isatty(2);
374     }
375     if (use_color)
376         fprintf(stderr, "\x1b[%d;3%dm", (color & 0x08) >> 3, color & 0x07);
377 #endif
378
379     va_start(arg, fmt);
380     vfprintf(stderr, fmt, arg);
381     va_end(arg);
382
383     if (use_color) {
384 #if HAVE_SETCONSOLETEXTATTRIBUTE
385         SetConsoleTextAttribute(con, org_attributes);
386 #else
387         fprintf(stderr, "\x1b[0m");
388 #endif
389     }
390 }
391
392 /* Deallocate a tree */
393 static void destroy_func_tree(CheckasmFunc *f)
394 {
395     if (f) {
396         CheckasmFuncVersion *v = f->versions.next;
397         while (v) {
398             CheckasmFuncVersion *next = v->next;
399             free(v);
400             v = next;
401         }
402
403         destroy_func_tree(f->child[0]);
404         destroy_func_tree(f->child[1]);
405         free(f);
406     }
407 }
408
409 /* Allocate a zero-initialized block, clean up and exit on failure */
410 static void *checkasm_malloc(size_t size)
411 {
412     void *ptr = calloc(1, size);
413     if (!ptr) {
414         fprintf(stderr, "checkasm: malloc failed\n");
415         destroy_func_tree(state.funcs);
416         exit(1);
417     }
418     return ptr;
419 }
420
421 /* Get the suffix of the specified cpu flag */
422 static const char *cpu_suffix(int cpu)
423 {
424     int i = FF_ARRAY_ELEMS(cpus);
425
426     while (--i >= 0)
427         if (cpu & cpus[i].flag)
428             return cpus[i].suffix;
429
430     return "c";
431 }
432
433 static int cmp_nop(const void *a, const void *b)
434 {
435     return *(const uint16_t*)a - *(const uint16_t*)b;
436 }
437
438 /* Measure the overhead of the timing code (in decicycles) */
439 static int measure_nop_time(void)
440 {
441     uint16_t nops[10000];
442     int i, nop_sum = 0;
443     av_unused const int sysfd = state.sysfd;
444
445     uint64_t t = 0;
446     for (i = 0; i < 10000; i++) {
447         PERF_START(t);
448         PERF_STOP(t);
449         nops[i] = t;
450     }
451
452     qsort(nops, 10000, sizeof(uint16_t), cmp_nop);
453     for (i = 2500; i < 7500; i++)
454         nop_sum += nops[i];
455
456     return nop_sum / 500;
457 }
458
459 /* Print benchmark results */
460 static void print_benchs(CheckasmFunc *f)
461 {
462     if (f) {
463         print_benchs(f->child[0]);
464
465         /* Only print functions with at least one assembly version */
466         if (f->versions.cpu || f->versions.next) {
467             CheckasmFuncVersion *v = &f->versions;
468             do {
469                 CheckasmPerf *p = &v->perf;
470                 if (p->iterations) {
471                     int decicycles = (10*p->cycles/p->iterations - state.nop_time) / 4;
472                     printf("%s_%s: %d.%d\n", f->name, cpu_suffix(v->cpu), decicycles/10, decicycles%10);
473                 }
474             } while ((v = v->next));
475         }
476
477         print_benchs(f->child[1]);
478     }
479 }
480
481 /* ASCIIbetical sort except preserving natural order for numbers */
482 static int cmp_func_names(const char *a, const char *b)
483 {
484     const char *start = a;
485     int ascii_diff, digit_diff;
486
487     for (; !(ascii_diff = *(const unsigned char*)a - *(const unsigned char*)b) && *a; a++, b++);
488     for (; av_isdigit(*a) && av_isdigit(*b); a++, b++);
489
490     if (a > start && av_isdigit(a[-1]) && (digit_diff = av_isdigit(*a) - av_isdigit(*b)))
491         return digit_diff;
492
493     return ascii_diff;
494 }
495
496 /* Perform a tree rotation in the specified direction and return the new root */
497 static CheckasmFunc *rotate_tree(CheckasmFunc *f, int dir)
498 {
499     CheckasmFunc *r = f->child[dir^1];
500     f->child[dir^1] = r->child[dir];
501     r->child[dir] = f;
502     r->color = f->color;
503     f->color = 0;
504     return r;
505 }
506
507 #define is_red(f) ((f) && !(f)->color)
508
509 /* Balance a left-leaning red-black tree at the specified node */
510 static void balance_tree(CheckasmFunc **root)
511 {
512     CheckasmFunc *f = *root;
513
514     if (is_red(f->child[0]) && is_red(f->child[1])) {
515         f->color ^= 1;
516         f->child[0]->color = f->child[1]->color = 1;
517     }
518
519     if (!is_red(f->child[0]) && is_red(f->child[1]))
520         *root = rotate_tree(f, 0); /* Rotate left */
521     else if (is_red(f->child[0]) && is_red(f->child[0]->child[0]))
522         *root = rotate_tree(f, 1); /* Rotate right */
523 }
524
525 /* Get a node with the specified name, creating it if it doesn't exist */
526 static CheckasmFunc *get_func(CheckasmFunc **root, const char *name)
527 {
528     CheckasmFunc *f = *root;
529
530     if (f) {
531         /* Search the tree for a matching node */
532         int cmp = cmp_func_names(name, f->name);
533         if (cmp) {
534             f = get_func(&f->child[cmp > 0], name);
535
536             /* Rebalance the tree on the way up if a new node was inserted */
537             if (!f->versions.func)
538                 balance_tree(root);
539         }
540     } else {
541         /* Allocate and insert a new node into the tree */
542         int name_length = strlen(name);
543         f = *root = checkasm_malloc(sizeof(CheckasmFunc) + name_length);
544         memcpy(f->name, name, name_length + 1);
545     }
546
547     return f;
548 }
549
550 /* Perform tests and benchmarks for the specified cpu flag if supported by the host */
551 static void check_cpu_flag(const char *name, int flag)
552 {
553     int old_cpu_flag = state.cpu_flag;
554
555     flag |= old_cpu_flag;
556     av_force_cpu_flags(-1);
557     state.cpu_flag = flag & av_get_cpu_flags();
558     av_force_cpu_flags(state.cpu_flag);
559
560     if (!flag || state.cpu_flag != old_cpu_flag) {
561         int i;
562
563         state.cpu_flag_name = name;
564         for (i = 0; tests[i].func; i++) {
565             if (state.test_name && strcmp(tests[i].name, state.test_name))
566                 continue;
567             state.current_test_name = tests[i].name;
568             tests[i].func();
569         }
570     }
571 }
572
573 /* Print the name of the current CPU flag, but only do it once */
574 static void print_cpu_name(void)
575 {
576     if (state.cpu_flag_name) {
577         color_printf(COLOR_YELLOW, "%s:\n", state.cpu_flag_name);
578         state.cpu_flag_name = NULL;
579     }
580 }
581
582 #if CONFIG_LINUX_PERF
583 static int bench_init_linux(void)
584 {
585     struct perf_event_attr attr = {
586         .type           = PERF_TYPE_HARDWARE,
587         .size           = sizeof(struct perf_event_attr),
588         .config         = PERF_COUNT_HW_CPU_CYCLES,
589         .disabled       = 1, // start counting only on demand
590         .exclude_kernel = 1,
591         .exclude_hv     = 1,
592     };
593
594     printf("benchmarking with Linux Perf Monitoring API\n");
595
596     state.sysfd = syscall(__NR_perf_event_open, &attr, 0, -1, -1, 0);
597     if (state.sysfd == -1) {
598         perror("syscall");
599         return -1;
600     }
601     return 0;
602 }
603 #endif
604
605 static int bench_init_ffmpeg(void)
606 {
607 #ifdef AV_READ_TIME
608     printf("benchmarking with native FFmpeg timers\n");
609     return 0;
610 #else
611     fprintf(stderr, "checkasm: --bench is not supported on your system\n");
612     return -1;
613 #endif
614 }
615
616 static int bench_init(void)
617 {
618 #if CONFIG_LINUX_PERF
619     int ret = bench_init_linux();
620 #else
621     int ret = bench_init_ffmpeg();
622 #endif
623     if (ret < 0)
624         return ret;
625
626     state.nop_time = measure_nop_time();
627     printf("nop: %d.%d\n", state.nop_time/10, state.nop_time%10);
628     return 0;
629 }
630
631 static void bench_uninit(void)
632 {
633 #if CONFIG_LINUX_PERF
634     if (state.sysfd > 0)
635         close(state.sysfd);
636 #endif
637 }
638
639 int main(int argc, char *argv[])
640 {
641     unsigned int seed = av_get_random_seed();
642     int i, ret = 0;
643
644 #if ARCH_ARM && HAVE_ARMV5TE_EXTERNAL
645     if (have_vfp(av_get_cpu_flags()) || have_neon(av_get_cpu_flags()))
646         checkasm_checked_call = checkasm_checked_call_vfp;
647 #endif
648
649     if (!tests[0].func || !cpus[0].flag) {
650         fprintf(stderr, "checkasm: no tests to perform\n");
651         return 0;
652     }
653
654     while (argc > 1) {
655         if (!strncmp(argv[1], "--bench", 7)) {
656             if (bench_init() < 0)
657                 return 1;
658             if (argv[1][7] == '=') {
659                 state.bench_pattern = argv[1] + 8;
660                 state.bench_pattern_len = strlen(state.bench_pattern);
661             } else
662                 state.bench_pattern = "";
663         } else if (!strncmp(argv[1], "--test=", 7)) {
664             state.test_name = argv[1] + 7;
665         } else {
666             seed = strtoul(argv[1], NULL, 10);
667         }
668
669         argc--;
670         argv++;
671     }
672
673     fprintf(stderr, "checkasm: using random seed %u\n", seed);
674     av_lfg_init(&checkasm_lfg, seed);
675
676     check_cpu_flag(NULL, 0);
677     for (i = 0; cpus[i].flag; i++)
678         check_cpu_flag(cpus[i].name, cpus[i].flag);
679
680     if (state.num_failed) {
681         fprintf(stderr, "checkasm: %d of %d tests have failed\n", state.num_failed, state.num_checked);
682         ret = 1;
683     } else {
684         fprintf(stderr, "checkasm: all %d tests passed\n", state.num_checked);
685         if (state.bench_pattern) {
686             print_benchs(state.funcs);
687         }
688     }
689
690     destroy_func_tree(state.funcs);
691     bench_uninit();
692     return ret;
693 }
694
695 /* Decide whether or not the specified function needs to be tested and
696  * allocate/initialize data structures if needed. Returns a pointer to a
697  * reference function if the function should be tested, otherwise NULL */
698 void *checkasm_check_func(void *func, const char *name, ...)
699 {
700     char name_buf[256];
701     void *ref = func;
702     CheckasmFuncVersion *v;
703     int name_length;
704     va_list arg;
705
706     va_start(arg, name);
707     name_length = vsnprintf(name_buf, sizeof(name_buf), name, arg);
708     va_end(arg);
709
710     if (!func || name_length <= 0 || name_length >= sizeof(name_buf))
711         return NULL;
712
713     state.current_func = get_func(&state.funcs, name_buf);
714     state.funcs->color = 1;
715     v = &state.current_func->versions;
716
717     if (v->func) {
718         CheckasmFuncVersion *prev;
719         do {
720             /* Only test functions that haven't already been tested */
721             if (v->func == func)
722                 return NULL;
723
724             if (v->ok)
725                 ref = v->func;
726
727             prev = v;
728         } while ((v = v->next));
729
730         v = prev->next = checkasm_malloc(sizeof(CheckasmFuncVersion));
731     }
732
733     v->func = func;
734     v->ok = 1;
735     v->cpu = state.cpu_flag;
736     state.current_func_ver = v;
737
738     if (state.cpu_flag)
739         state.num_checked++;
740
741     return ref;
742 }
743
744 /* Decide whether or not the current function needs to be benchmarked */
745 int checkasm_bench_func(void)
746 {
747     return !state.num_failed && state.bench_pattern &&
748            !strncmp(state.current_func->name, state.bench_pattern, state.bench_pattern_len);
749 }
750
751 /* Indicate that the current test has failed */
752 void checkasm_fail_func(const char *msg, ...)
753 {
754     if (state.current_func_ver->cpu && state.current_func_ver->ok) {
755         va_list arg;
756
757         print_cpu_name();
758         fprintf(stderr, "   %s_%s (", state.current_func->name, cpu_suffix(state.current_func_ver->cpu));
759         va_start(arg, msg);
760         vfprintf(stderr, msg, arg);
761         va_end(arg);
762         fprintf(stderr, ")\n");
763
764         state.current_func_ver->ok = 0;
765         state.num_failed++;
766     }
767 }
768
769 /* Get the benchmark context of the current function */
770 CheckasmPerf *checkasm_get_perf_context(void)
771 {
772     CheckasmPerf *perf = &state.current_func_ver->perf;
773     memset(perf, 0, sizeof(*perf));
774     perf->sysfd = state.sysfd;
775     return perf;
776 }
777
778 /* Print the outcome of all tests performed since the last time this function was called */
779 void checkasm_report(const char *name, ...)
780 {
781     static int prev_checked, prev_failed, max_length;
782
783     if (state.num_checked > prev_checked) {
784         int pad_length = max_length + 4;
785         va_list arg;
786
787         print_cpu_name();
788         pad_length -= fprintf(stderr, " - %s.", state.current_test_name);
789         va_start(arg, name);
790         pad_length -= vfprintf(stderr, name, arg);
791         va_end(arg);
792         fprintf(stderr, "%*c", FFMAX(pad_length, 0) + 2, '[');
793
794         if (state.num_failed == prev_failed)
795             color_printf(COLOR_GREEN, "OK");
796         else
797             color_printf(COLOR_RED, "FAILED");
798         fprintf(stderr, "]\n");
799
800         prev_checked = state.num_checked;
801         prev_failed  = state.num_failed;
802     } else if (!state.cpu_flag) {
803         /* Calculate the amount of padding required to make the output vertically aligned */
804         int length = strlen(state.current_test_name);
805         va_list arg;
806
807         va_start(arg, name);
808         length += vsnprintf(NULL, 0, name, arg);
809         va_end(arg);
810
811         if (length > max_length)
812             max_length = length;
813     }
814 }