x86: AVX-512 support
[x264/x264-sandbox.git] / common / cpu.c
1 /*****************************************************************************
2  * cpu.c: cpu detection
3  *****************************************************************************
4  * Copyright (C) 2003-2017 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *          Laurent Aimar <fenrir@via.ecp.fr>
8  *          Fiona Glaser <fiona@x264.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #include "common.h"
29
30 #if HAVE_POSIXTHREAD && SYS_LINUX
31 #include <sched.h>
32 #endif
33 #if SYS_BEOS
34 #include <kernel/OS.h>
35 #endif
36 #if SYS_MACOSX || SYS_FREEBSD
37 #include <sys/types.h>
38 #include <sys/sysctl.h>
39 #endif
40 #if SYS_OPENBSD
41 #include <sys/param.h>
42 #include <sys/sysctl.h>
43 #include <machine/cpu.h>
44 #endif
45
46 const x264_cpu_name_t x264_cpu_names[] =
47 {
48 #if HAVE_MMX
49 //  {"MMX",         X264_CPU_MMX},  // we don't support asm on mmx1 cpus anymore
50 #define MMX2 X264_CPU_MMX|X264_CPU_MMX2
51     {"MMX2",        MMX2},
52     {"MMXEXT",      MMX2},
53     {"SSE",         MMX2|X264_CPU_SSE},
54 #define SSE2 MMX2|X264_CPU_SSE|X264_CPU_SSE2
55     {"SSE2Slow",    SSE2|X264_CPU_SSE2_IS_SLOW},
56     {"SSE2",        SSE2},
57     {"SSE2Fast",    SSE2|X264_CPU_SSE2_IS_FAST},
58     {"LZCNT",       SSE2|X264_CPU_LZCNT},
59     {"SSE3",        SSE2|X264_CPU_SSE3},
60     {"SSSE3",       SSE2|X264_CPU_SSE3|X264_CPU_SSSE3},
61     {"SSE4.1",      SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
62     {"SSE4",        SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
63     {"SSE4.2",      SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42},
64 #define AVX SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42|X264_CPU_AVX
65     {"AVX",         AVX},
66     {"XOP",         AVX|X264_CPU_XOP},
67     {"FMA4",        AVX|X264_CPU_FMA4},
68     {"FMA3",        AVX|X264_CPU_FMA3},
69     {"BMI1",        AVX|X264_CPU_LZCNT|X264_CPU_BMI1},
70     {"BMI2",        AVX|X264_CPU_LZCNT|X264_CPU_BMI1|X264_CPU_BMI2},
71 #define AVX2 AVX|X264_CPU_FMA3|X264_CPU_LZCNT|X264_CPU_BMI1|X264_CPU_BMI2|X264_CPU_AVX2
72     {"AVX2",        AVX2},
73     {"AVX512",      AVX2|X264_CPU_AVX512},
74 #undef AVX2
75 #undef AVX
76 #undef SSE2
77 #undef MMX2
78     {"Cache32",         X264_CPU_CACHELINE_32},
79     {"Cache64",         X264_CPU_CACHELINE_64},
80     {"SlowAtom",        X264_CPU_SLOW_ATOM},
81     {"SlowPshufb",      X264_CPU_SLOW_PSHUFB},
82     {"SlowPalignr",     X264_CPU_SLOW_PALIGNR},
83     {"SlowShuffle",     X264_CPU_SLOW_SHUFFLE},
84     {"UnalignedStack",  X264_CPU_STACK_MOD4},
85 #elif ARCH_PPC
86     {"Altivec",         X264_CPU_ALTIVEC},
87 #elif ARCH_ARM
88     {"ARMv6",           X264_CPU_ARMV6},
89     {"NEON",            X264_CPU_NEON},
90     {"FastNeonMRC",     X264_CPU_FAST_NEON_MRC},
91 #elif ARCH_AARCH64
92     {"ARMv8",           X264_CPU_ARMV8},
93     {"NEON",            X264_CPU_NEON},
94 #elif ARCH_MIPS
95     {"MSA",             X264_CPU_MSA},
96 #endif
97     {"", 0},
98 };
99
100 #if (ARCH_PPC && SYS_LINUX) || (ARCH_ARM && !HAVE_NEON)
101 #include <signal.h>
102 #include <setjmp.h>
103 static sigjmp_buf jmpbuf;
104 static volatile sig_atomic_t canjump = 0;
105
106 static void sigill_handler( int sig )
107 {
108     if( !canjump )
109     {
110         signal( sig, SIG_DFL );
111         raise( sig );
112     }
113
114     canjump = 0;
115     siglongjmp( jmpbuf, 1 );
116 }
117 #endif
118
119 #if HAVE_MMX
120 int x264_cpu_cpuid_test( void );
121 void x264_cpu_cpuid( uint32_t op, uint32_t *eax, uint32_t *ebx, uint32_t *ecx, uint32_t *edx );
122 uint64_t x264_cpu_xgetbv( int xcr );
123
124 uint32_t x264_cpu_detect( void )
125 {
126     uint32_t cpu = 0;
127     uint32_t eax, ebx, ecx, edx;
128     uint32_t vendor[4] = {0};
129     uint32_t max_extended_cap, max_basic_cap;
130     uint64_t xcr0 = 0;
131
132 #if !ARCH_X86_64
133     if( !x264_cpu_cpuid_test() )
134         return 0;
135 #endif
136
137     x264_cpu_cpuid( 0, &max_basic_cap, vendor+0, vendor+2, vendor+1 );
138     if( max_basic_cap == 0 )
139         return 0;
140
141     x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
142     if( edx&0x00800000 )
143         cpu |= X264_CPU_MMX;
144     else
145         return cpu;
146     if( edx&0x02000000 )
147         cpu |= X264_CPU_MMX2|X264_CPU_SSE;
148     if( edx&0x04000000 )
149         cpu |= X264_CPU_SSE2;
150     if( ecx&0x00000001 )
151         cpu |= X264_CPU_SSE3;
152     if( ecx&0x00000200 )
153         cpu |= X264_CPU_SSSE3|X264_CPU_SSE2_IS_FAST;
154     if( ecx&0x00080000 )
155         cpu |= X264_CPU_SSE4;
156     if( ecx&0x00100000 )
157         cpu |= X264_CPU_SSE42;
158
159     if( ecx&0x08000000 ) /* XGETBV supported and XSAVE enabled by OS */
160     {
161         xcr0 = x264_cpu_xgetbv( 0 );
162         if( (xcr0&0x6) == 0x6 ) /* XMM/YMM state */
163         {
164             if( ecx&0x10000000 )
165                 cpu |= X264_CPU_AVX;
166             if( ecx&0x00001000 )
167                 cpu |= X264_CPU_FMA3;
168         }
169     }
170
171     if( max_basic_cap >= 7 )
172     {
173         x264_cpu_cpuid( 7, &eax, &ebx, &ecx, &edx );
174
175         if( ebx&0x00000008 )
176             cpu |= X264_CPU_BMI1;
177         if( ebx&0x00000100 )
178             cpu |= X264_CPU_BMI2;
179
180         if( (xcr0&0x6) == 0x6 ) /* XMM/YMM state */
181         {
182             if( ebx&0x00000020 )
183                 cpu |= X264_CPU_AVX2;
184
185             if( (xcr0&0xE0) == 0xE0 ) /* OPMASK/ZMM state */
186             {
187                 if( (ebx&0xD0030000) == 0xD0030000 )
188                     cpu |= X264_CPU_AVX512;
189             }
190         }
191     }
192
193     x264_cpu_cpuid( 0x80000000, &eax, &ebx, &ecx, &edx );
194     max_extended_cap = eax;
195
196     if( max_extended_cap >= 0x80000001 )
197     {
198         x264_cpu_cpuid( 0x80000001, &eax, &ebx, &ecx, &edx );
199
200         if( ecx&0x00000020 )
201             cpu |= X264_CPU_LZCNT;             /* Supported by Intel chips starting with Haswell */
202         if( ecx&0x00000040 ) /* SSE4a, AMD only */
203         {
204             int family = ((eax>>8)&0xf) + ((eax>>20)&0xff);
205             cpu |= X264_CPU_SSE2_IS_FAST;      /* Phenom and later CPUs have fast SSE units */
206             if( family == 0x14 )
207             {
208                 cpu &= ~X264_CPU_SSE2_IS_FAST; /* SSSE3 doesn't imply fast SSE anymore... */
209                 cpu |= X264_CPU_SSE2_IS_SLOW;  /* Bobcat has 64-bit SIMD units */
210                 cpu |= X264_CPU_SLOW_PALIGNR;  /* palignr is insanely slow on Bobcat */
211             }
212             if( family == 0x16 )
213             {
214                 cpu |= X264_CPU_SLOW_PSHUFB;   /* Jaguar's pshufb isn't that slow, but it's slow enough
215                                                 * compared to alternate instruction sequences that this
216                                                 * is equal or faster on almost all such functions. */
217             }
218         }
219
220         if( cpu & X264_CPU_AVX )
221         {
222             if( ecx&0x00000800 ) /* XOP */
223                 cpu |= X264_CPU_XOP;
224             if( ecx&0x00010000 ) /* FMA4 */
225                 cpu |= X264_CPU_FMA4;
226         }
227
228         if( !strcmp((char*)vendor, "AuthenticAMD") )
229         {
230             if( edx&0x00400000 )
231                 cpu |= X264_CPU_MMX2;
232             if( (cpu&X264_CPU_SSE2) && !(cpu&X264_CPU_SSE2_IS_FAST) )
233                 cpu |= X264_CPU_SSE2_IS_SLOW; /* AMD CPUs come in two types: terrible at SSE and great at it */
234         }
235     }
236
237     if( !strcmp((char*)vendor, "GenuineIntel") )
238     {
239         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
240         int family = ((eax>>8)&0xf) + ((eax>>20)&0xff);
241         int model  = ((eax>>4)&0xf) + ((eax>>12)&0xf0);
242         if( family == 6 )
243         {
244             /* 6/9 (pentium-m "banias"), 6/13 (pentium-m "dothan"), and 6/14 (core1 "yonah")
245              * theoretically support sse2, but it's significantly slower than mmx for
246              * almost all of x264's functions, so let's just pretend they don't. */
247             if( model == 9 || model == 13 || model == 14 )
248             {
249                 cpu &= ~(X264_CPU_SSE2|X264_CPU_SSE3);
250                 assert(!(cpu&(X264_CPU_SSSE3|X264_CPU_SSE4)));
251             }
252             /* Detect Atom CPU */
253             else if( model == 28 )
254             {
255                 cpu |= X264_CPU_SLOW_ATOM;
256                 cpu |= X264_CPU_SLOW_PSHUFB;
257             }
258             /* Conroe has a slow shuffle unit. Check the model number to make sure not
259              * to include crippled low-end Penryns and Nehalems that don't have SSE4. */
260             else if( (cpu&X264_CPU_SSSE3) && !(cpu&X264_CPU_SSE4) && model < 23 )
261                 cpu |= X264_CPU_SLOW_SHUFFLE;
262         }
263     }
264
265     if( (!strcmp((char*)vendor, "GenuineIntel") || !strcmp((char*)vendor, "CyrixInstead")) && !(cpu&X264_CPU_SSE42))
266     {
267         /* cacheline size is specified in 3 places, any of which may be missing */
268         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
269         int cache = (ebx&0xff00)>>5; // cflush size
270         if( !cache && max_extended_cap >= 0x80000006 )
271         {
272             x264_cpu_cpuid( 0x80000006, &eax, &ebx, &ecx, &edx );
273             cache = ecx&0xff; // cacheline size
274         }
275         if( !cache && max_basic_cap >= 2 )
276         {
277             // Cache and TLB Information
278             static const char cache32_ids[] = { 0x0a, 0x0c, 0x41, 0x42, 0x43, 0x44, 0x45, 0x82, 0x83, 0x84, 0x85, 0 };
279             static const char cache64_ids[] = { 0x22, 0x23, 0x25, 0x29, 0x2c, 0x46, 0x47, 0x49, 0x60, 0x66, 0x67,
280                                                 0x68, 0x78, 0x79, 0x7a, 0x7b, 0x7c, 0x7c, 0x7f, 0x86, 0x87, 0 };
281             uint32_t buf[4];
282             int max, i = 0;
283             do {
284                 x264_cpu_cpuid( 2, buf+0, buf+1, buf+2, buf+3 );
285                 max = buf[0]&0xff;
286                 buf[0] &= ~0xff;
287                 for( int j = 0; j < 4; j++ )
288                     if( !(buf[j]>>31) )
289                         while( buf[j] )
290                         {
291                             if( strchr( cache32_ids, buf[j]&0xff ) )
292                                 cache = 32;
293                             if( strchr( cache64_ids, buf[j]&0xff ) )
294                                 cache = 64;
295                             buf[j] >>= 8;
296                         }
297             } while( ++i < max );
298         }
299
300         if( cache == 32 )
301             cpu |= X264_CPU_CACHELINE_32;
302         else if( cache == 64 )
303             cpu |= X264_CPU_CACHELINE_64;
304         else
305             x264_log( NULL, X264_LOG_WARNING, "unable to determine cacheline size\n" );
306     }
307
308 #if STACK_ALIGNMENT < 16
309     cpu |= X264_CPU_STACK_MOD4;
310 #endif
311
312     return cpu;
313 }
314
315 #elif ARCH_PPC && HAVE_ALTIVEC
316
317 #if SYS_MACOSX || SYS_OPENBSD || SYS_FREEBSD
318 #include <sys/sysctl.h>
319 uint32_t x264_cpu_detect( void )
320 {
321     /* Thank you VLC */
322     uint32_t cpu = 0;
323 #if SYS_OPENBSD
324     int      selectors[2] = { CTL_MACHDEP, CPU_ALTIVEC };
325 #elif SYS_MACOSX
326     int      selectors[2] = { CTL_HW, HW_VECTORUNIT };
327 #endif
328     int      has_altivec = 0;
329     size_t   length = sizeof( has_altivec );
330 #if SYS_MACOSX || SYS_OPENBSD
331     int      error = sysctl( selectors, 2, &has_altivec, &length, NULL, 0 );
332 #else
333     int      error = sysctlbyname( "hw.altivec", &has_altivec, &length, NULL, 0 );
334 #endif
335
336     if( error == 0 && has_altivec != 0 )
337         cpu |= X264_CPU_ALTIVEC;
338
339     return cpu;
340 }
341
342 #elif SYS_LINUX
343
344 uint32_t x264_cpu_detect( void )
345 {
346 #ifdef __NO_FPRS__
347     return 0;
348 #else
349     static void (*oldsig)( int );
350
351     oldsig = signal( SIGILL, sigill_handler );
352     if( sigsetjmp( jmpbuf, 1 ) )
353     {
354         signal( SIGILL, oldsig );
355         return 0;
356     }
357
358     canjump = 1;
359     asm volatile( "mtspr 256, %0\n\t"
360                   "vand 0, 0, 0\n\t"
361                   :
362                   : "r"(-1) );
363     canjump = 0;
364
365     signal( SIGILL, oldsig );
366
367     return X264_CPU_ALTIVEC;
368 #endif
369 }
370 #endif
371
372 #elif ARCH_ARM
373
374 void x264_cpu_neon_test( void );
375 int x264_cpu_fast_neon_mrc_test( void );
376
377 uint32_t x264_cpu_detect( void )
378 {
379     int flags = 0;
380 #if HAVE_ARMV6
381     flags |= X264_CPU_ARMV6;
382
383     // don't do this hack if compiled with -mfpu=neon
384 #if !HAVE_NEON
385     static void (* oldsig)( int );
386     oldsig = signal( SIGILL, sigill_handler );
387     if( sigsetjmp( jmpbuf, 1 ) )
388     {
389         signal( SIGILL, oldsig );
390         return flags;
391     }
392
393     canjump = 1;
394     x264_cpu_neon_test();
395     canjump = 0;
396     signal( SIGILL, oldsig );
397 #endif
398
399     flags |= X264_CPU_NEON;
400
401     // fast neon -> arm (Cortex-A9) detection relies on user access to the
402     // cycle counter; this assumes ARMv7 performance counters.
403     // NEON requires at least ARMv7, ARMv8 may require changes here, but
404     // hopefully this hacky detection method will have been replaced by then.
405     // Note that there is potential for a race condition if another program or
406     // x264 instance disables or reinits the counters while x264 is using them,
407     // which may result in incorrect detection and the counters stuck enabled.
408     // right now Apple does not seem to support performance counters for this test
409 #ifndef __MACH__
410     flags |= x264_cpu_fast_neon_mrc_test() ? X264_CPU_FAST_NEON_MRC : 0;
411 #endif
412     // TODO: write dual issue test? currently it's A8 (dual issue) vs. A9 (fast mrc)
413 #endif
414     return flags;
415 }
416
417 #elif ARCH_AARCH64
418
419 uint32_t x264_cpu_detect( void )
420 {
421     return X264_CPU_ARMV8 | X264_CPU_NEON;
422 }
423
424 #elif ARCH_MIPS
425
426 uint32_t x264_cpu_detect( void )
427 {
428     uint32_t flags = 0;
429 #if HAVE_MSA
430     flags |= X264_CPU_MSA;
431 #endif
432     return flags;
433 }
434
435 #else
436
437 uint32_t x264_cpu_detect( void )
438 {
439     return 0;
440 }
441
442 #endif
443
444 int x264_cpu_num_processors( void )
445 {
446 #if !HAVE_THREAD
447     return 1;
448
449 #elif SYS_WINDOWS
450     return x264_pthread_num_processors_np();
451
452 #elif SYS_CYGWIN || SYS_SunOS
453     return sysconf( _SC_NPROCESSORS_ONLN );
454
455 #elif SYS_LINUX
456 #ifdef __ANDROID__
457     // Android NDK does not expose sched_getaffinity
458     return sysconf( _SC_NPROCESSORS_CONF );
459 #else
460     cpu_set_t p_aff;
461     memset( &p_aff, 0, sizeof(p_aff) );
462     if( sched_getaffinity( 0, sizeof(p_aff), &p_aff ) )
463         return 1;
464 #if HAVE_CPU_COUNT
465     return CPU_COUNT(&p_aff);
466 #else
467     int np = 0;
468     for( unsigned int bit = 0; bit < 8 * sizeof(p_aff); bit++ )
469         np += (((uint8_t *)&p_aff)[bit / 8] >> (bit % 8)) & 1;
470     return np;
471 #endif
472 #endif
473
474 #elif SYS_BEOS
475     system_info info;
476     get_system_info( &info );
477     return info.cpu_count;
478
479 #elif SYS_MACOSX || SYS_FREEBSD || SYS_OPENBSD
480     int ncpu;
481     size_t length = sizeof( ncpu );
482 #if SYS_OPENBSD
483     int mib[2] = { CTL_HW, HW_NCPU };
484     if( sysctl(mib, 2, &ncpu, &length, NULL, 0) )
485 #else
486     if( sysctlbyname("hw.ncpu", &ncpu, &length, NULL, 0) )
487 #endif
488     {
489         ncpu = 1;
490     }
491     return ncpu;
492
493 #else
494     return 1;
495 #endif
496 }