30b197a8f5bcda3ae57acf67e90b93ff4c0a33e7
[x262.git] / common / cpu.c
1 /*****************************************************************************
2  * cpu.c: cpu detection
3  *****************************************************************************
4  * Copyright (C) 2003-2013 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *          Laurent Aimar <fenrir@via.ecp.fr>
8  *          Jason Garrett-Glaser <darkshikari@gmail.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #define _GNU_SOURCE // for sched_getaffinity
29 #include "common.h"
30 #include "cpu.h"
31
32 #if HAVE_POSIXTHREAD && SYS_LINUX
33 #include <sched.h>
34 #endif
35 #if SYS_BEOS
36 #include <kernel/OS.h>
37 #endif
38 #if SYS_MACOSX || SYS_FREEBSD
39 #include <sys/types.h>
40 #include <sys/sysctl.h>
41 #endif
42 #if SYS_OPENBSD
43 #include <sys/param.h>
44 #include <sys/sysctl.h>
45 #include <machine/cpu.h>
46 #endif
47
48 const x264_cpu_name_t x264_cpu_names[] =
49 {
50 #if HAVE_MMX
51 //  {"MMX",         X264_CPU_MMX},  // we don't support asm on mmx1 cpus anymore
52 //  {"CMOV",        X264_CPU_CMOV}, // we require this unconditionally, so don't print it
53 #define MMX2 X264_CPU_MMX|X264_CPU_MMX2|X264_CPU_CMOV
54     {"MMX2",        MMX2},
55     {"MMXEXT",      MMX2},
56     {"SSE",         MMX2|X264_CPU_SSE},
57 #define SSE2 MMX2|X264_CPU_SSE|X264_CPU_SSE2
58     {"SSE2Slow",    SSE2|X264_CPU_SSE2_IS_SLOW},
59     {"SSE2",        SSE2},
60     {"SSE2Fast",    SSE2|X264_CPU_SSE2_IS_FAST},
61     {"SSE3",        SSE2|X264_CPU_SSE3},
62     {"SSSE3",       SSE2|X264_CPU_SSE3|X264_CPU_SSSE3},
63     {"SSE4.1",      SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
64     {"SSE4",        SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
65     {"SSE4.2",      SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42},
66 #define AVX SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42|X264_CPU_AVX
67     {"AVX",         AVX},
68     {"XOP",         AVX|X264_CPU_XOP},
69     {"FMA4",        AVX|X264_CPU_FMA4},
70     {"AVX2",        AVX|X264_CPU_AVX2},
71     {"FMA3",        AVX|X264_CPU_FMA3},
72 #undef AVX
73 #undef SSE2
74 #undef MMX2
75     {"Cache32",         X264_CPU_CACHELINE_32},
76     {"Cache64",         X264_CPU_CACHELINE_64},
77     {"LZCNT",           X264_CPU_LZCNT},
78     {"BMI1",            X264_CPU_BMI1},
79     {"BMI2",            X264_CPU_BMI1|X264_CPU_BMI2},
80     {"SlowCTZ",         X264_CPU_SLOW_CTZ},
81     {"SlowAtom",        X264_CPU_SLOW_ATOM},
82     {"SlowPshufb",      X264_CPU_SLOW_PSHUFB},
83     {"SlowPalignr",     X264_CPU_SLOW_PALIGNR},
84     {"SlowShuffle",     X264_CPU_SLOW_SHUFFLE},
85     {"UnalignedStack",  X264_CPU_STACK_MOD4},
86 #elif ARCH_PPC
87     {"Altivec",         X264_CPU_ALTIVEC},
88 #elif ARCH_ARM
89     {"ARMv6",           X264_CPU_ARMV6},
90     {"NEON",            X264_CPU_NEON},
91     {"FastNeonMRC",     X264_CPU_FAST_NEON_MRC},
92 #endif
93     {"", 0},
94 };
95
96 #if (ARCH_PPC && SYS_LINUX) || (ARCH_ARM && !HAVE_NEON)
97 #include <signal.h>
98 #include <setjmp.h>
99 static sigjmp_buf jmpbuf;
100 static volatile sig_atomic_t canjump = 0;
101
102 static void sigill_handler( int sig )
103 {
104     if( !canjump )
105     {
106         signal( sig, SIG_DFL );
107         raise( sig );
108     }
109
110     canjump = 0;
111     siglongjmp( jmpbuf, 1 );
112 }
113 #endif
114
115 #if HAVE_MMX
116 int x264_cpu_cpuid_test( void );
117 void x264_cpu_cpuid( uint32_t op, uint32_t *eax, uint32_t *ebx, uint32_t *ecx, uint32_t *edx );
118 void x264_cpu_xgetbv( uint32_t op, uint32_t *eax, uint32_t *edx );
119
120 uint32_t x264_cpu_detect( void )
121 {
122     uint32_t cpu = 0;
123     uint32_t eax, ebx, ecx, edx;
124     uint32_t vendor[4] = {0};
125     uint32_t max_extended_cap;
126     int cache;
127
128 #if !ARCH_X86_64
129     if( !x264_cpu_cpuid_test() )
130         return 0;
131 #endif
132
133     x264_cpu_cpuid( 0, &eax, vendor+0, vendor+2, vendor+1 );
134     if( eax == 0 )
135         return 0;
136
137     x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
138     if( edx&0x00800000 )
139         cpu |= X264_CPU_MMX;
140     else
141         return cpu;
142     if( edx&0x02000000 )
143         cpu |= X264_CPU_MMX2|X264_CPU_SSE;
144     if( edx&0x00008000 )
145         cpu |= X264_CPU_CMOV;
146     else
147         return cpu;
148     if( edx&0x04000000 )
149         cpu |= X264_CPU_SSE2;
150     if( ecx&0x00000001 )
151         cpu |= X264_CPU_SSE3;
152     if( ecx&0x00000200 )
153         cpu |= X264_CPU_SSSE3;
154     if( ecx&0x00080000 )
155         cpu |= X264_CPU_SSE4;
156     if( ecx&0x00100000 )
157         cpu |= X264_CPU_SSE42;
158     /* Check OXSAVE and AVX bits */
159     if( (ecx&0x18000000) == 0x18000000 )
160     {
161         /* Check for OS support */
162         x264_cpu_xgetbv( 0, &eax, &edx );
163         if( (eax&0x6) == 0x6 )
164         {
165             cpu |= X264_CPU_AVX;
166             if( ecx&0x00001000 )
167                 cpu |= X264_CPU_FMA3;
168         }
169     }
170
171     x264_cpu_cpuid( 7, &eax, &ebx, &ecx, &edx );
172     /* AVX2 requires OS support, but BMI1/2 don't. */
173     if( (cpu&X264_CPU_AVX) && (ebx&0x00000020) )
174         cpu |= X264_CPU_AVX2;
175     if( ebx&0x00000008 )
176     {
177         cpu |= X264_CPU_BMI1;
178         if( ebx&0x00000100 )
179             cpu |= X264_CPU_BMI2;
180     }
181
182     if( cpu & X264_CPU_SSSE3 )
183         cpu |= X264_CPU_SSE2_IS_FAST;
184
185     x264_cpu_cpuid( 0x80000000, &eax, &ebx, &ecx, &edx );
186     max_extended_cap = eax;
187
188     if( max_extended_cap >= 0x80000001 )
189     {
190         x264_cpu_cpuid( 0x80000001, &eax, &ebx, &ecx, &edx );
191
192         if( ecx&0x00000020 )
193             cpu |= X264_CPU_LZCNT;             /* Supported by Intel chips starting with Haswell */
194         if( ecx&0x00000040 ) /* SSE4a, AMD only */
195         {
196             int family = ((eax>>8)&0xf) + ((eax>>20)&0xff);
197             cpu |= X264_CPU_SSE2_IS_FAST;      /* Phenom and later CPUs have fast SSE units */
198             if( family == 0x14 )
199             {
200                 cpu &= ~X264_CPU_SSE2_IS_FAST; /* SSSE3 doesn't imply fast SSE anymore... */
201                 cpu |= X264_CPU_SSE2_IS_SLOW;  /* Bobcat has 64-bit SIMD units */
202                 cpu |= X264_CPU_SLOW_PALIGNR;  /* palignr is insanely slow on Bobcat */
203             }
204             if( family == 0x16 )
205             {
206                 cpu |= X264_CPU_SLOW_PSHUFB;   /* Jaguar's pshufb isn't that slow, but it's slow enough
207                                                 * compared to alternate instruction sequences that this
208                                                 * is equal or faster on almost all such functions. */
209             }
210         }
211
212         if( cpu & X264_CPU_AVX )
213         {
214             if( ecx&0x00000800 ) /* XOP */
215                 cpu |= X264_CPU_XOP;
216             if( ecx&0x00010000 ) /* FMA4 */
217                 cpu |= X264_CPU_FMA4;
218         }
219
220         if( !strcmp((char*)vendor, "AuthenticAMD") )
221         {
222             if( edx&0x00400000 )
223                 cpu |= X264_CPU_MMX2;
224             if( !(cpu&X264_CPU_LZCNT) )
225                 cpu |= X264_CPU_SLOW_CTZ;
226             if( (cpu&X264_CPU_SSE2) && !(cpu&X264_CPU_SSE2_IS_FAST) )
227                 cpu |= X264_CPU_SSE2_IS_SLOW; /* AMD CPUs come in two types: terrible at SSE and great at it */
228         }
229     }
230
231     if( !strcmp((char*)vendor, "GenuineIntel") )
232     {
233         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
234         int family = ((eax>>8)&0xf) + ((eax>>20)&0xff);
235         int model  = ((eax>>4)&0xf) + ((eax>>12)&0xf0);
236         if( family == 6 )
237         {
238             /* 6/9 (pentium-m "banias"), 6/13 (pentium-m "dothan"), and 6/14 (core1 "yonah")
239              * theoretically support sse2, but it's significantly slower than mmx for
240              * almost all of x264's functions, so let's just pretend they don't. */
241             if( model == 9 || model == 13 || model == 14 )
242             {
243                 cpu &= ~(X264_CPU_SSE2|X264_CPU_SSE3);
244                 assert(!(cpu&(X264_CPU_SSSE3|X264_CPU_SSE4)));
245             }
246             /* Detect Atom CPU */
247             else if( model == 28 )
248             {
249                 cpu |= X264_CPU_SLOW_ATOM;
250                 cpu |= X264_CPU_SLOW_CTZ;
251                 cpu |= X264_CPU_SLOW_PSHUFB;
252             }
253             /* Conroe has a slow shuffle unit. Check the model number to make sure not
254              * to include crippled low-end Penryns and Nehalems that don't have SSE4. */
255             else if( (cpu&X264_CPU_SSSE3) && !(cpu&X264_CPU_SSE4) && model < 23 )
256                 cpu |= X264_CPU_SLOW_SHUFFLE;
257         }
258     }
259
260     if( (!strcmp((char*)vendor, "GenuineIntel") || !strcmp((char*)vendor, "CyrixInstead")) && !(cpu&X264_CPU_SSE42))
261     {
262         /* cacheline size is specified in 3 places, any of which may be missing */
263         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
264         cache = (ebx&0xff00)>>5; // cflush size
265         if( !cache && max_extended_cap >= 0x80000006 )
266         {
267             x264_cpu_cpuid( 0x80000006, &eax, &ebx, &ecx, &edx );
268             cache = ecx&0xff; // cacheline size
269         }
270         if( !cache )
271         {
272             // Cache and TLB Information
273             static const char cache32_ids[] = { 0x0a, 0x0c, 0x41, 0x42, 0x43, 0x44, 0x45, 0x82, 0x83, 0x84, 0x85, 0 };
274             static const char cache64_ids[] = { 0x22, 0x23, 0x25, 0x29, 0x2c, 0x46, 0x47, 0x49, 0x60, 0x66, 0x67,
275                                                 0x68, 0x78, 0x79, 0x7a, 0x7b, 0x7c, 0x7c, 0x7f, 0x86, 0x87, 0 };
276             uint32_t buf[4];
277             int max, i = 0;
278             do {
279                 x264_cpu_cpuid( 2, buf+0, buf+1, buf+2, buf+3 );
280                 max = buf[0]&0xff;
281                 buf[0] &= ~0xff;
282                 for( int j = 0; j < 4; j++ )
283                     if( !(buf[j]>>31) )
284                         while( buf[j] )
285                         {
286                             if( strchr( cache32_ids, buf[j]&0xff ) )
287                                 cache = 32;
288                             if( strchr( cache64_ids, buf[j]&0xff ) )
289                                 cache = 64;
290                             buf[j] >>= 8;
291                         }
292             } while( ++i < max );
293         }
294
295         if( cache == 32 )
296             cpu |= X264_CPU_CACHELINE_32;
297         else if( cache == 64 )
298             cpu |= X264_CPU_CACHELINE_64;
299         else
300             x264_log( NULL, X264_LOG_WARNING, "unable to determine cacheline size\n" );
301     }
302
303 #if BROKEN_STACK_ALIGNMENT
304     cpu |= X264_CPU_STACK_MOD4;
305 #endif
306
307     return cpu;
308 }
309
310 #elif ARCH_PPC
311
312 #if SYS_MACOSX || SYS_OPENBSD
313 #include <sys/sysctl.h>
314 uint32_t x264_cpu_detect( void )
315 {
316     /* Thank you VLC */
317     uint32_t cpu = 0;
318 #if SYS_OPENBSD
319     int      selectors[2] = { CTL_MACHDEP, CPU_ALTIVEC };
320 #else
321     int      selectors[2] = { CTL_HW, HW_VECTORUNIT };
322 #endif
323     int      has_altivec = 0;
324     size_t   length = sizeof( has_altivec );
325     int      error = sysctl( selectors, 2, &has_altivec, &length, NULL, 0 );
326
327     if( error == 0 && has_altivec != 0 )
328         cpu |= X264_CPU_ALTIVEC;
329
330     return cpu;
331 }
332
333 #elif SYS_LINUX
334
335 uint32_t x264_cpu_detect( void )
336 {
337     static void (*oldsig)( int );
338
339     oldsig = signal( SIGILL, sigill_handler );
340     if( sigsetjmp( jmpbuf, 1 ) )
341     {
342         signal( SIGILL, oldsig );
343         return 0;
344     }
345
346     canjump = 1;
347     asm volatile( "mtspr 256, %0\n\t"
348                   "vand 0, 0, 0\n\t"
349                   :
350                   : "r"(-1) );
351     canjump = 0;
352
353     signal( SIGILL, oldsig );
354
355     return X264_CPU_ALTIVEC;
356 }
357 #endif
358
359 #elif ARCH_ARM
360
361 void x264_cpu_neon_test( void );
362 int x264_cpu_fast_neon_mrc_test( void );
363
364 uint32_t x264_cpu_detect( void )
365 {
366     int flags = 0;
367 #if HAVE_ARMV6
368     flags |= X264_CPU_ARMV6;
369
370     // don't do this hack if compiled with -mfpu=neon
371 #if !HAVE_NEON
372     static void (* oldsig)( int );
373     oldsig = signal( SIGILL, sigill_handler );
374     if( sigsetjmp( jmpbuf, 1 ) )
375     {
376         signal( SIGILL, oldsig );
377         return flags;
378     }
379
380     canjump = 1;
381     x264_cpu_neon_test();
382     canjump = 0;
383     signal( SIGILL, oldsig );
384 #endif
385
386     flags |= X264_CPU_NEON;
387
388     // fast neon -> arm (Cortex-A9) detection relies on user access to the
389     // cycle counter; this assumes ARMv7 performance counters.
390     // NEON requires at least ARMv7, ARMv8 may require changes here, but
391     // hopefully this hacky detection method will have been replaced by then.
392     // Note that there is potential for a race condition if another program or
393     // x264 instance disables or reinits the counters while x264 is using them,
394     // which may result in incorrect detection and the counters stuck enabled.
395     // right now Apple does not seem to support performance counters for this test
396 #ifndef __MACH__
397     flags |= x264_cpu_fast_neon_mrc_test() ? X264_CPU_FAST_NEON_MRC : 0;
398 #endif
399     // TODO: write dual issue test? currently it's A8 (dual issue) vs. A9 (fast mrc)
400 #endif
401     return flags;
402 }
403
404 #else
405
406 uint32_t x264_cpu_detect( void )
407 {
408     return 0;
409 }
410
411 #endif
412
413 int x264_cpu_num_processors( void )
414 {
415 #if !HAVE_THREAD
416     return 1;
417
418 #elif SYS_WINDOWS
419     return x264_pthread_num_processors_np();
420
421 #elif SYS_CYGWIN || SYS_SunOS
422     return sysconf( _SC_NPROCESSORS_ONLN );
423
424 #elif SYS_LINUX
425     cpu_set_t p_aff;
426     memset( &p_aff, 0, sizeof(p_aff) );
427     if( sched_getaffinity( 0, sizeof(p_aff), &p_aff ) )
428         return 1;
429 #if HAVE_CPU_COUNT
430     return CPU_COUNT(&p_aff);
431 #else
432     int np = 0;
433     for( unsigned int bit = 0; bit < 8 * sizeof(p_aff); bit++ )
434         np += (((uint8_t *)&p_aff)[bit / 8] >> (bit % 8)) & 1;
435     return np;
436 #endif
437
438 #elif SYS_BEOS
439     system_info info;
440     get_system_info( &info );
441     return info.cpu_count;
442
443 #elif SYS_MACOSX || SYS_FREEBSD || SYS_OPENBSD
444     int ncpu;
445     size_t length = sizeof( ncpu );
446 #if SYS_OPENBSD
447     int mib[2] = { CTL_HW, HW_NCPU };
448     if( sysctl(mib, 2, &ncpu, &length, NULL, 0) )
449 #else
450     if( sysctlbyname("hw.ncpu", &ncpu, &length, NULL, 0) )
451 #endif
452     {
453         ncpu = 1;
454     }
455     return ncpu;
456
457 #else
458     return 1;
459 #endif
460 }