Bump dates to 2013
[x262.git] / common / cpu.c
1 /*****************************************************************************
2  * cpu.c: cpu detection
3  *****************************************************************************
4  * Copyright (C) 2003-2013 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *          Laurent Aimar <fenrir@via.ecp.fr>
8  *          Jason Garrett-Glaser <darkshikari@gmail.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #define _GNU_SOURCE // for sched_getaffinity
29 #include "common.h"
30 #include "cpu.h"
31
32 #if HAVE_POSIXTHREAD && SYS_LINUX
33 #include <sched.h>
34 #endif
35 #if SYS_BEOS
36 #include <kernel/OS.h>
37 #endif
38 #if SYS_MACOSX || SYS_FREEBSD
39 #include <sys/types.h>
40 #include <sys/sysctl.h>
41 #endif
42 #if SYS_OPENBSD
43 #include <sys/param.h>
44 #include <sys/sysctl.h>
45 #include <machine/cpu.h>
46 #endif
47
48 const x264_cpu_name_t x264_cpu_names[] =
49 {
50     {"Altivec",     X264_CPU_ALTIVEC},
51 //  {"MMX",         X264_CPU_MMX}, // we don't support asm on mmx1 cpus anymore
52     {"MMX2",        X264_CPU_MMX|X264_CPU_MMX2},
53     {"MMXEXT",      X264_CPU_MMX|X264_CPU_MMX2},
54 //  {"SSE",         X264_CPU_MMX|X264_CPU_MMX2|X264_CPU_SSE}, // there are no sse1 functions in x264
55 #define SSE2 X264_CPU_MMX|X264_CPU_MMX2|X264_CPU_SSE|X264_CPU_SSE2
56     {"SSE2Slow",    SSE2|X264_CPU_SSE2_IS_SLOW},
57     {"SSE2",        SSE2},
58     {"SSE2Fast",    SSE2|X264_CPU_SSE2_IS_FAST},
59     {"SSE3",        SSE2|X264_CPU_SSE3},
60     {"SSSE3",       SSE2|X264_CPU_SSE3|X264_CPU_SSSE3},
61     {"FastShuffle", SSE2|X264_CPU_SHUFFLE_IS_FAST},
62     {"SSE4.1",      SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
63     {"SSE4",        SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
64     {"SSE4.2",      SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42},
65 #define AVX SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42|X264_CPU_AVX
66     {"AVX",         AVX},
67     {"XOP",         AVX|X264_CPU_XOP},
68     {"FMA4",        AVX|X264_CPU_FMA4},
69     {"AVX2",        AVX|X264_CPU_AVX2},
70     {"FMA3",        AVX|X264_CPU_FMA3},
71 #undef AVX
72 #undef SSE2
73     {"Cache32",         X264_CPU_CACHELINE_32},
74     {"Cache64",         X264_CPU_CACHELINE_64},
75     {"SSEMisalign",     X264_CPU_SSE_MISALIGN},
76     {"LZCNT",           X264_CPU_LZCNT},
77     {"BMI1",            X264_CPU_BMI1},
78     {"BMI2",            X264_CPU_BMI1|X264_CPU_BMI2},
79     {"TBM",             X264_CPU_TBM},
80     {"Slow_mod4_stack", X264_CPU_STACK_MOD4},
81     {"ARMv6",           X264_CPU_ARMV6},
82     {"NEON",            X264_CPU_NEON},
83     {"Fast_NEON_MRC",   X264_CPU_FAST_NEON_MRC},
84     {"SlowCTZ",         X264_CPU_SLOW_CTZ},
85     {"SlowAtom",        X264_CPU_SLOW_ATOM},
86     {"", 0},
87 };
88
89 #if (ARCH_PPC && SYS_LINUX) || (ARCH_ARM && !HAVE_NEON)
90 #include <signal.h>
91 #include <setjmp.h>
92 static sigjmp_buf jmpbuf;
93 static volatile sig_atomic_t canjump = 0;
94
95 static void sigill_handler( int sig )
96 {
97     if( !canjump )
98     {
99         signal( sig, SIG_DFL );
100         raise( sig );
101     }
102
103     canjump = 0;
104     siglongjmp( jmpbuf, 1 );
105 }
106 #endif
107
108 #if HAVE_MMX
109 int x264_cpu_cpuid_test( void );
110 void x264_cpu_cpuid( uint32_t op, uint32_t *eax, uint32_t *ebx, uint32_t *ecx, uint32_t *edx );
111 void x264_cpu_xgetbv( uint32_t op, uint32_t *eax, uint32_t *edx );
112
113 uint32_t x264_cpu_detect( void )
114 {
115     uint32_t cpu = 0;
116     uint32_t eax, ebx, ecx, edx;
117     uint32_t vendor[4] = {0};
118     uint32_t max_extended_cap;
119     int cache;
120
121 #if !ARCH_X86_64
122     if( !x264_cpu_cpuid_test() )
123         return 0;
124 #endif
125
126     x264_cpu_cpuid( 0, &eax, vendor+0, vendor+2, vendor+1 );
127     if( eax == 0 )
128         return 0;
129
130     x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
131     if( edx&0x00800000 )
132         cpu |= X264_CPU_MMX;
133     else
134         return 0;
135     if( edx&0x02000000 )
136         cpu |= X264_CPU_MMX2|X264_CPU_SSE;
137     if( edx&0x04000000 )
138         cpu |= X264_CPU_SSE2;
139     if( ecx&0x00000001 )
140         cpu |= X264_CPU_SSE3;
141     if( ecx&0x00000200 )
142         cpu |= X264_CPU_SSSE3;
143     if( ecx&0x00080000 )
144         cpu |= X264_CPU_SSE4;
145     if( ecx&0x00100000 )
146         cpu |= X264_CPU_SSE42;
147     /* Check OXSAVE and AVX bits */
148     if( (ecx&0x18000000) == 0x18000000 )
149     {
150         /* Check for OS support */
151         x264_cpu_xgetbv( 0, &eax, &edx );
152         if( (eax&0x6) == 0x6 )
153         {
154             cpu |= X264_CPU_AVX;
155             if( ecx&0x00001000 )
156                 cpu |= X264_CPU_FMA3;
157         }
158     }
159
160     x264_cpu_cpuid( 7, &eax, &ebx, &ecx, &edx );
161     /* AVX2 requires OS support, but BMI1/2 don't. */
162     if( (cpu&X264_CPU_AVX) && (ebx&0x00000020) )
163         cpu |= X264_CPU_AVX2;
164     if( ebx&0x00000008 )
165     {
166         cpu |= X264_CPU_BMI1;
167         if( ebx&0x00000100 )
168             cpu |= X264_CPU_BMI2;
169     }
170
171     if( cpu & X264_CPU_SSSE3 )
172         cpu |= X264_CPU_SSE2_IS_FAST;
173     if( cpu & X264_CPU_SSE4 )
174         cpu |= X264_CPU_SHUFFLE_IS_FAST;
175
176     x264_cpu_cpuid( 0x80000000, &eax, &ebx, &ecx, &edx );
177     max_extended_cap = eax;
178
179     if( !strcmp((char*)vendor, "AuthenticAMD") && max_extended_cap >= 0x80000001 )
180     {
181         cpu |= X264_CPU_SLOW_CTZ;
182         x264_cpu_cpuid( 0x80000001, &eax, &ebx, &ecx, &edx );
183         if( edx&0x00400000 )
184             cpu |= X264_CPU_MMX2;
185         if( cpu & X264_CPU_SSE2 )
186         {
187             if( ecx&0x00000040 ) /* SSE4a */
188             {
189                 cpu |= X264_CPU_SSE2_IS_FAST;
190                 cpu |= X264_CPU_LZCNT;
191                 cpu |= X264_CPU_SHUFFLE_IS_FAST;
192                 cpu &= ~X264_CPU_SLOW_CTZ;
193             }
194             else
195                 cpu |= X264_CPU_SSE2_IS_SLOW;
196
197             if( ecx&0x00000080 ) /* Misalign SSE */
198             {
199                 cpu |= X264_CPU_SSE_MISALIGN;
200                 x264_cpu_mask_misalign_sse();
201             }
202
203             if( cpu & X264_CPU_AVX )
204             {
205                 if( ecx&0x00000800 ) /* XOP */
206                     cpu |= X264_CPU_XOP;
207                 if( ecx&0x00010000 ) /* FMA4 */
208                     cpu |= X264_CPU_FMA4;
209             }
210
211             if( ecx&0x00200000 )
212                 cpu |= X264_CPU_TBM;
213         }
214     }
215
216     if( !strcmp((char*)vendor, "GenuineIntel") )
217     {
218         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
219         int family = ((eax>>8)&0xf) + ((eax>>20)&0xff);
220         int model  = ((eax>>4)&0xf) + ((eax>>12)&0xf0);
221         if( family == 6 )
222         {
223             /* 6/9 (pentium-m "banias"), 6/13 (pentium-m "dothan"), and 6/14 (core1 "yonah")
224              * theoretically support sse2, but it's significantly slower than mmx for
225              * almost all of x264's functions, so let's just pretend they don't. */
226             if( model == 9 || model == 13 || model == 14 )
227             {
228                 cpu &= ~(X264_CPU_SSE2|X264_CPU_SSE3);
229                 assert(!(cpu&(X264_CPU_SSSE3|X264_CPU_SSE4)));
230             }
231             /* Detect Atom CPU */
232             else if( model == 28 )
233             {
234                 cpu |= X264_CPU_SLOW_ATOM;
235                 cpu |= X264_CPU_SLOW_CTZ;
236             }
237             /* Some Penryns and Nehalems are pointlessly crippled (SSE4 disabled), so
238              * detect them here. */
239             else if( model >= 23 )
240                 cpu |= X264_CPU_SHUFFLE_IS_FAST;
241         }
242     }
243
244     if( (!strcmp((char*)vendor, "GenuineIntel") || !strcmp((char*)vendor, "CyrixInstead")) && !(cpu&X264_CPU_SSE42))
245     {
246         /* cacheline size is specified in 3 places, any of which may be missing */
247         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
248         cache = (ebx&0xff00)>>5; // cflush size
249         if( !cache && max_extended_cap >= 0x80000006 )
250         {
251             x264_cpu_cpuid( 0x80000006, &eax, &ebx, &ecx, &edx );
252             cache = ecx&0xff; // cacheline size
253         }
254         if( !cache )
255         {
256             // Cache and TLB Information
257             static const char cache32_ids[] = { 0x0a, 0x0c, 0x41, 0x42, 0x43, 0x44, 0x45, 0x82, 0x83, 0x84, 0x85, 0 };
258             static const char cache64_ids[] = { 0x22, 0x23, 0x25, 0x29, 0x2c, 0x46, 0x47, 0x49, 0x60, 0x66, 0x67,
259                                                 0x68, 0x78, 0x79, 0x7a, 0x7b, 0x7c, 0x7c, 0x7f, 0x86, 0x87, 0 };
260             uint32_t buf[4];
261             int max, i = 0;
262             do {
263                 x264_cpu_cpuid( 2, buf+0, buf+1, buf+2, buf+3 );
264                 max = buf[0]&0xff;
265                 buf[0] &= ~0xff;
266                 for( int j = 0; j < 4; j++ )
267                     if( !(buf[j]>>31) )
268                         while( buf[j] )
269                         {
270                             if( strchr( cache32_ids, buf[j]&0xff ) )
271                                 cache = 32;
272                             if( strchr( cache64_ids, buf[j]&0xff ) )
273                                 cache = 64;
274                             buf[j] >>= 8;
275                         }
276             } while( ++i < max );
277         }
278
279         if( cache == 32 )
280             cpu |= X264_CPU_CACHELINE_32;
281         else if( cache == 64 )
282             cpu |= X264_CPU_CACHELINE_64;
283         else
284             x264_log( NULL, X264_LOG_WARNING, "unable to determine cacheline size\n" );
285     }
286
287 #if BROKEN_STACK_ALIGNMENT
288     cpu |= X264_CPU_STACK_MOD4;
289 #endif
290
291     return cpu;
292 }
293
294 #elif ARCH_PPC
295
296 #if SYS_MACOSX || SYS_OPENBSD
297 #include <sys/sysctl.h>
298 uint32_t x264_cpu_detect( void )
299 {
300     /* Thank you VLC */
301     uint32_t cpu = 0;
302 #if SYS_OPENBSD
303     int      selectors[2] = { CTL_MACHDEP, CPU_ALTIVEC };
304 #else
305     int      selectors[2] = { CTL_HW, HW_VECTORUNIT };
306 #endif
307     int      has_altivec = 0;
308     size_t   length = sizeof( has_altivec );
309     int      error = sysctl( selectors, 2, &has_altivec, &length, NULL, 0 );
310
311     if( error == 0 && has_altivec != 0 )
312         cpu |= X264_CPU_ALTIVEC;
313
314     return cpu;
315 }
316
317 #elif SYS_LINUX
318
319 uint32_t x264_cpu_detect( void )
320 {
321     static void (*oldsig)( int );
322
323     oldsig = signal( SIGILL, sigill_handler );
324     if( sigsetjmp( jmpbuf, 1 ) )
325     {
326         signal( SIGILL, oldsig );
327         return 0;
328     }
329
330     canjump = 1;
331     asm volatile( "mtspr 256, %0\n\t"
332                   "vand 0, 0, 0\n\t"
333                   :
334                   : "r"(-1) );
335     canjump = 0;
336
337     signal( SIGILL, oldsig );
338
339     return X264_CPU_ALTIVEC;
340 }
341 #endif
342
343 #elif ARCH_ARM
344
345 void x264_cpu_neon_test( void );
346 int x264_cpu_fast_neon_mrc_test( void );
347
348 uint32_t x264_cpu_detect( void )
349 {
350     int flags = 0;
351 #if HAVE_ARMV6
352     flags |= X264_CPU_ARMV6;
353
354     // don't do this hack if compiled with -mfpu=neon
355 #if !HAVE_NEON
356     static void (* oldsig)( int );
357     oldsig = signal( SIGILL, sigill_handler );
358     if( sigsetjmp( jmpbuf, 1 ) )
359     {
360         signal( SIGILL, oldsig );
361         return flags;
362     }
363
364     canjump = 1;
365     x264_cpu_neon_test();
366     canjump = 0;
367     signal( SIGILL, oldsig );
368 #endif
369
370     flags |= X264_CPU_NEON;
371
372     // fast neon -> arm (Cortex-A9) detection relies on user access to the
373     // cycle counter; this assumes ARMv7 performance counters.
374     // NEON requires at least ARMv7, ARMv8 may require changes here, but
375     // hopefully this hacky detection method will have been replaced by then.
376     // Note that there is potential for a race condition if another program or
377     // x264 instance disables or reinits the counters while x264 is using them,
378     // which may result in incorrect detection and the counters stuck enabled.
379     // right now Apple does not seem to support performance counters for this test
380 #ifndef __MACH__
381     flags |= x264_cpu_fast_neon_mrc_test() ? X264_CPU_FAST_NEON_MRC : 0;
382 #endif
383     // TODO: write dual issue test? currently it's A8 (dual issue) vs. A9 (fast mrc)
384 #endif
385     return flags;
386 }
387
388 #else
389
390 uint32_t x264_cpu_detect( void )
391 {
392     return 0;
393 }
394
395 #endif
396
397 int x264_cpu_num_processors( void )
398 {
399 #if !HAVE_THREAD
400     return 1;
401
402 #elif SYS_WINDOWS
403     return x264_pthread_num_processors_np();
404
405 #elif SYS_CYGWIN || SYS_SunOS
406     return sysconf( _SC_NPROCESSORS_ONLN );
407
408 #elif SYS_LINUX
409     cpu_set_t p_aff;
410     memset( &p_aff, 0, sizeof(p_aff) );
411     if( sched_getaffinity( 0, sizeof(p_aff), &p_aff ) )
412         return 1;
413 #if HAVE_CPU_COUNT
414     return CPU_COUNT(&p_aff);
415 #else
416     int np = 0;
417     for( unsigned int bit = 0; bit < 8 * sizeof(p_aff); bit++ )
418         np += (((uint8_t *)&p_aff)[bit / 8] >> (bit % 8)) & 1;
419     return np;
420 #endif
421
422 #elif SYS_BEOS
423     system_info info;
424     get_system_info( &info );
425     return info.cpu_count;
426
427 #elif SYS_MACOSX || SYS_FREEBSD || SYS_OPENBSD
428     int ncpu;
429     size_t length = sizeof( ncpu );
430 #if SYS_OPENBSD
431     int mib[2] = { CTL_HW, HW_NCPU };
432     if( sysctl(mib, 2, &ncpu, &length, NULL, 0) )
433 #else
434     if( sysctlbyname("hw.ncpu", &ncpu, &length, NULL, 0) )
435 #endif
436     {
437         ncpu = 1;
438     }
439     return ncpu;
440
441 #else
442     return 1;
443 #endif
444 }