Cosmetics: make struct definition braces consistent
[x264/x264-sandbox.git] / common / cpu.c
1 /*****************************************************************************
2  * cpu.c: cpu detection
3  *****************************************************************************
4  * Copyright (C) 2003-2011 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *          Laurent Aimar <fenrir@via.ecp.fr>
8  *          Fiona Glaser <fiona@x264.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #define _GNU_SOURCE // for sched_getaffinity
29 #include "common.h"
30 #include "cpu.h"
31
32 #if HAVE_PTHREAD && SYS_LINUX
33 #include <sched.h>
34 #endif
35 #if SYS_BEOS
36 #include <kernel/OS.h>
37 #endif
38 #if SYS_MACOSX || SYS_FREEBSD
39 #include <sys/types.h>
40 #include <sys/sysctl.h>
41 #endif
42 #if SYS_OPENBSD
43 #include <sys/param.h>
44 #include <sys/sysctl.h>
45 #include <machine/cpu.h>
46 #endif
47
48 const x264_cpu_name_t x264_cpu_names[] =
49 {
50     {"Altivec", X264_CPU_ALTIVEC},
51 //  {"MMX",     X264_CPU_MMX}, // we don't support asm on mmx1 cpus anymore
52     {"MMX2",    X264_CPU_MMX|X264_CPU_MMXEXT},
53     {"MMXEXT",  X264_CPU_MMX|X264_CPU_MMXEXT},
54 //  {"SSE",     X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE}, // there are no sse1 functions in x264
55     {"SSE2Slow",X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SSE2_IS_SLOW},
56     {"SSE2",    X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2},
57     {"SSE2Fast",X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SSE2_IS_FAST},
58     {"SSE3",    X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SSE3},
59     {"SSSE3",   X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SSE3|X264_CPU_SSSE3},
60     {"FastShuffle",   X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SHUFFLE_IS_FAST},
61     {"SSE4.1",  X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4},
62     {"SSE4.2",  X264_CPU_MMX|X264_CPU_MMXEXT|X264_CPU_SSE|X264_CPU_SSE2|X264_CPU_SSE3|X264_CPU_SSSE3|X264_CPU_SSE4|X264_CPU_SSE42},
63     {"AVX", X264_CPU_AVX},
64     {"Cache32", X264_CPU_CACHELINE_32},
65     {"Cache64", X264_CPU_CACHELINE_64},
66     {"SSEMisalign", X264_CPU_SSE_MISALIGN},
67     {"LZCNT", X264_CPU_LZCNT},
68     {"Slow_mod4_stack", X264_CPU_STACK_MOD4},
69     {"ARMv6", X264_CPU_ARMV6},
70     {"NEON",  X264_CPU_NEON},
71     {"Fast_NEON_MRC",  X264_CPU_FAST_NEON_MRC},
72     {"SlowCTZ", X264_CPU_SLOW_CTZ},
73     {"SlowAtom", X264_CPU_SLOW_ATOM},
74     {"", 0},
75 };
76
77 #if (ARCH_PPC && SYS_LINUX) || (ARCH_ARM && !HAVE_NEON)
78 #include <signal.h>
79 #include <setjmp.h>
80 static sigjmp_buf jmpbuf;
81 static volatile sig_atomic_t canjump = 0;
82
83 static void sigill_handler( int sig )
84 {
85     if( !canjump )
86     {
87         signal( sig, SIG_DFL );
88         raise( sig );
89     }
90
91     canjump = 0;
92     siglongjmp( jmpbuf, 1 );
93 }
94 #endif
95
96 #if HAVE_MMX
97 int x264_cpu_cpuid_test( void );
98 void x264_cpu_cpuid( uint32_t op, uint32_t *eax, uint32_t *ebx, uint32_t *ecx, uint32_t *edx );
99 void x264_cpu_xgetbv( uint32_t op, uint32_t *eax, uint32_t *edx );
100
101 uint32_t x264_cpu_detect( void )
102 {
103     uint32_t cpu = 0;
104     uint32_t eax, ebx, ecx, edx;
105     uint32_t vendor[4] = {0};
106     uint32_t max_extended_cap;
107     int cache;
108
109 #if !ARCH_X86_64
110     if( !x264_cpu_cpuid_test() )
111         return 0;
112 #endif
113
114     x264_cpu_cpuid( 0, &eax, vendor+0, vendor+2, vendor+1 );
115     if( eax == 0 )
116         return 0;
117
118     x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
119     if( edx&0x00800000 )
120         cpu |= X264_CPU_MMX;
121     else
122         return 0;
123     if( edx&0x02000000 )
124         cpu |= X264_CPU_MMXEXT|X264_CPU_SSE;
125     if( edx&0x04000000 )
126         cpu |= X264_CPU_SSE2;
127     if( ecx&0x00000001 )
128         cpu |= X264_CPU_SSE3;
129     if( ecx&0x00000200 )
130         cpu |= X264_CPU_SSSE3;
131     if( ecx&0x00080000 )
132         cpu |= X264_CPU_SSE4;
133     if( ecx&0x00100000 )
134         cpu |= X264_CPU_SSE42;
135     /* Check OXSAVE and AVX bits */
136     if( (ecx&0x18000000) == 0x18000000 )
137     {
138         /* Check for OS support */
139         x264_cpu_xgetbv( 0, &eax, &edx );
140         if( (eax&0x6) == 0x6 )
141             cpu |= X264_CPU_AVX;
142     }
143
144     if( cpu & X264_CPU_SSSE3 )
145         cpu |= X264_CPU_SSE2_IS_FAST;
146     if( cpu & X264_CPU_SSE4 )
147         cpu |= X264_CPU_SHUFFLE_IS_FAST;
148
149     x264_cpu_cpuid( 0x80000000, &eax, &ebx, &ecx, &edx );
150     max_extended_cap = eax;
151
152     if( !strcmp((char*)vendor, "AuthenticAMD") && max_extended_cap >= 0x80000001 )
153     {
154         cpu |= X264_CPU_SLOW_CTZ;
155         x264_cpu_cpuid( 0x80000001, &eax, &ebx, &ecx, &edx );
156         if( edx&0x00400000 )
157             cpu |= X264_CPU_MMXEXT;
158         if( cpu & X264_CPU_SSE2 )
159         {
160             if( ecx&0x00000040 ) /* SSE4a */
161             {
162                 cpu |= X264_CPU_SSE2_IS_FAST;
163                 cpu |= X264_CPU_LZCNT;
164                 cpu |= X264_CPU_SHUFFLE_IS_FAST;
165                 cpu &= ~X264_CPU_SLOW_CTZ;
166             }
167             else
168                 cpu |= X264_CPU_SSE2_IS_SLOW;
169
170             if( ecx&0x00000080 ) /* Misalign SSE */
171             {
172                 cpu |= X264_CPU_SSE_MISALIGN;
173                 x264_cpu_mask_misalign_sse();
174             }
175         }
176     }
177
178     if( !strcmp((char*)vendor, "GenuineIntel") )
179     {
180         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
181         int family = ((eax>>8)&0xf) + ((eax>>20)&0xff);
182         int model  = ((eax>>4)&0xf) + ((eax>>12)&0xf0);
183         if( family == 6 )
184         {
185             /* 6/9 (pentium-m "banias"), 6/13 (pentium-m "dothan"), and 6/14 (core1 "yonah")
186              * theoretically support sse2, but it's significantly slower than mmx for
187              * almost all of x264's functions, so let's just pretend they don't. */
188             if( model == 9 || model == 13 || model == 14 )
189             {
190                 cpu &= ~(X264_CPU_SSE2|X264_CPU_SSE3);
191                 assert(!(cpu&(X264_CPU_SSSE3|X264_CPU_SSE4)));
192             }
193             /* Detect Atom CPU */
194             else if( model == 28 )
195             {
196                 cpu |= X264_CPU_SLOW_ATOM;
197                 cpu |= X264_CPU_SLOW_CTZ;
198             }
199             /* Some Penryns and Nehalems are pointlessly crippled (SSE4 disabled), so
200              * detect them here. */
201             else if( model >= 23 )
202                 cpu |= X264_CPU_SHUFFLE_IS_FAST;
203         }
204     }
205
206     if( (!strcmp((char*)vendor, "GenuineIntel") || !strcmp((char*)vendor, "CyrixInstead")) && !(cpu&X264_CPU_SSE42))
207     {
208         /* cacheline size is specified in 3 places, any of which may be missing */
209         x264_cpu_cpuid( 1, &eax, &ebx, &ecx, &edx );
210         cache = (ebx&0xff00)>>5; // cflush size
211         if( !cache && max_extended_cap >= 0x80000006 )
212         {
213             x264_cpu_cpuid( 0x80000006, &eax, &ebx, &ecx, &edx );
214             cache = ecx&0xff; // cacheline size
215         }
216         if( !cache )
217         {
218             // Cache and TLB Information
219             static const char cache32_ids[] = { 0x0a, 0x0c, 0x41, 0x42, 0x43, 0x44, 0x45, 0x82, 0x83, 0x84, 0x85, 0 };
220             static const char cache64_ids[] = { 0x22, 0x23, 0x25, 0x29, 0x2c, 0x46, 0x47, 0x49, 0x60, 0x66, 0x67,
221                                                 0x68, 0x78, 0x79, 0x7a, 0x7b, 0x7c, 0x7c, 0x7f, 0x86, 0x87, 0 };
222             uint32_t buf[4];
223             int max, i = 0;
224             do {
225                 x264_cpu_cpuid( 2, buf+0, buf+1, buf+2, buf+3 );
226                 max = buf[0]&0xff;
227                 buf[0] &= ~0xff;
228                 for( int j = 0; j < 4; j++ )
229                     if( !(buf[j]>>31) )
230                         while( buf[j] )
231                         {
232                             if( strchr( cache32_ids, buf[j]&0xff ) )
233                                 cache = 32;
234                             if( strchr( cache64_ids, buf[j]&0xff ) )
235                                 cache = 64;
236                             buf[j] >>= 8;
237                         }
238             } while( ++i < max );
239         }
240
241         if( cache == 32 )
242             cpu |= X264_CPU_CACHELINE_32;
243         else if( cache == 64 )
244             cpu |= X264_CPU_CACHELINE_64;
245         else
246             x264_log( NULL, X264_LOG_WARNING, "unable to determine cacheline size\n" );
247     }
248
249 #if BROKEN_STACK_ALIGNMENT
250     cpu |= X264_CPU_STACK_MOD4;
251 #endif
252
253     return cpu;
254 }
255
256 #elif ARCH_PPC
257
258 #if SYS_MACOSX || SYS_OPENBSD
259 #include <sys/sysctl.h>
260 uint32_t x264_cpu_detect( void )
261 {
262     /* Thank you VLC */
263     uint32_t cpu = 0;
264 #if SYS_OPENBSD
265     int      selectors[2] = { CTL_MACHDEP, CPU_ALTIVEC };
266 #else
267     int      selectors[2] = { CTL_HW, HW_VECTORUNIT };
268 #endif
269     int      has_altivec = 0;
270     size_t   length = sizeof( has_altivec );
271     int      error = sysctl( selectors, 2, &has_altivec, &length, NULL, 0 );
272
273     if( error == 0 && has_altivec != 0 )
274         cpu |= X264_CPU_ALTIVEC;
275
276     return cpu;
277 }
278
279 #elif SYS_LINUX
280
281 uint32_t x264_cpu_detect( void )
282 {
283     static void (*oldsig)( int );
284
285     oldsig = signal( SIGILL, sigill_handler );
286     if( sigsetjmp( jmpbuf, 1 ) )
287     {
288         signal( SIGILL, oldsig );
289         return 0;
290     }
291
292     canjump = 1;
293     asm volatile( "mtspr 256, %0\n\t"
294                   "vand 0, 0, 0\n\t"
295                   :
296                   : "r"(-1) );
297     canjump = 0;
298
299     signal( SIGILL, oldsig );
300
301     return X264_CPU_ALTIVEC;
302 }
303 #endif
304
305 #elif ARCH_ARM
306
307 void x264_cpu_neon_test( void );
308 int x264_cpu_fast_neon_mrc_test( void );
309
310 uint32_t x264_cpu_detect( void )
311 {
312     int flags = 0;
313 #if HAVE_ARMV6
314     flags |= X264_CPU_ARMV6;
315
316     // don't do this hack if compiled with -mfpu=neon
317 #if !HAVE_NEON
318     static void (* oldsig)( int );
319     oldsig = signal( SIGILL, sigill_handler );
320     if( sigsetjmp( jmpbuf, 1 ) )
321     {
322         signal( SIGILL, oldsig );
323         return flags;
324     }
325
326     canjump = 1;
327     x264_cpu_neon_test();
328     canjump = 0;
329     signal( SIGILL, oldsig );
330 #endif
331
332     flags |= X264_CPU_NEON;
333
334     // fast neon -> arm (Cortex-A9) detection relies on user access to the
335     // cycle counter; this assumes ARMv7 performance counters.
336     // NEON requires at least ARMv7, ARMv8 may require changes here, but
337     // hopefully this hacky detection method will have been replaced by then.
338     // Note that there is potential for a race condition if another program or
339     // x264 instance disables or reinits the counters while x264 is using them,
340     // which may result in incorrect detection and the counters stuck enabled.
341     flags |= x264_cpu_fast_neon_mrc_test() ? X264_CPU_FAST_NEON_MRC : 0;
342     // TODO: write dual issue test? currently it's A8 (dual issue) vs. A9 (fast mrc)
343 #endif
344     return flags;
345 }
346
347 #else
348
349 uint32_t x264_cpu_detect( void )
350 {
351     return 0;
352 }
353
354 #endif
355
356 int x264_cpu_num_processors( void )
357 {
358 #if !HAVE_THREAD
359     return 1;
360
361 #elif defined(_WIN32)
362     return x264_pthread_num_processors_np();
363
364 #elif SYS_LINUX
365     unsigned int bit;
366     int np;
367     cpu_set_t p_aff;
368     memset( &p_aff, 0, sizeof(p_aff) );
369     sched_getaffinity( 0, sizeof(p_aff), &p_aff );
370     for( np = 0, bit = 0; bit < sizeof(p_aff); bit++ )
371         np += (((uint8_t *)&p_aff)[bit / 8] >> (bit % 8)) & 1;
372     return np;
373
374 #elif SYS_BEOS
375     system_info info;
376     get_system_info( &info );
377     return info.cpu_count;
378
379 #elif SYS_MACOSX || SYS_FREEBSD || SYS_OPENBSD
380     int ncpu;
381     size_t length = sizeof( ncpu );
382 #if SYS_OPENBSD
383     int mib[2] = { CTL_HW, HW_NCPU };
384     if( sysctl(mib, 2, &ncpu, &length, NULL, 0) )
385 #else
386     if( sysctlbyname("hw.ncpu", &ncpu, &length, NULL, 0) )
387 #endif
388     {
389         ncpu = 1;
390     }
391     return ncpu;
392
393 #else
394     return 1;
395 #endif
396 }