x86: AVX-512 support
[x264/x264-sandbox.git] / common / osdep.h
1 /*****************************************************************************
2  * osdep.h: platform-specific code
3  *****************************************************************************
4  * Copyright (C) 2007-2017 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *          Laurent Aimar <fenrir@via.ecp.fr>
8  *          Henrik Gramner <henrik@gramner.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #ifndef X264_OSDEP_H
29 #define X264_OSDEP_H
30
31 #define _LARGEFILE_SOURCE 1
32 #define _FILE_OFFSET_BITS 64
33 #include <stdio.h>
34 #include <sys/stat.h>
35 #include <inttypes.h>
36 #include <stdarg.h>
37
38 #include "config.h"
39
40 #ifdef __INTEL_COMPILER
41 #include <mathimf.h>
42 #else
43 #include <math.h>
44 #endif
45
46 #if !HAVE_LOG2F
47 #define log2f(x) (logf(x)/0.693147180559945f)
48 #define log2(x) (log(x)/0.693147180559945)
49 #endif
50
51 #ifdef _MSC_VER
52 #define inline __inline
53 #define strcasecmp _stricmp
54 #define strncasecmp _strnicmp
55 #define strtok_r strtok_s
56 #define S_ISREG(x) (((x) & S_IFMT) == S_IFREG)
57 #if _MSC_VER < 1900
58 int x264_snprintf( char *s, size_t n, const char *fmt, ... );
59 int x264_vsnprintf( char *s, size_t n, const char *fmt, va_list arg );
60 #define snprintf  x264_snprintf
61 #define vsnprintf x264_vsnprintf
62 #endif
63 #else
64 #include <strings.h>
65 #endif
66
67 #if !defined(va_copy) && defined(__INTEL_COMPILER)
68 #define va_copy(dst, src) ((dst) = (src))
69 #endif
70
71 #if !defined(isfinite) && (SYS_OPENBSD || SYS_SunOS)
72 #define isfinite finite
73 #endif
74
75 #ifdef _WIN32
76 #ifndef strtok_r
77 #define strtok_r(str,delim,save) strtok(str,delim)
78 #endif
79
80 #define utf8_to_utf16( utf8, utf16 )\
81     MultiByteToWideChar( CP_UTF8, MB_ERR_INVALID_CHARS, utf8, -1, utf16, sizeof(utf16)/sizeof(wchar_t) )
82 FILE *x264_fopen( const char *filename, const char *mode );
83 int x264_rename( const char *oldname, const char *newname );
84 #define x264_struct_stat struct _stati64
85 #define x264_fstat _fstati64
86 int x264_stat( const char *path, x264_struct_stat *buf );
87 #else
88 #define x264_fopen       fopen
89 #define x264_rename      rename
90 #define x264_struct_stat struct stat
91 #define x264_fstat       fstat
92 #define x264_stat        stat
93 #endif
94
95 /* mdate: return the current date in microsecond */
96 int64_t x264_mdate( void );
97
98 #if defined(_WIN32) && !HAVE_WINRT
99 int x264_vfprintf( FILE *stream, const char *format, va_list arg );
100 int x264_is_pipe( const char *path );
101 #else
102 #define x264_vfprintf vfprintf
103 #define x264_is_pipe(x) 0
104 #endif
105
106 #ifdef _MSC_VER
107 #define DECLARE_ALIGNED( var, n ) __declspec(align(n)) var
108 #else
109 #define DECLARE_ALIGNED( var, n ) var __attribute__((aligned(n)))
110 #endif
111
112 #define ALIGNED_4( var )  DECLARE_ALIGNED( var, 4 )
113 #define ALIGNED_8( var )  DECLARE_ALIGNED( var, 8 )
114 #define ALIGNED_16( var ) DECLARE_ALIGNED( var, 16 )
115
116 // ARM compiliers don't reliably align stack variables
117 // - EABI requires only 8 byte stack alignment to be maintained
118 // - gcc can't align stack variables to more even if the stack were to be correctly aligned outside the function
119 // - armcc can't either, but is nice enough to actually tell you so
120 // - Apple gcc only maintains 4 byte alignment
121 // - llvm can align the stack, but only in svn and (unrelated) it exposes bugs in all released GNU binutils...
122
123 #define ALIGNED_ARRAY_EMU( mask, type, name, sub1, ... )\
124     uint8_t name##_u [sizeof(type sub1 __VA_ARGS__) + mask]; \
125     type (*name) __VA_ARGS__ = (void*)((intptr_t)(name##_u+mask) & ~mask)
126
127 #if ARCH_ARM && SYS_MACOSX
128 #define ALIGNED_ARRAY_8( ... ) EXPAND( ALIGNED_ARRAY_EMU( 7, __VA_ARGS__ ) )
129 #else
130 #define ALIGNED_ARRAY_8( type, name, sub1, ... ) ALIGNED_8( type name sub1 __VA_ARGS__ )
131 #endif
132
133 #if ARCH_ARM
134 #define ALIGNED_ARRAY_16( ... ) EXPAND( ALIGNED_ARRAY_EMU( 15, __VA_ARGS__ ) )
135 #else
136 #define ALIGNED_ARRAY_16( type, name, sub1, ... ) ALIGNED_16( type name sub1 __VA_ARGS__ )
137 #endif
138
139 #define EXPAND(x) x
140
141 #if ARCH_X86 || ARCH_X86_64
142 #define NATIVE_ALIGN 64
143 #define ALIGNED_32( var ) DECLARE_ALIGNED( var, 32 )
144 #define ALIGNED_64( var ) DECLARE_ALIGNED( var, 64 )
145 #if STACK_ALIGNMENT >= 32
146 #define ALIGNED_ARRAY_32( type, name, sub1, ... ) ALIGNED_32( type name sub1 __VA_ARGS__ )
147 #else
148 #define ALIGNED_ARRAY_32( ... ) EXPAND( ALIGNED_ARRAY_EMU( 31, __VA_ARGS__ ) )
149 #endif
150 #if STACK_ALIGNMENT >= 64
151 #define ALIGNED_ARRAY_64( type, name, sub1, ... ) ALIGNED_64( type name sub1 __VA_ARGS__ )
152 #else
153 #define ALIGNED_ARRAY_64( ... ) EXPAND( ALIGNED_ARRAY_EMU( 63, __VA_ARGS__ ) )
154 #endif
155 #else
156 #define NATIVE_ALIGN 16
157 #define ALIGNED_32 ALIGNED_16
158 #define ALIGNED_64 ALIGNED_16
159 #define ALIGNED_ARRAY_32 ALIGNED_ARRAY_16
160 #define ALIGNED_ARRAY_64 ALIGNED_ARRAY_16
161 #endif
162
163 #if defined(__GNUC__) && (__GNUC__ > 3 || __GNUC__ == 3 && __GNUC_MINOR__ > 0)
164 #define UNUSED __attribute__((unused))
165 #define ALWAYS_INLINE __attribute__((always_inline)) inline
166 #define NOINLINE __attribute__((noinline))
167 #define MAY_ALIAS __attribute__((may_alias))
168 #define x264_constant_p(x) __builtin_constant_p(x)
169 #define x264_nonconstant_p(x) (!__builtin_constant_p(x))
170 #else
171 #ifdef _MSC_VER
172 #define ALWAYS_INLINE __forceinline
173 #define NOINLINE __declspec(noinline)
174 #else
175 #define ALWAYS_INLINE inline
176 #define NOINLINE
177 #endif
178 #define UNUSED
179 #define MAY_ALIAS
180 #define x264_constant_p(x) 0
181 #define x264_nonconstant_p(x) 0
182 #endif
183
184 /* threads */
185 #if HAVE_BEOSTHREAD
186 #include <kernel/OS.h>
187 #define x264_pthread_t               thread_id
188 static inline int x264_pthread_create( x264_pthread_t *t, void *a, void *(*f)(void *), void *d )
189 {
190      *t = spawn_thread( f, "", 10, d );
191      if( *t < B_NO_ERROR )
192          return -1;
193      resume_thread( *t );
194      return 0;
195 }
196 #define x264_pthread_join(t,s)       { long tmp; \
197                                        wait_for_thread(t,(s)?(long*)(s):&tmp); }
198
199 #elif HAVE_POSIXTHREAD
200 #include <pthread.h>
201 #define x264_pthread_t               pthread_t
202 #define x264_pthread_create          pthread_create
203 #define x264_pthread_join            pthread_join
204 #define x264_pthread_mutex_t         pthread_mutex_t
205 #define x264_pthread_mutex_init      pthread_mutex_init
206 #define x264_pthread_mutex_destroy   pthread_mutex_destroy
207 #define x264_pthread_mutex_lock      pthread_mutex_lock
208 #define x264_pthread_mutex_unlock    pthread_mutex_unlock
209 #define x264_pthread_cond_t          pthread_cond_t
210 #define x264_pthread_cond_init       pthread_cond_init
211 #define x264_pthread_cond_destroy    pthread_cond_destroy
212 #define x264_pthread_cond_broadcast  pthread_cond_broadcast
213 #define x264_pthread_cond_wait       pthread_cond_wait
214 #define x264_pthread_attr_t          pthread_attr_t
215 #define x264_pthread_attr_init       pthread_attr_init
216 #define x264_pthread_attr_destroy    pthread_attr_destroy
217 #define x264_pthread_num_processors_np pthread_num_processors_np
218 #define X264_PTHREAD_MUTEX_INITIALIZER PTHREAD_MUTEX_INITIALIZER
219
220 #elif HAVE_WIN32THREAD
221 #include "win32thread.h"
222
223 #else
224 #define x264_pthread_t               int
225 #define x264_pthread_create(t,u,f,d) 0
226 #define x264_pthread_join(t,s)
227 #endif //HAVE_*THREAD
228
229 #if !HAVE_POSIXTHREAD && !HAVE_WIN32THREAD
230 #define x264_pthread_mutex_t         int
231 #define x264_pthread_mutex_init(m,f) 0
232 #define x264_pthread_mutex_destroy(m)
233 #define x264_pthread_mutex_lock(m)
234 #define x264_pthread_mutex_unlock(m)
235 #define x264_pthread_cond_t          int
236 #define x264_pthread_cond_init(c,f)  0
237 #define x264_pthread_cond_destroy(c)
238 #define x264_pthread_cond_broadcast(c)
239 #define x264_pthread_cond_wait(c,m)
240 #define x264_pthread_attr_t          int
241 #define x264_pthread_attr_init(a)    0
242 #define x264_pthread_attr_destroy(a)
243 #define X264_PTHREAD_MUTEX_INITIALIZER 0
244 #endif
245
246 #if HAVE_WIN32THREAD || PTW32_STATIC_LIB
247 int x264_threading_init( void );
248 #else
249 #define x264_threading_init() 0
250 #endif
251
252 static ALWAYS_INLINE int x264_pthread_fetch_and_add( int *val, int add, x264_pthread_mutex_t *mutex )
253 {
254 #if HAVE_THREAD
255 #if defined(__GNUC__) && (__GNUC__ > 4 || __GNUC__ == 4 && __GNUC_MINOR__ > 0) && (ARCH_X86 || ARCH_X86_64)
256     return __sync_fetch_and_add( val, add );
257 #else
258     x264_pthread_mutex_lock( mutex );
259     int res = *val;
260     *val += add;
261     x264_pthread_mutex_unlock( mutex );
262     return res;
263 #endif
264 #else
265     int res = *val;
266     *val += add;
267     return res;
268 #endif
269 }
270
271 #define WORD_SIZE sizeof(void*)
272
273 #define asm __asm__
274
275 #if WORDS_BIGENDIAN
276 #define endian_fix(x) (x)
277 #define endian_fix64(x) (x)
278 #define endian_fix32(x) (x)
279 #define endian_fix16(x) (x)
280 #else
281 #if HAVE_X86_INLINE_ASM && HAVE_MMX
282 static ALWAYS_INLINE uint32_t endian_fix32( uint32_t x )
283 {
284     asm("bswap %0":"+r"(x));
285     return x;
286 }
287 #elif defined(__GNUC__) && HAVE_ARMV6
288 static ALWAYS_INLINE uint32_t endian_fix32( uint32_t x )
289 {
290     asm("rev %0, %0":"+r"(x));
291     return x;
292 }
293 #else
294 static ALWAYS_INLINE uint32_t endian_fix32( uint32_t x )
295 {
296     return (x<<24) + ((x<<8)&0xff0000) + ((x>>8)&0xff00) + (x>>24);
297 }
298 #endif
299 #if HAVE_X86_INLINE_ASM && ARCH_X86_64
300 static ALWAYS_INLINE uint64_t endian_fix64( uint64_t x )
301 {
302     asm("bswap %0":"+r"(x));
303     return x;
304 }
305 #else
306 static ALWAYS_INLINE uint64_t endian_fix64( uint64_t x )
307 {
308     return endian_fix32(x>>32) + ((uint64_t)endian_fix32(x)<<32);
309 }
310 #endif
311 static ALWAYS_INLINE intptr_t endian_fix( intptr_t x )
312 {
313     return WORD_SIZE == 8 ? endian_fix64(x) : endian_fix32(x);
314 }
315 static ALWAYS_INLINE uint16_t endian_fix16( uint16_t x )
316 {
317     return (x<<8)|(x>>8);
318 }
319 #endif
320
321 /* For values with 4 bits or less. */
322 static int ALWAYS_INLINE x264_ctz_4bit( uint32_t x )
323 {
324     static uint8_t lut[16] = {4,0,1,0,2,0,1,0,3,0,1,0,2,0,1,0};
325     return lut[x];
326 }
327
328 #if defined(__GNUC__) && (__GNUC__ > 3 || __GNUC__ == 3 && __GNUC_MINOR__ > 3)
329 #define x264_clz(x) __builtin_clz(x)
330 #define x264_ctz(x) __builtin_ctz(x)
331 #else
332 static int ALWAYS_INLINE x264_clz( uint32_t x )
333 {
334     static uint8_t lut[16] = {4,3,2,2,1,1,1,1,0,0,0,0,0,0,0,0};
335     int y, z = (((x >> 16) - 1) >> 27) & 16;
336     x >>= z^16;
337     z += y = ((x - 0x100) >> 28) & 8;
338     x >>= y^8;
339     z += y = ((x - 0x10) >> 29) & 4;
340     x >>= y^4;
341     return z + lut[x];
342 }
343
344 static int ALWAYS_INLINE x264_ctz( uint32_t x )
345 {
346     static uint8_t lut[16] = {4,0,1,0,2,0,1,0,3,0,1,0,2,0,1,0};
347     int y, z = (((x & 0xffff) - 1) >> 27) & 16;
348     x >>= z;
349     z += y = (((x & 0xff) - 1) >> 28) & 8;
350     x >>= y;
351     z += y = (((x & 0xf) - 1) >> 29) & 4;
352     x >>= y;
353     return z + lut[x&0xf];
354 }
355 #endif
356
357 #if HAVE_X86_INLINE_ASM && HAVE_MMX
358 /* Don't use __builtin_prefetch; even as recent as 4.3.4, GCC seems incapable of
359  * using complex address modes properly unless we use inline asm. */
360 static ALWAYS_INLINE void x264_prefetch( void *p )
361 {
362     asm volatile( "prefetcht0 %0"::"m"(*(uint8_t*)p) );
363 }
364 /* We require that prefetch not fault on invalid reads, so we only enable it on
365  * known architectures. */
366 #elif defined(__GNUC__) && (__GNUC__ > 3 || __GNUC__ == 3 && __GNUC_MINOR__ > 1) &&\
367       (ARCH_X86 || ARCH_X86_64 || ARCH_ARM || ARCH_PPC)
368 #define x264_prefetch(x) __builtin_prefetch(x)
369 #else
370 #define x264_prefetch(x)
371 #endif
372
373 #if HAVE_POSIXTHREAD
374 #if SYS_WINDOWS
375 #define x264_lower_thread_priority(p)\
376 {\
377     x264_pthread_t handle = pthread_self();\
378     struct sched_param sp;\
379     int policy = SCHED_OTHER;\
380     pthread_getschedparam( handle, &policy, &sp );\
381     sp.sched_priority -= p;\
382     pthread_setschedparam( handle, policy, &sp );\
383 }
384 #elif SYS_HAIKU
385 #include <OS.h>
386 #define x264_lower_thread_priority(p)\
387     { UNUSED status_t nice_ret = set_thread_priority( find_thread( NULL ), B_LOW_PRIORITY ); }
388 #else
389 #include <unistd.h>
390 #define x264_lower_thread_priority(p) { UNUSED int nice_ret = nice(p); }
391 #endif /* SYS_WINDOWS */
392 #elif HAVE_WIN32THREAD
393 #define x264_lower_thread_priority(p) SetThreadPriority( GetCurrentThread(), X264_MAX( -2, -p ) )
394 #else
395 #define x264_lower_thread_priority(p)
396 #endif
397
398 static inline int x264_is_regular_file( FILE *filehandle )
399 {
400     x264_struct_stat file_stat;
401     if( x264_fstat( fileno( filehandle ), &file_stat ) )
402         return 1;
403     return S_ISREG( file_stat.st_mode );
404 }
405
406 static inline int x264_is_regular_file_path( const char *filename )
407 {
408     x264_struct_stat file_stat;
409     if( x264_stat( filename, &file_stat ) )
410         return !x264_is_pipe( filename );
411     return S_ISREG( file_stat.st_mode );
412 }
413
414 #endif /* X264_OSDEP_H */