2b2c869533c258eed4ce88c62d5757420a3c14ed
[ffmpeg.git] / libavutil / x86 / intmath.h
1 /*
2  * Copyright (c) 2015 James Almer
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #ifndef AVUTIL_X86_INTMATH_H
22 #define AVUTIL_X86_INTMATH_H
23
24 #include <stdint.h>
25 #include <stdlib.h>
26 #if HAVE_FAST_CLZ
27 #if defined(_MSC_VER)
28 #include <intrin.h>
29 #elif defined(__INTEL_COMPILER)
30 #include <immintrin.h>
31 #endif
32 #endif
33 #include "config.h"
34
35 #if HAVE_FAST_CLZ
36 #if (defined(__INTEL_COMPILER) && (__INTEL_COMPILER>=1216)) || defined(_MSC_VER)
37 #   if defined(__INTEL_COMPILER)
38 #       define ff_log2(x) (_bit_scan_reverse((x)|1))
39 #   else
40 #       define ff_log2 ff_log2_x86
41 static av_always_inline av_const int ff_log2_x86(unsigned int v)
42 {
43     unsigned long n;
44     _BitScanReverse(&n, v|1);
45     return n;
46 }
47 #   endif
48 #   define ff_log2_16bit av_log2
49
50 #   define ff_ctz(v) _tzcnt_u32(v)
51
52 #   if ARCH_X86_64
53 #       define ff_ctzll(v) _tzcnt_u64(v)
54 #   else
55 #       define ff_ctzll ff_ctzll_x86
56 static av_always_inline av_const int ff_ctzll_x86(long long v)
57 {
58     return ((uint32_t)v == 0) ? _tzcnt_u32((uint32_t)(v >> 32)) + 32 : _tzcnt_u32((uint32_t)v);
59 }
60 #   endif
61
62 #endif /* __INTEL_COMPILER */
63
64 #endif /* HAVE_FAST_CLZ */
65
66 #if defined(__GNUC__)
67
68 /* Our generic version of av_popcount is faster than GCC's built-in on
69  * CPUs that don't support the popcnt instruction.
70  */
71 #if defined(__POPCNT__)
72     #define av_popcount   __builtin_popcount
73 #if ARCH_X86_64
74     #define av_popcount64 __builtin_popcountll
75 #endif
76
77 #endif /* __POPCNT__ */
78
79 #if defined(__BMI2__)
80
81 #if AV_GCC_VERSION_AT_LEAST(5,1)
82 #define av_mod_uintp2 __builtin_ia32_bzhi_si
83 #elif HAVE_INLINE_ASM
84 /* GCC releases before 5.1.0 have a broken bzhi builtin, so for those we
85  * implement it using inline assembly
86  */
87 #define av_mod_uintp2 av_mod_uintp2_bmi2
88 static av_always_inline av_const unsigned av_mod_uintp2_bmi2(unsigned a, unsigned p)
89 {
90     if (av_builtin_constant_p(p))
91         return a & ((1 << p) - 1);
92     else {
93         unsigned x;
94         __asm__ ("bzhi %2, %1, %0 \n\t" : "=r"(x) : "rm"(a), "r"(p));
95         return x;
96     }
97 }
98 #endif /* AV_GCC_VERSION_AT_LEAST */
99
100 #endif /* __BMI2__ */
101
102 #if defined(__SSE2__)
103
104 #define av_clipd av_clipd_sse2
105 static av_always_inline av_const double av_clipd_sse2(double a, double amin, double amax)
106 {
107 #if defined(ASSERT_LEVEL) && ASSERT_LEVEL >= 2
108     if (amin > amax) abort();
109 #endif
110     __asm__ ("minsd %2, %0 \n\t"
111              "maxsd %1, %0 \n\t"
112              : "+x"(a) : "xm"(amin), "xm"(amax));
113     return a;
114 }
115
116 #endif /* __SSE2__ */
117
118 #if defined(__SSE__)
119
120 #define av_clipf av_clipf_sse
121 static av_always_inline av_const float av_clipf_sse(float a, float amin, float amax)
122 {
123 #if defined(ASSERT_LEVEL) && ASSERT_LEVEL >= 2
124     if (amin > amax) abort();
125 #endif
126     __asm__ ("minss %2, %0 \n\t"
127              "maxss %1, %0 \n\t"
128              : "+x"(a) : "xm"(amin), "xm"(amax));
129     return a;
130 }
131
132 #endif /* __SSE__ */
133
134 #endif /* __GNUC__ */
135
136 #endif /* AVUTIL_X86_INTMATH_H */