fate: update pixfmt_best test to check for endianness
[ffmpeg.git] / libavutil / softfloat.h
1 /*
2  * Copyright (c) 2006 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #ifndef AVUTIL_SOFTFLOAT_H
22 #define AVUTIL_SOFTFLOAT_H
23
24 #include <stdint.h>
25 #include "common.h"
26
27 #include "avassert.h"
28 #include "softfloat_tables.h"
29
30 #define MIN_EXP -149
31 #define MAX_EXP  126
32 #define ONE_BITS 29
33
34 typedef struct SoftFloat{
35     int32_t mant;
36     int32_t  exp;
37 }SoftFloat;
38
39 static const SoftFloat FLOAT_0          = {          0,   MIN_EXP};             ///< 0.0
40 static const SoftFloat FLOAT_05         = { 0x20000000,   0};                   ///< 0.5
41 static const SoftFloat FLOAT_1          = { 0x20000000,   1};                   ///< 1.0
42 static const SoftFloat FLOAT_EPSILON    = { 0x29F16B12, -16};                   ///< A small value
43 static const SoftFloat FLOAT_1584893192 = { 0x32B771ED,   1};                   ///< 1.584893192 (10^.2)
44 static const SoftFloat FLOAT_100000     = { 0x30D40000,  17};                   ///< 100000
45 static const SoftFloat FLOAT_0999999    = { 0x3FFFFBCE,   0};                   ///< 0.999999
46
47
48 /**
49  * Convert a SoftFloat to a double precision float.
50  */
51 static inline av_const double av_sf2double(SoftFloat v) {
52     v.exp -= ONE_BITS +1;
53     return ldexp(v.mant, v.exp);
54 }
55
56 static av_const SoftFloat av_normalize_sf(SoftFloat a){
57     if(a.mant){
58 #if 1
59         while((a.mant + 0x1FFFFFFFU)<0x3FFFFFFFU){
60             a.mant += a.mant;
61             a.exp  -= 1;
62         }
63 #else
64         int s=ONE_BITS - av_log2(FFABS(a.mant));
65         a.exp   -= s;
66         a.mant <<= s;
67 #endif
68         if(a.exp < MIN_EXP){
69             a.exp = MIN_EXP;
70             a.mant= 0;
71         }
72     }else{
73         a.exp= MIN_EXP;
74     }
75     return a;
76 }
77
78 static inline av_const SoftFloat av_normalize1_sf(SoftFloat a){
79 #if 1
80     if((int32_t)(a.mant + 0x40000000U) <= 0){
81         a.exp++;
82         a.mant>>=1;
83     }
84     av_assert2(a.mant < 0x40000000 && a.mant > -0x40000000);
85     av_assert2(a.exp <= MAX_EXP);
86     return a;
87 #elif 1
88     int t= a.mant + 0x40000000 < 0;
89     return (SoftFloat){ a.mant>>t, a.exp+t};
90 #else
91     int t= (a.mant + 0x3FFFFFFFU)>>31;
92     return (SoftFloat){a.mant>>t, a.exp+t};
93 #endif
94 }
95
96 /**
97  * @return Will not be more denormalized than a*b. So if either input is
98  *         normalized, then the output will not be worse then the other input.
99  *         If both are normalized, then the output will be normalized.
100  */
101 static inline av_const SoftFloat av_mul_sf(SoftFloat a, SoftFloat b){
102     a.exp += b.exp;
103     av_assert2((int32_t)((a.mant * (int64_t)b.mant) >> ONE_BITS) == (a.mant * (int64_t)b.mant) >> ONE_BITS);
104     a.mant = (a.mant * (int64_t)b.mant) >> ONE_BITS;
105     a = av_normalize1_sf((SoftFloat){a.mant, a.exp - 1});
106     if (!a.mant || a.exp < MIN_EXP)
107         return FLOAT_0;
108     return a;
109 }
110
111 /**
112  * b has to be normalized and not zero.
113  * @return Will not be more denormalized than a.
114  */
115 static inline av_const SoftFloat av_div_sf(SoftFloat a, SoftFloat b){
116     int64_t temp = (int64_t)a.mant * (1<<(ONE_BITS+1));
117     temp /= b.mant;
118     a.exp -= b.exp;
119     a.mant = temp;
120     while (a.mant != temp) {
121         temp /= 2;
122         a.exp--;
123         a.mant = temp;
124     }
125     a = av_normalize1_sf(a);
126     if (!a.mant || a.exp < MIN_EXP)
127         return FLOAT_0;
128     return a;
129 }
130
131 /**
132  * Compares two SoftFloats.
133  * @returns < 0 if the first is less
134  *          > 0 if the first is greater
135  *            0 if they are equal
136  */
137 static inline av_const int av_cmp_sf(SoftFloat a, SoftFloat b){
138     int t= a.exp - b.exp;
139     if      (t <-31) return                  -  b.mant      ;
140     else if (t <  0) return (a.mant >> (-t)) -  b.mant      ;
141     else if (t < 32) return  a.mant          - (b.mant >> t);
142     else             return  a.mant                         ;
143 }
144
145 /**
146  * Compares two SoftFloats.
147  * @returns 1 if a is greater than b, 0 otherwise
148  */
149 static inline av_const int av_gt_sf(SoftFloat a, SoftFloat b)
150 {
151     int t= a.exp - b.exp;
152     if      (t <-31) return 0                >  b.mant      ;
153     else if (t <  0) return (a.mant >> (-t)) >  b.mant      ;
154     else if (t < 32) return  a.mant          > (b.mant >> t);
155     else             return  a.mant          >  0           ;
156 }
157
158 /**
159  * @returns the sum of 2 SoftFloats.
160  */
161 static inline av_const SoftFloat av_add_sf(SoftFloat a, SoftFloat b){
162     int t= a.exp - b.exp;
163     if      (t <-31) return b;
164     else if (t <  0) return av_normalize_sf(av_normalize1_sf((SoftFloat){ b.mant + (a.mant >> (-t)), b.exp}));
165     else if (t < 32) return av_normalize_sf(av_normalize1_sf((SoftFloat){ a.mant + (b.mant >>   t ), a.exp}));
166     else             return a;
167 }
168
169 /**
170  * @returns the difference of 2 SoftFloats.
171  */
172 static inline av_const SoftFloat av_sub_sf(SoftFloat a, SoftFloat b){
173     return av_add_sf(a, (SoftFloat){ -b.mant, b.exp});
174 }
175
176 //FIXME log, exp, pow
177
178 /**
179  * Converts a mantisse and exponent to a SoftFloat.
180  * This converts a fixed point value v with frac_bits fractional bits to a
181  * SoftFloat.
182  * @returns a SoftFloat with value v * 2^-frac_bits
183  */
184 static inline av_const SoftFloat av_int2sf(int v, int frac_bits){
185     int exp_offset = 0;
186     if(v <= INT_MIN + 1){
187         exp_offset = 1;
188         v>>=1;
189     }
190     return av_normalize_sf(av_normalize1_sf((SoftFloat){v, ONE_BITS + 1 - frac_bits + exp_offset}));
191 }
192
193 /**
194  * Converts a SoftFloat to an integer.
195  * Rounding is to -inf.
196  */
197 static inline av_const int av_sf2int(SoftFloat v, int frac_bits){
198     v.exp += frac_bits - (ONE_BITS + 1);
199     if(v.exp >= 0) return v.mant <<  v.exp ;
200     else           return v.mant >>(-v.exp);
201 }
202
203 /**
204  * Rounding-to-nearest used.
205  */
206 static av_always_inline SoftFloat av_sqrt_sf(SoftFloat val)
207 {
208     int tabIndex, rem;
209
210     if (val.mant == 0)
211         val.exp = MIN_EXP;
212     else if (val.mant < 0)
213         abort();
214     else
215     {
216         tabIndex = (val.mant - 0x20000000) >> 20;
217
218         rem = val.mant & 0xFFFFF;
219         val.mant  = (int)(((int64_t)av_sqrttbl_sf[tabIndex] * (0x100000 - rem) +
220                            (int64_t)av_sqrttbl_sf[tabIndex + 1] * rem +
221                            0x80000) >> 20);
222         val.mant = (int)(((int64_t)av_sqr_exp_multbl_sf[val.exp & 1] * val.mant +
223                           0x10000000) >> 29);
224
225         if (val.mant < 0x40000000)
226             val.exp -= 2;
227         else
228             val.mant >>= 1;
229
230         val.exp = (val.exp >> 1) + 1;
231     }
232
233     return val;
234 }
235
236 /**
237  * Rounding-to-nearest used.
238  */
239 static av_unused void av_sincos_sf(int a, int *s, int *c)
240 {
241     int idx, sign;
242     int sv, cv;
243     int st, ct;
244
245     idx = a >> 26;
246     sign = (int32_t)((unsigned)idx << 27) >> 31;
247     cv = av_costbl_1_sf[idx & 0xf];
248     cv = (cv ^ sign) - sign;
249
250     idx -= 8;
251     sign = (int32_t)((unsigned)idx << 27) >> 31;
252     sv = av_costbl_1_sf[idx & 0xf];
253     sv = (sv ^ sign) - sign;
254
255     idx = a >> 21;
256     ct = av_costbl_2_sf[idx & 0x1f];
257     st = av_sintbl_2_sf[idx & 0x1f];
258
259     idx = (int)(((int64_t)cv * ct - (int64_t)sv * st + 0x20000000) >> 30);
260
261     sv = (int)(((int64_t)cv * st + (int64_t)sv * ct + 0x20000000) >> 30);
262
263     cv = idx;
264
265     idx = a >> 16;
266     ct = av_costbl_3_sf[idx & 0x1f];
267     st = av_sintbl_3_sf[idx & 0x1f];
268
269     idx = (int)(((int64_t)cv * ct - (int64_t)sv * st + 0x20000000) >> 30);
270
271     sv = (int)(((int64_t)cv * st + (int64_t)sv * ct + 0x20000000) >> 30);
272     cv = idx;
273
274     idx = a >> 11;
275
276     ct = (int)(((int64_t)av_costbl_4_sf[idx & 0x1f] * (0x800 - (a & 0x7ff)) +
277                 (int64_t)av_costbl_4_sf[(idx & 0x1f)+1]*(a & 0x7ff) +
278                 0x400) >> 11);
279     st = (int)(((int64_t)av_sintbl_4_sf[idx & 0x1f] * (0x800 - (a & 0x7ff)) +
280                 (int64_t)av_sintbl_4_sf[(idx & 0x1f) + 1] * (a & 0x7ff) +
281                 0x400) >> 11);
282
283     *c = (int)(((int64_t)cv * ct + (int64_t)sv * st + 0x20000000) >> 30);
284
285     *s = (int)(((int64_t)cv * st + (int64_t)sv * ct + 0x20000000) >> 30);
286 }
287
288 #endif /* AVUTIL_SOFTFLOAT_H */