avutil/softfloat: Fix exponent underflow in av_div_sf()
[ffmpeg.git] / libavutil / softfloat.h
1 /*
2  * Copyright (c) 2006 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #ifndef AVUTIL_SOFTFLOAT_H
22 #define AVUTIL_SOFTFLOAT_H
23
24 #include <stdint.h>
25 #include "common.h"
26
27 #include "avassert.h"
28 #include "softfloat_tables.h"
29
30 #define MIN_EXP -126
31 #define MAX_EXP  126
32 #define ONE_BITS 29
33
34 typedef struct SoftFloat{
35     int32_t mant;
36     int32_t  exp;
37 }SoftFloat;
38
39 static const SoftFloat FLOAT_0          = {          0,   MIN_EXP};
40 static const SoftFloat FLOAT_05         = { 0x20000000,   0};
41 static const SoftFloat FLOAT_1          = { 0x20000000,   1};
42 static const SoftFloat FLOAT_EPSILON    = { 0x29F16B12, -16};
43 static const SoftFloat FLOAT_1584893192 = { 0x32B771ED,   1};
44 static const SoftFloat FLOAT_100000     = { 0x30D40000,  17};
45 static const SoftFloat FLOAT_0999999    = { 0x3FFFFBCE,   0};
46
47 static inline av_const double av_sf2double(SoftFloat v) {
48     v.exp -= ONE_BITS +1;
49     if(v.exp > 0) return (double)v.mant * (double)(1 << v.exp);
50     else          return (double)v.mant / (double)(1 << (-v.exp));
51 }
52
53 static av_const SoftFloat av_normalize_sf(SoftFloat a){
54     if(a.mant){
55 #if 1
56         while((a.mant + 0x1FFFFFFFU)<0x3FFFFFFFU){
57             a.mant += a.mant;
58             a.exp  -= 1;
59         }
60 #else
61         int s=ONE_BITS - av_log2(FFABS(a.mant));
62         a.exp   -= s;
63         a.mant <<= s;
64 #endif
65         if(a.exp < MIN_EXP){
66             a.exp = MIN_EXP;
67             a.mant= 0;
68         }
69     }else{
70         a.exp= MIN_EXP;
71     }
72     return a;
73 }
74
75 static inline av_const SoftFloat av_normalize1_sf(SoftFloat a){
76 #if 1
77     if((int32_t)(a.mant + 0x40000000U) <= 0){
78         a.exp++;
79         a.mant>>=1;
80     }
81     av_assert2(a.mant < 0x40000000 && a.mant > -0x40000000);
82     return a;
83 #elif 1
84     int t= a.mant + 0x40000000 < 0;
85     return (SoftFloat){ a.mant>>t, a.exp+t};
86 #else
87     int t= (a.mant + 0x3FFFFFFFU)>>31;
88     return (SoftFloat){a.mant>>t, a.exp+t};
89 #endif
90 }
91
92 /**
93  * @return Will not be more denormalized than a*b. So if either input is
94  *         normalized, then the output will not be worse then the other input.
95  *         If both are normalized, then the output will be normalized.
96  */
97 static inline av_const SoftFloat av_mul_sf(SoftFloat a, SoftFloat b){
98     a.exp += b.exp;
99     av_assert2((int32_t)((a.mant * (int64_t)b.mant) >> ONE_BITS) == (a.mant * (int64_t)b.mant) >> ONE_BITS);
100     a.mant = (a.mant * (int64_t)b.mant) >> ONE_BITS;
101     a = av_normalize1_sf((SoftFloat){a.mant, a.exp - 1});
102     if (!a.mant || a.exp < MIN_EXP)
103         return FLOAT_0;
104     return a;
105 }
106
107 /**
108  * b has to be normalized and not zero.
109  * @return Will not be more denormalized than a.
110  */
111 static inline av_const SoftFloat av_div_sf(SoftFloat a, SoftFloat b){
112     a.exp -= b.exp;
113     a.mant = ((int64_t)a.mant<<(ONE_BITS+1)) / b.mant;
114     a = av_normalize1_sf(a);
115     if (!a.mant || a.exp < MIN_EXP)
116         return FLOAT_0;
117     return a;
118 }
119
120 static inline av_const int av_cmp_sf(SoftFloat a, SoftFloat b){
121     int t= a.exp - b.exp;
122     if(t<0) return (a.mant >> (-t)) -  b.mant      ;
123     else    return  a.mant          - (b.mant >> t);
124 }
125
126 static inline av_const int av_gt_sf(SoftFloat a, SoftFloat b)
127 {
128     int t= a.exp - b.exp;
129     if(t<0) return (a.mant >> (-t)) >  b.mant      ;
130     else    return  a.mant          > (b.mant >> t);
131 }
132
133 static inline av_const SoftFloat av_add_sf(SoftFloat a, SoftFloat b){
134     int t= a.exp - b.exp;
135     if      (t <-31) return b;
136     else if (t <  0) return av_normalize_sf(av_normalize1_sf((SoftFloat){ b.mant + (a.mant >> (-t)), b.exp}));
137     else if (t < 32) return av_normalize_sf(av_normalize1_sf((SoftFloat){ a.mant + (b.mant >>   t ), a.exp}));
138     else             return a;
139 }
140
141 static inline av_const SoftFloat av_sub_sf(SoftFloat a, SoftFloat b){
142     return av_add_sf(a, (SoftFloat){ -b.mant, b.exp});
143 }
144
145 //FIXME log, exp, pow
146
147 /**
148  * Converts a mantisse and exponent to a SoftFloat
149  * @returns a SoftFloat with value v * 2^frac_bits
150  */
151 static inline av_const SoftFloat av_int2sf(int v, int frac_bits){
152     return av_normalize_sf((SoftFloat){v, ONE_BITS + 1 - frac_bits});
153 }
154
155 /**
156  * Rounding is to -inf.
157  */
158 static inline av_const int av_sf2int(SoftFloat v, int frac_bits){
159     v.exp += frac_bits - (ONE_BITS + 1);
160     if(v.exp >= 0) return v.mant <<  v.exp ;
161     else           return v.mant >>(-v.exp);
162 }
163
164 /**
165  * Rounding-to-nearest used.
166  */
167 static av_always_inline SoftFloat av_sqrt_sf(SoftFloat val)
168 {
169     int tabIndex, rem;
170
171     if (val.mant == 0)
172         val.exp = MIN_EXP;
173     else
174     {
175         tabIndex = (val.mant - 0x20000000) >> 20;
176
177         rem = val.mant & 0xFFFFF;
178         val.mant  = (int)(((int64_t)av_sqrttbl_sf[tabIndex] * (0x100000 - rem) +
179                            (int64_t)av_sqrttbl_sf[tabIndex + 1] * rem +
180                            0x80000) >> 20);
181         val.mant = (int)(((int64_t)av_sqr_exp_multbl_sf[val.exp & 1] * val.mant +
182                           0x10000000) >> 29);
183
184         if (val.mant < 0x40000000)
185             val.exp -= 2;
186         else
187             val.mant >>= 1;
188
189         val.exp = (val.exp >> 1) + 1;
190     }
191
192     return val;
193 }
194
195 /**
196  * Rounding-to-nearest used.
197  */
198 static av_unused void av_sincos_sf(int a, int *s, int *c)
199 {
200     int idx, sign;
201     int sv, cv;
202     int st, ct;
203
204     idx = a >> 26;
205     sign = (idx << 27) >> 31;
206     cv = av_costbl_1_sf[idx & 0xf];
207     cv = (cv ^ sign) - sign;
208
209     idx -= 8;
210     sign = (idx << 27) >> 31;
211     sv = av_costbl_1_sf[idx & 0xf];
212     sv = (sv ^ sign) - sign;
213
214     idx = a >> 21;
215     ct = av_costbl_2_sf[idx & 0x1f];
216     st = av_sintbl_2_sf[idx & 0x1f];
217
218     idx = (int)(((int64_t)cv * ct - (int64_t)sv * st + 0x20000000) >> 30);
219
220     sv = (int)(((int64_t)cv * st + (int64_t)sv * ct + 0x20000000) >> 30);
221
222     cv = idx;
223
224     idx = a >> 16;
225     ct = av_costbl_3_sf[idx & 0x1f];
226     st = av_sintbl_3_sf[idx & 0x1f];
227
228     idx = (int)(((int64_t)cv * ct - (int64_t)sv * st + 0x20000000) >> 30);
229
230     sv = (int)(((int64_t)cv * st + (int64_t)sv * ct + 0x20000000) >> 30);
231     cv = idx;
232
233     idx = a >> 11;
234
235     ct = (int)(((int64_t)av_costbl_4_sf[idx & 0x1f] * (0x800 - (a & 0x7ff)) +
236                 (int64_t)av_costbl_4_sf[(idx & 0x1f)+1]*(a & 0x7ff) +
237                 0x400) >> 11);
238     st = (int)(((int64_t)av_sintbl_4_sf[idx & 0x1f] * (0x800 - (a & 0x7ff)) +
239                 (int64_t)av_sintbl_4_sf[(idx & 0x1f) + 1] * (a & 0x7ff) +
240                 0x400) >> 11);
241
242     *c = (int)(((int64_t)cv * ct + (int64_t)sv * st + 0x20000000) >> 30);
243
244     *s = (int)(((int64_t)cv * st + (int64_t)sv * ct + 0x20000000) >> 30);
245 }
246
247 #endif /* AVUTIL_SOFTFLOAT_H */