tscc2: Fix an out of array access
[ffmpeg.git] / libavcodec / mathops.h
1 /*
2  * simple math operations
3  * Copyright (c) 2001, 2002 Fabrice Bellard
4  * Copyright (c) 2006 Michael Niedermayer <michaelni@gmx.at> et al
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22 #ifndef AVCODEC_MATHOPS_H
23 #define AVCODEC_MATHOPS_H
24
25 #include <stdint.h>
26
27 #include "libavutil/common.h"
28 #include "config.h"
29
30 extern const uint32_t ff_inverse[257];
31 extern const uint8_t ff_sqrt_tab[256];
32
33 #if   ARCH_ARM
34 #   include "arm/mathops.h"
35 #elif ARCH_AVR32
36 #   include "avr32/mathops.h"
37 #elif ARCH_BFIN
38 #   include "bfin/mathops.h"
39 #elif ARCH_MIPS
40 #   include "mips/mathops.h"
41 #elif ARCH_PPC
42 #   include "ppc/mathops.h"
43 #elif ARCH_X86
44 #   include "x86/mathops.h"
45 #endif
46
47 /* generic implementation */
48
49 #ifndef MUL64
50 #   define MUL64(a,b) ((int64_t)(a) * (int64_t)(b))
51 #endif
52
53 #ifndef MULL
54 #   define MULL(a,b,s) (MUL64(a, b) >> (s))
55 #endif
56
57 #ifndef MULH
58 static av_always_inline int MULH(int a, int b){
59     return MUL64(a, b) >> 32;
60 }
61 #endif
62
63 #ifndef UMULH
64 static av_always_inline unsigned UMULH(unsigned a, unsigned b){
65     return ((uint64_t)(a) * (uint64_t)(b))>>32;
66 }
67 #endif
68
69 #ifndef MAC64
70 #   define MAC64(d, a, b) ((d) += MUL64(a, b))
71 #endif
72
73 #ifndef MLS64
74 #   define MLS64(d, a, b) ((d) -= MUL64(a, b))
75 #endif
76
77 /* signed 16x16 -> 32 multiply add accumulate */
78 #ifndef MAC16
79 #   define MAC16(rt, ra, rb) rt += (ra) * (rb)
80 #endif
81
82 /* signed 16x16 -> 32 multiply */
83 #ifndef MUL16
84 #   define MUL16(ra, rb) ((ra) * (rb))
85 #endif
86
87 #ifndef MLS16
88 #   define MLS16(rt, ra, rb) ((rt) -= (ra) * (rb))
89 #endif
90
91 /* median of 3 */
92 #ifndef mid_pred
93 #define mid_pred mid_pred
94 static inline av_const int mid_pred(int a, int b, int c)
95 {
96 #if 0
97     int t= (a-b)&((a-b)>>31);
98     a-=t;
99     b+=t;
100     b-= (b-c)&((b-c)>>31);
101     b+= (a-b)&((a-b)>>31);
102
103     return b;
104 #else
105     if(a>b){
106         if(c>b){
107             if(c>a) b=a;
108             else    b=c;
109         }
110     }else{
111         if(b>c){
112             if(c>a) b=c;
113             else    b=a;
114         }
115     }
116     return b;
117 #endif
118 }
119 #endif
120
121 #ifndef sign_extend
122 static inline av_const int sign_extend(int val, unsigned bits)
123 {
124     unsigned shift = 8 * sizeof(int) - bits;
125     union { unsigned u; int s; } v = { (unsigned) val << shift };
126     return v.s >> shift;
127 }
128 #endif
129
130 #ifndef zero_extend
131 static inline av_const unsigned zero_extend(unsigned val, unsigned bits)
132 {
133     return (val << ((8 * sizeof(int)) - bits)) >> ((8 * sizeof(int)) - bits);
134 }
135 #endif
136
137 #ifndef COPY3_IF_LT
138 #define COPY3_IF_LT(x, y, a, b, c, d)\
139 if ((y) < (x)) {\
140     (x) = (y);\
141     (a) = (b);\
142     (c) = (d);\
143 }
144 #endif
145
146 #ifndef MASK_ABS
147 #define MASK_ABS(mask, level) do {              \
148         mask  = level >> 31;                    \
149         level = (level ^ mask) - mask;          \
150     } while (0)
151 #endif
152
153 #ifndef NEG_SSR32
154 #   define NEG_SSR32(a,s) ((( int32_t)(a))>>(32-(s)))
155 #endif
156
157 #ifndef NEG_USR32
158 #   define NEG_USR32(a,s) (((uint32_t)(a))>>(32-(s)))
159 #endif
160
161 #if HAVE_BIGENDIAN
162 # ifndef PACK_2U8
163 #   define PACK_2U8(a,b)     (((a) <<  8) | (b))
164 # endif
165 # ifndef PACK_4U8
166 #   define PACK_4U8(a,b,c,d) (((a) << 24) | ((b) << 16) | ((c) << 8) | (d))
167 # endif
168 # ifndef PACK_2U16
169 #   define PACK_2U16(a,b)    (((a) << 16) | (b))
170 # endif
171 #else
172 # ifndef PACK_2U8
173 #   define PACK_2U8(a,b)     (((b) <<  8) | (a))
174 # endif
175 # ifndef PACK_4U2
176 #   define PACK_4U8(a,b,c,d) (((d) << 24) | ((c) << 16) | ((b) << 8) | (a))
177 # endif
178 # ifndef PACK_2U16
179 #   define PACK_2U16(a,b)    (((b) << 16) | (a))
180 # endif
181 #endif
182
183 #ifndef PACK_2S8
184 #   define PACK_2S8(a,b)     PACK_2U8((a)&255, (b)&255)
185 #endif
186 #ifndef PACK_4S8
187 #   define PACK_4S8(a,b,c,d) PACK_4U8((a)&255, (b)&255, (c)&255, (d)&255)
188 #endif
189 #ifndef PACK_2S16
190 #   define PACK_2S16(a,b)    PACK_2U16((a)&0xffff, (b)&0xffff)
191 #endif
192
193 #ifndef FASTDIV
194 #   define FASTDIV(a,b) ((uint32_t)((((uint64_t)a) * ff_inverse[b]) >> 32))
195 #endif /* FASTDIV */
196
197 static inline av_const unsigned int ff_sqrt(unsigned int a)
198 {
199     unsigned int b;
200
201     if (a < 255) return (ff_sqrt_tab[a + 1] - 1) >> 4;
202     else if (a < (1 << 12)) b = ff_sqrt_tab[a >> 4] >> 2;
203 #if !CONFIG_SMALL
204     else if (a < (1 << 14)) b = ff_sqrt_tab[a >> 6] >> 1;
205     else if (a < (1 << 16)) b = ff_sqrt_tab[a >> 8]   ;
206 #endif
207     else {
208         int s = av_log2_16bit(a >> 16) >> 1;
209         unsigned int c = a >> (s + 2);
210         b = ff_sqrt_tab[c >> (s + 8)];
211         b = FASTDIV(c,b) + (b << s);
212     }
213
214     return b - (a < b * b);
215 }
216
217 #endif /* AVCODEC_MATHOPS_H */