apedec: use unsigned int for 'nblocks' and make sure that it's within int range
[ffmpeg.git] / libavcodec / faandct.c
1 /*
2  * Floating point AAN DCT
3  * this implementation is based upon the IJG integer AAN DCT (see jfdctfst.c)
4  *
5  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
6  * Copyright (c) 2003 Roman Shaposhnik
7  *
8  * Permission to use, copy, modify, and/or distribute this software for any
9  * purpose with or without fee is hereby granted, provided that the above
10  * copyright notice and this permission notice appear in all copies.
11  *
12  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
13  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
14  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
15  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
16  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
17  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
18  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
19  */
20
21 /**
22  * @file
23  * @brief
24  *     Floating point AAN DCT
25  * @author Michael Niedermayer <michaelni@gmx.at>
26  */
27
28 #include "dsputil.h"
29 #include "faandct.h"
30
31 #define FLOAT float
32 #ifdef FAAN_POSTSCALE
33 #    define SCALE(x) postscale[x]
34 #else
35 #    define SCALE(x) 1
36 #endif
37
38 //numbers generated by simple c code (not as accurate as they could be)
39 /*
40 for(i=0; i<8; i++){
41     printf("#define B%d %1.20llf\n", i, (long double)1.0/(cosl(i*acosl(-1.0)/(long double)16.0)*sqrtl(2)));
42 }
43 */
44 #define B0 1.00000000000000000000
45 #define B1 0.72095982200694791383 // (cos(pi*1/16)sqrt(2))^-1
46 #define B2 0.76536686473017954350 // (cos(pi*2/16)sqrt(2))^-1
47 #define B3 0.85043009476725644878 // (cos(pi*3/16)sqrt(2))^-1
48 #define B4 1.00000000000000000000 // (cos(pi*4/16)sqrt(2))^-1
49 #define B5 1.27275858057283393842 // (cos(pi*5/16)sqrt(2))^-1
50 #define B6 1.84775906502257351242 // (cos(pi*6/16)sqrt(2))^-1
51 #define B7 3.62450978541155137218 // (cos(pi*7/16)sqrt(2))^-1
52
53
54 #define A1 0.70710678118654752438 // cos(pi*4/16)
55 #define A2 0.54119610014619698435 // cos(pi*6/16)sqrt(2)
56 #define A5 0.38268343236508977170 // cos(pi*6/16)
57 #define A4 1.30656296487637652774 // cos(pi*2/16)sqrt(2)
58
59 static const FLOAT postscale[64]={
60 B0*B0, B0*B1, B0*B2, B0*B3, B0*B4, B0*B5, B0*B6, B0*B7,
61 B1*B0, B1*B1, B1*B2, B1*B3, B1*B4, B1*B5, B1*B6, B1*B7,
62 B2*B0, B2*B1, B2*B2, B2*B3, B2*B4, B2*B5, B2*B6, B2*B7,
63 B3*B0, B3*B1, B3*B2, B3*B3, B3*B4, B3*B5, B3*B6, B3*B7,
64 B4*B0, B4*B1, B4*B2, B4*B3, B4*B4, B4*B5, B4*B6, B4*B7,
65 B5*B0, B5*B1, B5*B2, B5*B3, B5*B4, B5*B5, B5*B6, B5*B7,
66 B6*B0, B6*B1, B6*B2, B6*B3, B6*B4, B6*B5, B6*B6, B6*B7,
67 B7*B0, B7*B1, B7*B2, B7*B3, B7*B4, B7*B5, B7*B6, B7*B7,
68 };
69
70 static av_always_inline void row_fdct(FLOAT temp[64], DCTELEM * data)
71 {
72     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
73     FLOAT tmp10, tmp11, tmp12, tmp13;
74     FLOAT z2, z4, z11, z13;
75     FLOAT av_unused z5;
76     int i;
77
78     for (i=0; i<8*8; i+=8) {
79         tmp0= data[0 + i] + data[7 + i];
80         tmp7= data[0 + i] - data[7 + i];
81         tmp1= data[1 + i] + data[6 + i];
82         tmp6= data[1 + i] - data[6 + i];
83         tmp2= data[2 + i] + data[5 + i];
84         tmp5= data[2 + i] - data[5 + i];
85         tmp3= data[3 + i] + data[4 + i];
86         tmp4= data[3 + i] - data[4 + i];
87
88         tmp10= tmp0 + tmp3;
89         tmp13= tmp0 - tmp3;
90         tmp11= tmp1 + tmp2;
91         tmp12= tmp1 - tmp2;
92
93         temp[0 + i]= tmp10 + tmp11;
94         temp[4 + i]= tmp10 - tmp11;
95
96         tmp12 += tmp13;
97         tmp12 *= A1;
98         temp[2 + i]= tmp13 + tmp12;
99         temp[6 + i]= tmp13 - tmp12;
100
101         tmp4 += tmp5;
102         tmp5 += tmp6;
103         tmp6 += tmp7;
104
105 #if 0
106         z5= (tmp4 - tmp6) * A5;
107         z2= tmp4*A2 + z5;
108         z4= tmp6*A4 + z5;
109 #else
110         z2= tmp4*(A2+A5) - tmp6*A5;
111         z4= tmp6*(A4-A5) + tmp4*A5;
112 #endif
113         tmp5*=A1;
114
115         z11= tmp7 + tmp5;
116         z13= tmp7 - tmp5;
117
118         temp[5 + i]= z13 + z2;
119         temp[3 + i]= z13 - z2;
120         temp[1 + i]= z11 + z4;
121         temp[7 + i]= z11 - z4;
122     }
123 }
124
125 void ff_faandct(DCTELEM * data)
126 {
127     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
128     FLOAT tmp10, tmp11, tmp12, tmp13;
129     FLOAT z2, z4, z11, z13;
130     FLOAT av_unused z5;
131     FLOAT temp[64];
132     int i;
133
134     emms_c();
135
136     row_fdct(temp, data);
137
138     for (i=0; i<8; i++) {
139         tmp0= temp[8*0 + i] + temp[8*7 + i];
140         tmp7= temp[8*0 + i] - temp[8*7 + i];
141         tmp1= temp[8*1 + i] + temp[8*6 + i];
142         tmp6= temp[8*1 + i] - temp[8*6 + i];
143         tmp2= temp[8*2 + i] + temp[8*5 + i];
144         tmp5= temp[8*2 + i] - temp[8*5 + i];
145         tmp3= temp[8*3 + i] + temp[8*4 + i];
146         tmp4= temp[8*3 + i] - temp[8*4 + i];
147
148         tmp10= tmp0 + tmp3;
149         tmp13= tmp0 - tmp3;
150         tmp11= tmp1 + tmp2;
151         tmp12= tmp1 - tmp2;
152
153         data[8*0 + i]= lrintf(SCALE(8*0 + i) * (tmp10 + tmp11));
154         data[8*4 + i]= lrintf(SCALE(8*4 + i) * (tmp10 - tmp11));
155
156         tmp12 += tmp13;
157         tmp12 *= A1;
158         data[8*2 + i]= lrintf(SCALE(8*2 + i) * (tmp13 + tmp12));
159         data[8*6 + i]= lrintf(SCALE(8*6 + i) * (tmp13 - tmp12));
160
161         tmp4 += tmp5;
162         tmp5 += tmp6;
163         tmp6 += tmp7;
164
165 #if 0
166         z5= (tmp4 - tmp6) * A5;
167         z2= tmp4*A2 + z5;
168         z4= tmp6*A4 + z5;
169 #else
170         z2= tmp4*(A2+A5) - tmp6*A5;
171         z4= tmp6*(A4-A5) + tmp4*A5;
172 #endif
173         tmp5*=A1;
174
175         z11= tmp7 + tmp5;
176         z13= tmp7 - tmp5;
177
178         data[8*5 + i]= lrintf(SCALE(8*5 + i) * (z13 + z2));
179         data[8*3 + i]= lrintf(SCALE(8*3 + i) * (z13 - z2));
180         data[8*1 + i]= lrintf(SCALE(8*1 + i) * (z11 + z4));
181         data[8*7 + i]= lrintf(SCALE(8*7 + i) * (z11 - z4));
182     }
183 }
184
185 void ff_faandct248(DCTELEM * data)
186 {
187     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
188     FLOAT tmp10, tmp11, tmp12, tmp13;
189     FLOAT temp[64];
190     int i;
191
192     emms_c();
193
194     row_fdct(temp, data);
195
196     for (i=0; i<8; i++) {
197         tmp0 = temp[8*0 + i] + temp[8*1 + i];
198         tmp1 = temp[8*2 + i] + temp[8*3 + i];
199         tmp2 = temp[8*4 + i] + temp[8*5 + i];
200         tmp3 = temp[8*6 + i] + temp[8*7 + i];
201         tmp4 = temp[8*0 + i] - temp[8*1 + i];
202         tmp5 = temp[8*2 + i] - temp[8*3 + i];
203         tmp6 = temp[8*4 + i] - temp[8*5 + i];
204         tmp7 = temp[8*6 + i] - temp[8*7 + i];
205
206         tmp10 = tmp0 + tmp3;
207         tmp11 = tmp1 + tmp2;
208         tmp12 = tmp1 - tmp2;
209         tmp13 = tmp0 - tmp3;
210
211         data[8*0 + i] = lrintf(SCALE(8*0 + i) * (tmp10 + tmp11));
212         data[8*4 + i] = lrintf(SCALE(8*4 + i) * (tmp10 - tmp11));
213
214         tmp12 += tmp13;
215         tmp12 *= A1;
216         data[8*2 + i] = lrintf(SCALE(8*2 + i) * (tmp13 + tmp12));
217         data[8*6 + i] = lrintf(SCALE(8*6 + i) * (tmp13 - tmp12));
218
219         tmp10 = tmp4 + tmp7;
220         tmp11 = tmp5 + tmp6;
221         tmp12 = tmp5 - tmp6;
222         tmp13 = tmp4 - tmp7;
223
224         data[8*1 + i] = lrintf(SCALE(8*0 + i) * (tmp10 + tmp11));
225         data[8*5 + i] = lrintf(SCALE(8*4 + i) * (tmp10 - tmp11));
226
227         tmp12 += tmp13;
228         tmp12 *= A1;
229         data[8*3 + i] = lrintf(SCALE(8*2 + i) * (tmp13 + tmp12));
230         data[8*7 + i] = lrintf(SCALE(8*6 + i) * (tmp13 - tmp12));
231     }
232 }