* adding integer/floating point AAN implementations for DCT 2-4-8
[ffmpeg.git] / libavcodec / faandct.c
1 /*
2  * Floating point AAN DCT
3  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18  *
19  * this implementation is based upon the IJG integer AAN DCT (see jfdctfst.c)
20  */
21
22 /**
23  * @file faandct.c
24  * @brief 
25  *     Floating point AAN DCT
26  * @author Michael Niedermayer <michaelni@gmx.at>
27  */
28
29 #include <math.h>
30
31 #include "dsputil.h"
32 #include "faandct.h"
33
34 #define FLOAT float
35 #ifdef FAAN_POSTSCALE
36 #    define SCALE(x) postscale[x]
37 #else
38 #    define SCALE(x) 1
39 #endif
40
41 //numbers generated by simple c code (not as accurate as they could be)
42 /*
43 for(i=0; i<8; i++){
44     printf("#define B%d %1.20llf\n", i, (long double)1.0/(cosl(i*acosl(-1.0)/(long double)16.0)*sqrtl(2)));
45 }
46 */
47 #define B0 1.00000000000000000000
48 #define B1 0.72095982200694791383 // (cos(pi*1/16)sqrt(2))^-1
49 #define B2 0.76536686473017954350 // (cos(pi*2/16)sqrt(2))^-1
50 #define B3 0.85043009476725644878 // (cos(pi*3/16)sqrt(2))^-1
51 #define B4 1.00000000000000000000 // (cos(pi*4/16)sqrt(2))^-1
52 #define B5 1.27275858057283393842 // (cos(pi*5/16)sqrt(2))^-1
53 #define B6 1.84775906502257351242 // (cos(pi*6/16)sqrt(2))^-1
54 #define B7 3.62450978541155137218 // (cos(pi*7/16)sqrt(2))^-1
55
56
57 #define A1 0.70710678118654752438 // cos(pi*4/16)
58 #define A2 0.54119610014619698435 // cos(pi*6/16)sqrt(2)
59 #define A5 0.38268343236508977170 // cos(pi*6/16)
60 #define A4 1.30656296487637652774 // cos(pi*2/16)sqrt(2)
61
62 static FLOAT postscale[64]={
63 B0*B0, B0*B1, B0*B2, B0*B3, B0*B4, B0*B5, B0*B6, B0*B7,
64 B1*B0, B1*B1, B1*B2, B1*B3, B1*B4, B1*B5, B1*B6, B1*B7,
65 B2*B0, B2*B1, B2*B2, B2*B3, B2*B4, B2*B5, B2*B6, B2*B7,
66 B3*B0, B3*B1, B3*B2, B3*B3, B3*B4, B3*B5, B3*B6, B3*B7,
67 B4*B0, B4*B1, B4*B2, B4*B3, B4*B4, B4*B5, B4*B6, B4*B7,
68 B5*B0, B5*B1, B5*B2, B5*B3, B5*B4, B5*B5, B5*B6, B5*B7,
69 B6*B0, B6*B1, B6*B2, B6*B3, B6*B4, B6*B5, B6*B6, B6*B7,
70 B7*B0, B7*B1, B7*B2, B7*B3, B7*B4, B7*B5, B7*B6, B7*B7,
71 };
72
73 void ff_faandct(DCTELEM * data)
74 {
75     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
76     FLOAT tmp10, tmp11, tmp12, tmp13;
77     FLOAT z1, z2, z3, z4, z5, z11, z13;
78     FLOAT temp[64];
79     int i;
80
81     emms_c();
82
83     for (i=0; i<8*8; i+=8) {
84         tmp0= data[0 + i] + data[7 + i];
85         tmp7= data[0 + i] - data[7 + i];
86         tmp1= data[1 + i] + data[6 + i];
87         tmp6= data[1 + i] - data[6 + i];
88         tmp2= data[2 + i] + data[5 + i];
89         tmp5= data[2 + i] - data[5 + i];
90         tmp3= data[3 + i] + data[4 + i];
91         tmp4= data[3 + i] - data[4 + i];
92         
93         tmp10= tmp0 + tmp3;
94         tmp13= tmp0 - tmp3;
95         tmp11= tmp1 + tmp2;
96         tmp12= tmp1 - tmp2;
97         
98         temp[0 + i]= tmp10 + tmp11;
99         temp[4 + i]= tmp10 - tmp11;
100         
101         z1= (tmp12 + tmp13)*A1;
102         temp[2 + i]= tmp13 + z1;
103         temp[6 + i]= tmp13 - z1;
104         
105         tmp10= tmp4 + tmp5;
106         tmp11= tmp5 + tmp6;
107         tmp12= tmp6 + tmp7;
108
109         z5= (tmp10 - tmp12) * A5;
110         z2= tmp10*A2 + z5;
111         z4= tmp12*A4 + z5;
112         z3= tmp11*A1;
113
114         z11= tmp7 + z3;
115         z13= tmp7 - z3;
116
117         temp[5 + i]= z13 + z2;
118         temp[3 + i]= z13 - z2;
119         temp[1 + i]= z11 + z4;
120         temp[7 + i]= z11 - z4;
121     }
122
123     for (i=0; i<8; i++) {
124         tmp0= temp[8*0 + i] + temp[8*7 + i];
125         tmp7= temp[8*0 + i] - temp[8*7 + i];
126         tmp1= temp[8*1 + i] + temp[8*6 + i];
127         tmp6= temp[8*1 + i] - temp[8*6 + i];
128         tmp2= temp[8*2 + i] + temp[8*5 + i];
129         tmp5= temp[8*2 + i] - temp[8*5 + i];
130         tmp3= temp[8*3 + i] + temp[8*4 + i];
131         tmp4= temp[8*3 + i] - temp[8*4 + i];
132         
133         tmp10= tmp0 + tmp3;
134         tmp13= tmp0 - tmp3;
135         tmp11= tmp1 + tmp2;
136         tmp12= tmp1 - tmp2;
137         
138         data[8*0 + i]= lrintf(SCALE(8*0 + i) * (tmp10 + tmp11));
139         data[8*4 + i]= lrintf(SCALE(8*4 + i) * (tmp10 - tmp11));
140         
141         z1= (tmp12 + tmp13)* A1;
142         data[8*2 + i]= lrintf(SCALE(8*2 + i) * (tmp13 + z1));
143         data[8*6 + i]= lrintf(SCALE(8*6 + i) * (tmp13 - z1));
144         
145         tmp10= tmp4 + tmp5;
146         tmp11= tmp5 + tmp6;
147         tmp12= tmp6 + tmp7;
148
149         z5= (tmp10 - tmp12) * A5;
150         z2= tmp10*A2 + z5;
151         z4= tmp12*A4 + z5;
152         z3= tmp11*A1;
153
154         z11= tmp7 + z3;
155         z13= tmp7 - z3;
156
157         data[8*5 + i]= lrintf(SCALE(8*5 + i) * (z13 + z2));
158         data[8*3 + i]= lrintf(SCALE(8*3 + i) * (z13 - z2));
159         data[8*1 + i]= lrintf(SCALE(8*1 + i) * (z11 + z4));
160         data[8*7 + i]= lrintf(SCALE(8*7 + i) * (z11 - z4));
161     }
162 }
163
164 void ff_faandct248(DCTELEM * data)
165 {
166     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
167     FLOAT tmp10, tmp11, tmp12, tmp13;
168     FLOAT z1, z2, z3, z4, z5, z11, z13;
169     FLOAT temp[64];
170     int i;
171
172     emms_c();
173
174     for (i=0; i<8*8; i+=8) {
175         tmp0= data[0 + i] + data[7 + i];
176         tmp7= data[0 + i] - data[7 + i];
177         tmp1= data[1 + i] + data[6 + i];
178         tmp6= data[1 + i] - data[6 + i];
179         tmp2= data[2 + i] + data[5 + i];
180         tmp5= data[2 + i] - data[5 + i];
181         tmp3= data[3 + i] + data[4 + i];
182         tmp4= data[3 + i] - data[4 + i];
183         
184         tmp10= tmp0 + tmp3;
185         tmp13= tmp0 - tmp3;
186         tmp11= tmp1 + tmp2;
187         tmp12= tmp1 - tmp2;
188         
189         temp[0 + i]= tmp10 + tmp11;
190         temp[4 + i]= tmp10 - tmp11;
191         
192         z1= (tmp12 + tmp13)*A1;
193         temp[2 + i]= tmp13 + z1;
194         temp[6 + i]= tmp13 - z1;
195         
196         tmp10= tmp4 + tmp5;
197         tmp11= tmp5 + tmp6;
198         tmp12= tmp6 + tmp7;
199
200         z5= (tmp10 - tmp12) * A5;
201         z2= tmp10*A2 + z5;
202         z4= tmp12*A4 + z5;
203         z3= tmp11*A1;
204
205         z11= tmp7 + z3;
206         z13= tmp7 - z3;
207
208         temp[5 + i]= z13 + z2;
209         temp[3 + i]= z13 - z2;
210         temp[1 + i]= z11 + z4;
211         temp[7 + i]= z11 - z4;
212     }
213
214     for (i=0; i<8; i++) {
215         tmp0 = temp[8*0 + i] + temp[8*1 + i];
216         tmp1 = temp[8*2 + i] + temp[8*3 + i];
217         tmp2 = temp[8*4 + i] + temp[8*5 + i];
218         tmp3 = temp[8*6 + i] + temp[8*7 + i];
219         tmp4 = temp[8*0 + i] - temp[8*1 + i];
220         tmp5 = temp[8*2 + i] - temp[8*3 + i];
221         tmp6 = temp[8*4 + i] - temp[8*5 + i];
222         tmp7 = temp[8*6 + i] - temp[8*7 + i];
223         
224         tmp10 = tmp0 + tmp3;
225         tmp11 = tmp1 + tmp2;
226         tmp12 = tmp1 - tmp2;
227         tmp13 = tmp0 - tmp3;
228         
229         data[8*0 + i] = lrintf(SCALE(8*0 + i) * (tmp10 + tmp11));
230         data[8*4 + i] = lrintf(SCALE(8*4 + i) * (tmp10 - tmp11));
231         
232         z1 = (tmp12 + tmp13)* A1;
233         data[8*2 + i] = lrintf(SCALE(8*2 + i) * (tmp13 + z1));
234         data[8*6 + i] = lrintf(SCALE(8*6 + i) * (tmp13 - z1));
235         
236         tmp10 = tmp4 + tmp7;
237         tmp11 = tmp5 + tmp6;
238         tmp12 = tmp5 - tmp6;
239         tmp13 = tmp4 - tmp7;
240
241         data[8*1 + i] = lrintf(SCALE(8*0 + i) * (tmp10 + tmp11));
242         data[8*5 + i] = lrintf(SCALE(8*4 + i) * (tmp10 - tmp11));
243
244         z1 = (tmp12 + tmp13)* A1;
245         data[8*3 + i] = lrintf(SCALE(8*2 + i) * (tmp13 + z1));
246         data[8*7 + i] = lrintf(SCALE(8*6 + i) * (tmp13 - z1));
247     }
248 }