b6830725d2184e1d4a73b7452acd47ca23b458c8
[ffmpeg.git] / libavcodec / faandct.c
1 /*
2  * Floating point AAN DCT
3  * this implementation is based upon the IJG integer AAN DCT (see jfdctfst.c)
4  *
5  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
6  * Copyright (c) 2003 Roman Shaposhnik
7  *
8  * Permission to use, copy, modify, and/or distribute this software for any
9  * purpose with or without fee is hereby granted, provided that the above
10  * copyright notice and this permission notice appear in all copies.
11  *
12  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
13  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
14  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
15  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
16  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
17  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
18  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
19  */
20
21 /**
22  * @file
23  * @brief
24  *     Floating point AAN DCT
25  * @author Michael Niedermayer <michaelni@gmx.at>
26  */
27
28 #include "faandct.h"
29 #include "libavutil/internal.h"
30 #include "libavutil/libm.h"
31
32 typedef float FLOAT;
33
34 /* numbers generated by arbitrary precision arithmetic followed by truncation
35 to 36 fractional digits (enough for a 128-bit IEEE quad, see /usr/include/math.h
36 for this approach). Unfortunately, long double is not always available correctly,
37 e.g ppc has issues.
38 TODO: add L suffixes when ppc and toolchains sort out their stuff.
39 */
40 #define B0 1.000000000000000000000000000000000000
41 #define B1 0.720959822006947913789091890943021267 // (cos(pi*1/16)sqrt(2))^-1
42 #define B2 0.765366864730179543456919968060797734 // (cos(pi*2/16)sqrt(2))^-1
43 #define B3 0.850430094767256448766702844371412325 // (cos(pi*3/16)sqrt(2))^-1
44 #define B4 1.000000000000000000000000000000000000 // (cos(pi*4/16)sqrt(2))^-1
45 #define B5 1.272758580572833938461007018281767032 // (cos(pi*5/16)sqrt(2))^-1
46 #define B6 1.847759065022573512256366378793576574 // (cos(pi*6/16)sqrt(2))^-1
47 #define B7 3.624509785411551372409941227504289587 // (cos(pi*7/16)sqrt(2))^-1
48
49 #define A1 M_SQRT1_2              // cos(pi*4/16)
50 #define A2 0.54119610014619698435 // cos(pi*6/16)sqrt(2)
51 #define A5 0.38268343236508977170 // cos(pi*6/16)
52 #define A4 1.30656296487637652774 // cos(pi*2/16)sqrt(2)
53
54 static const FLOAT postscale[64]={
55 B0*B0, B0*B1, B0*B2, B0*B3, B0*B4, B0*B5, B0*B6, B0*B7,
56 B1*B0, B1*B1, B1*B2, B1*B3, B1*B4, B1*B5, B1*B6, B1*B7,
57 B2*B0, B2*B1, B2*B2, B2*B3, B2*B4, B2*B5, B2*B6, B2*B7,
58 B3*B0, B3*B1, B3*B2, B3*B3, B3*B4, B3*B5, B3*B6, B3*B7,
59 B4*B0, B4*B1, B4*B2, B4*B3, B4*B4, B4*B5, B4*B6, B4*B7,
60 B5*B0, B5*B1, B5*B2, B5*B3, B5*B4, B5*B5, B5*B6, B5*B7,
61 B6*B0, B6*B1, B6*B2, B6*B3, B6*B4, B6*B5, B6*B6, B6*B7,
62 B7*B0, B7*B1, B7*B2, B7*B3, B7*B4, B7*B5, B7*B6, B7*B7,
63 };
64
65 static av_always_inline void row_fdct(FLOAT temp[64], int16_t *data)
66 {
67     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
68     FLOAT tmp10, tmp11, tmp12, tmp13;
69     FLOAT z2, z4, z11, z13;
70     int i;
71
72     for (i=0; i<8*8; i+=8) {
73         tmp0= data[0 + i] + data[7 + i];
74         tmp7= data[0 + i] - data[7 + i];
75         tmp1= data[1 + i] + data[6 + i];
76         tmp6= data[1 + i] - data[6 + i];
77         tmp2= data[2 + i] + data[5 + i];
78         tmp5= data[2 + i] - data[5 + i];
79         tmp3= data[3 + i] + data[4 + i];
80         tmp4= data[3 + i] - data[4 + i];
81
82         tmp10= tmp0 + tmp3;
83         tmp13= tmp0 - tmp3;
84         tmp11= tmp1 + tmp2;
85         tmp12= tmp1 - tmp2;
86
87         temp[0 + i]= tmp10 + tmp11;
88         temp[4 + i]= tmp10 - tmp11;
89
90         tmp12 += tmp13;
91         tmp12 *= A1;
92         temp[2 + i]= tmp13 + tmp12;
93         temp[6 + i]= tmp13 - tmp12;
94
95         tmp4 += tmp5;
96         tmp5 += tmp6;
97         tmp6 += tmp7;
98
99 #if 0
100         {
101             FLOAT z5;
102             z5 = (tmp4 - tmp6) * A5;
103             z2 =  tmp4         * A2 + z5;
104             z4 =  tmp6         * A4 + z5;
105         }
106 #else
107         z2= tmp4*(A2+A5) - tmp6*A5;
108         z4= tmp6*(A4-A5) + tmp4*A5;
109 #endif
110         tmp5*=A1;
111
112         z11= tmp7 + tmp5;
113         z13= tmp7 - tmp5;
114
115         temp[5 + i]= z13 + z2;
116         temp[3 + i]= z13 - z2;
117         temp[1 + i]= z11 + z4;
118         temp[7 + i]= z11 - z4;
119     }
120 }
121
122 void ff_faandct(int16_t *data)
123 {
124     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
125     FLOAT tmp10, tmp11, tmp12, tmp13;
126     FLOAT z2, z4, z11, z13;
127     FLOAT temp[64];
128     int i;
129
130     emms_c();
131
132     row_fdct(temp, data);
133
134     for (i=0; i<8; i++) {
135         tmp0= temp[8*0 + i] + temp[8*7 + i];
136         tmp7= temp[8*0 + i] - temp[8*7 + i];
137         tmp1= temp[8*1 + i] + temp[8*6 + i];
138         tmp6= temp[8*1 + i] - temp[8*6 + i];
139         tmp2= temp[8*2 + i] + temp[8*5 + i];
140         tmp5= temp[8*2 + i] - temp[8*5 + i];
141         tmp3= temp[8*3 + i] + temp[8*4 + i];
142         tmp4= temp[8*3 + i] - temp[8*4 + i];
143
144         tmp10= tmp0 + tmp3;
145         tmp13= tmp0 - tmp3;
146         tmp11= tmp1 + tmp2;
147         tmp12= tmp1 - tmp2;
148
149         data[8*0 + i]= lrintf(postscale[8*0 + i] * (tmp10 + tmp11));
150         data[8*4 + i]= lrintf(postscale[8*4 + i] * (tmp10 - tmp11));
151
152         tmp12 += tmp13;
153         tmp12 *= A1;
154         data[8*2 + i]= lrintf(postscale[8*2 + i] * (tmp13 + tmp12));
155         data[8*6 + i]= lrintf(postscale[8*6 + i] * (tmp13 - tmp12));
156
157         tmp4 += tmp5;
158         tmp5 += tmp6;
159         tmp6 += tmp7;
160
161 #if 0
162         {
163             FLOAT z5;
164             z5 = (tmp4 - tmp6) * A5;
165             z2 =  tmp4         * A2 + z5;
166             z4 =  tmp6         * A4 + z5;
167         }
168 #else
169         z2= tmp4*(A2+A5) - tmp6*A5;
170         z4= tmp6*(A4-A5) + tmp4*A5;
171 #endif
172         tmp5*=A1;
173
174         z11= tmp7 + tmp5;
175         z13= tmp7 - tmp5;
176
177         data[8*5 + i]= lrintf(postscale[8*5 + i] * (z13 + z2));
178         data[8*3 + i]= lrintf(postscale[8*3 + i] * (z13 - z2));
179         data[8*1 + i]= lrintf(postscale[8*1 + i] * (z11 + z4));
180         data[8*7 + i]= lrintf(postscale[8*7 + i] * (z11 - z4));
181     }
182 }
183
184 void ff_faandct248(int16_t *data)
185 {
186     FLOAT tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
187     FLOAT tmp10, tmp11, tmp12, tmp13;
188     FLOAT temp[64];
189     int i;
190
191     emms_c();
192
193     row_fdct(temp, data);
194
195     for (i=0; i<8; i++) {
196         tmp0 = temp[8*0 + i] + temp[8*1 + i];
197         tmp1 = temp[8*2 + i] + temp[8*3 + i];
198         tmp2 = temp[8*4 + i] + temp[8*5 + i];
199         tmp3 = temp[8*6 + i] + temp[8*7 + i];
200         tmp4 = temp[8*0 + i] - temp[8*1 + i];
201         tmp5 = temp[8*2 + i] - temp[8*3 + i];
202         tmp6 = temp[8*4 + i] - temp[8*5 + i];
203         tmp7 = temp[8*6 + i] - temp[8*7 + i];
204
205         tmp10 = tmp0 + tmp3;
206         tmp11 = tmp1 + tmp2;
207         tmp12 = tmp1 - tmp2;
208         tmp13 = tmp0 - tmp3;
209
210         data[8*0 + i] = lrintf(postscale[8*0 + i] * (tmp10 + tmp11));
211         data[8*4 + i] = lrintf(postscale[8*4 + i] * (tmp10 - tmp11));
212
213         tmp12 += tmp13;
214         tmp12 *= A1;
215         data[8*2 + i] = lrintf(postscale[8*2 + i] * (tmp13 + tmp12));
216         data[8*6 + i] = lrintf(postscale[8*6 + i] * (tmp13 - tmp12));
217
218         tmp10 = tmp4 + tmp7;
219         tmp11 = tmp5 + tmp6;
220         tmp12 = tmp5 - tmp6;
221         tmp13 = tmp4 - tmp7;
222
223         data[8*1 + i] = lrintf(postscale[8*0 + i] * (tmp10 + tmp11));
224         data[8*5 + i] = lrintf(postscale[8*4 + i] * (tmp10 - tmp11));
225
226         tmp12 += tmp13;
227         tmp12 *= A1;
228         data[8*3 + i] = lrintf(postscale[8*2 + i] * (tmp13 + tmp12));
229         data[8*7 + i] = lrintf(postscale[8*6 + i] * (tmp13 - tmp12));
230     }
231 }