avcodec/acelp_pitch_delay: Fix runtime error: value 4.83233e+39 is outside the range...
[ffmpeg.git] / libavcodec / x86 / simple_idct.c
1 /*
2  * Simple IDCT MMX
3  *
4  * Copyright (c) 2001, 2002 Michael Niedermayer <michaelni@gmx.at>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include "libavutil/mem.h"
24 #include "libavutil/x86/asm.h"
25
26 #include "libavcodec/idctdsp.h"
27 #include "libavcodec/x86/idctdsp.h"
28
29 #include "idctdsp.h"
30 #include "simple_idct.h"
31
32 #if HAVE_INLINE_ASM
33
34 /*
35 23170.475006
36 22725.260826
37 21406.727617
38 19265.545870
39 16384.000000
40 12872.826198
41 8866.956905
42 4520.335430
43 */
44 #define C0 23170 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
45 #define C1 22725 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
46 #define C2 21407 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
47 #define C3 19266 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
48 #define C4 16383 //cos(i*M_PI/16)*sqrt(2)*(1<<14) - 0.5
49 #define C5 12873 //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
50 #define C6 8867  //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
51 #define C7 4520  //cos(i*M_PI/16)*sqrt(2)*(1<<14) + 0.5
52
53 #define ROW_SHIFT 11
54 #define COL_SHIFT 20 // 6
55
56 DECLARE_ASM_CONST(8, uint64_t, wm1010)= 0xFFFF0000FFFF0000ULL;
57 DECLARE_ASM_CONST(8, uint64_t, d40000)= 0x0000000000040000ULL;
58
59 DECLARE_ALIGNED(8, static const int16_t, coeffs)[]= {
60         1<<(ROW_SHIFT-1), 0, 1<<(ROW_SHIFT-1), 0,
61 //        1<<(COL_SHIFT-1), 0, 1<<(COL_SHIFT-1), 0,
62 //        0, 1<<(COL_SHIFT-1-16), 0, 1<<(COL_SHIFT-1-16),
63         1<<(ROW_SHIFT-1), 1, 1<<(ROW_SHIFT-1), 0,
64         // the 1 = ((1<<(COL_SHIFT-1))/C4)<<ROW_SHIFT :)
65 //        0, 0, 0, 0,
66 //        0, 0, 0, 0,
67
68  C4,  C4,  C4,  C4,
69  C4, -C4,  C4, -C4,
70
71  C2,  C6,  C2,  C6,
72  C6, -C2,  C6, -C2,
73
74  C1,  C3,  C1,  C3,
75  C5,  C7,  C5,  C7,
76
77  C3, -C7,  C3, -C7,
78 -C1, -C5, -C1, -C5,
79
80  C5, -C1,  C5, -C1,
81  C7,  C3,  C7,  C3,
82
83  C7, -C5,  C7, -C5,
84  C3, -C1,  C3, -C1
85 };
86
87 static inline void idct(int16_t *block)
88 {
89         LOCAL_ALIGNED_8(int64_t, align_tmp, [16]);
90         int16_t * const temp= (int16_t*)align_tmp;
91
92         __asm__ volatile(
93 #define DC_COND_IDCT(src0, src4, src1, src5, dst, rounder, shift) \
94         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
95         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
96         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
97         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
98         "movq "MANGLE(wm1010)", %%mm4   \n\t"\
99         "pand %%mm0, %%mm4              \n\t"\
100         "por %%mm1, %%mm4               \n\t"\
101         "por %%mm2, %%mm4               \n\t"\
102         "por %%mm3, %%mm4               \n\t"\
103         "packssdw %%mm4,%%mm4           \n\t"\
104         "movd %%mm4, %%eax              \n\t"\
105         "orl %%eax, %%eax               \n\t"\
106         "jz 1f                          \n\t"\
107         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
108         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
109         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
110         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
111         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
112         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
113         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
114         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
115         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
116         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
117         #rounder ", %%mm4               \n\t"\
118         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
119         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
120         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
121         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
122         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
123         #rounder ", %%mm0               \n\t"\
124         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
125         "paddd %%mm0, %%mm0             \n\t" \
126         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
127         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
128         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
129         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
130         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
131         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
132         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
133         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
134         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
135         "psrad $" #shift ", %%mm7       \n\t"\
136         "psrad $" #shift ", %%mm4       \n\t"\
137         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
138         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
139         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
140         "psrad $" #shift ", %%mm1       \n\t"\
141         "psrad $" #shift ", %%mm2       \n\t"\
142         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
143         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
144         "movq %%mm7, " #dst "           \n\t"\
145         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
146         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
147         "movq %%mm2, 24+" #dst "        \n\t"\
148         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
149         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
150         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
151         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
152         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
153         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
154         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
155         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
156         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
157         "psrad $" #shift ", %%mm2       \n\t"\
158         "psrad $" #shift ", %%mm0       \n\t"\
159         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
160         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
161         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
162         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
163         "psrad $" #shift ", %%mm6       \n\t"\
164         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
165         "movq %%mm2, 8+" #dst "         \n\t"\
166         "psrad $" #shift ", %%mm4       \n\t"\
167         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
168         "movq %%mm4, 16+" #dst "        \n\t"\
169         "jmp 2f                         \n\t"\
170         "1:                             \n\t"\
171         "pslld $16, %%mm0               \n\t"\
172         "paddd "MANGLE(d40000)", %%mm0  \n\t"\
173         "psrad $13, %%mm0               \n\t"\
174         "packssdw %%mm0, %%mm0          \n\t"\
175         "movq %%mm0, " #dst "           \n\t"\
176         "movq %%mm0, 8+" #dst "         \n\t"\
177         "movq %%mm0, 16+" #dst "        \n\t"\
178         "movq %%mm0, 24+" #dst "        \n\t"\
179         "2:                             \n\t"
180
181 #define Z_COND_IDCT(src0, src4, src1, src5, dst, rounder, shift, bt) \
182         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
183         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
184         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
185         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
186         "movq %%mm0, %%mm4              \n\t"\
187         "por %%mm1, %%mm4               \n\t"\
188         "por %%mm2, %%mm4               \n\t"\
189         "por %%mm3, %%mm4               \n\t"\
190         "packssdw %%mm4,%%mm4           \n\t"\
191         "movd %%mm4, %%eax              \n\t"\
192         "orl %%eax, %%eax               \n\t"\
193         "jz " #bt "                     \n\t"\
194         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
195         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
196         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
197         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
198         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
199         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
200         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
201         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
202         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
203         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
204         #rounder ", %%mm4               \n\t"\
205         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
206         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
207         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
208         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
209         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
210         #rounder ", %%mm0               \n\t"\
211         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
212         "paddd %%mm0, %%mm0             \n\t" \
213         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
214         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
215         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
216         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
217         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
218         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
219         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
220         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
221         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
222         "psrad $" #shift ", %%mm7       \n\t"\
223         "psrad $" #shift ", %%mm4       \n\t"\
224         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
225         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
226         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
227         "psrad $" #shift ", %%mm1       \n\t"\
228         "psrad $" #shift ", %%mm2       \n\t"\
229         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
230         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
231         "movq %%mm7, " #dst "           \n\t"\
232         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
233         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
234         "movq %%mm2, 24+" #dst "        \n\t"\
235         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
236         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
237         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
238         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
239         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
240         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
241         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
242         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
243         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
244         "psrad $" #shift ", %%mm2       \n\t"\
245         "psrad $" #shift ", %%mm0       \n\t"\
246         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
247         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
248         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
249         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
250         "psrad $" #shift ", %%mm6       \n\t"\
251         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
252         "movq %%mm2, 8+" #dst "         \n\t"\
253         "psrad $" #shift ", %%mm4       \n\t"\
254         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
255         "movq %%mm4, 16+" #dst "        \n\t"\
256
257 #define ROW_IDCT(src0, src4, src1, src5, dst, rounder, shift) \
258         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
259         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
260         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
261         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
262         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
263         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
264         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
265         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
266         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
267         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
268         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
269         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
270         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
271         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
272         #rounder ", %%mm4               \n\t"\
273         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
274         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
275         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
276         "movq 56(%2), %%mm5             \n\t" /* C7     C5      C7      C5 */\
277         "pmaddwd %%mm3, %%mm5           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
278         #rounder ", %%mm0               \n\t"\
279         "paddd %%mm0, %%mm1             \n\t" /* A1             a1 */\
280         "paddd %%mm0, %%mm0             \n\t" \
281         "psubd %%mm1, %%mm0             \n\t" /* A2             a2 */\
282         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
283         "paddd %%mm5, %%mm7             \n\t" /* B0             b0 */\
284         "movq 72(%2), %%mm5             \n\t" /* -C5    -C1     -C5     -C1 */\
285         "pmaddwd %%mm3, %%mm5           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
286         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
287         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
288         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
289         "paddd %%mm2, %%mm5             \n\t" /* B1             b1 */\
290         "psrad $" #shift ", %%mm7       \n\t"\
291         "psrad $" #shift ", %%mm4       \n\t"\
292         "movq %%mm1, %%mm2              \n\t" /* A1             a1 */\
293         "paddd %%mm5, %%mm1             \n\t" /* A1+B1          a1+b1 */\
294         "psubd %%mm5, %%mm2             \n\t" /* A1-B1          a1-b1 */\
295         "psrad $" #shift ", %%mm1       \n\t"\
296         "psrad $" #shift ", %%mm2       \n\t"\
297         "packssdw %%mm1, %%mm7          \n\t" /* A1+B1  a1+b1   A0+B0   a0+b0 */\
298         "packssdw %%mm4, %%mm2          \n\t" /* A0-B0  a0-b0   A1-B1   a1-b1 */\
299         "movq %%mm7, " #dst "           \n\t"\
300         "movq " #src1 ", %%mm1          \n\t" /* R3     R1      r3      r1 */\
301         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
302         "movq %%mm2, 24+" #dst "        \n\t"\
303         "pmaddwd %%mm1, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
304         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
305         "pmaddwd 96(%2), %%mm1          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
306         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
307         "movq %%mm0, %%mm2              \n\t" /* A2             a2 */\
308         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
309         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
310         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
311         "psubd %%mm4, %%mm0             \n\t" /* a2-B2          a2-b2 */\
312         "psrad $" #shift ", %%mm2       \n\t"\
313         "psrad $" #shift ", %%mm0       \n\t"\
314         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
315         "paddd %%mm1, %%mm3             \n\t" /* B3             b3 */\
316         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
317         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
318         "psrad $" #shift ", %%mm6       \n\t"\
319         "packssdw %%mm6, %%mm2          \n\t" /* A3+B3  a3+b3   A2+B2   a2+b2 */\
320         "movq %%mm2, 8+" #dst "         \n\t"\
321         "psrad $" #shift ", %%mm4       \n\t"\
322         "packssdw %%mm0, %%mm4          \n\t" /* A2-B2  a2-b2   A3-B3   a3-b3 */\
323         "movq %%mm4, 16+" #dst "        \n\t"\
324
325 //IDCT(         src0,   src4,   src1,   src5,    dst,   rounder, shift)
326 DC_COND_IDCT(  0(%0),  8(%0), 16(%0), 24(%0),  0(%1),paddd 8(%2), 11)
327 Z_COND_IDCT(  32(%0), 40(%0), 48(%0), 56(%0), 32(%1),paddd (%2), 11, 4f)
328 Z_COND_IDCT(  64(%0), 72(%0), 80(%0), 88(%0), 64(%1),paddd (%2), 11, 2f)
329 Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 1f)
330
331 #undef IDCT
332 #define IDCT(src0, src4, src1, src5, dst, shift) \
333         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
334         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
335         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
336         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
337         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
338         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
339         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
340         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
341         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
342         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
343         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
344         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
345         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
346         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
347         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
348         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
349         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
350         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
351         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
352         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
353         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
354         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
355         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
356         "paddd %%mm1, %%mm7             \n\t" /* B0             b0 */\
357         "movq 72(%2), %%mm1             \n\t" /* -C5    -C1     -C5     -C1 */\
358         "pmaddwd %%mm3, %%mm1           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
359         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
360         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
361         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
362         "paddd %%mm2, %%mm1             \n\t" /* B1             b1 */\
363         "psrad $" #shift ", %%mm7       \n\t"\
364         "psrad $" #shift ", %%mm4       \n\t"\
365         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
366         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
367         "psubd %%mm1, %%mm2             \n\t" /* A1-B1          a1-b1 */\
368         "psrad $" #shift ", %%mm0       \n\t"\
369         "psrad $" #shift ", %%mm2       \n\t"\
370         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
371         "movd %%mm7, " #dst "           \n\t"\
372         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
373         "movd %%mm0, 16+" #dst "        \n\t"\
374         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
375         "movd %%mm2, 96+" #dst "        \n\t"\
376         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
377         "movd %%mm4, 112+" #dst "       \n\t"\
378         "movq " #src1 ", %%mm0          \n\t" /* R3     R1      r3      r1 */\
379         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
380         "pmaddwd %%mm0, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
381         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
382         "pmaddwd 96(%2), %%mm0          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
383         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
384         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
385         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
386         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
387         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
388         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
389         "psrad $" #shift ", %%mm2       \n\t"\
390         "psrad $" #shift ", %%mm5       \n\t"\
391         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
392         "paddd %%mm0, %%mm3             \n\t" /* B3             b3 */\
393         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
394         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
395         "psrad $" #shift ", %%mm6       \n\t"\
396         "psrad $" #shift ", %%mm4       \n\t"\
397         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
398         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
399         "movd %%mm2, 32+" #dst "        \n\t"\
400         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
401         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
402         "movd %%mm6, 48+" #dst "        \n\t"\
403         "movd %%mm4, 64+" #dst "        \n\t"\
404         "movd %%mm5, 80+" #dst "        \n\t"
405
406
407 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
408 IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
409 IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
410 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
411 IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
412         "jmp 9f                         \n\t"
413
414         "# .p2align 4                   \n\t"\
415         "4:                             \n\t"
416 Z_COND_IDCT(  64(%0), 72(%0), 80(%0), 88(%0), 64(%1),paddd (%2), 11, 6f)
417 Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 5f)
418
419 #undef IDCT
420 #define IDCT(src0, src4, src1, src5, dst, shift) \
421         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
422         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
423         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
424         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
425         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
426         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
427         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
428         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
429         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
430         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
431         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
432         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
433         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
434         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
435         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
436         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
437         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
438         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
439         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
440         "movq 72(%2), %%mm7             \n\t" /* -C5    -C1     -C5     -C1 */\
441         "pmaddwd %%mm3, %%mm7           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
442         "paddd %%mm4, %%mm1             \n\t" /* A0+B0          a0+b0 */\
443         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
444         "psubd %%mm1, %%mm4             \n\t" /* A0-B0          a0-b0 */\
445         "psrad $" #shift ", %%mm1       \n\t"\
446         "psrad $" #shift ", %%mm4       \n\t"\
447         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
448         "paddd %%mm7, %%mm0             \n\t" /* A1+B1          a1+b1 */\
449         "psubd %%mm7, %%mm2             \n\t" /* A1-B1          a1-b1 */\
450         "psrad $" #shift ", %%mm0       \n\t"\
451         "psrad $" #shift ", %%mm2       \n\t"\
452         "packssdw %%mm1, %%mm1          \n\t" /* A0+B0  a0+b0 */\
453         "movd %%mm1, " #dst "           \n\t"\
454         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
455         "movd %%mm0, 16+" #dst "        \n\t"\
456         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
457         "movd %%mm2, 96+" #dst "        \n\t"\
458         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
459         "movd %%mm4, 112+" #dst "       \n\t"\
460         "movq 88(%2), %%mm1             \n\t" /* C3     C7      C3      C7 */\
461         "pmaddwd %%mm3, %%mm1           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
462         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
463         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
464         "paddd %%mm1, %%mm2             \n\t" /* A2+B2          a2+b2 */\
465         "psubd %%mm1, %%mm5             \n\t" /* a2-B2          a2-b2 */\
466         "psrad $" #shift ", %%mm2       \n\t"\
467         "psrad $" #shift ", %%mm5       \n\t"\
468         "movq %%mm6, %%mm1              \n\t" /* A3             a3 */\
469         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
470         "psubd %%mm3, %%mm1             \n\t" /* a3-B3          a3-b3 */\
471         "psrad $" #shift ", %%mm6       \n\t"\
472         "psrad $" #shift ", %%mm1       \n\t"\
473         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
474         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
475         "movd %%mm2, 32+" #dst "        \n\t"\
476         "packssdw %%mm1, %%mm1          \n\t" /* A3-B3  a3-b3 */\
477         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
478         "movd %%mm6, 48+" #dst "        \n\t"\
479         "movd %%mm1, 64+" #dst "        \n\t"\
480         "movd %%mm5, 80+" #dst "        \n\t"
481
482 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
483 IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
484 IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
485 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
486 IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
487         "jmp 9f                         \n\t"
488
489         "# .p2align 4                   \n\t"\
490         "6:                             \n\t"
491 Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 7f)
492
493 #undef IDCT
494 #define IDCT(src0, src4, src1, src5, dst, shift) \
495         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
496         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
497         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
498         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
499         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
500         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
501         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
502         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
503         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
504         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
505         "movq 72(%2), %%mm7             \n\t" /* -C5    -C1     -C5     -C1 */\
506         "pmaddwd %%mm3, %%mm7           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
507         "paddd %%mm4, %%mm1             \n\t" /* A0+B0          a0+b0 */\
508         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
509         "psubd %%mm1, %%mm4             \n\t" /* A0-B0          a0-b0 */\
510         "psrad $" #shift ", %%mm1       \n\t"\
511         "psrad $" #shift ", %%mm4       \n\t"\
512         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
513         "paddd %%mm7, %%mm0             \n\t" /* A1+B1          a1+b1 */\
514         "psubd %%mm7, %%mm2             \n\t" /* A1-B1          a1-b1 */\
515         "psrad $" #shift ", %%mm0       \n\t"\
516         "psrad $" #shift ", %%mm2       \n\t"\
517         "packssdw %%mm1, %%mm1          \n\t" /* A0+B0  a0+b0 */\
518         "movd %%mm1, " #dst "           \n\t"\
519         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
520         "movd %%mm0, 16+" #dst "        \n\t"\
521         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
522         "movd %%mm2, 96+" #dst "        \n\t"\
523         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
524         "movd %%mm4, 112+" #dst "       \n\t"\
525         "movq 88(%2), %%mm1             \n\t" /* C3     C7      C3      C7 */\
526         "pmaddwd %%mm3, %%mm1           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
527         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
528         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
529         "paddd %%mm1, %%mm2             \n\t" /* A2+B2          a2+b2 */\
530         "psubd %%mm1, %%mm5             \n\t" /* a2-B2          a2-b2 */\
531         "psrad $" #shift ", %%mm2       \n\t"\
532         "psrad $" #shift ", %%mm5       \n\t"\
533         "movq %%mm6, %%mm1              \n\t" /* A3             a3 */\
534         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
535         "psubd %%mm3, %%mm1             \n\t" /* a3-B3          a3-b3 */\
536         "psrad $" #shift ", %%mm6       \n\t"\
537         "psrad $" #shift ", %%mm1       \n\t"\
538         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
539         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
540         "movd %%mm2, 32+" #dst "        \n\t"\
541         "packssdw %%mm1, %%mm1          \n\t" /* A3-B3  a3-b3 */\
542         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
543         "movd %%mm6, 48+" #dst "        \n\t"\
544         "movd %%mm1, 64+" #dst "        \n\t"\
545         "movd %%mm5, 80+" #dst "        \n\t"
546
547
548 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
549 IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
550 IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
551 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
552 IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
553         "jmp 9f                         \n\t"
554
555         "# .p2align 4                   \n\t"\
556         "2:                             \n\t"
557 Z_COND_IDCT(  96(%0),104(%0),112(%0),120(%0), 96(%1),paddd (%2), 11, 3f)
558
559 #undef IDCT
560 #define IDCT(src0, src4, src1, src5, dst, shift) \
561         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
562         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
563         "movq " #src5 ", %%mm3          \n\t" /* R7     R5      r7      r5 */\
564         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
565         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
566         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
567         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
568         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
569         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
570         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
571         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
572         "movq 56(%2), %%mm1             \n\t" /* C7     C5      C7      C5 */\
573         "pmaddwd %%mm3, %%mm1           \n\t" /* C7R7+C5R5      C7r7+C5r5 */\
574         "pmaddwd 64(%2), %%mm2          \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
575         "paddd %%mm1, %%mm7             \n\t" /* B0             b0 */\
576         "movq 72(%2), %%mm1             \n\t" /* -C5    -C1     -C5     -C1 */\
577         "pmaddwd %%mm3, %%mm1           \n\t" /* -C5R7-C1R5     -C5r7-C1r5 */\
578         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
579         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
580         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
581         "paddd %%mm2, %%mm1             \n\t" /* B1             b1 */\
582         "psrad $" #shift ", %%mm7       \n\t"\
583         "psrad $" #shift ", %%mm4       \n\t"\
584         "movq %%mm0, %%mm2              \n\t" /* A1             a1 */\
585         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
586         "psubd %%mm1, %%mm2             \n\t" /* A1-B1          a1-b1 */\
587         "psrad $" #shift ", %%mm0       \n\t"\
588         "psrad $" #shift ", %%mm2       \n\t"\
589         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
590         "movd %%mm7, " #dst "           \n\t"\
591         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
592         "movd %%mm0, 16+" #dst "        \n\t"\
593         "packssdw %%mm2, %%mm2          \n\t" /* A1-B1  a1-b1 */\
594         "movd %%mm2, 96+" #dst "        \n\t"\
595         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
596         "movd %%mm4, 112+" #dst "       \n\t"\
597         "movq " #src1 ", %%mm0          \n\t" /* R3     R1      r3      r1 */\
598         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
599         "pmaddwd %%mm0, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
600         "movq 88(%2), %%mm7             \n\t" /* C3     C7      C3      C7 */\
601         "pmaddwd 96(%2), %%mm0          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
602         "pmaddwd %%mm3, %%mm7           \n\t" /* C3R7+C7R5      C3r7+C7r5 */\
603         "movq %%mm5, %%mm2              \n\t" /* A2             a2 */\
604         "pmaddwd 104(%2), %%mm3         \n\t" /* -C1R7+C3R5     -C1r7+C3r5 */\
605         "paddd %%mm7, %%mm4             \n\t" /* B2             b2 */\
606         "paddd %%mm4, %%mm2             \n\t" /* A2+B2          a2+b2 */\
607         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
608         "psrad $" #shift ", %%mm2       \n\t"\
609         "psrad $" #shift ", %%mm5       \n\t"\
610         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
611         "paddd %%mm0, %%mm3             \n\t" /* B3             b3 */\
612         "paddd %%mm3, %%mm6             \n\t" /* A3+B3          a3+b3 */\
613         "psubd %%mm3, %%mm4             \n\t" /* a3-B3          a3-b3 */\
614         "psrad $" #shift ", %%mm6       \n\t"\
615         "psrad $" #shift ", %%mm4       \n\t"\
616         "packssdw %%mm2, %%mm2          \n\t" /* A2+B2  a2+b2 */\
617         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
618         "movd %%mm2, 32+" #dst "        \n\t"\
619         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
620         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
621         "movd %%mm6, 48+" #dst "        \n\t"\
622         "movd %%mm4, 64+" #dst "        \n\t"\
623         "movd %%mm5, 80+" #dst "        \n\t"
624
625 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
626 IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
627 IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
628 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
629 IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
630         "jmp 9f                         \n\t"
631
632         "# .p2align 4                   \n\t"\
633         "3:                             \n\t"
634 #undef IDCT
635 #define IDCT(src0, src4, src1, src5, dst, shift) \
636         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
637         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
638         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
639         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
640         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
641         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
642         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
643         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
644         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
645         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
646         "movq 64(%2), %%mm3             \n\t"\
647         "pmaddwd %%mm2, %%mm3           \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
648         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
649         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
650         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
651         "psrad $" #shift ", %%mm7       \n\t"\
652         "psrad $" #shift ", %%mm4       \n\t"\
653         "movq %%mm0, %%mm1              \n\t" /* A1             a1 */\
654         "paddd %%mm3, %%mm0             \n\t" /* A1+B1          a1+b1 */\
655         "psubd %%mm3, %%mm1             \n\t" /* A1-B1          a1-b1 */\
656         "psrad $" #shift ", %%mm0       \n\t"\
657         "psrad $" #shift ", %%mm1       \n\t"\
658         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
659         "movd %%mm7, " #dst "           \n\t"\
660         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
661         "movd %%mm0, 16+" #dst "        \n\t"\
662         "packssdw %%mm1, %%mm1          \n\t" /* A1-B1  a1-b1 */\
663         "movd %%mm1, 96+" #dst "        \n\t"\
664         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
665         "movd %%mm4, 112+" #dst "       \n\t"\
666         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
667         "pmaddwd %%mm2, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
668         "pmaddwd 96(%2), %%mm2          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
669         "movq %%mm5, %%mm1              \n\t" /* A2             a2 */\
670         "paddd %%mm4, %%mm1             \n\t" /* A2+B2          a2+b2 */\
671         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
672         "psrad $" #shift ", %%mm1       \n\t"\
673         "psrad $" #shift ", %%mm5       \n\t"\
674         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
675         "paddd %%mm2, %%mm6             \n\t" /* A3+B3          a3+b3 */\
676         "psubd %%mm2, %%mm4             \n\t" /* a3-B3          a3-b3 */\
677         "psrad $" #shift ", %%mm6       \n\t"\
678         "psrad $" #shift ", %%mm4       \n\t"\
679         "packssdw %%mm1, %%mm1          \n\t" /* A2+B2  a2+b2 */\
680         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
681         "movd %%mm1, 32+" #dst "        \n\t"\
682         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
683         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
684         "movd %%mm6, 48+" #dst "        \n\t"\
685         "movd %%mm4, 64+" #dst "        \n\t"\
686         "movd %%mm5, 80+" #dst "        \n\t"
687
688
689 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
690 IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
691 IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
692 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
693 IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
694         "jmp 9f                         \n\t"
695
696         "# .p2align 4                   \n\t"\
697         "5:                             \n\t"
698 #undef IDCT
699 #define IDCT(src0, src4, src1, src5, dst, shift) \
700         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
701         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
702         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
703         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
704         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
705         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
706         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
707         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
708         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
709         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
710         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
711         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
712         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
713         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
714         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
715         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
716         "movq 8+" #src0 ", %%mm2        \n\t" /* R4     R0      r4      r0 */\
717         "movq 8+" #src4 ", %%mm3        \n\t" /* R6     R2      r6      r2 */\
718         "movq 16(%2), %%mm1             \n\t" /* C4     C4      C4      C4 */\
719         "pmaddwd %%mm2, %%mm1           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
720         "movq 24(%2), %%mm7             \n\t" /* -C4    C4      -C4     C4 */\
721         "pmaddwd %%mm7, %%mm2           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
722         "movq 32(%2), %%mm7             \n\t" /* C6     C2      C6      C2 */\
723         "pmaddwd %%mm3, %%mm7           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
724         "pmaddwd 40(%2), %%mm3          \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
725         "paddd %%mm1, %%mm7             \n\t" /* A0             a0 */\
726         "paddd %%mm1, %%mm1             \n\t" /* 2C0            2c0 */\
727         "psubd %%mm7, %%mm1             \n\t" /* A3             a3 */\
728         "paddd %%mm2, %%mm3             \n\t" /* A1             a1 */\
729         "paddd %%mm2, %%mm2             \n\t" /* 2C1            2c1 */\
730         "psubd %%mm3, %%mm2             \n\t" /* A2             a2 */\
731         "psrad $" #shift ", %%mm4       \n\t"\
732         "psrad $" #shift ", %%mm7       \n\t"\
733         "psrad $" #shift ", %%mm3       \n\t"\
734         "packssdw %%mm7, %%mm4          \n\t" /* A0     a0 */\
735         "movq %%mm4, " #dst "           \n\t"\
736         "psrad $" #shift ", %%mm0       \n\t"\
737         "packssdw %%mm3, %%mm0          \n\t" /* A1     a1 */\
738         "movq %%mm0, 16+" #dst "        \n\t"\
739         "movq %%mm0, 96+" #dst "        \n\t"\
740         "movq %%mm4, 112+" #dst "       \n\t"\
741         "psrad $" #shift ", %%mm5       \n\t"\
742         "psrad $" #shift ", %%mm6       \n\t"\
743         "psrad $" #shift ", %%mm2       \n\t"\
744         "packssdw %%mm2, %%mm5          \n\t" /* A2-B2  a2-b2 */\
745         "movq %%mm5, 32+" #dst "        \n\t"\
746         "psrad $" #shift ", %%mm1       \n\t"\
747         "packssdw %%mm1, %%mm6          \n\t" /* A3+B3  a3+b3 */\
748         "movq %%mm6, 48+" #dst "        \n\t"\
749         "movq %%mm6, 64+" #dst "        \n\t"\
750         "movq %%mm5, 80+" #dst "        \n\t"
751
752
753 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
754 IDCT(    0(%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
755 //IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
756 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
757 //IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
758         "jmp 9f                         \n\t"
759
760
761         "# .p2align 4                   \n\t"\
762         "1:                             \n\t"
763 #undef IDCT
764 #define IDCT(src0, src4, src1, src5, dst, shift) \
765         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
766         "movq " #src4 ", %%mm1          \n\t" /* R6     R2      r6      r2 */\
767         "movq " #src1 ", %%mm2          \n\t" /* R3     R1      r3      r1 */\
768         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
769         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
770         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
771         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
772         "movq 32(%2), %%mm5             \n\t" /* C6     C2      C6      C2 */\
773         "pmaddwd %%mm1, %%mm5           \n\t" /* C6R6+C2R2      C6r6+C2r2 */\
774         "movq 40(%2), %%mm6             \n\t" /* -C2    C6      -C2     C6 */\
775         "pmaddwd %%mm6, %%mm1           \n\t" /* -C2R6+C6R2     -C2r6+C6r2 */\
776         "movq %%mm4, %%mm6              \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
777         "movq 48(%2), %%mm7             \n\t" /* C3     C1      C3      C1 */\
778         "pmaddwd %%mm2, %%mm7           \n\t" /* C3R3+C1R1      C3r3+C1r1 */\
779         "paddd %%mm5, %%mm4             \n\t" /* A0             a0 */\
780         "psubd %%mm5, %%mm6             \n\t" /* A3             a3 */\
781         "movq %%mm0, %%mm5              \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
782         "paddd %%mm1, %%mm0             \n\t" /* A1             a1 */\
783         "psubd %%mm1, %%mm5             \n\t" /* A2             a2 */\
784         "movq 64(%2), %%mm1             \n\t"\
785         "pmaddwd %%mm2, %%mm1           \n\t" /* -C7R3+C3R1     -C7r3+C3r1 */\
786         "paddd %%mm4, %%mm7             \n\t" /* A0+B0          a0+b0 */\
787         "paddd %%mm4, %%mm4             \n\t" /* 2A0            2a0 */\
788         "psubd %%mm7, %%mm4             \n\t" /* A0-B0          a0-b0 */\
789         "psrad $" #shift ", %%mm7       \n\t"\
790         "psrad $" #shift ", %%mm4       \n\t"\
791         "movq %%mm0, %%mm3              \n\t" /* A1             a1 */\
792         "paddd %%mm1, %%mm0             \n\t" /* A1+B1          a1+b1 */\
793         "psubd %%mm1, %%mm3             \n\t" /* A1-B1          a1-b1 */\
794         "psrad $" #shift ", %%mm0       \n\t"\
795         "psrad $" #shift ", %%mm3       \n\t"\
796         "packssdw %%mm7, %%mm7          \n\t" /* A0+B0  a0+b0 */\
797         "movd %%mm7, " #dst "           \n\t"\
798         "packssdw %%mm0, %%mm0          \n\t" /* A1+B1  a1+b1 */\
799         "movd %%mm0, 16+" #dst "        \n\t"\
800         "packssdw %%mm3, %%mm3          \n\t" /* A1-B1  a1-b1 */\
801         "movd %%mm3, 96+" #dst "        \n\t"\
802         "packssdw %%mm4, %%mm4          \n\t" /* A0-B0  a0-b0 */\
803         "movd %%mm4, 112+" #dst "       \n\t"\
804         "movq 80(%2), %%mm4             \n\t" /* -C1    C5      -C1     C5 */\
805         "pmaddwd %%mm2, %%mm4           \n\t" /* -C1R3+C5R1     -C1r3+C5r1 */\
806         "pmaddwd 96(%2), %%mm2          \n\t" /* -C5R3+C7R1     -C5r3+C7r1 */\
807         "movq %%mm5, %%mm3              \n\t" /* A2             a2 */\
808         "paddd %%mm4, %%mm3             \n\t" /* A2+B2          a2+b2 */\
809         "psubd %%mm4, %%mm5             \n\t" /* a2-B2          a2-b2 */\
810         "psrad $" #shift ", %%mm3       \n\t"\
811         "psrad $" #shift ", %%mm5       \n\t"\
812         "movq %%mm6, %%mm4              \n\t" /* A3             a3 */\
813         "paddd %%mm2, %%mm6             \n\t" /* A3+B3          a3+b3 */\
814         "psubd %%mm2, %%mm4             \n\t" /* a3-B3          a3-b3 */\
815         "psrad $" #shift ", %%mm6       \n\t"\
816         "packssdw %%mm3, %%mm3          \n\t" /* A2+B2  a2+b2 */\
817         "movd %%mm3, 32+" #dst "        \n\t"\
818         "psrad $" #shift ", %%mm4       \n\t"\
819         "packssdw %%mm6, %%mm6          \n\t" /* A3+B3  a3+b3 */\
820         "movd %%mm6, 48+" #dst "        \n\t"\
821         "packssdw %%mm4, %%mm4          \n\t" /* A3-B3  a3-b3 */\
822         "packssdw %%mm5, %%mm5          \n\t" /* A2-B2  a2-b2 */\
823         "movd %%mm4, 64+" #dst "        \n\t"\
824         "movd %%mm5, 80+" #dst "        \n\t"
825
826
827 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
828 IDCT(    (%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
829 IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
830 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
831 IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
832         "jmp 9f                         \n\t"
833
834
835         "# .p2align 4                   \n\t"
836         "7:                             \n\t"
837 #undef IDCT
838 #define IDCT(src0, src4, src1, src5, dst, shift) \
839         "movq " #src0 ", %%mm0          \n\t" /* R4     R0      r4      r0 */\
840         "movq 16(%2), %%mm4             \n\t" /* C4     C4      C4      C4 */\
841         "pmaddwd %%mm0, %%mm4           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
842         "movq 24(%2), %%mm5             \n\t" /* -C4    C4      -C4     C4 */\
843         "pmaddwd %%mm5, %%mm0           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
844         "psrad $" #shift ", %%mm4       \n\t"\
845         "psrad $" #shift ", %%mm0       \n\t"\
846         "movq 8+" #src0 ", %%mm2        \n\t" /* R4     R0      r4      r0 */\
847         "movq 16(%2), %%mm1             \n\t" /* C4     C4      C4      C4 */\
848         "pmaddwd %%mm2, %%mm1           \n\t" /* C4R4+C4R0      C4r4+C4r0 */\
849         "movq 24(%2), %%mm7             \n\t" /* -C4    C4      -C4     C4 */\
850         "pmaddwd %%mm7, %%mm2           \n\t" /* -C4R4+C4R0     -C4r4+C4r0 */\
851         "movq 32(%2), %%mm7             \n\t" /* C6     C2      C6      C2 */\
852         "psrad $" #shift ", %%mm1       \n\t"\
853         "packssdw %%mm1, %%mm4          \n\t" /* A0     a0 */\
854         "movq %%mm4, " #dst "           \n\t"\
855         "psrad $" #shift ", %%mm2       \n\t"\
856         "packssdw %%mm2, %%mm0          \n\t" /* A1     a1 */\
857         "movq %%mm0, 16+" #dst "        \n\t"\
858         "movq %%mm0, 96+" #dst "        \n\t"\
859         "movq %%mm4, 112+" #dst "       \n\t"\
860         "movq %%mm0, 32+" #dst "        \n\t"\
861         "movq %%mm4, 48+" #dst "        \n\t"\
862         "movq %%mm4, 64+" #dst "        \n\t"\
863         "movq %%mm0, 80+" #dst "        \n\t"
864
865 //IDCT(  src0,   src4,   src1,    src5,    dst, shift)
866 IDCT(   0(%1), 64(%1), 32(%1),  96(%1),  0(%0), 20)
867 //IDCT(   8(%1), 72(%1), 40(%1), 104(%1),  4(%0), 20)
868 IDCT(  16(%1), 80(%1), 48(%1), 112(%1),  8(%0), 20)
869 //IDCT(  24(%1), 88(%1), 56(%1), 120(%1), 12(%0), 20)
870
871
872 /*
873 Input
874  00 40 04 44 20 60 24 64
875  10 30 14 34 50 70 54 74
876  01 41 03 43 21 61 23 63
877  11 31 13 33 51 71 53 73
878  02 42 06 46 22 62 26 66
879  12 32 16 36 52 72 56 76
880  05 45 07 47 25 65 27 67
881  15 35 17 37 55 75 57 77
882
883 Temp
884  00 04 10 14 20 24 30 34
885  40 44 50 54 60 64 70 74
886  01 03 11 13 21 23 31 33
887  41 43 51 53 61 63 71 73
888  02 06 12 16 22 26 32 36
889  42 46 52 56 62 66 72 76
890  05 07 15 17 25 27 35 37
891  45 47 55 57 65 67 75 77
892 */
893
894 "9: \n\t"
895                 :: "r" (block), "r" (temp), "r" (coeffs)
896                    NAMED_CONSTRAINTS_ADD(wm1010,d40000)
897                 : "%eax"
898         );
899 }
900
901 void ff_simple_idct_mmx(int16_t *block)
902 {
903     idct(block);
904 }
905
906 //FIXME merge add/put into the idct
907
908 void ff_simple_idct_put_mmx(uint8_t *dest, ptrdiff_t line_size, int16_t *block)
909 {
910     idct(block);
911     ff_put_pixels_clamped_mmx(block, dest, line_size);
912 }
913 void ff_simple_idct_add_mmx(uint8_t *dest, ptrdiff_t line_size, int16_t *block)
914 {
915     idct(block);
916     ff_add_pixels_clamped_mmx(block, dest, line_size);
917 }
918 void ff_simple_idct_put_sse2(uint8_t *dest, ptrdiff_t line_size, int16_t *block)
919 {
920     idct(block);
921     ff_put_pixels_clamped_sse2(block, dest, line_size);
922 }
923 void ff_simple_idct_add_sse2(uint8_t *dest, ptrdiff_t line_size, int16_t *block)
924 {
925     idct(block);
926     ff_add_pixels_clamped_sse2(block, dest, line_size);
927 }
928
929 #endif /* HAVE_INLINE_ASM */