probetest: fix possible use of uninitialized data
[ffmpeg.git] / libavcodec / x86 / dct32.asm
1 ;******************************************************************************
2 ;* 32 point SSE-optimized DCT transform
3 ;* Copyright (c) 2010 Vitor Sessak
4 ;*
5 ;* This file is part of FFmpeg.
6 ;*
7 ;* FFmpeg is free software; you can redistribute it and/or
8 ;* modify it under the terms of the GNU Lesser General Public
9 ;* License as published by the Free Software Foundation; either
10 ;* version 2.1 of the License, or (at your option) any later version.
11 ;*
12 ;* FFmpeg is distributed in the hope that it will be useful,
13 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
14 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 ;* Lesser General Public License for more details.
16 ;*
17 ;* You should have received a copy of the GNU Lesser General Public
18 ;* License along with FFmpeg; if not, write to the Free Software
19 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20 ;******************************************************************************
21
22 %include "libavutil/x86/x86inc.asm"
23 %include "libavutil/x86/x86util.asm"
24
25 SECTION_RODATA 32
26
27 align 32
28 ps_cos_vec: dd   0.500603,  0.505471,  0.515447,  0.531043
29             dd   0.553104,  0.582935,  0.622504,  0.674808
30             dd -10.190008, -3.407609, -2.057781, -1.484165
31             dd  -1.169440, -0.972568, -0.839350, -0.744536
32             dd   0.502419,  0.522499,  0.566944,  0.646822
33             dd   0.788155,  1.060678,  1.722447,  5.101149
34             dd   0.509796,  0.601345,  0.899976,  2.562916
35             dd   0.509796,  0.601345,  0.899976,  2.562916
36             dd   1.000000,  1.000000,  1.306563,  0.541196
37             dd   1.000000,  1.000000,  1.306563,  0.541196
38             dd   1.000000,  0.707107,  1.000000, -0.707107
39             dd   1.000000,  0.707107,  1.000000, -0.707107
40             dd   0.707107,  0.707107,  0.707107,  0.707107
41
42 align 32
43 ps_p1p1m1m1: dd 0, 0, 0x80000000, 0x80000000, 0, 0, 0x80000000, 0x80000000
44
45 %macro BUTTERFLY 4
46     subps  %4, %1, %2
47     addps  %2, %2, %1
48     mulps  %1, %4, %3
49 %endmacro
50
51 %macro BUTTERFLY0 5
52 %if cpuflag(sse2) && notcpuflag(avx)
53     pshufd %4, %1, %5
54     xorps  %1, %2
55     addps  %1, %4
56     mulps  %1, %3
57 %else
58     shufps %4, %1, %1, %5
59     xorps  %1, %1, %2
60     addps  %4, %4, %1
61     mulps  %1, %4, %3
62 %endif
63 %endmacro
64
65 %macro BUTTERFLY2 4
66     BUTTERFLY0 %1, %2, %3, %4, 0x1b
67 %endmacro
68
69 %macro BUTTERFLY3 4
70     BUTTERFLY0 %1, %2, %3, %4, 0xb1
71 %endmacro
72
73 %macro BUTTERFLY3V 5
74     movaps m%5, m%1
75     addps  m%1, m%2
76     subps  m%5, m%2
77     SWAP %2, %5
78     mulps  m%2, [ps_cos_vec+192]
79     movaps m%5, m%3
80     addps  m%3, m%4
81     subps  m%4, m%5
82     mulps  m%4, [ps_cos_vec+192]
83 %endmacro
84
85 %macro PASS6_AND_PERMUTE 0
86     mov         tmpd, [outq+4]
87     movss         m7, [outq+72]
88     addss         m7, [outq+76]
89     movss         m3, [outq+56]
90     addss         m3, [outq+60]
91     addss         m4, m3
92     movss         m2, [outq+52]
93     addss         m2, m3
94     movss         m3, [outq+104]
95     addss         m3, [outq+108]
96     addss         m1, m3
97     addss         m5, m4
98     movss [outq+ 16], m1
99     movss         m1, [outq+100]
100     addss         m1, m3
101     movss         m3, [outq+40]
102     movss [outq+ 48], m1
103     addss         m3, [outq+44]
104     movss         m1, [outq+100]
105     addss         m4, m3
106     addss         m3, m2
107     addss         m1, [outq+108]
108     movss [outq+ 40], m3
109     addss         m2, [outq+36]
110     movss         m3, [outq+8]
111     movss [outq+ 56], m2
112     addss         m3, [outq+12]
113     movss [outq+ 32], m3
114     movss         m3, [outq+80]
115     movss [outq+  8], m5
116     movss [outq+ 80], m1
117     movss         m2, [outq+52]
118     movss         m5, [outq+120]
119     addss         m5, [outq+124]
120     movss         m1, [outq+64]
121     addss         m2, [outq+60]
122     addss         m0, m5
123     addss         m5, [outq+116]
124     mov    [outq+64], tmpd
125     addss         m6, m0
126     addss         m1, m6
127     mov         tmpd, [outq+12]
128     mov   [outq+ 96], tmpd
129     movss [outq+  4], m1
130     movss         m1, [outq+24]
131     movss [outq+ 24], m4
132     movss         m4, [outq+88]
133     addss         m4, [outq+92]
134     addss         m3, m4
135     addss         m4, [outq+84]
136     mov         tmpd, [outq+108]
137     addss         m1, [outq+28]
138     addss         m0, m1
139     addss         m1, m5
140     addss         m6, m3
141     addss         m3, m0
142     addss         m0, m7
143     addss         m5, [outq+20]
144     addss         m7, m1
145     movss [outq+ 12], m6
146     mov   [outq+112], tmpd
147     movss         m6, [outq+28]
148     movss [outq+ 28], m0
149     movss         m0, [outq+36]
150     movss [outq+ 36], m7
151     addss         m1, m4
152     movss         m7, [outq+116]
153     addss         m0, m2
154     addss         m7, [outq+124]
155     movss [outq+ 72], m0
156     movss         m0, [outq+44]
157     addss         m2, m0
158     movss [outq+ 44], m1
159     movss [outq+ 88], m2
160     addss         m0, [outq+60]
161     mov         tmpd, [outq+60]
162     mov   [outq+120], tmpd
163     movss [outq+104], m0
164     addss         m4, m5
165     addss         m5, [outq+68]
166     movss  [outq+52], m4
167     movss  [outq+60], m5
168     movss         m4, [outq+68]
169     movss         m5, [outq+20]
170     movss [outq+ 20], m3
171     addss         m5, m7
172     addss         m7, m6
173     addss         m4, m5
174     movss         m2, [outq+84]
175     addss         m2, [outq+92]
176     addss         m5, m2
177     movss [outq+ 68], m4
178     addss         m2, m7
179     movss         m4, [outq+76]
180     movss [outq+ 84], m2
181     movss [outq+ 76], m5
182     addss         m7, m4
183     addss         m6, [outq+124]
184     addss         m4, m6
185     addss         m6, [outq+92]
186     movss [outq+100], m4
187     movss [outq+108], m6
188     movss         m6, [outq+92]
189     movss  [outq+92], m7
190     addss         m6, [outq+124]
191     movss [outq+116], m6
192 %endmacro
193
194 INIT_YMM avx
195 SECTION_TEXT
196 %if HAVE_AVX_EXTERNAL
197 ; void ff_dct32_float_avx(FFTSample *out, const FFTSample *in)
198 cglobal dct32_float, 2,3,8, out, in, tmp
199     ; pass 1
200     vmovaps     m4, [inq+0]
201     vinsertf128 m5, m5, [inq+96], 1
202     vinsertf128 m5, m5, [inq+112], 0
203     vshufps     m5, m5, m5, 0x1b
204     BUTTERFLY   m4, m5, [ps_cos_vec], m6
205
206     vmovaps     m2, [inq+64]
207     vinsertf128 m6, m6, [inq+32], 1
208     vinsertf128 m6, m6, [inq+48], 0
209     vshufps     m6, m6, m6, 0x1b
210     BUTTERFLY   m2, m6, [ps_cos_vec+32], m0
211
212     ; pass 2
213
214     BUTTERFLY  m5, m6, [ps_cos_vec+64], m0
215     BUTTERFLY  m4, m2, [ps_cos_vec+64], m7
216
217
218     ; pass 3
219     vperm2f128  m3, m6, m4, 0x31
220     vperm2f128  m1, m6, m4, 0x20
221     vshufps     m3, m3, m3, 0x1b
222
223     BUTTERFLY   m1, m3, [ps_cos_vec+96], m6
224
225
226     vperm2f128  m4, m5, m2, 0x20
227     vperm2f128  m5, m5, m2, 0x31
228     vshufps     m5, m5, m5, 0x1b
229
230     BUTTERFLY   m4, m5, [ps_cos_vec+96], m6
231
232     ; pass 4
233     vmovaps m6, [ps_p1p1m1m1+0]
234     vmovaps m2, [ps_cos_vec+128]
235
236     BUTTERFLY2  m5, m6, m2, m7
237     BUTTERFLY2  m4, m6, m2, m7
238     BUTTERFLY2  m1, m6, m2, m7
239     BUTTERFLY2  m3, m6, m2, m7
240
241
242     ; pass 5
243     vshufps m6, m6, m6, 0xcc
244     vmovaps m2, [ps_cos_vec+160]
245
246     BUTTERFLY3  m5, m6, m2, m7
247     BUTTERFLY3  m4, m6, m2, m7
248     BUTTERFLY3  m1, m6, m2, m7
249     BUTTERFLY3  m3, m6, m2, m7
250
251     vperm2f128  m6, m3, m3, 0x31
252     vmovaps [outq], m3
253
254     vextractf128  [outq+64], m5, 1
255     vextractf128  [outq+32], m5, 0
256
257     vextractf128  [outq+80], m4, 1
258     vextractf128  [outq+48], m4, 0
259
260     vperm2f128  m0, m1, m1, 0x31
261     vmovaps [outq+96], m1
262
263     vzeroupper
264
265     ;    pass 6, no SIMD...
266 INIT_XMM
267     PASS6_AND_PERMUTE
268     RET
269 %endif
270
271 %if ARCH_X86_64
272 %define SPILL SWAP
273 %define UNSPILL SWAP
274
275 %macro PASS5 0
276     nop ; FIXME code alignment
277     SWAP 5, 8
278     SWAP 4, 12
279     SWAP 6, 14
280     SWAP 7, 13
281     SWAP 0, 15
282     PERMUTE 9,10, 10,12, 11,14, 12,9, 13,11, 14,13
283     TRANSPOSE4x4PS 8, 9, 10, 11, 0
284     BUTTERFLY3V    8, 9, 10, 11, 0
285     addps   m10, m11
286     TRANSPOSE4x4PS 12, 13, 14, 15, 0
287     BUTTERFLY3V    12, 13, 14, 15, 0
288     addps   m14, m15
289     addps   m12, m14
290     addps   m14, m13
291     addps   m13, m15
292 %endmacro
293
294 %macro PASS6 0
295     SWAP 9, 12
296     SWAP 11, 14
297     movss [outq+0x00], m8
298     pshuflw m0, m8, 0xe
299     movss [outq+0x10], m9
300     pshuflw m1, m9, 0xe
301     movss [outq+0x20], m10
302     pshuflw m2, m10, 0xe
303     movss [outq+0x30], m11
304     pshuflw m3, m11, 0xe
305     movss [outq+0x40], m12
306     pshuflw m4, m12, 0xe
307     movss [outq+0x50], m13
308     pshuflw m5, m13, 0xe
309     movss [outq+0x60], m14
310     pshuflw m6, m14, 0xe
311     movaps [outq+0x70], m15
312     pshuflw m7, m15, 0xe
313     addss   m0, m1
314     addss   m1, m2
315     movss [outq+0x08], m0
316     addss   m2, m3
317     movss [outq+0x18], m1
318     addss   m3, m4
319     movss [outq+0x28], m2
320     addss   m4, m5
321     movss [outq+0x38], m3
322     addss   m5, m6
323     movss [outq+0x48], m4
324     addss   m6, m7
325     movss [outq+0x58], m5
326     movss [outq+0x68], m6
327     movss [outq+0x78], m7
328
329     PERMUTE 1,8, 3,9, 5,10, 7,11, 9,12, 11,13, 13,14, 8,1, 10,3, 12,5, 14,7
330     movhlps m0, m1
331     pshufd  m1, m1, 3
332     SWAP 0, 2, 4, 6, 8, 10, 12, 14
333     SWAP 1, 3, 5, 7, 9, 11, 13, 15
334 %rep 7
335     movhlps m0, m1
336     pshufd  m1, m1, 3
337     addss   m15, m1
338     SWAP 0, 2, 4, 6, 8, 10, 12, 14
339     SWAP 1, 3, 5, 7, 9, 11, 13, 15
340 %endrep
341 %assign i 4
342 %rep 15
343     addss m0, m1
344     movss [outq+i], m0
345     SWAP 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15
346     %assign i i+8
347 %endrep
348 %endmacro
349
350 %else ; ARCH_X86_32
351 %macro SPILL 2 ; xmm#, mempos
352     movaps [outq+(%2-8)*16], m%1
353 %endmacro
354 %macro UNSPILL 2
355     movaps m%1, [outq+(%2-8)*16]
356 %endmacro
357
358 %define PASS6 PASS6_AND_PERMUTE
359 %macro PASS5 0
360     movaps      m2, [ps_cos_vec+160]
361     shufps      m3, m3, 0xcc
362
363     BUTTERFLY3  m5, m3, m2, m1
364     SPILL 5, 8
365
366     UNSPILL 1, 9
367     BUTTERFLY3  m1, m3, m2, m5
368     SPILL 1, 14
369
370     BUTTERFLY3  m4, m3, m2, m5
371     SPILL 4, 12
372
373     BUTTERFLY3  m7, m3, m2, m5
374     SPILL 7, 13
375
376     UNSPILL 5, 10
377     BUTTERFLY3  m5, m3, m2, m7
378     SPILL 5, 10
379
380     UNSPILL 4, 11
381     BUTTERFLY3  m4, m3, m2, m7
382     SPILL 4, 11
383
384     BUTTERFLY3  m6, m3, m2, m7
385     SPILL 6, 9
386
387     BUTTERFLY3  m0, m3, m2, m7
388     SPILL 0, 15
389 %endmacro
390 %endif
391
392
393 ; void ff_dct32_float_sse(FFTSample *out, const FFTSample *in)
394 %macro DCT32_FUNC 0
395 cglobal dct32_float, 2, 3, 16, out, in, tmp
396     ; pass 1
397
398     movaps      m0, [inq+0]
399     LOAD_INV    m1, [inq+112]
400     BUTTERFLY   m0, m1, [ps_cos_vec], m3
401
402     movaps      m7, [inq+64]
403     LOAD_INV    m4, [inq+48]
404     BUTTERFLY   m7, m4, [ps_cos_vec+32], m3
405
406     ; pass 2
407     movaps      m2, [ps_cos_vec+64]
408     BUTTERFLY   m1, m4, m2, m3
409     SPILL 1, 11
410     SPILL 4, 8
411
412     ; pass 1
413     movaps      m1, [inq+16]
414     LOAD_INV    m6, [inq+96]
415     BUTTERFLY   m1, m6, [ps_cos_vec+16], m3
416
417     movaps      m4, [inq+80]
418     LOAD_INV    m5, [inq+32]
419     BUTTERFLY   m4, m5, [ps_cos_vec+48], m3
420
421     ; pass 2
422     BUTTERFLY   m0, m7, m2, m3
423
424     movaps      m2, [ps_cos_vec+80]
425     BUTTERFLY   m6, m5, m2, m3
426
427     BUTTERFLY   m1, m4, m2, m3
428
429     ; pass 3
430     movaps      m2, [ps_cos_vec+96]
431     shufps      m1, m1, 0x1b
432     BUTTERFLY   m0, m1, m2, m3
433     SPILL 0, 15
434     SPILL 1, 14
435
436     UNSPILL 0, 8
437     shufps      m5, m5, 0x1b
438     BUTTERFLY   m0, m5, m2, m3
439
440     UNSPILL 1, 11
441     shufps      m6, m6, 0x1b
442     BUTTERFLY   m1, m6, m2, m3
443     SPILL 1, 11
444
445     shufps      m4, m4, 0x1b
446     BUTTERFLY   m7, m4, m2, m3
447
448     ; pass 4
449     movaps      m3, [ps_p1p1m1m1+0]
450     movaps      m2, [ps_cos_vec+128]
451
452     BUTTERFLY2  m5, m3, m2, m1
453
454     BUTTERFLY2  m0, m3, m2, m1
455     SPILL 0, 9
456
457     BUTTERFLY2  m6, m3, m2, m1
458     SPILL 6, 10
459
460     UNSPILL 0, 11
461     BUTTERFLY2  m0, m3, m2, m1
462     SPILL 0, 11
463
464     BUTTERFLY2  m4, m3, m2, m1
465
466     BUTTERFLY2  m7, m3, m2, m1
467
468     UNSPILL 6, 14
469     BUTTERFLY2  m6, m3, m2, m1
470
471     UNSPILL 0, 15
472     BUTTERFLY2  m0, m3, m2, m1
473
474     PASS5
475     PASS6
476     RET
477 %endmacro
478
479 %macro LOAD_INV 2
480 %if cpuflag(sse2)
481     pshufd      %1, %2, 0x1b
482 %elif cpuflag(sse)
483     movaps      %1, %2
484     shufps      %1, %1, 0x1b
485 %endif
486 %endmacro
487
488 INIT_XMM sse
489 DCT32_FUNC
490 INIT_XMM sse2
491 DCT32_FUNC