probetest: fix possible use of uninitialized data
[ffmpeg.git] / libavcodec / x86 / imdct36.asm
1 ;******************************************************************************
2 ;* 36 point SSE-optimized IMDCT transform
3 ;* Copyright (c) 2011 Vitor Sessak
4 ;*
5 ;* This file is part of FFmpeg.
6 ;*
7 ;* FFmpeg is free software; you can redistribute it and/or
8 ;* modify it under the terms of the GNU Lesser General Public
9 ;* License as published by the Free Software Foundation; either
10 ;* version 2.1 of the License, or (at your option) any later version.
11 ;*
12 ;* FFmpeg is distributed in the hope that it will be useful,
13 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
14 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 ;* Lesser General Public License for more details.
16 ;*
17 ;* You should have received a copy of the GNU Lesser General Public
18 ;* License along with FFmpeg; if not, write to the Free Software
19 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20 ;******************************************************************************
21
22 %include "libavutil/x86/x86inc.asm"
23 %include "libavutil/x86/x86util.asm"
24
25 SECTION_RODATA
26
27 align 16
28 ps_mask:  dd 0, ~0, ~0, ~0
29 ps_mask2: dd 0, ~0,  0, ~0
30 ps_mask3: dd 0,  0,  0, ~0
31 ps_mask4: dd 0, ~0,  0,  0
32
33 ps_val1:  dd          -0.5,          -0.5, -0.8660254038, -0.8660254038
34 ps_val2:  dd           1.0,           1.0,  0.8660254038,  0.8660254038
35 ps_val3:  dd  0.1736481777,  0.1736481777,  0.3420201433,  0.3420201433
36 ps_val4:  dd -0.7660444431, -0.7660444431,  0.8660254038,  0.8660254038
37 ps_val5:  dd -0.9396926208, -0.9396926208, -0.9848077530, -0.9848077530
38 ps_val6:  dd           0.5,           0.5, -0.6427876097, -0.6427876097
39 ps_val7:  dd           1.0,           1.0, -0.6427876097, -0.6427876097
40
41 ps_p1p1m1m1: dd 0,          0, 0x80000000, 0x80000000
42 ps_p1m1p1m1: dd 0, 0x80000000,          0, 0x80000000
43
44 ps_cosh:       dd 1.0, 0.50190991877167369479,  1.0,  5.73685662283492756461
45                dd 1.0, 0.51763809020504152469,  1.0,  1.93185165257813657349
46                dd 1.0, 0.55168895948124587824, -1.0, -1.18310079157624925896
47                dd 1.0, 0.61038729438072803416, -1.0, -0.87172339781054900991
48                dd 1.0, 0.70710678118654752439,  0.0,  0.0
49
50 ps_cosh_sse3:  dd 1.0, -0.50190991877167369479,  1.0, -5.73685662283492756461
51                dd 1.0, -0.51763809020504152469,  1.0, -1.93185165257813657349
52                dd 1.0, -0.55168895948124587824, -1.0,  1.18310079157624925896
53                dd 1.0, -0.61038729438072803416, -1.0,  0.87172339781054900991
54                dd 1.0,  0.70710678118654752439,  0.0,  0.0
55
56 costabs:  times 4 dd  0.98480773
57           times 4 dd  0.93969262
58           times 4 dd  0.86602539
59           times 4 dd -0.76604444
60           times 4 dd -0.64278764
61           times 4 dd  0.50000000
62           times 4 dd -0.50000000
63           times 4 dd -0.34202015
64           times 4 dd -0.17364818
65           times 4 dd  0.50190992
66           times 4 dd  0.51763808
67           times 4 dd  0.55168896
68           times 4 dd  0.61038726
69           times 4 dd  0.70710677
70           times 4 dd  0.87172341
71           times 4 dd  1.18310082
72           times 4 dd  1.93185163
73           times 4 dd  5.73685646
74
75 %define SBLIMIT 32
76 SECTION_TEXT
77
78 %macro PSHUFD 3
79 %if cpuflag(sse2) && notcpuflag(avx)
80     pshufd %1, %2, %3
81 %else
82     shufps %1, %2, %2, %3
83 %endif
84 %endmacro
85
86 ; input  %2={x1,x2,x3,x4}, %3={y1,y2,y3,y4}
87 ; output %1={x3,x4,y1,y2}
88 %macro BUILDINVHIGHLOW 3
89 %if cpuflag(avx)
90     shufps %1, %2, %3, 0x4e
91 %else
92     movlhps %1, %3
93     movhlps %1, %2
94 %endif
95 %endmacro
96
97 ; input  %2={x1,x2,x3,x4}, %3={y1,y2,y3,y4}
98 ; output %1={x4,y1,y2,y3}
99 %macro ROTLEFT 3
100 %if cpuflag(ssse3)
101     palignr  %1, %3, %2, 12
102 %else
103     BUILDINVHIGHLOW %1, %2, %3
104     shufps  %1, %1, %3, 0x99
105 %endif
106 %endmacro
107
108 %macro INVERTHL 2
109 %if cpuflag(sse2)
110     PSHUFD  %1, %2, 0x4e
111 %else
112     movhlps %1, %2
113     movlhps %1, %2
114 %endif
115 %endmacro
116
117 %macro BUTTERF 3
118     INVERTHL %2, %1
119     xorps    %1, [ps_p1p1m1m1]
120     addps    %1, %2
121 %if cpuflag(sse3)
122     mulps    %1, %1, [ps_cosh_sse3 + %3]
123     PSHUFD   %2, %1, 0xb1
124     addsubps %1, %1, %2
125 %else
126     mulps    %1, [ps_cosh + %3]
127     PSHUFD   %2, %1, 0xb1
128     xorps    %1, [ps_p1m1p1m1]
129     addps    %1, %2
130 %endif
131 %endmacro
132
133 %macro STORE 4
134     movhlps %2, %1
135     movss   [%3       ], %1
136     movss   [%3 + 2*%4], %2
137     shufps  %1, %1, 0xb1
138     movss   [%3 +   %4], %1
139     movhlps %2, %1
140     movss   [%3 + 3*%4], %2
141 %endmacro
142
143 %macro LOAD 4
144     movlps  %1, [%3       ]
145     movhps  %1, [%3 +   %4]
146     movlps  %2, [%3 + 2*%4]
147     movhps  %2, [%3 + 3*%4]
148     shufps  %1, %2, 0x88
149 %endmacro
150
151 %macro LOADA64 2
152 %if cpuflag(avx)
153    movu     %1, [%2]
154 %else
155    movlps   %1, [%2]
156    movhps   %1, [%2 + 8]
157 %endif
158 %endmacro
159
160 %macro DEFINE_IMDCT 0
161 cglobal imdct36_float, 4,4,9, out, buf, in, win
162
163     ; for(i=17;i>=1;i--) in[i] += in[i-1];
164     LOADA64 m0, inq
165     LOADA64 m1, inq + 16
166
167     ROTLEFT m5, m0, m1
168
169     PSHUFD  m6, m0, 0x93
170     andps   m6, m6, [ps_mask]
171     addps   m0, m0, m6
172
173     LOADA64 m2, inq + 32
174
175     ROTLEFT m7, m1, m2
176
177     addps   m1, m1, m5
178     LOADA64 m3, inq + 48
179
180     ROTLEFT m5, m2, m3
181
182     xorps   m4, m4, m4
183     movlps  m4, [inq+64]
184     BUILDINVHIGHLOW m6, m3, m4
185     shufps  m6, m6, m4, 0xa9
186
187     addps   m4, m4, m6
188     addps   m2, m2, m7
189     addps   m3, m3, m5
190
191     ; for(i=17;i>=3;i-=2) in[i] += in[i-2];
192     movlhps m5, m5, m0
193     andps   m5, m5, [ps_mask3]
194
195     BUILDINVHIGHLOW m7, m0, m1
196     andps   m7, m7, [ps_mask2]
197
198     addps   m0, m0, m5
199
200     BUILDINVHIGHLOW m6, m1, m2
201     andps   m6, m6, [ps_mask2]
202
203     addps  m1, m1, m7
204
205     BUILDINVHIGHLOW m7, m2, m3
206     andps   m7, m7, [ps_mask2]
207
208     addps   m2, m2, m6
209
210     movhlps m6, m6, m3
211     andps   m6, m6, [ps_mask4]
212
213     addps  m3, m3, m7
214     addps  m4, m4, m6
215
216     ; Populate tmp[]
217     movlhps m6, m1, m5    ; zero out high values
218     subps   m6, m6, m4
219
220     subps  m5, m0, m3
221
222 %if ARCH_X86_64
223     SWAP   m5, m8
224 %endif
225
226     mulps  m7, m2, [ps_val1]
227
228 %if ARCH_X86_64
229     mulps  m5, m8, [ps_val2]
230 %else
231     mulps  m5, m5, [ps_val2]
232 %endif
233     addps  m7, m7, m5
234
235     mulps  m5, m6, [ps_val1]
236     subps  m7, m7, m5
237
238 %if ARCH_X86_64
239     SWAP   m5, m8
240 %else
241     subps  m5, m0, m3
242 %endif
243
244     subps  m5, m5, m6
245     addps  m5, m5, m2
246
247     shufps m6, m4, m3, 0xe4
248     subps  m6, m6, m2
249     mulps  m6, m6, [ps_val3]
250
251     addps  m4, m4, m1
252     mulps  m4, m4, [ps_val4]
253
254     shufps m1, m1, m0, 0xe4
255     addps  m1, m1, m2
256     mulps  m1, m1, [ps_val5]
257
258     mulps  m3, m3, [ps_val6]
259     mulps  m0, m0, [ps_val7]
260     addps  m0, m0, m3
261
262     xorps  m2, m1, [ps_p1p1m1m1]
263     subps  m2, m2, m4
264     addps  m2, m2, m0
265
266     addps  m3, m4, m0
267     subps  m3, m3, m6
268     xorps  m3, m3, [ps_p1p1m1m1]
269
270     shufps m0, m0, m4, 0xe4
271     subps  m0, m0, m1
272     addps  m0, m0, m6
273
274     BUILDINVHIGHLOW m4, m2, m3
275     shufps  m3, m3, m2, 0x4e
276
277     ; we have tmp = {SwAPLH(m0), SwAPLH(m7), m3, m4, m5}
278
279     BUTTERF  m0, m1, 0
280     BUTTERF  m7, m2, 16
281     BUTTERF  m3, m6, 32
282     BUTTERF  m4, m1, 48
283
284     mulps   m5, m5, [ps_cosh + 64]
285     PSHUFD  m1, m5, 0xe1
286     xorps   m5, m5, [ps_p1m1p1m1]
287     addps   m5, m5, m1
288
289     ; permutates:
290     ; m0    0  1  2  3     =>     2  6 10 14   m1
291     ; m7    4  5  6  7     =>     3  7 11 15   m2
292     ; m3    8  9 10 11     =>    17 13  9  5   m3
293     ; m4   12 13 14 15     =>    16 12  8  4   m5
294     ; m5   16 17 xx xx     =>     0  1 xx xx   m0
295
296     unpckhps m1, m0, m7
297     unpckhps m6, m3, m4
298     movhlps  m2, m6, m1
299     movlhps  m1, m1, m6
300
301     unpcklps m5, m5, m4
302     unpcklps m3, m3, m7
303     movhlps  m4, m3, m5
304     movlhps  m5, m5, m3
305     SWAP m4, m3
306     ; permutation done
307
308     PSHUFD  m6, m2, 0xb1
309     movss   m4, [bufq + 4*68]
310     movss   m7, [bufq + 4*64]
311     unpcklps  m7, m7, m4
312     mulps   m6, m6, [winq + 16*4]
313     addps   m6, m6, m7
314     movss   [outq + 64*SBLIMIT], m6
315     shufps  m6, m6, m6, 0xb1
316     movss   [outq + 68*SBLIMIT], m6
317
318     mulps   m6, m3, [winq + 4*4]
319     LOAD    m4, m7, bufq + 4*16, 16
320     addps   m6, m6, m4
321     STORE   m6, m7, outq + 16*SBLIMIT, 4*SBLIMIT
322
323     shufps  m4, m0, m3, 0xb5
324     mulps   m4, m4, [winq + 8*4]
325     LOAD    m7, m6, bufq + 4*32, 16
326     addps   m4, m4, m7
327     STORE   m4, m6, outq + 32*SBLIMIT, 4*SBLIMIT
328
329     shufps  m3, m3, m2, 0xb1
330     mulps   m3, m3, [winq + 12*4]
331     LOAD    m7, m6, bufq + 4*48, 16
332     addps   m3, m3, m7
333     STORE   m3, m7, outq + 48*SBLIMIT, 4*SBLIMIT
334
335     mulps   m2, m2, [winq]
336     LOAD    m6, m7, bufq, 16
337     addps   m2, m2, m6
338     STORE   m2, m7, outq, 4*SBLIMIT
339
340     mulps    m4, m1, [winq + 20*4]
341     STORE    m4, m7, bufq, 16
342
343     mulps    m3, m5, [winq + 24*4]
344     STORE    m3, m7, bufq + 4*16, 16
345
346     shufps   m0, m0, m5, 0xb0
347     mulps    m0, m0, [winq + 28*4]
348     STORE    m0, m7, bufq + 4*32, 16
349
350     shufps   m5, m5, m1, 0xb1
351     mulps    m5, m5, [winq + 32*4]
352     STORE    m5, m7, bufq + 4*48, 16
353
354     shufps   m1, m1, m1, 0xb1
355     mulps    m1, m1, [winq + 36*4]
356     movss    [bufq + 4*64], m1
357     shufps   m1, m1, 0xb1
358     movss    [bufq + 4*68], m1
359     RET
360 %endmacro
361
362 INIT_XMM sse
363 DEFINE_IMDCT
364
365 INIT_XMM sse2
366 DEFINE_IMDCT
367
368 INIT_XMM sse3
369 DEFINE_IMDCT
370
371 INIT_XMM ssse3
372 DEFINE_IMDCT
373
374 %if HAVE_AVX_EXTERNAL
375 INIT_XMM avx
376 DEFINE_IMDCT
377 %endif
378
379 INIT_XMM sse
380
381 %if ARCH_X86_64
382 %define SPILL SWAP
383 %define UNSPILL SWAP
384 %define SPILLED(x) m %+ x
385 %else
386 %define SPILLED(x) [tmpq+(x-8)*16 + 32*4]
387 %macro SPILL 2 ; xmm#, mempos
388     movaps SPILLED(%2), m%1
389 %endmacro
390 %macro UNSPILL 2
391     movaps m%1, SPILLED(%2)
392 %endmacro
393 %endif
394
395 %macro DEFINE_FOUR_IMDCT 0
396 cglobal four_imdct36_float, 5,5,16, out, buf, in, win, tmp
397     movlps  m0, [inq+64]
398     movhps  m0, [inq+64 +   72]
399     movlps  m3, [inq+64 + 2*72]
400     movhps  m3, [inq+64 + 3*72]
401
402     shufps  m5, m0, m3, 0xdd
403     shufps  m0, m0, m3, 0x88
404
405     mova     m1, [inq+48]
406     movu     m6, [inq+48 +   72]
407     mova     m7, [inq+48 + 2*72]
408     movu     m3, [inq+48 + 3*72]
409
410     TRANSPOSE4x4PS 1, 6, 7, 3, 4
411
412     addps   m4, m6, m7
413     mova    [tmpq+4*28], m4
414
415     addps    m7, m3
416     addps    m6, m1
417     addps    m3, m0
418     addps    m0, m5
419     addps    m0, m7
420     addps    m7, m6
421     mova    [tmpq+4*12], m7
422     SPILL   3, 12
423
424     mova     m4, [inq+32]
425     movu     m5, [inq+32 +   72]
426     mova     m2, [inq+32 + 2*72]
427     movu     m7, [inq+32 + 3*72]
428
429     TRANSPOSE4x4PS 4, 5, 2, 7, 3
430
431     addps   m1, m7
432     SPILL   1, 11
433
434     addps   m3, m5, m2
435     SPILL   3, 13
436
437     addps    m7, m2
438     addps    m5, m4
439     addps    m6, m7
440     mova    [tmpq], m6
441     addps   m7, m5
442     mova    [tmpq+4*16], m7
443
444     mova    m2, [inq+16]
445     movu    m7, [inq+16 +   72]
446     mova    m1, [inq+16 + 2*72]
447     movu    m6, [inq+16 + 3*72]
448
449     TRANSPOSE4x4PS 2, 7, 1, 6, 3
450
451     addps   m4, m6
452     addps   m6, m1
453     addps   m1, m7
454     addps   m7, m2
455     addps   m5, m6
456     SPILL   5, 15
457     addps   m6, m7
458     mulps   m6, [costabs + 16*2]
459     mova    [tmpq+4*8], m6
460     SPILL   1, 10
461     SPILL   0, 14
462
463     mova    m1, [inq]
464     movu    m6, [inq +   72]
465     mova    m3, [inq + 2*72]
466     movu    m5, [inq + 3*72]
467
468     TRANSPOSE4x4PS 1, 6, 3, 5, 0
469
470     addps    m2, m5
471     addps    m5, m3
472     addps    m7, m5
473     addps    m3, m6
474     addps    m6, m1
475     SPILL    7, 8
476     addps    m5, m6
477     SPILL    6, 9
478     addps    m6, m4, SPILLED(12)
479     subps    m6, m2
480     UNSPILL  7, 11
481     SPILL    5, 11
482     subps    m5, m1, m7
483     mulps    m7, [costabs + 16*5]
484     addps    m7, m1
485     mulps    m0, m6, [costabs + 16*6]
486     addps    m0, m5
487     mova     [tmpq+4*24], m0
488     addps    m6, m5
489     mova     [tmpq+4*4], m6
490     addps    m6, m4, m2
491     mulps    m6, [costabs + 16*1]
492     subps    m4, SPILLED(12)
493     mulps    m4, [costabs + 16*8]
494     addps    m2, SPILLED(12)
495     mulps    m2, [costabs + 16*3]
496     subps    m5, m7, m6
497     subps    m5, m2
498     addps    m6, m7
499     addps    m6, m4
500     addps    m7, m2
501     subps    m7, m4
502     mova     [tmpq+4*20], m7
503     mova     m2, [tmpq+4*28]
504     mova     [tmpq+4*28], m5
505     UNSPILL  7, 13
506     subps    m5, m7, m2
507     mulps    m5, [costabs + 16*7]
508     UNSPILL  1, 10
509     mulps    m1, [costabs + 16*2]
510     addps    m4, m3, m2
511     mulps    m4, [costabs + 16*4]
512     addps    m2, m7
513     addps    m7, m3
514     mulps    m7, [costabs]
515     subps    m3, m2
516     mulps    m3, [costabs + 16*2]
517     addps    m2, m7, m5
518     addps    m2, m1
519     SPILL    2, 10
520     addps    m7, m4
521     subps    m7, m1
522     SPILL    7, 12
523     subps    m5, m4
524     subps    m5, m1
525     UNSPILL  0, 14
526     SPILL    5, 13
527     addps    m1, m0, SPILLED(15)
528     subps    m1, SPILLED(8)
529     mova     m4, [costabs + 16*5]
530     mulps    m4, [tmpq]
531     UNSPILL  2, 9
532     addps    m4, m2
533     subps    m2, [tmpq]
534     mulps    m5, m1, [costabs + 16*6]
535     addps    m5, m2
536     SPILL    5, 9
537     addps    m2, m1
538     SPILL    2, 14
539     UNSPILL  5, 15
540     subps    m7, m5, m0
541     addps    m5, SPILLED(8)
542     mulps    m5, [costabs + 16*1]
543     mulps    m7, [costabs + 16*8]
544     addps    m0, SPILLED(8)
545     mulps    m0, [costabs + 16*3]
546     subps    m2, m4, m5
547     subps    m2, m0
548     SPILL    2, 15
549     addps    m5, m4
550     addps    m5, m7
551     addps    m4, m0
552     subps    m4, m7
553     SPILL    4, 8
554     mova     m7, [tmpq+4*16]
555     mova     m2, [tmpq+4*12]
556     addps    m0, m7, m2
557     subps    m0, SPILLED(11)
558     mulps    m0, [costabs + 16*2]
559     addps    m4, m7, SPILLED(11)
560     mulps    m4, [costabs]
561     subps    m7, m2
562     mulps    m7, [costabs + 16*7]
563     addps    m2, SPILLED(11)
564     mulps    m2, [costabs + 16*4]
565     addps    m1, m7, [tmpq+4*8]
566     addps    m1, m4
567     addps    m4, m2
568     subps    m4, [tmpq+4*8]
569     SPILL    4, 11
570     subps    m7, m2
571     subps    m7, [tmpq+4*8]
572     addps    m4, m6, SPILLED(10)
573     subps    m6, SPILLED(10)
574     addps    m2, m5, m1
575     mulps    m2, [costabs + 16*9]
576     subps    m5, m1
577     mulps    m5, [costabs + 16*17]
578     subps    m1, m4, m2
579     addps    m4, m2
580     mulps    m2, m1, [winq+4*36]
581     addps    m2, [bufq+4*36]
582     mova     [outq+1152], m2
583     mulps    m1, [winq+4*32]
584     addps    m1, [bufq+4*32]
585     mova     [outq+1024], m1
586     mulps    m1, m4, [winq+4*116]
587     mova     [bufq+4*36], m1
588     mulps    m4, [winq+4*112]
589     mova     [bufq+4*32], m4
590     addps    m2, m6, m5
591     subps    m6, m5
592     mulps    m1, m6, [winq+4*68]
593     addps    m1, [bufq+4*68]
594     mova     [outq+2176], m1
595     mulps    m6, [winq]
596     addps    m6, [bufq]
597     mova     [outq], m6
598     mulps    m1, m2, [winq+4*148]
599     mova     [bufq+4*68], m1
600     mulps    m2, [winq+4*80]
601     mova     [bufq], m2
602     addps    m5, m3, [tmpq+4*24]
603     mova     m2, [tmpq+4*24]
604     subps    m2, m3
605     mova     m1, SPILLED(9)
606     subps    m1, m0
607     mulps    m1, [costabs + 16*10]
608     addps    m0, SPILLED(9)
609     mulps    m0, [costabs + 16*16]
610     addps    m6, m5, m1
611     subps    m5, m1
612     mulps    m3, m5, [winq+4*40]
613     addps    m3, [bufq+4*40]
614     mova     [outq+1280], m3
615     mulps    m5, [winq+4*28]
616     addps    m5, [bufq+4*28]
617     mova     [outq+896], m5
618     mulps    m1, m6, [winq+4*120]
619     mova     [bufq+4*40], m1
620     mulps    m6, [winq+4*108]
621     mova     [bufq+4*28], m6
622     addps    m1, m2, m0
623     subps    m2, m0
624     mulps    m5, m2, [winq+4*64]
625     addps    m5, [bufq+4*64]
626     mova     [outq+2048], m5
627     mulps    m2, [winq+4*4]
628     addps    m2, [bufq+4*4]
629     mova     [outq+128], m2
630     mulps    m0, m1, [winq+4*144]
631     mova     [bufq+4*64], m0
632     mulps    m1, [winq+4*84]
633     mova     [bufq+4*4], m1
634     mova     m1, [tmpq+4*28]
635     mova     m5, m1
636     addps    m1, SPILLED(13)
637     subps    m5, SPILLED(13)
638     UNSPILL  3, 15
639     addps    m2, m7, m3
640     mulps    m2, [costabs + 16*11]
641     subps    m3, m7
642     mulps    m3, [costabs + 16*15]
643     addps    m0, m2, m1
644     subps    m1, m2
645     SWAP     m0, m2
646     mulps    m6, m1, [winq+4*44]
647     addps    m6, [bufq+4*44]
648     mova     [outq+1408], m6
649     mulps    m1, [winq+4*24]
650     addps    m1, [bufq+4*24]
651     mova     [outq+768], m1
652     mulps    m0, m2, [winq+4*124]
653     mova     [bufq+4*44], m0
654     mulps    m2, [winq+4*104]
655     mova     [bufq+4*24], m2
656     addps    m0, m5, m3
657     subps    m5, m3
658     mulps    m1, m5, [winq+4*60]
659     addps    m1, [bufq+4*60]
660     mova     [outq+1920], m1
661     mulps    m5, [winq+4*8]
662     addps    m5, [bufq+4*8]
663     mova     [outq+256], m5
664     mulps    m1, m0, [winq+4*140]
665     mova     [bufq+4*60], m1
666     mulps    m0, [winq+4*88]
667     mova     [bufq+4*8], m0
668     mova     m1, [tmpq+4*20]
669     addps    m1, SPILLED(12)
670     mova     m2, [tmpq+4*20]
671     subps    m2, SPILLED(12)
672     UNSPILL  7, 8
673     subps    m0, m7, SPILLED(11)
674     addps    m7, SPILLED(11)
675     mulps    m4, m7, [costabs + 16*12]
676     mulps    m0, [costabs + 16*14]
677     addps    m5, m1, m4
678     subps    m1, m4
679     mulps    m7, m1, [winq+4*48]
680     addps    m7, [bufq+4*48]
681     mova     [outq+1536], m7
682     mulps    m1, [winq+4*20]
683     addps    m1, [bufq+4*20]
684     mova     [outq+640], m1
685     mulps    m1, m5, [winq+4*128]
686     mova     [bufq+4*48], m1
687     mulps    m5, [winq+4*100]
688     mova     [bufq+4*20], m5
689     addps    m6, m2, m0
690     subps    m2, m0
691     mulps    m1, m2, [winq+4*56]
692     addps    m1, [bufq+4*56]
693     mova     [outq+1792], m1
694     mulps    m2, [winq+4*12]
695     addps    m2, [bufq+4*12]
696     mova     [outq+384], m2
697     mulps    m0, m6, [winq+4*136]
698     mova    [bufq+4*56], m0
699     mulps    m6, [winq+4*92]
700     mova     [bufq+4*12], m6
701     UNSPILL  0, 14
702     mulps    m0, [costabs + 16*13]
703     mova     m3, [tmpq+4*4]
704     addps    m2, m0, m3
705     subps    m3, m0
706     mulps    m0, m3, [winq+4*52]
707     addps    m0, [bufq+4*52]
708     mova     [outq+1664], m0
709     mulps    m3, [winq+4*16]
710     addps    m3, [bufq+4*16]
711     mova     [outq+512], m3
712     mulps    m0, m2, [winq+4*132]
713     mova     [bufq+4*52], m0
714     mulps    m2, [winq+4*96]
715     mova     [bufq+4*16], m2
716     RET
717 %endmacro
718
719 INIT_XMM sse
720 DEFINE_FOUR_IMDCT
721
722 %if HAVE_AVX_EXTERNAL
723 INIT_XMM avx
724 DEFINE_FOUR_IMDCT
725 %endif