x86/synth_filter: add synth_filter_avx
[ffmpeg.git] / libavcodec / x86 / dcadsp.asm
1 ;******************************************************************************
2 ;* SSE-optimized functions for the DCA decoder
3 ;* Copyright (C) 2012-2014 Christophe Gisquet <christophe.gisquet@gmail.com>
4 ;*
5 ;* This file is part of Libav.
6 ;*
7 ;* Libav is free software; you can redistribute it and/or
8 ;* modify it under the terms of the GNU Lesser General Public
9 ;* License as published by the Free Software Foundation; either
10 ;* version 2.1 of the License, or (at your option) any later version.
11 ;*
12 ;* Libav is distributed in the hope that it will be useful,
13 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
14 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 ;* Lesser General Public License for more details.
16 ;*
17 ;* You should have received a copy of the GNU Lesser General Public
18 ;* License along with Libav; if not, write to the Free Software
19 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20 ;******************************************************************************
21
22 %include "libavutil/x86/x86util.asm"
23
24 SECTION_RODATA
25 pf_inv16:  times 4 dd 0x3D800000 ; 1/16
26
27 SECTION_TEXT
28
29 ; void decode_hf(float dst[DCA_SUBBANDS][8], const int32_t vq_num[DCA_SUBBANDS],
30 ;                const int8_t hf_vq[1024][32], intptr_t vq_offset,
31 ;                int32_t scale[DCA_SUBBANDS][2], intptr_t start, intptr_t end)
32
33 %macro DECODE_HF 0
34 cglobal decode_hf, 6,6,5, dst, num, src, offset, scale, start, end
35     lea       srcq, [srcq + offsetq]
36     shl     startq, 2
37     mov    offsetd, endm
38 %define DICT offsetq
39     shl    offsetq, 2
40     mov       endm, offsetq
41 .loop:
42 %if ARCH_X86_64
43     mov    offsetd, [scaleq + 2 * startq]
44     cvtsi2ss    m0, offsetd
45 %else
46     cvtsi2ss    m0, [scaleq + 2 * startq]
47 %endif
48     mov    offsetd, [numq + startq]
49     mulss       m0, [pf_inv16]
50     shl       DICT, 5
51     shufps      m0, m0, 0
52 %if cpuflag(sse2)
53 %if cpuflag(sse4)
54     pmovsxbd    m1, [srcq + DICT + 0]
55     pmovsxbd    m2, [srcq + DICT + 4]
56 %else
57     movq        m1, [srcq + DICT]
58     punpcklbw   m1, m1
59     mova        m2, m1
60     punpcklwd   m1, m1
61     punpckhwd   m2, m2
62     psrad       m1, 24
63     psrad       m2, 24
64 %endif
65     cvtdq2ps    m1, m1
66     cvtdq2ps    m2, m2
67 %else
68     movd       mm0, [srcq + DICT + 0]
69     movd       mm1, [srcq + DICT + 4]
70     punpcklbw  mm0, mm0
71     punpcklbw  mm1, mm1
72     movq       mm2, mm0
73     movq       mm3, mm1
74     punpcklwd  mm0, mm0
75     punpcklwd  mm1, mm1
76     punpckhwd  mm2, mm2
77     punpckhwd  mm3, mm3
78     psrad      mm0, 24
79     psrad      mm1, 24
80     psrad      mm2, 24
81     psrad      mm3, 24
82     cvtpi2ps    m1, mm0
83     cvtpi2ps    m2, mm1
84     cvtpi2ps    m3, mm2
85     cvtpi2ps    m4, mm3
86     shufps      m0, m0, 0
87     shufps      m1, m3, q1010
88     shufps      m2, m4, q1010
89 %endif
90     mulps       m1, m0
91     mulps       m2, m0
92     mova [dstq + 8 * startq +  0], m1
93     mova [dstq + 8 * startq + 16], m2
94     add     startq, 4
95     cmp     startq, endm
96     jl       .loop
97 .end:
98 %if notcpuflag(sse2)
99     emms
100 %endif
101     REP_RET
102 %endmacro
103
104 %if ARCH_X86_32
105 INIT_XMM sse
106 DECODE_HF
107 %endif
108
109 INIT_XMM sse2
110 DECODE_HF
111
112 INIT_XMM sse4
113 DECODE_HF
114
115 ; %1=v0/v1  %2=in1  %3=in2
116 %macro FIR_LOOP 2-3
117 .loop%1:
118 %define va          m1
119 %define vb          m2
120 %if %1
121 %define OFFSET      0
122 %else
123 %define OFFSET      NUM_COEF*count
124 %endif
125 ; for v0, incrementing and for v1, decrementing
126     mova        va, [cf0q + OFFSET]
127     mova        vb, [cf0q + OFFSET + 4*NUM_COEF]
128 %if %0 == 3
129     mova        m4, [cf0q + OFFSET + mmsize]
130     mova        m0, [cf0q + OFFSET + 4*NUM_COEF + mmsize]
131 %endif
132     mulps       va, %2
133     mulps       vb, %2
134 %if %0 == 3
135     mulps       m4, %3
136     mulps       m0, %3
137     addps       va, m4
138     addps       vb, m0
139 %endif
140     ; va = va1 va2 va3 va4
141     ; vb = vb1 vb2 vb3 vb4
142 %if %1
143     SWAP        va, vb
144 %endif
145     mova        m4, va
146     unpcklps    va, vb ; va3 vb3 va4 vb4
147     unpckhps    m4, vb ; va1 vb1 va2 vb2
148     addps       m4, va ; va1+3 vb1+3 va2+4 vb2+4
149     movhlps     vb, m4 ; va1+3  vb1+3
150     addps       vb, m4 ; va0..4 vb0..4
151     movh    [outq + count], vb
152 %if %1
153     sub       cf0q, 8*NUM_COEF
154 %endif
155     add      count, 8
156     jl   .loop%1
157 %endmacro
158
159 ; void dca_lfe_fir(float *out, float *in, float *coefs)
160 %macro DCA_LFE_FIR 1
161 cglobal dca_lfe_fir%1, 3,3,6-%1, out, in, cf0
162 %define IN1       m3
163 %define IN2       m5
164 %define count     inq
165 %define NUM_COEF  4*(2-%1)
166 %define NUM_OUT   32*(%1+1)
167
168     movu     IN1, [inq + 4 - 1*mmsize]
169     shufps   IN1, IN1, q0123
170 %if %1 == 0
171     movu     IN2, [inq + 4 - 2*mmsize]
172     shufps   IN2, IN2, q0123
173 %endif
174
175     mov    count, -4*NUM_OUT
176     add     cf0q, 4*NUM_COEF*NUM_OUT
177     add     outq, 4*NUM_OUT
178     ; compute v0 first
179 %if %1 == 0
180     FIR_LOOP   0, IN1, IN2
181 %else
182     FIR_LOOP   0, IN1
183 %endif
184     shufps   IN1, IN1, q0123
185     mov    count, -4*NUM_OUT
186     ; cf1 already correctly positioned
187     add     outq, 4*NUM_OUT          ; outq now at out2
188     sub     cf0q, 8*NUM_COEF
189 %if %1 == 0
190     shufps   IN2, IN2, q0123
191     FIR_LOOP   1, IN2, IN1
192 %else
193     FIR_LOOP   1, IN1
194 %endif
195     RET
196 %endmacro
197
198 INIT_XMM sse
199 DCA_LFE_FIR 0
200 DCA_LFE_FIR 1
201
202 %macro SETZERO 1
203 %if cpuflag(sse2) && notcpuflag(avx)
204     pxor          %1, %1
205 %else
206     xorps         %1, %1, %1
207 %endif
208 %endmacro
209
210 %macro SHUF 3
211 %if cpuflag(avx)
212     mova          %3, [%2 - 16]
213     vperm2f128    %1, %3, %3, 1
214     vshufps       %1, %1, %1, q0123
215 %elif cpuflag(sse2)
216     pshufd        %1, [%2], q0123
217 %else
218     mova          %1, [%2]
219     shufps        %1, %1, q0123
220 %endif
221 %endmacro
222
223 %macro INNER_LOOP   1
224     ; reading backwards:  ptr1 = synth_buf + j + i; ptr2 = synth_buf + j - i
225     ;~ a += window[i + j]      * (-synth_buf[15 - i + j])
226     ;~ b += window[i + j + 16] * (synth_buf[i + j])
227     SHUF          m5,  ptr2 + j + (15 - 3) * 4, m6
228     mova          m6, [ptr1 + j]
229 %if ARCH_X86_64
230     SHUF         m11,  ptr2 + j + (15 - 3) * 4 - mmsize, m12
231     mova         m12, [ptr1 + j + mmsize]
232 %endif
233     mulps         m6, m6,  [win + %1 + j + 16 * 4]
234     mulps         m5, m5,  [win + %1 + j]
235 %if ARCH_X86_64
236     mulps        m12, m12, [win + %1 + j + mmsize + 16 * 4]
237     mulps        m11, m11, [win + %1 + j + mmsize]
238 %endif
239     addps         m2, m2, m6
240     subps         m1, m1, m5
241 %if ARCH_X86_64
242     addps         m8, m8, m12
243     subps         m7, m7, m11
244 %endif
245     ;~ c += window[i + j + 32] * (synth_buf[16 + i + j])
246     ;~ d += window[i + j + 48] * (synth_buf[31 - i + j])
247     SHUF          m6,  ptr2 + j + (31 - 3) * 4, m5
248     mova          m5, [ptr1 + j + 16 * 4]
249 %if ARCH_X86_64
250     SHUF         m12,  ptr2 + j + (31 - 3) * 4 - mmsize, m11
251     mova         m11, [ptr1 + j + mmsize + 16 * 4]
252 %endif
253     mulps         m5, m5,  [win + %1 + j + 32 * 4]
254     mulps         m6, m6,  [win + %1 + j + 48 * 4]
255 %if ARCH_X86_64
256     mulps        m11, m11, [win + %1 + j + mmsize + 32 * 4]
257     mulps        m12, m12, [win + %1 + j + mmsize + 48 * 4]
258 %endif
259     addps         m3, m3, m5
260     addps         m4, m4, m6
261 %if ARCH_X86_64
262     addps         m9, m9, m11
263     addps        m10, m10, m12
264 %endif
265     sub            j, 64 * 4
266 %endmacro
267
268 ; void ff_synth_filter_inner_<opt>(float *synth_buf, float synth_buf2[32],
269 ;                                  const float window[512], float out[32],
270 ;                                  intptr_t offset, float scale)
271 %macro SYNTH_FILTER 0
272 cglobal synth_filter_inner, 0, 6 + 4 * ARCH_X86_64, 7 + 6 * ARCH_X86_64, \
273                               synth_buf, synth_buf2, window, out, off, scale
274 %define scale m0
275 %if ARCH_X86_32 || WIN64
276 %if cpuflag(sse2) && notcpuflag(avx)
277     movd       scale, scalem
278     SPLATD        m0
279 %else
280     VBROADCASTSS  m0, scalem
281 %endif
282 ; Make sure offset is in a register and not on the stack
283 %define OFFQ  r4q
284 %else
285     SPLATD      xmm0
286 %if cpuflag(avx)
287     vinsertf128   m0, m0, xmm0, 1
288 %endif
289 %define OFFQ  offq
290 %endif
291     ; prepare inner counter limit 1
292     mov          r5q, 480
293     sub          r5q, offmp
294     and          r5q, -64
295     shl          r5q, 2
296 %if ARCH_X86_32 || notcpuflag(avx)
297     mov         OFFQ, r5q
298 %define i        r5q
299     mov            i, 16 * 4 - (ARCH_X86_64 + 1) * mmsize  ; main loop counter
300 %else
301 %define i 0
302 %define OFFQ  r5q
303 %endif
304
305 %define buf2     synth_buf2q
306 %if ARCH_X86_32
307     mov         buf2, synth_buf2mp
308 %endif
309 .mainloop
310     ; m1 = a  m2 = b  m3 = c  m4 = d
311     SETZERO       m3
312     SETZERO       m4
313     mova          m1, [buf2 + i]
314     mova          m2, [buf2 + i + 16 * 4]
315 %if ARCH_X86_32
316 %define ptr1     r0q
317 %define ptr2     r1q
318 %define win      r2q
319 %define j        r3q
320     mov          win, windowm
321     mov         ptr1, synth_bufm
322 %if ARCH_X86_32 || notcpuflag(avx)
323     add          win, i
324     add         ptr1, i
325 %endif
326 %else ; ARCH_X86_64
327 %define ptr1     r6q
328 %define ptr2     r7q ; must be loaded
329 %define win      r8q
330 %define j        r9q
331     SETZERO       m9
332     SETZERO      m10
333     mova          m7, [buf2 + i + mmsize]
334     mova          m8, [buf2 + i + mmsize + 16 * 4]
335     lea          win, [windowq + i]
336     lea         ptr1, [synth_bufq + i]
337 %endif
338     mov         ptr2, synth_bufmp
339     ; prepare the inner loop counter
340     mov            j, OFFQ
341 %if ARCH_X86_32 || notcpuflag(avx)
342     sub         ptr2, i
343 %endif
344 .loop1:
345     INNER_LOOP  0
346     jge       .loop1
347
348     mov            j, 448 * 4
349     sub            j, OFFQ
350     jz          .end
351     sub         ptr1, j
352     sub         ptr2, j
353     add          win, OFFQ ; now at j-64, so define OFFSET
354     sub            j, 64 * 4
355 .loop2:
356     INNER_LOOP  64 * 4
357     jge       .loop2
358
359 .end:
360 %if ARCH_X86_32
361     mov         buf2, synth_buf2m ; needed for next iteration anyway
362     mov         outq, outmp       ; j, which will be set again during it
363 %endif
364     ;~ out[i]      = a * scale;
365     ;~ out[i + 16] = b * scale;
366     mulps         m1, m1, scale
367     mulps         m2, m2, scale
368 %if ARCH_X86_64
369     mulps         m7, m7, scale
370     mulps         m8, m8, scale
371 %endif
372     ;~ synth_buf2[i]      = c;
373     ;~ synth_buf2[i + 16] = d;
374     mova   [buf2 + i +  0 * 4], m3
375     mova   [buf2 + i + 16 * 4], m4
376 %if ARCH_X86_64
377     mova   [buf2 + i +  0 * 4 + mmsize], m9
378     mova   [buf2 + i + 16 * 4 + mmsize], m10
379 %endif
380     ;~ out[i]      = a;
381     ;~ out[i + 16] = a;
382     mova   [outq + i +  0 * 4], m1
383     mova   [outq + i + 16 * 4], m2
384 %if ARCH_X86_64
385     mova   [outq + i +  0 * 4 + mmsize], m7
386     mova   [outq + i + 16 * 4 + mmsize], m8
387 %endif
388 %if ARCH_X86_32 || notcpuflag(avx)
389     sub            i, (ARCH_X86_64 + 1) * mmsize
390     jge    .mainloop
391 %endif
392     RET
393 %endmacro
394
395 %if ARCH_X86_32
396 INIT_XMM sse
397 SYNTH_FILTER
398 %endif
399 INIT_XMM sse2
400 SYNTH_FILTER
401 INIT_YMM avx
402 SYNTH_FILTER