Merge commit '6860b4081d046558c44b1b42f22022ea341a2a73'
[ffmpeg.git] / libavresample / x86 / audio_mix.asm
1 ;******************************************************************************
2 ;* x86 optimized channel mixing
3 ;* Copyright (c) 2012 Justin Ruggles <justin.ruggles@gmail.com>
4 ;*
5 ;* This file is part of Libav.
6 ;*
7 ;* Libav is free software; you can redistribute it and/or
8 ;* modify it under the terms of the GNU Lesser General Public
9 ;* License as published by the Free Software Foundation; either
10 ;* version 2.1 of the License, or (at your option) any later version.
11 ;*
12 ;* Libav is distributed in the hope that it will be useful,
13 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
14 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 ;* Lesser General Public License for more details.
16 ;*
17 ;* You should have received a copy of the GNU Lesser General Public
18 ;* License along with Libav; if not, write to the Free Software
19 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20 ;******************************************************************************
21
22 %include "x86util.asm"
23 %include "util.asm"
24
25 SECTION_TEXT
26
27 ;-----------------------------------------------------------------------------
28 ; void ff_mix_2_to_1_fltp_flt(float **src, float **matrix, int len,
29 ;                             int out_ch, int in_ch);
30 ;-----------------------------------------------------------------------------
31
32 %macro MIX_2_TO_1_FLTP_FLT 0
33 cglobal mix_2_to_1_fltp_flt, 3,4,6, src, matrix, len, src1
34     mov       src1q, [srcq+gprsize]
35     mov        srcq, [srcq        ]
36     sub       src1q, srcq
37     mov     matrixq, [matrixq  ]
38     VBROADCASTSS m4, [matrixq  ]
39     VBROADCASTSS m5, [matrixq+4]
40     ALIGN 16
41 .loop:
42     mulps        m0, m4, [srcq             ]
43     mulps        m1, m5, [srcq+src1q       ]
44     mulps        m2, m4, [srcq+      mmsize]
45     mulps        m3, m5, [srcq+src1q+mmsize]
46     addps        m0, m0, m1
47     addps        m2, m2, m3
48     mova  [srcq       ], m0
49     mova  [srcq+mmsize], m2
50     add        srcq, mmsize*2
51     sub        lend, mmsize*2/4
52     jg .loop
53     REP_RET
54 %endmacro
55
56 INIT_XMM sse
57 MIX_2_TO_1_FLTP_FLT
58 %if HAVE_AVX_EXTERNAL
59 INIT_YMM avx
60 MIX_2_TO_1_FLTP_FLT
61 %endif
62
63 ;-----------------------------------------------------------------------------
64 ; void ff_mix_2_to_1_s16p_flt(int16_t **src, float **matrix, int len,
65 ;                             int out_ch, int in_ch);
66 ;-----------------------------------------------------------------------------
67
68 %macro MIX_2_TO_1_S16P_FLT 0
69 cglobal mix_2_to_1_s16p_flt, 3,4,6, src, matrix, len, src1
70     mov       src1q, [srcq+gprsize]
71     mov        srcq, [srcq]
72     sub       src1q, srcq
73     mov     matrixq, [matrixq  ]
74     VBROADCASTSS m4, [matrixq  ]
75     VBROADCASTSS m5, [matrixq+4]
76     ALIGN 16
77 .loop:
78     mova         m0, [srcq      ]
79     mova         m2, [srcq+src1q]
80     S16_TO_S32_SX 0, 1
81     S16_TO_S32_SX 2, 3
82     cvtdq2ps     m0, m0
83     cvtdq2ps     m1, m1
84     cvtdq2ps     m2, m2
85     cvtdq2ps     m3, m3
86     mulps        m0, m4
87     mulps        m1, m4
88     mulps        m2, m5
89     mulps        m3, m5
90     addps        m0, m2
91     addps        m1, m3
92     cvtps2dq     m0, m0
93     cvtps2dq     m1, m1
94     packssdw     m0, m1
95     mova     [srcq], m0
96     add        srcq, mmsize
97     sub        lend, mmsize/2
98     jg .loop
99     REP_RET
100 %endmacro
101
102 INIT_XMM sse2
103 MIX_2_TO_1_S16P_FLT
104 INIT_XMM sse4
105 MIX_2_TO_1_S16P_FLT
106
107 ;-----------------------------------------------------------------------------
108 ; void ff_mix_2_to_1_s16p_q8(int16_t **src, int16_t **matrix, int len,
109 ;                            int out_ch, int in_ch);
110 ;-----------------------------------------------------------------------------
111
112 INIT_XMM sse2
113 cglobal mix_2_to_1_s16p_q8, 3,4,6, src, matrix, len, src1
114     mov       src1q, [srcq+gprsize]
115     mov        srcq, [srcq]
116     sub       src1q, srcq
117     mov     matrixq, [matrixq]
118     movd         m4, [matrixq]
119     movd         m5, [matrixq]
120     SPLATW       m4, m4, 0
121     SPLATW       m5, m5, 1
122     pxor         m0, m0
123     punpcklwd    m4, m0
124     punpcklwd    m5, m0
125     ALIGN 16
126 .loop:
127     mova         m0, [srcq      ]
128     mova         m2, [srcq+src1q]
129     punpckhwd    m1, m0, m0
130     punpcklwd    m0, m0
131     punpckhwd    m3, m2, m2
132     punpcklwd    m2, m2
133     pmaddwd      m0, m4
134     pmaddwd      m1, m4
135     pmaddwd      m2, m5
136     pmaddwd      m3, m5
137     paddd        m0, m2
138     paddd        m1, m3
139     psrad        m0, 8
140     psrad        m1, 8
141     packssdw     m0, m1
142     mova     [srcq], m0
143     add        srcq, mmsize
144     sub        lend, mmsize/2
145     jg .loop
146     REP_RET
147
148 ;-----------------------------------------------------------------------------
149 ; void ff_mix_1_to_2_fltp_flt(float **src, float **matrix, int len,
150 ;                             int out_ch, int in_ch);
151 ;-----------------------------------------------------------------------------
152
153 %macro MIX_1_TO_2_FLTP_FLT 0
154 cglobal mix_1_to_2_fltp_flt, 3,5,4, src0, matrix0, len, src1, matrix1
155     mov       src1q, [src0q+gprsize]
156     mov       src0q, [src0q]
157     sub       src1q, src0q
158     mov    matrix1q, [matrix0q+gprsize]
159     mov    matrix0q, [matrix0q]
160     VBROADCASTSS m2, [matrix0q]
161     VBROADCASTSS m3, [matrix1q]
162     ALIGN 16
163 .loop:
164     mova         m0, [src0q]
165     mulps        m1, m0, m3
166     mulps        m0, m0, m2
167     mova  [src0q      ], m0
168     mova  [src0q+src1q], m1
169     add       src0q, mmsize
170     sub        lend, mmsize/4
171     jg .loop
172     REP_RET
173 %endmacro
174
175 INIT_XMM sse
176 MIX_1_TO_2_FLTP_FLT
177 %if HAVE_AVX_EXTERNAL
178 INIT_YMM avx
179 MIX_1_TO_2_FLTP_FLT
180 %endif
181
182 ;-----------------------------------------------------------------------------
183 ; void ff_mix_1_to_2_s16p_flt(int16_t **src, float **matrix, int len,
184 ;                             int out_ch, int in_ch);
185 ;-----------------------------------------------------------------------------
186
187 %macro MIX_1_TO_2_S16P_FLT 0
188 cglobal mix_1_to_2_s16p_flt, 3,5,6, src0, matrix0, len, src1, matrix1
189     mov       src1q, [src0q+gprsize]
190     mov       src0q, [src0q]
191     sub       src1q, src0q
192     mov    matrix1q, [matrix0q+gprsize]
193     mov    matrix0q, [matrix0q]
194     VBROADCASTSS m4, [matrix0q]
195     VBROADCASTSS m5, [matrix1q]
196     ALIGN 16
197 .loop:
198     mova         m0, [src0q]
199     S16_TO_S32_SX 0, 2
200     cvtdq2ps     m0, m0
201     cvtdq2ps     m2, m2
202     mulps        m1, m0, m5
203     mulps        m0, m0, m4
204     mulps        m3, m2, m5
205     mulps        m2, m2, m4
206     cvtps2dq     m0, m0
207     cvtps2dq     m1, m1
208     cvtps2dq     m2, m2
209     cvtps2dq     m3, m3
210     packssdw     m0, m2
211     packssdw     m1, m3
212     mova  [src0q      ], m0
213     mova  [src0q+src1q], m1
214     add       src0q, mmsize
215     sub        lend, mmsize/2
216     jg .loop
217     REP_RET
218 %endmacro
219
220 INIT_XMM sse2
221 MIX_1_TO_2_S16P_FLT
222 INIT_XMM sse4
223 MIX_1_TO_2_S16P_FLT
224 %if HAVE_AVX_EXTERNAL
225 INIT_XMM avx
226 MIX_1_TO_2_S16P_FLT
227 %endif
228
229 ;-----------------------------------------------------------------------------
230 ; void ff_mix_3_8_to_1_2_fltp/s16p_flt(float/int16_t **src, float **matrix,
231 ;                                      int len, int out_ch, int in_ch);
232 ;-----------------------------------------------------------------------------
233
234 %macro MIX_3_8_TO_1_2_FLT 3 ; %1 = in channels, %2 = out channels, %3 = s16p or fltp
235 ; define some names to make the code clearer
236 %assign  in_channels %1
237 %assign out_channels %2
238 %assign stereo out_channels - 1
239 %ifidn %3, s16p
240     %assign is_s16 1
241 %else
242     %assign is_s16 0
243 %endif
244
245 ; determine how many matrix elements must go on the stack vs. mmregs
246 %assign matrix_elements in_channels * out_channels
247 %if is_s16
248     %if stereo
249         %assign needed_mmregs 7
250     %else
251         %assign needed_mmregs 5
252     %endif
253 %else
254     %if stereo
255         %assign needed_mmregs 4
256     %else
257         %assign needed_mmregs 3
258     %endif
259 %endif
260 %assign matrix_elements_mm num_mmregs - needed_mmregs
261 %if matrix_elements < matrix_elements_mm
262     %assign matrix_elements_mm matrix_elements
263 %endif
264 %if matrix_elements_mm < matrix_elements
265     %assign matrix_elements_stack matrix_elements - matrix_elements_mm
266 %else
267     %assign matrix_elements_stack 0
268 %endif
269
270 cglobal mix_%1_to_%2_%3_flt, 3,in_channels+2,needed_mmregs+matrix_elements_mm, src0, src1, len, src2, src3, src4, src5, src6, src7
271
272 ; get aligned stack space if needed
273 %if matrix_elements_stack > 0
274     %if mmsize == 32
275     %assign bkpreg %1 + 1
276     %define bkpq r %+ bkpreg %+ q
277     mov           bkpq, rsp
278     and           rsp, ~(mmsize-1)
279     sub           rsp, matrix_elements_stack * mmsize
280     %else
281     %assign pad matrix_elements_stack * mmsize + (mmsize - gprsize) - (stack_offset & (mmsize - gprsize))
282     SUB           rsp, pad
283     %endif
284 %endif
285
286 ; load matrix pointers
287 %define matrix0q r1q
288 %define matrix1q r3q
289 %if stereo
290     mov      matrix1q, [matrix0q+gprsize]
291 %endif
292     mov      matrix0q, [matrix0q]
293
294 ; define matrix coeff names
295 %assign %%i 0
296 %assign %%j needed_mmregs
297 %rep in_channels
298     %if %%i >= matrix_elements_mm
299         CAT_XDEFINE mx_stack_0_, %%i, 1
300         CAT_XDEFINE mx_0_, %%i, [rsp+(%%i-matrix_elements_mm)*mmsize]
301     %else
302         CAT_XDEFINE mx_stack_0_, %%i, 0
303         CAT_XDEFINE mx_0_, %%i, m %+ %%j
304         %assign %%j %%j+1
305     %endif
306     %assign %%i %%i+1
307 %endrep
308 %if stereo
309 %assign %%i 0
310 %rep in_channels
311     %if in_channels + %%i >= matrix_elements_mm
312         CAT_XDEFINE mx_stack_1_, %%i, 1
313         CAT_XDEFINE mx_1_, %%i, [rsp+(in_channels+%%i-matrix_elements_mm)*mmsize]
314     %else
315         CAT_XDEFINE mx_stack_1_, %%i, 0
316         CAT_XDEFINE mx_1_, %%i, m %+ %%j
317         %assign %%j %%j+1
318     %endif
319     %assign %%i %%i+1
320 %endrep
321 %endif
322
323 ; load/splat matrix coeffs
324 %assign %%i 0
325 %rep in_channels
326     %if mx_stack_0_ %+ %%i
327         VBROADCASTSS m0, [matrix0q+4*%%i]
328         mova  mx_0_ %+ %%i, m0
329     %else
330         VBROADCASTSS mx_0_ %+ %%i, [matrix0q+4*%%i]
331     %endif
332     %if stereo
333     %if mx_stack_1_ %+ %%i
334         VBROADCASTSS m0, [matrix1q+4*%%i]
335         mova  mx_1_ %+ %%i, m0
336     %else
337         VBROADCASTSS mx_1_ %+ %%i, [matrix1q+4*%%i]
338     %endif
339     %endif
340     %assign %%i %%i+1
341 %endrep
342
343 ; load channel pointers to registers as offsets from the first channel pointer
344 %if ARCH_X86_64
345     movsxd       lenq, r2d
346 %endif
347     shl          lenq, 2-is_s16
348 %assign %%i 1
349 %rep (in_channels - 1)
350     %if ARCH_X86_32 && in_channels >= 7 && %%i >= 5
351     mov         src5q, [src0q+%%i*gprsize]
352     add         src5q, lenq
353     mov         src %+ %%i %+ m, src5q
354     %else
355     mov         src %+ %%i %+ q, [src0q+%%i*gprsize]
356     add         src %+ %%i %+ q, lenq
357     %endif
358     %assign %%i %%i+1
359 %endrep
360     mov         src0q, [src0q]
361     add         src0q, lenq
362     neg          lenq
363 .loop:
364 ; for x86-32 with 7-8 channels we do not have enough gp registers for all src
365 ; pointers, so we have to load some of them from the stack each time
366 %define copy_src_from_stack ARCH_X86_32 && in_channels >= 7 && %%i >= 5
367 %if is_s16
368     ; mix with s16p input
369     mova           m0, [src0q+lenq]
370     S16_TO_S32_SX   0, 1
371     cvtdq2ps       m0, m0
372     cvtdq2ps       m1, m1
373     %if stereo
374     mulps          m2, m0, mx_1_0
375     mulps          m3, m1, mx_1_0
376     %endif
377     mulps          m0, m0, mx_0_0
378     mulps          m1, m1, mx_0_0
379 %assign %%i 1
380 %rep (in_channels - 1)
381     %if copy_src_from_stack
382         %define src_ptr src5q
383     %else
384         %define src_ptr src %+ %%i %+ q
385     %endif
386     %if stereo
387     %if copy_src_from_stack
388     mov       src_ptr, src %+ %%i %+ m
389     %endif
390     mova           m4, [src_ptr+lenq]
391     S16_TO_S32_SX   4, 5
392     cvtdq2ps       m4, m4
393     cvtdq2ps       m5, m5
394     fmaddps        m2, m4, mx_1_ %+ %%i, m2, m6
395     fmaddps        m3, m5, mx_1_ %+ %%i, m3, m6
396     fmaddps        m0, m4, mx_0_ %+ %%i, m0, m4
397     fmaddps        m1, m5, mx_0_ %+ %%i, m1, m5
398     %else
399     %if copy_src_from_stack
400     mov       src_ptr, src %+ %%i %+ m
401     %endif
402     mova           m2, [src_ptr+lenq]
403     S16_TO_S32_SX   2, 3
404     cvtdq2ps       m2, m2
405     cvtdq2ps       m3, m3
406     fmaddps        m0, m2, mx_0_ %+ %%i, m0, m4
407     fmaddps        m1, m3, mx_0_ %+ %%i, m1, m4
408     %endif
409     %assign %%i %%i+1
410 %endrep
411     %if stereo
412     cvtps2dq       m2, m2
413     cvtps2dq       m3, m3
414     packssdw       m2, m3
415     mova [src1q+lenq], m2
416     %endif
417     cvtps2dq       m0, m0
418     cvtps2dq       m1, m1
419     packssdw       m0, m1
420     mova [src0q+lenq], m0
421 %else
422     ; mix with fltp input
423     %if stereo || mx_stack_0_0
424     mova           m0, [src0q+lenq]
425     %endif
426     %if stereo
427     mulps          m1, m0, mx_1_0
428     %endif
429     %if stereo || mx_stack_0_0
430     mulps          m0, m0, mx_0_0
431     %else
432     mulps          m0, [src0q+lenq], mx_0_0
433     %endif
434 %assign %%i 1
435 %rep (in_channels - 1)
436     %if copy_src_from_stack
437         %define src_ptr src5q
438         mov   src_ptr, src %+ %%i %+ m
439     %else
440         %define src_ptr src %+ %%i %+ q
441     %endif
442     ; avoid extra load for mono if matrix is in a mm register
443     %if stereo || mx_stack_0_ %+ %%i
444     mova           m2, [src_ptr+lenq]
445     %endif
446     %if stereo
447     fmaddps        m1, m2, mx_1_ %+ %%i, m1, m3
448     %endif
449     %if stereo || mx_stack_0_ %+ %%i
450     fmaddps        m0, m2, mx_0_ %+ %%i, m0, m2
451     %else
452     fmaddps        m0, mx_0_ %+ %%i, [src_ptr+lenq], m0, m1
453     %endif
454     %assign %%i %%i+1
455 %endrep
456     mova [src0q+lenq], m0
457     %if stereo
458     mova [src1q+lenq], m1
459     %endif
460 %endif
461
462     add          lenq, mmsize
463     jl .loop
464 ; restore stack pointer
465 %if matrix_elements_stack > 0
466     %if mmsize == 32
467     mov           rsp, bkpq
468     %else
469     ADD           rsp, pad
470     %endif
471 %endif
472 ; zero ymm high halves
473 %if mmsize == 32
474     vzeroupper
475 %endif
476     RET
477 %endmacro
478
479 %macro MIX_3_8_TO_1_2_FLT_FUNCS 0
480 %assign %%i 3
481 %rep 6
482     INIT_XMM sse
483     MIX_3_8_TO_1_2_FLT %%i, 1, fltp
484     MIX_3_8_TO_1_2_FLT %%i, 2, fltp
485     INIT_XMM sse2
486     MIX_3_8_TO_1_2_FLT %%i, 1, s16p
487     MIX_3_8_TO_1_2_FLT %%i, 2, s16p
488     INIT_XMM sse4
489     MIX_3_8_TO_1_2_FLT %%i, 1, s16p
490     MIX_3_8_TO_1_2_FLT %%i, 2, s16p
491     ; do not use ymm AVX or FMA4 in x86-32 for 6 or more channels due to stack alignment issues
492     %if HAVE_AVX_EXTERNAL
493     %if ARCH_X86_64 || %%i < 6
494     INIT_YMM avx
495     %else
496     INIT_XMM avx
497     %endif
498     MIX_3_8_TO_1_2_FLT %%i, 1, fltp
499     MIX_3_8_TO_1_2_FLT %%i, 2, fltp
500     INIT_XMM avx
501     MIX_3_8_TO_1_2_FLT %%i, 1, s16p
502     MIX_3_8_TO_1_2_FLT %%i, 2, s16p
503     %endif
504     %if HAVE_FMA4_EXTERNAL
505     %if ARCH_X86_64 || %%i < 6
506     INIT_YMM fma4
507     %else
508     INIT_XMM fma4
509     %endif
510     MIX_3_8_TO_1_2_FLT %%i, 1, fltp
511     MIX_3_8_TO_1_2_FLT %%i, 2, fltp
512     INIT_XMM fma4
513     MIX_3_8_TO_1_2_FLT %%i, 1, s16p
514     MIX_3_8_TO_1_2_FLT %%i, 2, s16p
515     %endif
516     %assign %%i %%i+1
517 %endrep
518 %endmacro
519
520 MIX_3_8_TO_1_2_FLT_FUNCS