floatdsp: move vector_fmul_add from dsputil to avfloatdsp.
[ffmpeg.git] / libavutil / x86 / float_dsp_init.c
1 /*
2  * This file is part of Libav.
3  *
4  * Libav is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * Libav is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with Libav; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 #include "config.h"
20
21 #include "libavutil/cpu.h"
22 #include "libavutil/float_dsp.h"
23 #include "cpu.h"
24 #include "asm.h"
25
26 extern void ff_vector_fmul_sse(float *dst, const float *src0, const float *src1,
27                                int len);
28 extern void ff_vector_fmul_avx(float *dst, const float *src0, const float *src1,
29                                int len);
30
31 extern void ff_vector_fmac_scalar_sse(float *dst, const float *src, float mul,
32                                       int len);
33 extern void ff_vector_fmac_scalar_avx(float *dst, const float *src, float mul,
34                                       int len);
35
36 extern void ff_vector_fmul_scalar_sse(float *dst, const float *src, float mul,
37                                       int len);
38
39 extern void ff_vector_dmul_scalar_sse2(double *dst, const double *src,
40                                        double mul, int len);
41 extern void ff_vector_dmul_scalar_avx(double *dst, const double *src,
42                                       double mul, int len);
43
44 void ff_vector_fmul_add_sse(float *dst, const float *src0, const float *src1,
45                             const float *src2, int len);
46 void ff_vector_fmul_add_avx(float *dst, const float *src0, const float *src1,
47                             const float *src2, int len);
48
49 #if HAVE_6REGS && HAVE_INLINE_ASM
50 static void vector_fmul_window_3dnowext(float *dst, const float *src0,
51                                         const float *src1, const float *win,
52                                         int len)
53 {
54     x86_reg i = -len * 4;
55     x86_reg j =  len * 4 - 8;
56     __asm__ volatile (
57         "1:                             \n"
58         "pswapd (%5, %1), %%mm1         \n"
59         "movq   (%5, %0), %%mm0         \n"
60         "pswapd (%4, %1), %%mm5         \n"
61         "movq   (%3, %0), %%mm4         \n"
62         "movq      %%mm0, %%mm2         \n"
63         "movq      %%mm1, %%mm3         \n"
64         "pfmul     %%mm4, %%mm2         \n" // src0[len + i] * win[len + i]
65         "pfmul     %%mm5, %%mm3         \n" // src1[j]       * win[len + j]
66         "pfmul     %%mm4, %%mm1         \n" // src0[len + i] * win[len + j]
67         "pfmul     %%mm5, %%mm0         \n" // src1[j]       * win[len + i]
68         "pfadd     %%mm3, %%mm2         \n"
69         "pfsub     %%mm0, %%mm1         \n"
70         "pswapd    %%mm2, %%mm2         \n"
71         "movq      %%mm1, (%2, %0)      \n"
72         "movq      %%mm2, (%2, %1)      \n"
73         "sub          $8, %1            \n"
74         "add          $8, %0            \n"
75         "jl           1b                \n"
76         "femms                          \n"
77         : "+r"(i), "+r"(j)
78         : "r"(dst + len), "r"(src0 + len), "r"(src1), "r"(win + len)
79     );
80 }
81
82 static void vector_fmul_window_sse(float *dst, const float *src0,
83                                    const float *src1, const float *win, int len)
84 {
85     x86_reg i = -len * 4;
86     x86_reg j =  len * 4 - 16;
87     __asm__ volatile (
88         "1:                             \n"
89         "movaps      (%5, %1), %%xmm1   \n"
90         "movaps      (%5, %0), %%xmm0   \n"
91         "movaps      (%4, %1), %%xmm5   \n"
92         "movaps      (%3, %0), %%xmm4   \n"
93         "shufps $0x1b, %%xmm1, %%xmm1   \n"
94         "shufps $0x1b, %%xmm5, %%xmm5   \n"
95         "movaps        %%xmm0, %%xmm2   \n"
96         "movaps        %%xmm1, %%xmm3   \n"
97         "mulps         %%xmm4, %%xmm2   \n" // src0[len + i] * win[len + i]
98         "mulps         %%xmm5, %%xmm3   \n" // src1[j]       * win[len + j]
99         "mulps         %%xmm4, %%xmm1   \n" // src0[len + i] * win[len + j]
100         "mulps         %%xmm5, %%xmm0   \n" // src1[j]       * win[len + i]
101         "addps         %%xmm3, %%xmm2   \n"
102         "subps         %%xmm0, %%xmm1   \n"
103         "shufps $0x1b, %%xmm2, %%xmm2   \n"
104         "movaps        %%xmm1, (%2, %0) \n"
105         "movaps        %%xmm2, (%2, %1) \n"
106         "sub              $16, %1       \n"
107         "add              $16, %0       \n"
108         "jl                1b           \n"
109         : "+r"(i), "+r"(j)
110         : "r"(dst + len), "r"(src0 + len), "r"(src1), "r"(win + len)
111     );
112 }
113 #endif /* HAVE_6REGS && HAVE_INLINE_ASM */
114
115 void ff_float_dsp_init_x86(AVFloatDSPContext *fdsp)
116 {
117     int mm_flags = av_get_cpu_flags();
118
119 #if HAVE_6REGS && HAVE_INLINE_ASM
120     if (INLINE_AMD3DNOWEXT(mm_flags)) {
121         fdsp->vector_fmul_window  = vector_fmul_window_3dnowext;
122     }
123     if (INLINE_SSE(mm_flags)) {
124         fdsp->vector_fmul_window = vector_fmul_window_sse;
125     }
126 #endif
127     if (EXTERNAL_SSE(mm_flags)) {
128         fdsp->vector_fmul = ff_vector_fmul_sse;
129         fdsp->vector_fmac_scalar = ff_vector_fmac_scalar_sse;
130         fdsp->vector_fmul_scalar = ff_vector_fmul_scalar_sse;
131         fdsp->vector_fmul_add    = ff_vector_fmul_add_sse;
132     }
133     if (EXTERNAL_SSE2(mm_flags)) {
134         fdsp->vector_dmul_scalar = ff_vector_dmul_scalar_sse2;
135     }
136     if (EXTERNAL_AVX(mm_flags)) {
137         fdsp->vector_fmul = ff_vector_fmul_avx;
138         fdsp->vector_fmac_scalar = ff_vector_fmac_scalar_avx;
139         fdsp->vector_dmul_scalar = ff_vector_dmul_scalar_avx;
140         fdsp->vector_fmul_add    = ff_vector_fmul_add_avx;
141     }
142 }