f02319bd4d84a869b795a909db50ba464ea1f5d6
[ffmpeg.git] / libavfilter / x86 / vf_w3fdif.asm
1 ;*****************************************************************************
2 ;* x86-optimized functions for w3fdif filter
3 ;*
4 ;* Copyright (c) 2015 Paul B Mahol
5 ;*
6 ;* This file is part of FFmpeg.
7 ;*
8 ;* FFmpeg is free software; you can redistribute it and/or
9 ;* modify it under the terms of the GNU Lesser General Public
10 ;* License as published by the Free Software Foundation; either
11 ;* version 2.1 of the License, or (at your option) any later version.
12 ;*
13 ;* FFmpeg is distributed in the hope that it will be useful,
14 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
15 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16 ;* Lesser General Public License for more details.
17 ;*
18 ;* You should have received a copy of the GNU Lesser General Public
19 ;* License along with FFmpeg; if not, write to the Free Software
20 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21 ;******************************************************************************
22
23 %include "libavutil/x86/x86util.asm"
24
25 SECTION .text
26
27 INIT_XMM sse2
28 cglobal w3fdif_scale, 3, 3, 2, 0, out_pixel, work_pixel, linesize
29 .loop:
30     mova                         m0, [work_pixelq]
31     mova                         m1, [work_pixelq+mmsize]
32     psrad                        m0, 15
33     psrad                        m1, 15
34     packssdw                     m0, m1
35     packuswb                     m0, m0
36     movh               [out_pixelq], m0
37     add                  out_pixelq, mmsize/2
38     add                 work_pixelq, mmsize*2
39     sub                   linesized, mmsize/2
40     jg .loop
41 REP_RET
42
43 cglobal w3fdif_simple_low, 4, 5, 6, 0, work_line, in_lines_cur0, coef, linesize, offset
44     movd                  m1, [coefq]
45     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_cur1, linesize, offset
46     SPLATW                m0, m1, 0
47     SPLATW                m1, m1, 1
48     pxor                  m4, m4
49     mov              offsetq, 0
50     mov       in_lines_cur1q, [in_lines_cur0q + gprsize]
51     mov       in_lines_cur0q, [in_lines_cur0q]
52
53 .loop:
54     movh                                   m2, [in_lines_cur0q+offsetq]
55     movh                                   m3, [in_lines_cur1q+offsetq]
56     punpcklbw                              m2, m4
57     punpcklbw                              m3, m4
58     SBUTTERFLY                             wd, 2, 3, 5
59     pmaddwd                                m2, m0
60     pmaddwd                                m3, m1
61     mova               [work_lineq+offsetq*4], m2
62     mova        [work_lineq+offsetq*4+mmsize], m3
63     add                               offsetq, mmsize/2
64     sub                             linesized, mmsize/2
65     jg .loop
66 REP_RET
67
68 cglobal w3fdif_complex_low, 4, 7, 8, 0, work_line, in_lines_cur0, coef, linesize
69     movq                  m0, [coefq]
70     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_cur1, linesize, offset, in_lines_cur2, in_lines_cur3
71     pshufd                m2, m0, q1111
72     SPLATD                m0
73     pxor                  m1, m1
74     mov              offsetq, 0
75     mov       in_lines_cur3q, [in_lines_cur0q+gprsize*3]
76     mov       in_lines_cur2q, [in_lines_cur0q+gprsize*2]
77     mov       in_lines_cur1q, [in_lines_cur0q+gprsize]
78     mov       in_lines_cur0q, [in_lines_cur0q]
79
80 .loop:
81     movh                                   m4, [in_lines_cur0q+offsetq]
82     movh                                   m5, [in_lines_cur1q+offsetq]
83     punpcklbw                              m4, m1
84     punpcklbw                              m5, m1
85     SBUTTERFLY                             wd, 4, 5, 7
86     pmaddwd                                m4, m0
87     pmaddwd                                m5, m0
88     movh                                   m6, [in_lines_cur2q+offsetq]
89     movh                                   m3, [in_lines_cur3q+offsetq]
90     punpcklbw                              m6, m1
91     punpcklbw                              m3, m1
92     SBUTTERFLY                             wd, 6, 3, 7
93     pmaddwd                                m6, m2
94     pmaddwd                                m3, m2
95     paddd                                  m4, m6
96     paddd                                  m5, m3
97     mova               [work_lineq+offsetq*4], m4
98     mova        [work_lineq+offsetq*4+mmsize], m5
99     add                               offsetq, mmsize/2
100     sub                             linesized, mmsize/2
101     jg .loop
102 REP_RET
103
104 %if ARCH_X86_64
105
106 cglobal w3fdif_simple_high, 5, 9, 9, 0, work_line, in_lines_cur0, in_lines_adj0, coef, linesize
107     movq                  m2, [coefq]
108     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_adj0, in_lines_cur1, linesize, offset, in_lines_cur2, in_lines_adj1, in_lines_adj2
109     SPLATW                m0, m2, 0
110     SPLATW                m1, m2, 1
111     SPLATW                m2, m2, 2
112     SBUTTERFLY            wd, 0, 1, 7
113     pxor                  m7, m7
114     mov              offsetq, 0
115     mov       in_lines_cur2q, [in_lines_cur0q+gprsize*2]
116     mov       in_lines_cur1q, [in_lines_cur0q+gprsize]
117     mov       in_lines_cur0q, [in_lines_cur0q]
118     mov       in_lines_adj2q, [in_lines_adj0q+gprsize*2]
119     mov       in_lines_adj1q, [in_lines_adj0q+gprsize]
120     mov       in_lines_adj0q, [in_lines_adj0q]
121
122 .loop:
123     movh                                   m3, [in_lines_cur0q+offsetq]
124     movh                                   m4, [in_lines_cur1q+offsetq]
125     punpcklbw                              m3, m7
126     punpcklbw                              m4, m7
127     SBUTTERFLY                             wd, 3, 4, 8
128     pmaddwd                                m3, m0
129     pmaddwd                                m4, m1
130     movh                                   m5, [in_lines_adj0q+offsetq]
131     movh                                   m6, [in_lines_adj1q+offsetq]
132     punpcklbw                              m5, m7
133     punpcklbw                              m6, m7
134     SBUTTERFLY                             wd, 5, 6, 8
135     pmaddwd                                m5, m0
136     pmaddwd                                m6, m1
137     paddd                                  m3, m5
138     paddd                                  m4, m6
139     movh                                   m5, [in_lines_cur2q+offsetq]
140     movh                                   m6, [in_lines_adj2q+offsetq]
141     punpcklbw                              m5, m7
142     punpcklbw                              m6, m7
143     SBUTTERFLY                             wd, 5, 6, 8
144     pmaddwd                                m5, m2
145     pmaddwd                                m6, m2
146     paddd                                  m3, m5
147     paddd                                  m4, m6
148     movu                                   m5, [work_lineq+offsetq*4]
149     movu                                   m6, [work_lineq+offsetq*4+mmsize]
150     paddd                                  m3, m5
151     paddd                                  m4, m6
152     mova               [work_lineq+offsetq*4], m3
153     mova        [work_lineq+offsetq*4+mmsize], m4
154     add                               offsetq, mmsize/2
155     sub                             linesized, mmsize/2
156     jg .loop
157 REP_RET
158
159 cglobal w3fdif_complex_high, 5, 13, 10, 0, work_line, in_lines_cur0, in_lines_adj0, coef, linesize
160     movq                  m0, [coefq+0]
161     movd                  m4, [coefq+8]
162     DEFINE_ARGS    work_line, in_lines_cur0, in_lines_adj0, in_lines_cur1, linesize, offset, in_lines_cur2, in_lines_cur3, in_lines_cur4, in_lines_adj1, in_lines_adj2, in_lines_adj3, in_lines_adj4
163     pshufd                m1, m0, q1111
164     SPLATD                m0
165     SPLATW                m4, m4
166     pxor                  m3, m3
167     mov              offsetq, 0
168     mov       in_lines_cur4q, [in_lines_cur0q+gprsize*4]
169     mov       in_lines_cur3q, [in_lines_cur0q+gprsize*3]
170     mov       in_lines_cur2q, [in_lines_cur0q+gprsize*2]
171     mov       in_lines_cur1q, [in_lines_cur0q+gprsize]
172     mov       in_lines_cur0q, [in_lines_cur0q]
173     mov       in_lines_adj4q, [in_lines_adj0q+gprsize*4]
174     mov       in_lines_adj3q, [in_lines_adj0q+gprsize*3]
175     mov       in_lines_adj2q, [in_lines_adj0q+gprsize*2]
176     mov       in_lines_adj1q, [in_lines_adj0q+gprsize]
177     mov       in_lines_adj0q, [in_lines_adj0q]
178
179 .loop:
180     movh                                   m5, [in_lines_cur0q+offsetq]
181     movh                                   m6, [in_lines_cur1q+offsetq]
182     punpcklbw                              m5, m3
183     punpcklbw                              m6, m3
184     SBUTTERFLY                             wd, 5, 6, 2
185     pmaddwd                                m5, m0
186     pmaddwd                                m6, m0
187     movh                                   m8, [in_lines_cur2q+offsetq]
188     movh                                   m9, [in_lines_cur3q+offsetq]
189     punpcklbw                              m8, m3
190     punpcklbw                              m9, m3
191     SBUTTERFLY                             wd, 8, 9, 2
192     pmaddwd                                m8, m1
193     pmaddwd                                m9, m1
194     paddd                                  m5, m8
195     paddd                                  m6, m9
196     movh                                   m8, [in_lines_adj0q+offsetq]
197     movh                                   m9, [in_lines_adj1q+offsetq]
198     punpcklbw                              m8, m3
199     punpcklbw                              m9, m3
200     SBUTTERFLY                             wd, 8, 9, 2
201     pmaddwd                                m8, m0
202     pmaddwd                                m9, m0
203     paddd                                  m5, m8
204     paddd                                  m6, m9
205     movh                                   m8, [in_lines_adj2q+offsetq]
206     movh                                   m9, [in_lines_adj3q+offsetq]
207     punpcklbw                              m8, m3
208     punpcklbw                              m9, m3
209     SBUTTERFLY                             wd, 8, 9, 2
210     pmaddwd                                m8, m1
211     pmaddwd                                m9, m1
212     paddd                                  m5, m8
213     paddd                                  m6, m9
214     movh                                   m8, [in_lines_cur4q+offsetq]
215     movh                                   m9, [in_lines_adj4q+offsetq]
216     punpcklbw                              m8, m3
217     punpcklbw                              m9, m3
218     SBUTTERFLY                             wd, 8, 9, 2
219     pmaddwd                                m8, m4
220     pmaddwd                                m9, m4
221     paddd                                  m5, m8
222     paddd                                  m6, m9
223     movu                                   m8, [work_lineq+offsetq*4]
224     movu                                   m9, [work_lineq+offsetq*4+mmsize]
225     paddd                                  m5, m8
226     paddd                                  m6, m9
227     mova               [work_lineq+offsetq*4], m5
228     mova        [work_lineq+offsetq*4+mmsize], m6
229     add                               offsetq, mmsize/2
230     sub                             linesized, mmsize/2
231     jg .loop
232 REP_RET
233
234 %endif