Fix missing used attribute for inline assembly variables
[ffmpeg.git] / libavcodec / x86 / diracdsp.asm
1 ;******************************************************************************
2 ;* Copyright (c) 2010 David Conrad
3 ;*
4 ;* This file is part of FFmpeg.
5 ;*
6 ;* FFmpeg is free software; you can redistribute it and/or
7 ;* modify it under the terms of the GNU Lesser General Public
8 ;* License as published by the Free Software Foundation; either
9 ;* version 2.1 of the License, or (at your option) any later version.
10 ;*
11 ;* FFmpeg is distributed in the hope that it will be useful,
12 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
13 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 ;* Lesser General Public License for more details.
15 ;*
16 ;* You should have received a copy of the GNU Lesser General Public
17 ;* License along with FFmpeg; if not, write to the Free Software
18 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19 ;******************************************************************************
20
21 %include "libavutil/x86/x86util.asm"
22
23 SECTION_RODATA
24 pw_7: times 8 dw 7
25 convert_to_unsigned_10bit: times 4 dd 0x200
26 clip_10bit:                times 8 dw 0x3ff
27
28 cextern pw_3
29 cextern pw_16
30 cextern pw_32
31 cextern pb_80
32
33 SECTION .text
34
35 %macro UNPACK_ADD 6
36     mov%5   %1, %3
37     mov%6   m5, %4
38     mova    m4, %1
39     mova    %2, m5
40     punpcklbw %1, m7
41     punpcklbw m5, m7
42     punpckhbw m4, m7
43     punpckhbw %2, m7
44     paddw   %1, m5
45     paddw   %2, m4
46 %endmacro
47
48 %macro HPEL_FILTER 1
49 ; dirac_hpel_filter_v_sse2(uint8_t *dst, uint8_t *src, int stride, int width);
50 cglobal dirac_hpel_filter_v_%1, 4,6,8, dst, src, stride, width, src0, stridex3
51     mov     src0q, srcq
52     lea     stridex3q, [3*strideq]
53     sub     src0q, stridex3q
54     pxor    m7, m7
55 .loop:
56     ; 7*(src[0] + src[1])
57     UNPACK_ADD m0, m1, [srcq], [srcq + strideq], a,a
58     pmullw  m0, [pw_7]
59     pmullw  m1, [pw_7]
60
61     ; 3*( ... + src[-2] + src[3])
62     UNPACK_ADD m2, m3, [src0q + strideq], [srcq + stridex3q], a,a
63     paddw   m0, m2
64     paddw   m1, m3
65     pmullw  m0, [pw_3]
66     pmullw  m1, [pw_3]
67
68     ; ... - 7*(src[-1] + src[2])
69     UNPACK_ADD m2, m3, [src0q + strideq*2], [srcq + strideq*2], a,a
70     pmullw  m2, [pw_7]
71     pmullw  m3, [pw_7]
72     psubw   m0, m2
73     psubw   m1, m3
74
75     ; ... - (src[-3] + src[4])
76     UNPACK_ADD m2, m3, [src0q], [srcq + strideq*4], a,a
77     psubw   m0, m2
78     psubw   m1, m3
79
80     paddw   m0, [pw_16]
81     paddw   m1, [pw_16]
82     psraw   m0, 5
83     psraw   m1, 5
84     packuswb m0, m1
85     mova    [dstq], m0
86     add     dstq, mmsize
87     add     srcq, mmsize
88     add     src0q, mmsize
89     sub     widthd, mmsize
90     jg      .loop
91     RET
92
93 ; dirac_hpel_filter_h_sse2(uint8_t *dst, uint8_t *src, int width);
94 cglobal dirac_hpel_filter_h_%1, 3,3,8, dst, src, width
95     dec     widthd
96     pxor    m7, m7
97     and     widthd, ~(mmsize-1)
98 .loop:
99     ; 7*(src[0] + src[1])
100     UNPACK_ADD m0, m1, [srcq + widthq], [srcq + widthq + 1], u,u
101     pmullw  m0, [pw_7]
102     pmullw  m1, [pw_7]
103
104     ; 3*( ... + src[-2] + src[3])
105     UNPACK_ADD m2, m3, [srcq + widthq - 2], [srcq + widthq + 3], u,u
106     paddw   m0, m2
107     paddw   m1, m3
108     pmullw  m0, [pw_3]
109     pmullw  m1, [pw_3]
110
111     ; ... - 7*(src[-1] + src[2])
112     UNPACK_ADD m2, m3, [srcq + widthq - 1], [srcq + widthq + 2], u,u
113     pmullw  m2, [pw_7]
114     pmullw  m3, [pw_7]
115     psubw   m0, m2
116     psubw   m1, m3
117
118     ; ... - (src[-3] + src[4])
119     UNPACK_ADD m2, m3, [srcq + widthq - 3], [srcq + widthq + 4], u,u
120     psubw   m0, m2
121     psubw   m1, m3
122
123     paddw   m0, [pw_16]
124     paddw   m1, [pw_16]
125     psraw   m0, 5
126     psraw   m1, 5
127     packuswb m0, m1
128     mova    [dstq + widthq], m0
129     sub     widthd, mmsize
130     jge     .loop
131     RET
132 %endmacro
133
134 %macro PUT_RECT 1
135 ; void put_rect_clamped(uint8_t *dst, int dst_stride, int16_t *src, int src_stride, int width, int height)
136 cglobal put_signed_rect_clamped_%1, 5,9,3, dst, dst_stride, src, src_stride, w, dst2, src2
137     mova    m0, [pb_80]
138     add     wd, (mmsize-1)
139     and     wd, ~(mmsize-1)
140
141 %if ARCH_X86_64
142     movsxd   dst_strideq, dst_strided
143     movsxd   src_strideq, src_strided
144     mov   r7d, r5m
145     mov   r8d, wd
146     %define wspill r8d
147     %define hd r7d
148 %else
149     mov    r4m, wd
150     %define wspill r4m
151     %define hd r5mp
152 %endif
153
154 .loopy:
155     lea     src2q, [srcq+src_strideq]
156     lea     dst2q, [dstq+dst_strideq]
157 .loopx:
158     sub      wd, mmsize
159     mova     m1, [srcq +2*wq]
160     mova     m2, [src2q+2*wq]
161     packsswb m1, [srcq +2*wq+mmsize]
162     packsswb m2, [src2q+2*wq+mmsize]
163     paddb    m1, m0
164     paddb    m2, m0
165     mova    [dstq +wq], m1
166     mova    [dst2q+wq], m2
167     jg      .loopx
168
169     lea   srcq, [srcq+src_strideq*2]
170     lea   dstq, [dstq+dst_strideq*2]
171     sub     hd, 2
172     mov     wd, wspill
173     jg      .loopy
174     RET
175 %endm
176
177 %macro ADD_RECT 1
178 ; void add_rect_clamped(uint8_t *dst, uint16_t *src, int stride, int16_t *idwt, int idwt_stride, int width, int height)
179 cglobal add_rect_clamped_%1, 7,9,3, dst, src, stride, idwt, idwt_stride, w, h
180     mova    m0, [pw_32]
181     add     wd, (mmsize-1)
182     and     wd, ~(mmsize-1)
183
184 %if ARCH_X86_64
185     movsxd   strideq, strided
186     movsxd   idwt_strideq, idwt_strided
187     mov   r8d, wd
188     %define wspill r8d
189 %else
190     mov    r5m, wd
191     %define wspill r5m
192 %endif
193
194 .loop:
195     sub     wd, mmsize
196     movu    m1, [srcq +2*wq] ; FIXME: ensure alignment
197     paddw   m1, m0
198     psraw   m1, 6
199     movu    m2, [srcq +2*wq+mmsize] ; FIXME: ensure alignment
200     paddw   m2, m0
201     psraw   m2, 6
202     paddw   m1, [idwtq+2*wq]
203     paddw   m2, [idwtq+2*wq+mmsize]
204     packuswb m1, m2
205     mova    [dstq +wq], m1
206     jg      .loop
207
208     lea   srcq, [srcq + 2*strideq]
209     add   dstq, strideq
210     lea  idwtq, [idwtq+ 2*idwt_strideq]
211     sub     hd, 1
212     mov     wd, wspill
213     jg      .loop
214     RET
215 %endm
216
217 %macro ADD_OBMC 2
218 ; void add_obmc(uint16_t *dst, uint8_t *src, int stride, uint8_t *obmc_weight, int yblen)
219 cglobal add_dirac_obmc%1_%2, 6,6,5, dst, src, stride, obmc, yblen
220     pxor        m4, m4
221 .loop:
222 %assign i 0
223 %rep %1 / mmsize
224     mova        m0, [srcq+i]
225     mova        m1, m0
226     punpcklbw   m0, m4
227     punpckhbw   m1, m4
228     mova        m2, [obmcq+i]
229     mova        m3, m2
230    punpcklbw   m2, m4
231     punpckhbw   m3, m4
232     pmullw      m0, m2
233     pmullw      m1, m3
234     movu        m2, [dstq+2*i]
235     movu        m3, [dstq+2*i+mmsize]
236     paddw       m0, m2
237     paddw       m1, m3
238     movu        [dstq+2*i], m0
239     movu        [dstq+2*i+mmsize], m1
240 %assign i i+mmsize
241 %endrep
242     lea         srcq, [srcq+strideq]
243     lea         dstq, [dstq+2*strideq]
244     add         obmcq, 32
245     sub         yblend, 1
246     jg          .loop
247     RET
248 %endm
249
250 INIT_MMX
251 %if ARCH_X86_64 == 0
252 PUT_RECT mmx
253 ADD_RECT mmx
254
255 HPEL_FILTER mmx
256 ADD_OBMC 32, mmx
257 ADD_OBMC 16, mmx
258 %endif
259 ADD_OBMC 8, mmx
260
261 INIT_XMM
262 PUT_RECT sse2
263 ADD_RECT sse2
264
265 HPEL_FILTER sse2
266 ADD_OBMC 32, sse2
267 ADD_OBMC 16, sse2
268
269 INIT_XMM sse4
270
271 ; void dequant_subband_32(uint8_t *src, uint8_t *dst, ptrdiff_t stride, const int qf, const int qs, int tot_v, int tot_h)
272 cglobal dequant_subband_32, 7, 7, 4, src, dst, stride, qf, qs, tot_v, tot_h
273     movd   m2, qfd
274     movd   m3, qsd
275     SPLATD m2
276     SPLATD m3
277     mov    r4, tot_hq
278     mov    r3, dstq
279
280     .loop_v:
281     mov    tot_hq, r4
282     mov    dstq,   r3
283
284     .loop_h:
285     movu   m0, [srcq]
286
287     pabsd  m1, m0
288     pmulld m1, m2
289     paddd  m1, m3
290     psrld  m1,  2
291     psignd m1, m0
292
293     movu   [dstq], m1
294
295     add    srcq, mmsize
296     add    dstq, mmsize
297     sub    tot_hd, 4
298     jg     .loop_h
299
300     add    r3, strideq
301     dec    tot_vd
302     jg     .loop_v
303
304     RET
305
306 INIT_XMM sse4
307 ; void put_signed_rect_clamped_10(uint8_t *dst, int dst_stride, const uint8_t *src, int src_stride, int width, int height)
308 %if ARCH_X86_64
309 cglobal put_signed_rect_clamped_10, 6, 8, 5, dst, dst_stride, src, src_stride, w, h, t1, t2
310 %else
311 cglobal put_signed_rect_clamped_10, 5, 7, 5, dst, dst_stride, src, src_stride, w, t1, t2
312     %define  hd  r5mp
313 %endif
314     shl      wd, 2
315     add    srcq, wq
316     neg      wq
317     mov     t2q, dstq
318     mov     t1q, wq
319     pxor     m2, m2
320     mova     m3, [clip_10bit]
321     mova     m4, [convert_to_unsigned_10bit]
322
323     .loop_h:
324     mov    dstq, t2q
325     mov      wq, t1q
326
327     .loop_w:
328     movu     m0, [srcq+wq+0*mmsize]
329     movu     m1, [srcq+wq+1*mmsize]
330
331     paddd    m0, m4
332     paddd    m1, m4
333     packusdw m0, m0, m1
334     CLIPW    m0, m2, m3 ; packusdw saturates so it's fine
335
336     movu     [dstq], m0
337
338     add      dstq, 1*mmsize
339     add      wq,   2*mmsize
340     jl       .loop_w
341
342     add    srcq, src_strideq
343     add     t2q, dst_strideq
344     sub      hd, 1
345     jg       .loop_h
346
347     RET