h264_chromamc_10bit: port x86 simd to cpuflags.
[ffmpeg.git] / libavcodec / x86 / h264_chromamc_10bit.asm
1 ;*****************************************************************************
2 ;* MMX/SSE2/AVX-optimized 10-bit H.264 chroma MC code
3 ;*****************************************************************************
4 ;* Copyright (C) 2005-2011 x264 project
5 ;*
6 ;* Authors: Daniel Kang <daniel.d.kang@gmail.com>
7 ;*
8 ;* This file is part of Libav.
9 ;*
10 ;* Libav is free software; you can redistribute it and/or
11 ;* modify it under the terms of the GNU Lesser General Public
12 ;* License as published by the Free Software Foundation; either
13 ;* version 2.1 of the License, or (at your option) any later version.
14 ;*
15 ;* Libav is distributed in the hope that it will be useful,
16 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18 ;* Lesser General Public License for more details.
19 ;*
20 ;* You should have received a copy of the GNU Lesser General Public
21 ;* License along with Libav; if not, write to the Free Software
22 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23 ;******************************************************************************
24
25 %include "x86inc.asm"
26 %include "x86util.asm"
27
28 SECTION_RODATA
29
30 cextern pw_4
31 cextern pw_8
32 cextern pw_32
33 cextern pw_64
34
35 SECTION .text
36
37
38 %macro MV0_PIXELS_MC8 0
39     lea           r4, [r2*3   ]
40     lea           r5, [r2*4   ]
41 .next4rows
42     movu          m0, [r1     ]
43     movu          m1, [r1+r2  ]
44     CHROMAMC_AVG  m0, [r0     ]
45     CHROMAMC_AVG  m1, [r0+r2  ]
46     mova   [r0     ], m0
47     mova   [r0+r2  ], m1
48     movu          m0, [r1+r2*2]
49     movu          m1, [r1+r4  ]
50     CHROMAMC_AVG  m0, [r0+r2*2]
51     CHROMAMC_AVG  m1, [r0+r4  ]
52     mova   [r0+r2*2], m0
53     mova   [r0+r4  ], m1
54     add           r1, r5
55     add           r0, r5
56     sub          r3d, 4
57     jne .next4rows
58 %endmacro
59
60 ;-----------------------------------------------------------------------------
61 ; void put/avg_h264_chroma_mc8(pixel *dst, pixel *src, int stride, int h, int mx, int my)
62 ;-----------------------------------------------------------------------------
63 %macro CHROMA_MC8 1
64 ; put/avg_h264_chroma_mc8_*(uint8_t *dst /*align 8*/, uint8_t *src /*align 1*/,
65 ;                              int stride, int h, int mx, int my)
66 cglobal %1_h264_chroma_mc8_10, 6,7,8
67     movsxdifnidn  r2, r2d
68     mov          r6d, r5d
69     or           r6d, r4d
70     jne .at_least_one_non_zero
71     ; mx == 0 AND my == 0 - no filter needed
72     MV0_PIXELS_MC8
73     REP_RET
74
75 .at_least_one_non_zero
76     mov          r6d, 2
77     test         r5d, r5d
78     je .x_interpolation
79     mov           r6, r2        ; dxy = x ? 1 : stride
80     test         r4d, r4d
81     jne .xy_interpolation
82 .x_interpolation
83     ; mx == 0 XOR my == 0 - 1 dimensional filter only
84     or           r4d, r5d       ; x + y
85     movd          m5, r4d
86     mova          m4, [pw_8]
87     mova          m6, [pw_4]    ; mm6 = rnd >> 3
88     SPLATW        m5, m5        ; mm5 = B = x
89     psubw         m4, m5        ; mm4 = A = 8-x
90
91 .next1drow
92     movu          m0, [r1   ]   ; mm0 = src[0..7]
93     movu          m2, [r1+r6]   ; mm2 = src[1..8]
94
95     pmullw        m0, m4        ; mm0 = A * src[0..7]
96     pmullw        m2, m5        ; mm2 = B * src[1..8]
97
98     paddw         m0, m6
99     paddw         m0, m2
100     psrlw         m0, 3
101     CHROMAMC_AVG  m0, [r0]
102     mova        [r0], m0        ; dst[0..7] = (A * src[0..7] + B * src[1..8] + (rnd >> 3)) >> 3
103
104     add           r0, r2
105     add           r1, r2
106     dec           r3d
107     jne .next1drow
108     REP_RET
109
110 .xy_interpolation ; general case, bilinear
111     movd          m4, r4m         ; x
112     movd          m6, r5m         ; y
113
114     SPLATW        m4, m4          ; mm4 = x words
115     SPLATW        m6, m6          ; mm6 = y words
116     psllw         m5, m4, 3       ; mm5 = 8x
117     pmullw        m4, m6          ; mm4 = x * y
118     psllw         m6, 3           ; mm6 = 8y
119     paddw         m1, m5, m6      ; mm7 = 8x+8y
120     mova          m7, m4          ; DD = x * y
121     psubw         m5, m4          ; mm5 = B = 8x - xy
122     psubw         m6, m4          ; mm6 = C = 8y - xy
123     paddw         m4, [pw_64]
124     psubw         m4, m1          ; mm4 = A = xy - (8x+8y) + 64
125
126     movu          m0, [r1  ]      ; mm0 = src[0..7]
127     movu          m1, [r1+2]      ; mm1 = src[1..8]
128 .next2drow
129     add           r1, r2
130
131     pmullw        m2, m0, m4
132     pmullw        m1, m5
133     paddw         m2, m1          ; mm2 = A * src[0..7] + B * src[1..8]
134
135     movu          m0, [r1]
136     movu          m1, [r1+2]
137     pmullw        m3, m0, m6
138     paddw         m2, m3          ; mm2 += C * src[0..7+strde]
139     pmullw        m3, m1, m7
140     paddw         m2, m3          ; mm2 += D * src[1..8+strde]
141
142     paddw         m2, [pw_32]
143     psrlw         m2, 6
144     CHROMAMC_AVG  m2, [r0]
145     mova        [r0], m2          ; dst[0..7] = (mm2 + 32) >> 6
146
147     add           r0, r2
148     dec          r3d
149     jne .next2drow
150     REP_RET
151 %endmacro
152
153 ;-----------------------------------------------------------------------------
154 ; void put/avg_h264_chroma_mc4(pixel *dst, pixel *src, int stride, int h, int mx, int my)
155 ;-----------------------------------------------------------------------------
156 ;TODO: xmm mc4
157 %macro MC4_OP 2
158     movq          %1, [r1  ]
159     movq          m1, [r1+2]
160     add           r1, r2
161     pmullw        %1, m4
162     pmullw        m1, m2
163     paddw         m1, %1
164     mova          %1, m1
165
166     pmullw        %2, m5
167     pmullw        m1, m3
168     paddw         %2, [pw_32]
169     paddw         m1, %2
170     psrlw         m1, 6
171     CHROMAMC_AVG  m1, %2, [r0]
172     movq        [r0], m1
173     add           r0, r2
174 %endmacro
175
176 %macro CHROMA_MC4 1
177 cglobal %1_h264_chroma_mc4_10, 6,6,7
178     movsxdifnidn  r2, r2d
179     movd          m2, r4m         ; x
180     movd          m3, r5m         ; y
181     mova          m4, [pw_8]
182     mova          m5, m4
183     SPLATW        m2, m2
184     SPLATW        m3, m3
185     psubw         m4, m2
186     psubw         m5, m3
187
188     movq          m0, [r1  ]
189     movq          m6, [r1+2]
190     add           r1, r2
191     pmullw        m0, m4
192     pmullw        m6, m2
193     paddw         m6, m0
194
195 .next2rows
196     MC4_OP m0, m6
197     MC4_OP m6, m0
198     sub   r3d, 2
199     jnz .next2rows
200     REP_RET
201 %endmacro
202
203 ;-----------------------------------------------------------------------------
204 ; void put/avg_h264_chroma_mc2(pixel *dst, pixel *src, int stride, int h, int mx, int my)
205 ;-----------------------------------------------------------------------------
206 %macro CHROMA_MC2 1
207 cglobal %1_h264_chroma_mc2_10, 6,7
208     movsxdifnidn  r2, r2d
209     mov          r6d, r4d
210     shl          r4d, 16
211     sub          r4d, r6d
212     add          r4d, 8
213     imul         r5d, r4d         ; x*y<<16 | y*(8-x)
214     shl          r4d, 3
215     sub          r4d, r5d         ; x*(8-y)<<16 | (8-x)*(8-y)
216
217     movd          m5, r4d
218     movd          m6, r5d
219     punpckldq     m5, m5          ; mm5 = {A,B,A,B}
220     punpckldq     m6, m6          ; mm6 = {C,D,C,D}
221     pxor          m7, m7
222     pshufw        m2, [r1], 0x94    ; mm0 = src[0,1,1,2]
223
224 .nextrow
225     add           r1, r2
226     movq          m1, m2
227     pmaddwd       m1, m5          ; mm1 = A * src[0,1] + B * src[1,2]
228     pshufw        m0, [r1], 0x94    ; mm0 = src[0,1,1,2]
229     movq          m2, m0
230     pmaddwd       m0, m6
231     paddw         m1, [pw_32]
232     paddw         m1, m0          ; mm1 += C * src[0,1] + D * src[1,2]
233     psrlw         m1, 6
234     packssdw      m1, m7
235     CHROMAMC_AVG  m1, m3, [r0]
236     movd        [r0], m1
237     add           r0, r2
238     dec          r3d
239     jnz .nextrow
240     REP_RET
241 %endmacro
242
243 %macro NOTHING 2-3
244 %endmacro
245 %macro AVG 2-3
246 %if %0==3
247     movq          %2, %3
248 %endif
249     PAVG          %1, %2
250 %endmacro
251
252 %define CHROMAMC_AVG  NOTHING
253 INIT_XMM sse2
254 CHROMA_MC8 put
255 %if HAVE_AVX
256 INIT_XMM avx
257 CHROMA_MC8 put
258 %endif
259 INIT_MMX mmx2
260 CHROMA_MC4 put
261 CHROMA_MC2 put
262
263 %define CHROMAMC_AVG  AVG
264 %define PAVG          pavgw
265 INIT_XMM sse2
266 CHROMA_MC8 avg
267 %if HAVE_AVX
268 INIT_XMM avx
269 CHROMA_MC8 avg
270 %endif
271 INIT_MMX mmx2
272 CHROMA_MC4 avg
273 CHROMA_MC2 avg