High bit depth SSE2/AVX add8x8_idct8 and add16x16_idct8
[x262.git] / common / x86 / dct-64.asm
1 ;*****************************************************************************
2 ;* dct-64.asm: x86_64 transform and zigzag
3 ;*****************************************************************************
4 ;* Copyright (C) 2003-2011 x264 project
5 ;*
6 ;* Authors: Loren Merritt <lorenm@u.washington.edu>
7 ;*          Holger Lubitz <holger@lubitz.org>
8 ;*          Laurent Aimar <fenrir@via.ecp.fr>
9 ;*          Min Chen <chenm001.163.com>
10 ;*
11 ;* This program is free software; you can redistribute it and/or modify
12 ;* it under the terms of the GNU General Public License as published by
13 ;* the Free Software Foundation; either version 2 of the License, or
14 ;* (at your option) any later version.
15 ;*
16 ;* This program is distributed in the hope that it will be useful,
17 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
18 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 ;* GNU General Public License for more details.
20 ;*
21 ;* You should have received a copy of the GNU General Public License
22 ;* along with this program; if not, write to the Free Software
23 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
24 ;*
25 ;* This program is also available under a commercial proprietary license.
26 ;* For more information, contact us at licensing@x264.com.
27 ;*****************************************************************************
28
29 %include "x86inc.asm"
30 %include "x86util.asm"
31
32 SECTION .text
33
34 cextern pd_32
35 cextern pw_pixel_max
36 cextern pw_2
37 cextern pw_m2
38 cextern pw_32
39 cextern hsub_mul
40
41 ; in: size, m0..m7, temp, temp
42 ; out: m0..m7
43 %macro DCT8_1D 11
44     SUMSUB_BA %1, %6, %5, %11 ; %6=s34, %5=d34
45     SUMSUB_BA %1, %7, %4, %11 ; %7=s25, %4=d25
46     SUMSUB_BA %1, %8, %3, %11 ; %8=s16, %3=d16
47     SUMSUB_BA %1, %9, %2, %11 ; %9=s07, %2=d07
48
49     SUMSUB_BA %1, %7, %8, %11 ; %7=a1, %8=a3
50     SUMSUB_BA %1, %6, %9, %11 ; %6=a0, %9=a2
51
52     psra%1   m%10, m%2, 1
53     padd%1   m%10, m%2
54     padd%1   m%10, m%3
55     padd%1   m%10, m%4 ; %10=a4
56
57     psra%1   m%11, m%5, 1
58     padd%1   m%11, m%5
59     padd%1   m%11, m%3
60     psub%1   m%11, m%4 ; %11=a7
61
62     SUMSUB_BA %1, %5, %2
63     psub%1   m%2, m%4
64     psub%1   m%5, m%3
65     psra%1   m%4, 1
66     psra%1   m%3, 1
67     psub%1   m%2, m%4 ; %2=a5
68     psub%1   m%5, m%3 ; %5=a6
69
70     psra%1   m%3, m%11, 2
71     padd%1   m%3, m%10 ; %3=b1
72     psra%1   m%10, 2
73     psub%1   m%10, m%11 ; %10=b7
74
75     SUMSUB_BA %1, %7, %6, %11 ; %7=b0, %6=b4
76
77     psra%1   m%4, m%8, 1
78     padd%1   m%4, m%9 ; %4=b2
79     psra%1   m%9, 1
80     psub%1   m%9, m%8 ; %9=b6
81
82     psra%1   m%8, m%5, 2
83     padd%1   m%8, m%2 ; %8=b3
84     psra%1   m%2, 2
85     psub%1   m%5, m%2 ; %5=b5
86
87     SWAP %2, %7, %5, %8, %9, %10
88 %endmacro
89
90 %macro IDCT8_1D 11
91     SUMSUB_BA %1, %6, %2, %10 ; %5=a0, %1=a2
92     
93     psra%1   m%10, m%3, 1
94     padd%1   m%10, m%3
95     padd%1   m%10, m%5
96     padd%1   m%10, m%7  ; %9=a7
97
98     psra%1   m%11, m%4, 1
99     psub%1   m%11, m%8 ; %10=a4
100     psra%1   m%8, 1
101     padd%1   m%8, m%4  ; %7=a6
102
103     psra%1   m%4, m%7, 1
104     padd%1   m%4, m%7
105     padd%1   m%4, m%9
106     psub%1   m%4, m%3  ; %3=a5
107
108     psub%1   m%3, m%5
109     psub%1   m%7, m%5
110     padd%1   m%3, m%9
111     psub%1   m%7, m%9
112     psra%1   m%5, 1
113     psra%1   m%9, 1
114     psub%1   m%3, m%5  ; %2=a3
115     psub%1   m%7, m%9  ; %6=a1
116
117     psra%1   m%5, m%10, 2
118     padd%1   m%5, m%7  ; %4=b1
119     psra%1   m%7, 2
120     psub%1   m%10, m%7  ; %9=b7
121
122     SUMSUB_BA %1, %8, %6, %7  ;  %7=b0, %5=b6
123     SUMSUB_BA %1, %11, %2, %7 ; %10=b2, %1=b4
124
125     psra%1   m%9, m%4, 2
126     padd%1   m%9, m%3 ; %8=b3
127     psra%1   m%3, 2
128     psub%1   m%3, m%4 ; %2=b5
129
130     SUMSUB_BA %1, %10, %8, %7  ; %9=c0,  %7=c7
131     SUMSUB_BA %1, %3, %11, %7 ; %2=c1, %10=c6
132     SUMSUB_BA %1, %9, %2, %7  ; %8=c2,  %1=c5
133     SUMSUB_BA %1, %5, %6, %7  ; %4=c3,  %5=c4
134
135     SWAP %11, %4
136     SWAP  %2, %10, %7
137     SWAP  %4, %9, %8
138 %endmacro
139
140 %ifdef HIGH_BIT_DEPTH
141
142 %macro SUB8x8_DCT8 0
143 cglobal sub8x8_dct8, 3,3,14
144 %ifdef WIN64
145     call .skip_prologue
146     RET
147 %endif
148 global current_function %+ .skip_prologue
149 .skip_prologue:
150     LOAD_DIFF8x4 0,1,2,3, none,none, r1, r2
151     LOAD_DIFF8x4 4,5,6,7, none,none, r1, r2
152
153     DCT8_1D w, 0,1,2,3,4,5,6,7, 8,9
154
155     TRANSPOSE4x4W 0,1,2,3,8
156     WIDEN_SXWD 0,8
157     WIDEN_SXWD 1,9
158     WIDEN_SXWD 2,10
159     WIDEN_SXWD 3,11
160     DCT8_1D d, 0,8,1,9,2,10,3,11, 12,13
161     mova  [r0+0x00], m0
162     mova  [r0+0x20], m8
163     mova  [r0+0x40], m1
164     mova  [r0+0x60], m9
165     mova  [r0+0x80], m2
166     mova  [r0+0xA0], m10
167     mova  [r0+0xC0], m3
168     mova  [r0+0xE0], m11
169
170     TRANSPOSE4x4W 4,5,6,7,0
171     WIDEN_SXWD 4,0
172     WIDEN_SXWD 5,1
173     WIDEN_SXWD 6,2
174     WIDEN_SXWD 7,3
175     DCT8_1D d,4,0,5,1,6,2,7,3, 8,9
176     mova  [r0+0x10], m4
177     mova  [r0+0x30], m0
178     mova  [r0+0x50], m5
179     mova  [r0+0x70], m1
180     mova  [r0+0x90], m6
181     mova  [r0+0xB0], m2
182     mova  [r0+0xD0], m7
183     mova  [r0+0xF0], m3
184     ret
185 %endmacro ; SUB8x8_DCT8
186
187 INIT_XMM sse2
188 SUB8x8_DCT8
189 INIT_XMM sse4
190 SUB8x8_DCT8
191 INIT_XMM avx
192 SUB8x8_DCT8
193
194 %macro ADD8x8_IDCT8 0
195 cglobal add8x8_idct8, 2,2,16
196     add r1, 128
197 %ifdef WIN64
198     call .skip_prologue
199     RET
200 %endif
201 global current_function %+ .skip_prologue
202 .skip_prologue:
203     mova     m0, [r1-128]
204     mova     m1, [r1-96]
205     mova     m2, [r1-64]
206     mova     m3, [r1-32]
207     mova     m4, [r1+ 0]
208     mova     m5, [r1+32]
209     mova     m6, [r1+64]
210     mova     m7, [r1+96]
211     IDCT8_1D d,0,1,2,3,4,5,6,7,8,9
212     TRANSPOSE4x4D 0,1,2,3,8
213     TRANSPOSE4x4D 4,5,6,7,8
214     paddd     m0, [pd_32]
215     paddd     m4, [pd_32]
216     mova [r1+64], m6
217     mova [r1+96], m7
218     mova      m8, [r1-112]
219     mova      m9, [r1-80]
220     mova     m10, [r1-48]
221     mova     m11, [r1-16]
222     mova     m12, [r1+16]
223     mova     m13, [r1+48]
224     mova     m14, [r1+80]
225     mova     m15, [r1+112]
226     IDCT8_1D d,8,9,10,11,12,13,14,15,6,7
227     TRANSPOSE4x4D 8,9,10,11,6
228     TRANSPOSE4x4D 12,13,14,15,6
229     IDCT8_1D d,0,1,2,3,8,9,10,11,6,7
230     mova [r1-112], m8
231     mova  [r1-80], m9
232     mova       m6, [r1+64]
233     mova       m7, [r1+96]
234     IDCT8_1D d,4,5,6,7,12,13,14,15,8,9
235     pxor       m8, m8
236     mova       m9, [pw_pixel_max]
237     STORE_DIFF m0, m4, m8, m9, [r0+0*FDEC_STRIDEB]
238     STORE_DIFF m1, m5, m8, m9, [r0+1*FDEC_STRIDEB]
239     STORE_DIFF m2, m6, m8, m9, [r0+2*FDEC_STRIDEB]
240     STORE_DIFF m3, m7, m8, m9, [r0+3*FDEC_STRIDEB]
241     mova       m0, [r1-112]
242     mova       m1, [r1-80]
243     STORE_DIFF  m0, m12, m8, m9, [r0+4*FDEC_STRIDEB]
244     STORE_DIFF  m1, m13, m8, m9, [r0+5*FDEC_STRIDEB]
245     STORE_DIFF m10, m14, m8, m9, [r0+6*FDEC_STRIDEB]
246     STORE_DIFF m11, m15, m8, m9, [r0+7*FDEC_STRIDEB]
247     ret
248 %endmacro ; ADD8x8_IDCT8
249
250 INIT_XMM sse2
251 ADD8x8_IDCT8
252 INIT_XMM avx
253 ADD8x8_IDCT8
254
255 %else ; !HIGH_BIT_DEPTH
256
257 %macro DCT_SUB8 0
258 cglobal sub8x8_dct, 3,3,10
259     add r2, 4*FDEC_STRIDE
260 %if cpuflag(ssse3)
261     mova m7, [hsub_mul]
262 %endif
263 %ifdef WIN64
264     call .skip_prologue
265     RET
266 %endif
267 global current_function %+ .skip_prologue
268 .skip_prologue:
269     SWAP 7, 9
270     LOAD_DIFF8x4 0, 1, 2, 3, 8, 9, r1, r2-4*FDEC_STRIDE
271     LOAD_DIFF8x4 4, 5, 6, 7, 8, 9, r1, r2-4*FDEC_STRIDE
272     DCT4_1D 0, 1, 2, 3, 8
273     TRANSPOSE2x4x4W 0, 1, 2, 3, 8
274     DCT4_1D 4, 5, 6, 7, 8
275     TRANSPOSE2x4x4W 4, 5, 6, 7, 8
276     DCT4_1D 0, 1, 2, 3, 8
277     STORE_DCT 0, 1, 2, 3, r0, 0
278     DCT4_1D 4, 5, 6, 7, 8
279     STORE_DCT 4, 5, 6, 7, r0, 64
280     ret
281
282 ;-----------------------------------------------------------------------------
283 ; void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, uint8_t *pix2 )
284 ;-----------------------------------------------------------------------------
285 cglobal sub8x8_dct8, 3,3,11
286     add r2, 4*FDEC_STRIDE
287 %if cpuflag(ssse3)
288     mova m7, [hsub_mul]
289 %endif
290 %ifdef WIN64
291     call .skip_prologue
292     RET
293 %endif
294 global current_function %+ .skip_prologue
295 .skip_prologue:
296     SWAP 7, 10
297     LOAD_DIFF8x4  0, 1, 2, 3, 4, 10, r1, r2-4*FDEC_STRIDE
298     LOAD_DIFF8x4  4, 5, 6, 7, 8, 10, r1, r2-4*FDEC_STRIDE
299     DCT8_1D    w, 0,1,2,3,4,5,6,7,8,9
300     TRANSPOSE8x8W 0,1,2,3,4,5,6,7,8
301     DCT8_1D    w, 0,1,2,3,4,5,6,7,8,9
302     movdqa  [r0+0x00], m0
303     movdqa  [r0+0x10], m1
304     movdqa  [r0+0x20], m2
305     movdqa  [r0+0x30], m3
306     movdqa  [r0+0x40], m4
307     movdqa  [r0+0x50], m5
308     movdqa  [r0+0x60], m6
309     movdqa  [r0+0x70], m7
310     ret
311 %endmacro
312
313 INIT_XMM sse2
314 %define movdqa movaps
315 %define punpcklqdq movlhps
316 DCT_SUB8
317 %undef movdqa
318 %undef punpcklqdq
319 INIT_XMM ssse3
320 DCT_SUB8
321 INIT_XMM avx
322 DCT_SUB8
323 INIT_XMM xop
324 DCT_SUB8
325
326 ;-----------------------------------------------------------------------------
327 ; void add8x8_idct8( uint8_t *p_dst, int16_t dct[8][8] )
328 ;-----------------------------------------------------------------------------
329 %macro ADD8x8_IDCT8 0
330 cglobal add8x8_idct8, 2,2,11
331     add r0, 4*FDEC_STRIDE
332     pxor m7, m7
333 %ifdef WIN64
334     call .skip_prologue
335     RET
336 %endif
337 global current_function %+ .skip_prologue
338 .skip_prologue:
339     SWAP 7, 9
340     movdqa  m0, [r1+0x00]
341     movdqa  m1, [r1+0x10]
342     movdqa  m2, [r1+0x20]
343     movdqa  m3, [r1+0x30]
344     movdqa  m4, [r1+0x40]
345     movdqa  m5, [r1+0x50]
346     movdqa  m6, [r1+0x60]
347     movdqa  m7, [r1+0x70]
348     IDCT8_1D      w,0,1,2,3,4,5,6,7,8,10
349     TRANSPOSE8x8W 0,1,2,3,4,5,6,7,8
350     paddw         m0, [pw_32] ; rounding for the >>6 at the end
351     IDCT8_1D      w,0,1,2,3,4,5,6,7,8,10
352     DIFFx2 m0, m1, m8, m9, [r0-4*FDEC_STRIDE], [r0-3*FDEC_STRIDE]
353     DIFFx2 m2, m3, m8, m9, [r0-2*FDEC_STRIDE], [r0-1*FDEC_STRIDE]
354     DIFFx2 m4, m5, m8, m9, [r0+0*FDEC_STRIDE], [r0+1*FDEC_STRIDE]
355     DIFFx2 m6, m7, m8, m9, [r0+2*FDEC_STRIDE], [r0+3*FDEC_STRIDE]
356     STORE_IDCT m1, m3, m5, m7
357     ret
358 %endmacro ; ADD8x8_IDCT8
359
360 INIT_XMM sse2
361 ADD8x8_IDCT8
362 INIT_XMM avx
363 ADD8x8_IDCT8
364
365 ;-----------------------------------------------------------------------------
366 ; void add8x8_idct( uint8_t *pix, int16_t dct[4][4][4] )
367 ;-----------------------------------------------------------------------------
368 %macro ADD8x8 0
369 cglobal add8x8_idct, 2,2,11
370     add  r0, 4*FDEC_STRIDE
371     pxor m7, m7
372 %ifdef WIN64
373     call .skip_prologue
374     RET
375 %endif
376 global current_function %+ .skip_prologue
377 .skip_prologue:
378     SWAP 7, 9
379     mova   m0, [r1+ 0]
380     mova   m2, [r1+16]
381     mova   m1, [r1+32]
382     mova   m3, [r1+48]
383     SBUTTERFLY qdq, 0, 1, 4
384     SBUTTERFLY qdq, 2, 3, 4
385     mova   m4, [r1+64]
386     mova   m6, [r1+80]
387     mova   m5, [r1+96]
388     mova   m7, [r1+112]
389     SBUTTERFLY qdq, 4, 5, 8
390     SBUTTERFLY qdq, 6, 7, 8
391     IDCT4_1D w,0,1,2,3,8,10
392     TRANSPOSE2x4x4W 0,1,2,3,8
393     IDCT4_1D w,4,5,6,7,8,10
394     TRANSPOSE2x4x4W 4,5,6,7,8
395     paddw m0, [pw_32]
396     IDCT4_1D w,0,1,2,3,8,10
397     paddw m4, [pw_32]
398     IDCT4_1D w,4,5,6,7,8,10
399     DIFFx2 m0, m1, m8, m9, [r0-4*FDEC_STRIDE], [r0-3*FDEC_STRIDE]
400     DIFFx2 m2, m3, m8, m9, [r0-2*FDEC_STRIDE], [r0-1*FDEC_STRIDE]
401     DIFFx2 m4, m5, m8, m9, [r0+0*FDEC_STRIDE], [r0+1*FDEC_STRIDE]
402     DIFFx2 m6, m7, m8, m9, [r0+2*FDEC_STRIDE], [r0+3*FDEC_STRIDE]
403     STORE_IDCT m1, m3, m5, m7
404     ret
405 %endmacro ; ADD8x8
406
407 INIT_XMM sse2
408 ADD8x8
409 INIT_XMM avx
410 ADD8x8
411 %endif ; !HIGH_BIT_DEPTH