Add mmxext version of VP8 DC Hadamard transform
[ffmpeg.git] / libavcodec / x86 / vp8dsp.asm
1 ;******************************************************************************
2 ;* VP8 MMXEXT optimizations
3 ;* Copyright (c) 2010 Ronald S. Bultje <rsbultje@gmail.com>
4 ;* Copyright (c) 2010 Jason Garrett-Glaser <darkshikari@gmail.com>
5 ;*
6 ;* This file is part of FFmpeg.
7 ;*
8 ;* FFmpeg is free software; you can redistribute it and/or
9 ;* modify it under the terms of the GNU Lesser General Public
10 ;* License as published by the Free Software Foundation; either
11 ;* version 2.1 of the License, or (at your option) any later version.
12 ;*
13 ;* FFmpeg is distributed in the hope that it will be useful,
14 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
15 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16 ;* Lesser General Public License for more details.
17 ;*
18 ;* You should have received a copy of the GNU Lesser General Public
19 ;* License along with FFmpeg; if not, write to the Free Software
20 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21 ;******************************************************************************
22
23 %include "x86inc.asm"
24 %include "x86util.asm"
25
26 SECTION_RODATA
27
28 fourtap_filter_hw_m: times 4 dw  -6, 123
29                      times 4 dw  12,  -1
30                      times 4 dw  -9,  93
31                      times 4 dw  50,  -6
32                      times 4 dw  -6,  50
33                      times 4 dw  93,  -9
34                      times 4 dw  -1,  12
35                      times 4 dw 123,  -6
36
37 sixtap_filter_hw_m:  times 4 dw   2, -11
38                      times 4 dw 108,  36
39                      times 4 dw  -8,   1
40                      times 4 dw   3, -16
41                      times 4 dw  77,  77
42                      times 4 dw -16,   3
43                      times 4 dw   1,  -8
44                      times 4 dw  36, 108
45                      times 4 dw -11,   2
46
47 fourtap_filter_hb_m: times 8 db  -6,  -1
48                      times 8 db 123,  12
49                      times 8 db  -9,  -6
50                      times 8 db  93,  50
51                      times 8 db  -6,  -9
52                      times 8 db  50,  93
53                      times 8 db  -1,  -6
54                      times 8 db  12, 123
55
56 sixtap_filter_hb_m:  times 8 db   2,   1
57                      times 8 db -11, 108
58                      times 8 db  36,  -8
59                      times 8 db   3,   3
60                      times 8 db -16,  77
61                      times 8 db  77, -16
62                      times 8 db   1,   2
63                      times 8 db  -8,  36
64                      times 8 db 108, -11
65
66 fourtap_filter_v_m:  times 8 dw  -6
67                      times 8 dw 123
68                      times 8 dw  12
69                      times 8 dw  -1
70                      times 8 dw  -9
71                      times 8 dw  93
72                      times 8 dw  50
73                      times 8 dw  -6
74                      times 8 dw  -6
75                      times 8 dw  50
76                      times 8 dw  93
77                      times 8 dw  -9
78                      times 8 dw  -1
79                      times 8 dw  12
80                      times 8 dw 123
81                      times 8 dw  -6
82
83 sixtap_filter_v_m:   times 8 dw   2
84                      times 8 dw -11
85                      times 8 dw 108
86                      times 8 dw  36
87                      times 8 dw  -8
88                      times 8 dw   1
89                      times 8 dw   3
90                      times 8 dw -16
91                      times 8 dw  77
92                      times 8 dw  77
93                      times 8 dw -16
94                      times 8 dw   3
95                      times 8 dw   1
96                      times 8 dw  -8
97                      times 8 dw  36
98                      times 8 dw 108
99                      times 8 dw -11
100                      times 8 dw   2
101
102 bilinear_filter_vw_m: times 8 dw 1
103                       times 8 dw 2
104                       times 8 dw 3
105                       times 8 dw 4
106                       times 8 dw 5
107                       times 8 dw 6
108                       times 8 dw 7
109
110 bilinear_filter_vb_m: times 8 db 7, 1
111                       times 8 db 6, 2
112                       times 8 db 5, 3
113                       times 8 db 4, 4
114                       times 8 db 3, 5
115                       times 8 db 2, 6
116                       times 8 db 1, 7
117
118 %ifdef PIC
119 %define fourtap_filter_hw    r11
120 %define sixtap_filter_hw     r11
121 %define fourtap_filter_hb    r11
122 %define sixtap_filter_hb     r11
123 %define fourtap_filter_v     r11
124 %define sixtap_filter_v      r11
125 %define bilinear_filter_vw   r11
126 %define bilinear_filter_vb   r11
127 %else
128 %define fourtap_filter_hw fourtap_filter_hw_m
129 %define sixtap_filter_hw  sixtap_filter_hw_m
130 %define fourtap_filter_hb fourtap_filter_hb_m
131 %define sixtap_filter_hb  sixtap_filter_hb_m
132 %define fourtap_filter_v  fourtap_filter_v_m
133 %define sixtap_filter_v   sixtap_filter_v_m
134 %define bilinear_filter_vw bilinear_filter_vw_m
135 %define bilinear_filter_vb bilinear_filter_vb_m
136 %endif
137
138 filter_h2_shuf:  db 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5,  6, 6,  7,  7,  8
139 filter_h4_shuf:  db 0, 3, 1, 4, 2, 5, 3, 6, 4, 7, 5,  8, 6,  9,  7, 10
140
141 filter_h6_shuf1: db 0, 5, 1, 6, 2, 7, 3, 8, 4, 9, 5, 10, 6, 11,  7, 12
142 filter_h6_shuf2: db 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6,  7, 7,  8,  8,  9
143 filter_h6_shuf3: db 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8,  9, 9, 10, 10, 11
144
145 cextern pw_3
146 cextern pw_4
147 cextern pw_64
148
149 SECTION .text
150
151 ;-----------------------------------------------------------------------------
152 ; subpel MC functions:
153 ;
154 ; void put_vp8_epel<size>_h<htap>v<vtap>_<opt>(uint8_t *dst, int deststride,
155 ;                                              uint8_t *src, int srcstride,
156 ;                                              int height,   int mx, int my);
157 ;-----------------------------------------------------------------------------
158
159 ; 4x4 block, H-only 4-tap filter
160 cglobal put_vp8_epel4_h4_mmxext, 6, 6
161     shl       r5d, 4
162 %ifdef PIC
163     lea       r11, [fourtap_filter_hw_m]
164 %endif
165     movq      mm4, [fourtap_filter_hw+r5-16] ; set up 4tap filter in words
166     movq      mm5, [fourtap_filter_hw+r5]
167     movq      mm7, [pw_64]
168     pxor      mm6, mm6
169
170 .nextrow
171     movq      mm1, [r2-1]                  ; (ABCDEFGH) load 8 horizontal pixels
172
173     ; first set of 2 pixels
174     movq      mm2, mm1                     ; byte ABCD..
175     punpcklbw mm1, mm6                     ; byte->word ABCD
176     pshufw    mm0, mm2, 9                  ; byte CDEF..
177     punpcklbw mm0, mm6                     ; byte->word CDEF
178     pshufw    mm3, mm1, 0x94               ; word ABBC
179     pshufw    mm1, mm0, 0x94               ; word CDDE
180     pmaddwd   mm3, mm4                     ; multiply 2px with F0/F1
181     movq      mm0, mm1                     ; backup for second set of pixels
182     pmaddwd   mm1, mm5                     ; multiply 2px with F2/F3
183     paddd     mm3, mm1                     ; finish 1st 2px
184
185     ; second set of 2 pixels, use backup of above
186     punpckhbw mm2, mm6                     ; byte->word EFGH
187     pmaddwd   mm0, mm4                     ; multiply backed up 2px with F0/F1
188     pshufw    mm1, mm2, 0x94               ; word EFFG
189     pmaddwd   mm1, mm5                     ; multiply 2px with F2/F3
190     paddd     mm0, mm1                     ; finish 2nd 2px
191
192     ; merge two sets of 2 pixels into one set of 4, round/clip/store
193     packssdw  mm3, mm0                     ; merge dword->word (4px)
194     paddsw    mm3, mm7                     ; rounding
195     psraw     mm3, 7
196     packuswb  mm3, mm6                     ; clip and word->bytes
197     movd     [r0], mm3                     ; store
198
199     ; go to next line
200     add        r0, r1
201     add        r2, r3
202     dec        r4                          ; next row
203     jg .nextrow
204     REP_RET
205
206 ; 4x4 block, H-only 6-tap filter
207 cglobal put_vp8_epel4_h6_mmxext, 6, 6
208     lea       r5d, [r5*3]
209 %ifdef PIC
210     lea       r11, [sixtap_filter_hw_m]
211 %endif
212     movq      mm4, [sixtap_filter_hw+r5*8-48] ; set up 4tap filter in words
213     movq      mm5, [sixtap_filter_hw+r5*8-32]
214     movq      mm6, [sixtap_filter_hw+r5*8-16]
215     movq      mm7, [pw_64]
216     pxor      mm3, mm3
217
218 .nextrow
219     movq      mm1, [r2-2]                  ; (ABCDEFGH) load 8 horizontal pixels
220
221     ; first set of 2 pixels
222     movq      mm2, mm1                     ; byte ABCD..
223     punpcklbw mm1, mm3                     ; byte->word ABCD
224     pshufw    mm0, mm2, 0x9                ; byte CDEF..
225     punpckhbw mm2, mm3                     ; byte->word EFGH
226     punpcklbw mm0, mm3                     ; byte->word CDEF
227     pshufw    mm1, mm1, 0x94               ; word ABBC
228     pshufw    mm2, mm2, 0x94               ; word EFFG
229     pmaddwd   mm1, mm4                     ; multiply 2px with F0/F1
230     pshufw    mm3, mm0, 0x94               ; word CDDE
231     movq      mm0, mm3                     ; backup for second set of pixels
232     pmaddwd   mm3, mm5                     ; multiply 2px with F2/F3
233     paddd     mm1, mm3                     ; add to 1st 2px cache
234     movq      mm3, mm2                     ; backup for second set of pixels
235     pmaddwd   mm2, mm6                     ; multiply 2px with F4/F5
236     paddd     mm1, mm2                     ; finish 1st 2px
237
238     ; second set of 2 pixels, use backup of above
239     movd      mm2, [r2+3]                  ; byte FGHI (prevent overreads)
240     pmaddwd   mm0, mm4                     ; multiply 1st backed up 2px with F0/F1
241     pmaddwd   mm3, mm5                     ; multiply 2nd backed up 2px with F2/F3
242     paddd     mm0, mm3                     ; add to 2nd 2px cache
243     pxor      mm3, mm3
244     punpcklbw mm2, mm3                     ; byte->word FGHI
245     pshufw    mm2, mm2, 0xE9               ; word GHHI
246     pmaddwd   mm2, mm6                     ; multiply 2px with F4/F5
247     paddd     mm0, mm2                     ; finish 2nd 2px
248
249     ; merge two sets of 2 pixels into one set of 4, round/clip/store
250     packssdw  mm1, mm0                     ; merge dword->word (4px)
251     paddsw    mm1, mm7                     ; rounding
252     psraw     mm1, 7
253     packuswb  mm1, mm3                     ; clip and word->bytes
254     movd     [r0], mm1                     ; store
255
256     ; go to next line
257     add        r0, r1
258     add        r2, r3
259     dec        r4                          ; next row
260     jg .nextrow
261     REP_RET
262
263 ; 4x4 block, H-only 4-tap filter
264 INIT_XMM
265 cglobal put_vp8_epel8_h4_sse2, 6, 6, 8
266     shl      r5d, 4
267 %ifdef PIC
268     lea      r11, [fourtap_filter_hw_m]
269 %endif
270     mova      m5, [fourtap_filter_hw+r5-16] ; set up 4tap filter in words
271     mova      m6, [fourtap_filter_hw+r5]
272     pxor      m7, m7
273
274 .nextrow
275     movh      m0, [r2-1]
276     punpcklbw m0, m7        ; ABCDEFGH
277     mova      m1, m0
278     mova      m2, m0
279     mova      m3, m0
280     psrldq    m1, 2         ; BCDEFGH
281     psrldq    m2, 4         ; CDEFGH
282     psrldq    m3, 6         ; DEFGH
283     punpcklwd m0, m1        ; ABBCCDDE
284     punpcklwd m2, m3        ; CDDEEFFG
285     pmaddwd   m0, m5
286     pmaddwd   m2, m6
287     paddd     m0, m2
288
289     movh      m1, [r2+3]
290     punpcklbw m1, m7        ; ABCDEFGH
291     mova      m2, m1
292     mova      m3, m1
293     mova      m4, m1
294     psrldq    m2, 2         ; BCDEFGH
295     psrldq    m3, 4         ; CDEFGH
296     psrldq    m4, 6         ; DEFGH
297     punpcklwd m1, m2        ; ABBCCDDE
298     punpcklwd m3, m4        ; CDDEEFFG
299     pmaddwd   m1, m5
300     pmaddwd   m3, m6
301     paddd     m1, m3
302
303     packssdw  m0, m1
304     paddsw    m0, [pw_64]
305     psraw     m0, 7
306     packuswb  m0, m7
307     movh    [r0], m0        ; store
308
309     ; go to next line
310     add       r0, r1
311     add       r2, r3
312     dec       r4            ; next row
313     jg .nextrow
314     REP_RET
315
316 cglobal put_vp8_epel8_h6_sse2, 6, 6, 8
317     lea      r5d, [r5*3]
318 %ifdef PIC
319     lea      r11, [sixtap_filter_hw_m]
320 %endif
321     lea       r5, [sixtap_filter_hw+r5*8]
322     pxor      m7, m7
323
324 .nextrow
325     movu      m0, [r2-2]
326     mova      m6, m0
327     mova      m4, m0
328     punpcklbw m0, m7        ; ABCDEFGHI
329     mova      m1, m0
330     mova      m2, m0
331     mova      m3, m0
332     psrldq    m1, 2         ; BCDEFGH
333     psrldq    m2, 4         ; CDEFGH
334     psrldq    m3, 6         ; DEFGH
335     psrldq    m4, 4
336     punpcklbw m4, m7        ; EFGH
337     mova      m5, m4
338     psrldq    m5, 2         ; FGH
339     punpcklwd m0, m1        ; ABBCCDDE
340     punpcklwd m2, m3        ; CDDEEFFG
341     punpcklwd m4, m5        ; EFFGGHHI
342     pmaddwd   m0, [r5-48]
343     pmaddwd   m2, [r5-32]
344     pmaddwd   m4, [r5-16]
345     paddd     m0, m2
346     paddd     m0, m4
347
348     psrldq    m6, 4
349     mova      m4, m6
350     punpcklbw m6, m7        ; ABCDEFGHI
351     mova      m1, m6
352     mova      m2, m6
353     mova      m3, m6
354     psrldq    m1, 2         ; BCDEFGH
355     psrldq    m2, 4         ; CDEFGH
356     psrldq    m3, 6         ; DEFGH
357     psrldq    m4, 4
358     punpcklbw m4, m7        ; EFGH
359     mova      m5, m4
360     psrldq    m5, 2         ; FGH
361     punpcklwd m6, m1        ; ABBCCDDE
362     punpcklwd m2, m3        ; CDDEEFFG
363     punpcklwd m4, m5        ; EFFGGHHI
364     pmaddwd   m6, [r5-48]
365     pmaddwd   m2, [r5-32]
366     pmaddwd   m4, [r5-16]
367     paddd     m6, m2
368     paddd     m6, m4
369
370     packssdw  m0, m6
371     paddsw    m0, [pw_64]
372     psraw     m0, 7
373     packuswb  m0, m7
374     movh    [r0], m0        ; store
375
376     ; go to next line
377     add       r0, r1
378     add       r2, r3
379     dec       r4            ; next row
380     jg .nextrow
381     REP_RET
382
383 cglobal put_vp8_epel8_h4_ssse3, 6, 6, 7
384     shl      r5d, 4
385     mova      m2, [pw_64]
386     mova      m3, [filter_h4_shuf]
387     mova      m4, [filter_h6_shuf2]
388 %ifdef PIC
389     lea      r11, [fourtap_filter_hb_m]
390 %endif
391     mova      m5, [fourtap_filter_hb+r5-16] ; set up 4tap filter in bytes
392     mova      m6, [fourtap_filter_hb+r5]
393
394 .nextrow
395     movu      m0, [r2-1]
396     mova      m1, m0
397     pshufb    m0, m3
398     pshufb    m1, m4
399     pmaddubsw m0, m5
400     pmaddubsw m1, m6
401     paddsw    m0, m2
402     paddsw    m0, m1
403     psraw     m0, 7
404     packuswb  m0, m0
405     movh    [r0], m0        ; store
406
407     ; go to next line
408     add       r0, r1
409     add       r2, r3
410     dec       r4            ; next row
411     jg .nextrow
412     REP_RET
413
414 cglobal put_vp8_epel8_h6_ssse3, 6, 6, 8
415     lea      r5d, [r5*3]
416     mova      m3, [filter_h6_shuf1]
417     mova      m4, [filter_h6_shuf2]
418 %ifdef PIC
419     lea      r11, [sixtap_filter_hb_m]
420 %endif
421     mova      m5, [sixtap_filter_hb+r5*8-48] ; set up 6tap filter in bytes
422     mova      m6, [sixtap_filter_hb+r5*8-32]
423     mova      m7, [sixtap_filter_hb+r5*8-16]
424
425 .nextrow
426     movu      m0, [r2-2]
427     mova      m1, m0
428     mova      m2, m0
429     pshufb    m0, m3
430     pshufb    m1, m4
431     pshufb    m2, [filter_h6_shuf3]
432     pmaddubsw m0, m5
433     pmaddubsw m1, m6
434     pmaddubsw m2, m7
435     paddsw    m0, m1
436     paddsw    m0, m2
437     paddsw    m0, [pw_64]
438     psraw     m0, 7
439     packuswb  m0, m0
440     movh    [r0], m0        ; store
441
442     ; go to next line
443     add       r0, r1
444     add       r2, r3
445     dec       r4            ; next row
446     jg .nextrow
447     REP_RET
448
449 %macro FILTER_V 3
450 ; 4x4 block, V-only 4-tap filter
451 cglobal put_vp8_epel%2_v4_%1, 7, 7, %3
452     shl      r6d, 5
453 %ifdef PIC
454     lea      r11, [fourtap_filter_v_m]
455 %endif
456     lea       r6, [fourtap_filter_v+r6-32]
457     mova      m6, [pw_64]
458     pxor      m7, m7
459     mova      m5, [r6+48]
460
461     ; read 3 lines
462     sub       r2, r3
463     movh      m0, [r2]
464     movh      m1, [r2+  r3]
465     movh      m2, [r2+2*r3]
466     add       r2, r3
467     punpcklbw m0, m7
468     punpcklbw m1, m7
469     punpcklbw m2, m7
470
471 .nextrow
472     ; first calculate negative taps (to prevent losing positive overflows)
473     movh      m4, [r2+2*r3]                ; read new row
474     punpcklbw m4, m7
475     mova      m3, m4
476     pmullw    m0, [r6+0]
477     pmullw    m4, m5
478     paddsw    m4, m0
479
480     ; then calculate positive taps
481     mova      m0, m1
482     pmullw    m1, [r6+16]
483     paddsw    m4, m1
484     mova      m1, m2
485     pmullw    m2, [r6+32]
486     paddsw    m4, m2
487     mova      m2, m3
488
489     ; round/clip/store
490     paddsw    m4, m6
491     psraw     m4, 7
492     packuswb  m4, m7
493     movh    [r0], m4
494
495     ; go to next line
496     add       r0, r1
497     add       r2, r3
498     dec       r4                           ; next row
499     jg .nextrow
500     REP_RET
501
502
503 ; 4x4 block, V-only 6-tap filter
504 cglobal put_vp8_epel%2_v6_%1, 7, 7, %3
505     shl      r6d, 4
506     lea       r6, [r6*3]
507 %ifdef PIC
508     lea      r11, [sixtap_filter_v_m]
509 %endif
510     lea       r6, [sixtap_filter_v+r6-96]
511     pxor      m7, m7
512
513     ; read 5 lines
514     sub       r2, r3
515     sub       r2, r3
516     movh      m0, [r2]
517     movh      m1, [r2+r3]
518     movh      m2, [r2+r3*2]
519     lea       r2, [r2+r3*2]
520     add       r2, r3
521     movh      m3, [r2]
522     movh      m4, [r2+r3]
523     punpcklbw m0, m7
524     punpcklbw m1, m7
525     punpcklbw m2, m7
526     punpcklbw m3, m7
527     punpcklbw m4, m7
528
529 .nextrow
530     ; first calculate negative taps (to prevent losing positive overflows)
531     mova      m5, m1
532     pmullw    m5, [r6+16]
533     mova      m6, m4
534     pmullw    m6, [r6+64]
535     paddsw    m6, m5
536
537     ; then calculate positive taps
538     movh      m5, [r2+2*r3]                ; read new row
539     punpcklbw m5, m7
540     pmullw    m0, [r6+0]
541     paddsw    m6, m0
542     mova      m0, m1
543     mova      m1, m2
544     pmullw    m2, [r6+32]
545     paddsw    m6, m2
546     mova      m2, m3
547     pmullw    m3, [r6+48]
548     paddsw    m6, m3
549     mova      m3, m4
550     mova      m4, m5
551     pmullw    m5, [r6+80]
552     paddsw    m6, m5
553
554     ; round/clip/store
555     paddsw    m6, [pw_64]
556     psraw     m6, 7
557     packuswb  m6, m7
558     movh    [r0], m6
559
560     ; go to next line
561     add       r0, r1
562     add       r2, r3
563     dec       r4                           ; next row
564     jg .nextrow
565     REP_RET
566 %endmacro
567
568 INIT_MMX
569 FILTER_V mmxext, 4, 0
570 INIT_XMM
571 FILTER_V sse2,   8, 8
572
573 cglobal put_vp8_epel8_v4_ssse3, 7, 7, 8
574     shl      r6d, 4
575 %ifdef PIC
576     lea      r11, [fourtap_filter_hb_m]
577 %endif
578     mova      m5, [fourtap_filter_hb+r6-16]
579     mova      m6, [fourtap_filter_hb+r6]
580     mova      m7, [pw_64]
581
582     ; read 3 lines
583     sub       r2, r3
584     movh      m0, [r2]
585     movh      m1, [r2+  r3]
586     movh      m2, [r2+2*r3]
587     add       r2, r3
588
589 .nextrow
590     movh      m3, [r2+2*r3]                ; read new row
591     mova      m4, m0
592     mova      m0, m1
593     punpcklbw m4, m3
594     punpcklbw m1, m2
595     pmaddubsw m4, m5
596     pmaddubsw m1, m6
597     paddsw    m4, m1
598     mova      m1, m2
599     paddsw    m4, m7
600     mova      m2, m3
601     psraw     m4, 7
602     packuswb  m4, m4
603     movh    [r0], m4
604
605     ; go to next line
606     add        r0, r1
607     add        r2, r3
608     dec        r4                          ; next row
609     jg .nextrow
610     REP_RET
611
612 cglobal put_vp8_epel8_v6_ssse3, 7, 7, 8
613     lea      r6d, [r6*3]
614 %ifdef PIC
615     lea      r11, [sixtap_filter_hb_m]
616 %endif
617     lea       r6, [sixtap_filter_hb+r6*8]
618
619     ; read 5 lines
620     sub       r2, r3
621     sub       r2, r3
622     movh      m0, [r2]
623     movh      m1, [r2+r3]
624     movh      m2, [r2+r3*2]
625     lea       r2, [r2+r3*2]
626     add       r2, r3
627     movh      m3, [r2]
628     movh      m4, [r2+r3]
629
630 .nextrow
631     movh      m5, [r2+2*r3]                ; read new row
632     mova      m6, m0
633     punpcklbw m6, m5
634     mova      m0, m1
635     punpcklbw m1, m2
636     mova      m7, m3
637     punpcklbw m7, m4
638     pmaddubsw m6, [r6-48]
639     pmaddubsw m1, [r6-32]
640     pmaddubsw m7, [r6-16]
641     paddsw    m6, m1
642     paddsw    m6, m7
643     mova      m1, m2
644     paddsw    m6, [pw_64]
645     mova      m2, m3
646     psraw     m6, 7
647     mova      m3, m4
648     packuswb  m6, m6
649     mova      m4, m5
650     movh    [r0], m6
651
652     ; go to next line
653     add        r0, r1
654     add        r2, r3
655     dec        r4                          ; next row
656     jg .nextrow
657     REP_RET
658
659 %macro FILTER_BILINEAR 3
660 cglobal put_vp8_bilinear%2_v_%1, 7,7,%3
661     mov      r5d, 8*16
662     shl      r6d, 4
663     sub      r5d, r6d
664 %ifdef PIC
665     lea      r11, [bilinear_filter_vw_m]
666 %endif
667     pxor      m6, m6
668     mova      m4, [bilinear_filter_vw+r5-16]
669     mova      m5, [bilinear_filter_vw+r6-16]
670 .nextrow
671     movh      m0, [r2+r3*0]
672     movh      m1, [r2+r3*1]
673     movh      m3, [r2+r3*2]
674     punpcklbw m0, m6
675     punpcklbw m1, m6
676     punpcklbw m3, m6
677     mova      m2, m1
678     pmullw    m0, m4
679     pmullw    m1, m5
680     pmullw    m2, m4
681     pmullw    m3, m5
682     paddsw    m0, m1
683     paddsw    m2, m3
684     psraw     m0, 2
685     psraw     m2, 2
686     pavgw     m0, m6
687     pavgw     m2, m6
688 %ifidn %1, mmxext
689     packuswb  m0, m0
690     packuswb  m2, m2
691     movh [r0+r1*0], m0
692     movh [r0+r1*1], m2
693 %else
694     packuswb  m0, m2
695     movh   [r0+r1*0], m0
696     movhps [r0+r1*1], m0
697 %endif
698
699     lea       r0, [r0+r1*2]
700     lea       r2, [r2+r3*2]
701     sub       r4, 2
702     jg .nextrow
703     REP_RET
704
705 cglobal put_vp8_bilinear%2_h_%1, 7,7,%3
706     mov      r6d, 8*16
707     shl      r5d, 4
708     sub      r6d, r5d
709 %ifdef PIC
710     lea      r11, [bilinear_filter_vw_m]
711 %endif
712     pxor      m6, m6
713     mova      m4, [bilinear_filter_vw+r6-16]
714     mova      m5, [bilinear_filter_vw+r5-16]
715 .nextrow
716     movh      m0, [r2+r3*0+0]
717     movh      m1, [r2+r3*0+1]
718     movh      m2, [r2+r3*1+0]
719     movh      m3, [r2+r3*1+1]
720     punpcklbw m0, m6
721     punpcklbw m1, m6
722     punpcklbw m2, m6
723     punpcklbw m3, m6
724     pmullw    m0, m4
725     pmullw    m1, m5
726     pmullw    m2, m4
727     pmullw    m3, m5
728     paddsw    m0, m1
729     paddsw    m2, m3
730     psraw     m0, 2
731     psraw     m2, 2
732     pavgw     m0, m6
733     pavgw     m2, m6
734 %ifidn %1, mmxext
735     packuswb  m0, m0
736     packuswb  m2, m2
737     movh [r0+r1*0], m0
738     movh [r0+r1*1], m2
739 %else
740     packuswb  m0, m2
741     movh   [r0+r1*0], m0
742     movhps [r0+r1*1], m0
743 %endif
744
745     lea       r0, [r0+r1*2]
746     lea       r2, [r2+r3*2]
747     sub       r4, 2
748     jg .nextrow
749     REP_RET
750 %endmacro
751
752 INIT_MMX
753 FILTER_BILINEAR mmxext, 4, 0
754 INIT_XMM
755 FILTER_BILINEAR   sse2, 8, 7
756
757 cglobal put_vp8_bilinear8_v_ssse3, 7,7,5
758     shl      r6d, 4
759 %ifdef PIC
760     lea      r11, [bilinear_filter_vb_m]
761 %endif
762     pxor      m4, m4
763     mova      m3, [bilinear_filter_vb+r6-16]
764 .nextrow
765     movh      m0, [r2+r3*0]
766     movh      m1, [r2+r3*1]
767     movh      m2, [r2+r3*2]
768     punpcklbw m0, m1
769     punpcklbw m1, m2
770     pmaddubsw m0, m3
771     pmaddubsw m1, m3
772     psraw     m0, 2
773     psraw     m1, 2
774     pavgw     m0, m4
775     pavgw     m1, m4
776     packuswb  m0, m1
777     movh   [r0+r1*0], m0
778     movhps [r0+r1*1], m0
779
780     lea       r0, [r0+r1*2]
781     lea       r2, [r2+r3*2]
782     sub       r4, 2
783     jg .nextrow
784     REP_RET
785
786 cglobal put_vp8_bilinear8_h_ssse3, 7,7,5
787     shl      r5d, 4
788 %ifdef PIC
789     lea      r11, [bilinear_filter_vb_m]
790 %endif
791     pxor      m4, m4
792     mova      m2, [filter_h2_shuf]
793     mova      m3, [bilinear_filter_vb+r5-16]
794 .nextrow
795     movu      m0, [r2+r3*0]
796     movu      m1, [r2+r3*1]
797     pshufb    m0, m2
798     pshufb    m1, m2
799     pmaddubsw m0, m3
800     pmaddubsw m1, m3
801     psraw     m0, 2
802     psraw     m1, 2
803     pavgw     m0, m4
804     pavgw     m1, m4
805     packuswb  m0, m1
806     movh   [r0+r1*0], m0
807     movhps [r0+r1*1], m0
808
809     lea       r0, [r0+r1*2]
810     lea       r2, [r2+r3*2]
811     sub       r4, 2
812     jg .nextrow
813     REP_RET
814
815 cglobal put_vp8_pixels8_mmx, 5,5
816 .nextrow:
817     movq  mm0, [r2+r3*0]
818     movq  mm1, [r2+r3*1]
819     lea    r2, [r2+r3*2]
820     movq [r0+r1*0], mm0
821     movq [r0+r1*1], mm1
822     lea    r0, [r0+r1*2]
823     sub   r4d, 2
824     jg .nextrow
825     REP_RET
826
827 cglobal put_vp8_pixels16_mmx, 5,5
828 .nextrow:
829     movq  mm0, [r2+r3*0+0]
830     movq  mm1, [r2+r3*0+8]
831     movq  mm2, [r2+r3*1+0]
832     movq  mm3, [r2+r3*1+8]
833     lea    r2, [r2+r3*2]
834     movq [r0+r1*0+0], mm0
835     movq [r0+r1*0+8], mm1
836     movq [r0+r1*1+0], mm2
837     movq [r0+r1*1+8], mm3
838     lea    r0, [r0+r1*2]
839     sub   r4d, 2
840     jg .nextrow
841     REP_RET
842
843 cglobal put_vp8_pixels16_sse, 5,5,2
844 .nextrow:
845     movups xmm0, [r2+r3*0]
846     movups xmm1, [r2+r3*1]
847     lea     r2, [r2+r3*2]
848     movaps [r0+r1*0], xmm0
849     movaps [r0+r1*1], xmm1
850     lea     r0, [r0+r1*2]
851     sub    r4d, 2
852     jg .nextrow
853     REP_RET
854
855 ;-----------------------------------------------------------------------------
856 ; IDCT functions:
857 ;
858 ; void vp8_idct_dc_add_<opt>(uint8_t *dst, DCTELEM block[16], int stride);
859 ;-----------------------------------------------------------------------------
860
861 cglobal vp8_idct_dc_add_mmx, 3, 3
862     ; load data
863     movd       mm0, [r1]
864
865     ; calculate DC
866     paddw      mm0, [pw_4]
867     pxor       mm1, mm1
868     psraw      mm0, 3
869     psubw      mm1, mm0
870     packuswb   mm0, mm0
871     packuswb   mm1, mm1
872     punpcklbw  mm0, mm0
873     punpcklbw  mm1, mm1
874     punpcklwd  mm0, mm0
875     punpcklwd  mm1, mm1
876
877     ; add DC
878     lea         r1, [r0+r2*2]
879     movd       mm2, [r0]
880     movd       mm3, [r0+r2]
881     movd       mm4, [r1]
882     movd       mm5, [r1+r2]
883     paddusb    mm2, mm0
884     paddusb    mm3, mm0
885     paddusb    mm4, mm0
886     paddusb    mm5, mm0
887     psubusb    mm2, mm1
888     psubusb    mm3, mm1
889     psubusb    mm4, mm1
890     psubusb    mm5, mm1
891     movd      [r0], mm2
892     movd   [r0+r2], mm3
893     movd      [r1], mm4
894     movd   [r1+r2], mm5
895     RET
896
897 cglobal vp8_idct_dc_add_sse4, 3, 3, 6
898     ; load data
899     movd       xmm0, [r1]
900     lea          r1, [r0+r2*2]
901     pxor       xmm1, xmm1
902     movq       xmm2, [pw_4]
903
904     ; calculate DC
905     paddw      xmm0, xmm2
906     movd       xmm2, [r0]
907     movd       xmm3, [r0+r2]
908     movd       xmm4, [r1]
909     movd       xmm5, [r1+r2]
910     psraw      xmm0, 3
911     pshuflw    xmm0, xmm0, 0
912     punpcklqdq xmm0, xmm0
913     punpckldq  xmm2, xmm3
914     punpckldq  xmm4, xmm5
915     punpcklbw  xmm2, xmm1
916     punpcklbw  xmm4, xmm1
917     paddw      xmm2, xmm0
918     paddw      xmm4, xmm0
919     packuswb   xmm2, xmm4
920     movd       [r0], xmm2
921     pextrd  [r0+r2], xmm2, 1
922     pextrd     [r1], xmm2, 2
923     pextrd  [r1+r2], xmm2, 3
924     RET
925
926 ;-----------------------------------------------------------------------------
927 ; void vp8_luma_dc_wht_mmxext(DCTELEM block[4][4][16], DCTELEM dc[16])
928 ;-----------------------------------------------------------------------------
929
930 %macro SCATTER_WHT 1
931     pextrw r1d, m0, %1
932     pextrw r2d, m1, %1
933     mov [r0+2*16*0], r1w
934     mov [r0+2*16*1], r2w
935     pextrw r1d, m2, %1
936     pextrw r2d, m3, %1
937     mov [r0+2*16*2], r1w
938     mov [r0+2*16*3], r2w
939 %endmacro
940
941 %macro HADAMARD4_1D 4
942     SUMSUB_BADC m%2, m%1, m%4, m%3
943     SUMSUB_BADC m%4, m%2, m%3, m%1
944     SWAP %1, %4, %3
945 %endmacro
946
947 INIT_MMX
948 cglobal vp8_luma_dc_wht_mmxext, 2,3
949     movq          m0, [r1]
950     movq          m1, [r1+8]
951     movq          m2, [r1+16]
952     movq          m3, [r1+24]
953     HADAMARD4_1D  0, 1, 2, 3
954     TRANSPOSE4x4W 0, 1, 2, 3, 4
955     paddw         m0, [pw_3]
956     HADAMARD4_1D  0, 1, 2, 3
957     psraw         m0, 3
958     psraw         m1, 3
959     psraw         m2, 3
960     psraw         m3, 3
961     SCATTER_WHT   0
962     add           r0, 2*16*4
963     SCATTER_WHT   1
964     add           r0, 2*16*4
965     SCATTER_WHT   2
966     add           r0, 2*16*4
967     SCATTER_WHT   3
968     RET