probetest: fix possible use of uninitialized data
[ffmpeg.git] / libavcodec / x86 / h264_intrapred.asm
1 ;******************************************************************************
2 ;* H.264 intra prediction asm optimizations
3 ;* Copyright (c) 2010 Jason Garrett-Glaser
4 ;* Copyright (c) 2010 Holger Lubitz
5 ;* Copyright (c) 2010 Loren Merritt
6 ;* Copyright (c) 2010 Ronald S. Bultje
7 ;*
8 ;* This file is part of FFmpeg.
9 ;*
10 ;* FFmpeg is free software; you can redistribute it and/or
11 ;* modify it under the terms of the GNU Lesser General Public
12 ;* License as published by the Free Software Foundation; either
13 ;* version 2.1 of the License, or (at your option) any later version.
14 ;*
15 ;* FFmpeg is distributed in the hope that it will be useful,
16 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18 ;* Lesser General Public License for more details.
19 ;*
20 ;* You should have received a copy of the GNU Lesser General Public
21 ;* License along with FFmpeg; if not, write to the Free Software
22 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23 ;******************************************************************************
24
25 %include "libavutil/x86/x86inc.asm"
26 %include "libavutil/x86/x86util.asm"
27
28 SECTION_RODATA
29
30 tm_shuf: times 8 db 0x03, 0x80
31 pw_ff00: times 8 dw 0xff00
32 plane_shuf:  db -8, -7, -6, -5, -4, -3, -2, -1
33              db  1,  2,  3,  4,  5,  6,  7,  8
34 plane8_shuf: db -4, -3, -2, -1,  0,  0,  0,  0
35              db  1,  2,  3,  4,  0,  0,  0,  0
36 pw_0to7:     dw  0,  1,  2,  3,  4,  5,  6,  7
37 pw_1to8:     dw  1,  2,  3,  4,  5,  6,  7,  8
38 pw_m8tom1:   dw -8, -7, -6, -5, -4, -3, -2, -1
39 pw_m4to4:    dw -4, -3, -2, -1,  1,  2,  3,  4
40
41 SECTION .text
42
43 cextern pb_1
44 cextern pb_3
45 cextern pw_4
46 cextern pw_5
47 cextern pw_8
48 cextern pw_16
49 cextern pw_17
50 cextern pw_32
51
52 ;-----------------------------------------------------------------------------
53 ; void pred16x16_vertical(uint8_t *src, int stride)
54 ;-----------------------------------------------------------------------------
55
56 cglobal pred16x16_vertical_8_mmx, 2,3
57     sub   r0, r1
58     mov   r2, 8
59     movq mm0, [r0+0]
60     movq mm1, [r0+8]
61 .loop:
62     movq [r0+r1*1+0], mm0
63     movq [r0+r1*1+8], mm1
64     movq [r0+r1*2+0], mm0
65     movq [r0+r1*2+8], mm1
66     lea   r0, [r0+r1*2]
67     dec   r2
68     jg .loop
69     REP_RET
70
71 cglobal pred16x16_vertical_8_sse, 2,3
72     sub   r0, r1
73     mov   r2, 4
74     movaps xmm0, [r0]
75 .loop:
76     movaps [r0+r1*1], xmm0
77     movaps [r0+r1*2], xmm0
78     lea   r0, [r0+r1*2]
79     movaps [r0+r1*1], xmm0
80     movaps [r0+r1*2], xmm0
81     lea   r0, [r0+r1*2]
82     dec   r2
83     jg .loop
84     REP_RET
85
86 ;-----------------------------------------------------------------------------
87 ; void pred16x16_horizontal(uint8_t *src, int stride)
88 ;-----------------------------------------------------------------------------
89
90 %macro PRED16x16_H 0
91 cglobal pred16x16_horizontal_8, 2,3
92     mov       r2, 8
93 %if cpuflag(ssse3)
94     mova      m2, [pb_3]
95 %endif
96 .loop:
97     movd      m0, [r0+r1*0-4]
98     movd      m1, [r0+r1*1-4]
99
100 %if cpuflag(ssse3)
101     pshufb    m0, m2
102     pshufb    m1, m2
103 %else
104     punpcklbw m0, m0
105     punpcklbw m1, m1
106     SPLATW    m0, m0, 3
107     SPLATW    m1, m1, 3
108     mova [r0+r1*0+8], m0
109     mova [r0+r1*1+8], m1
110 %endif
111
112     mova [r0+r1*0], m0
113     mova [r0+r1*1], m1
114     lea       r0, [r0+r1*2]
115     dec       r2
116     jg .loop
117     REP_RET
118 %endmacro
119
120 INIT_MMX mmx
121 PRED16x16_H
122 INIT_MMX mmx2
123 PRED16x16_H
124 INIT_XMM ssse3
125 PRED16x16_H
126 INIT_XMM
127
128 ;-----------------------------------------------------------------------------
129 ; void pred16x16_dc(uint8_t *src, int stride)
130 ;-----------------------------------------------------------------------------
131
132 %macro PRED16x16_DC 0
133 cglobal pred16x16_dc_8, 2,7
134     mov       r4, r0
135     sub       r0, r1
136     pxor      mm0, mm0
137     pxor      mm1, mm1
138     psadbw    mm0, [r0+0]
139     psadbw    mm1, [r0+8]
140     dec        r0
141     movzx     r5d, byte [r0+r1*1]
142     paddw     mm0, mm1
143     movd      r6d, mm0
144     lea        r0, [r0+r1*2]
145 %rep 7
146     movzx     r2d, byte [r0+r1*0]
147     movzx     r3d, byte [r0+r1*1]
148     add       r5d, r2d
149     add       r6d, r3d
150     lea        r0, [r0+r1*2]
151 %endrep
152     movzx     r2d, byte [r0+r1*0]
153     add       r5d, r6d
154     lea       r2d, [r2+r5+16]
155     shr       r2d, 5
156 %if cpuflag(ssse3)
157     pxor       m1, m1
158 %endif
159     SPLATB_REG m0, r2, m1
160
161 %if mmsize==8
162     mov       r3d, 8
163 .loop:
164     mova [r4+r1*0+0], m0
165     mova [r4+r1*0+8], m0
166     mova [r4+r1*1+0], m0
167     mova [r4+r1*1+8], m0
168 %else
169     mov       r3d, 4
170 .loop:
171     mova [r4+r1*0], m0
172     mova [r4+r1*1], m0
173     lea   r4, [r4+r1*2]
174     mova [r4+r1*0], m0
175     mova [r4+r1*1], m0
176 %endif
177     lea   r4, [r4+r1*2]
178     dec   r3d
179     jg .loop
180     REP_RET
181 %endmacro
182
183 INIT_MMX mmx2
184 PRED16x16_DC
185 INIT_XMM sse2
186 PRED16x16_DC
187 INIT_XMM ssse3
188 PRED16x16_DC
189 INIT_XMM
190
191 ;-----------------------------------------------------------------------------
192 ; void pred16x16_tm_vp8(uint8_t *src, int stride)
193 ;-----------------------------------------------------------------------------
194
195 %macro PRED16x16_TM_MMX 0
196 cglobal pred16x16_tm_vp8_8, 2,5
197     sub        r0, r1
198     pxor      mm7, mm7
199     movq      mm0, [r0+0]
200     movq      mm2, [r0+8]
201     movq      mm1, mm0
202     movq      mm3, mm2
203     punpcklbw mm0, mm7
204     punpckhbw mm1, mm7
205     punpcklbw mm2, mm7
206     punpckhbw mm3, mm7
207     movzx     r3d, byte [r0-1]
208     mov       r4d, 16
209 .loop:
210     movzx     r2d, byte [r0+r1-1]
211     sub       r2d, r3d
212     movd      mm4, r2d
213     SPLATW    mm4, mm4, 0
214     movq      mm5, mm4
215     movq      mm6, mm4
216     movq      mm7, mm4
217     paddw     mm4, mm0
218     paddw     mm5, mm1
219     paddw     mm6, mm2
220     paddw     mm7, mm3
221     packuswb  mm4, mm5
222     packuswb  mm6, mm7
223     movq [r0+r1+0], mm4
224     movq [r0+r1+8], mm6
225     add        r0, r1
226     dec       r4d
227     jg .loop
228     REP_RET
229 %endmacro
230
231 INIT_MMX mmx
232 PRED16x16_TM_MMX
233 INIT_MMX mmx2
234 PRED16x16_TM_MMX
235 INIT_MMX
236
237 cglobal pred16x16_tm_vp8_8_sse2, 2,6,6
238     sub          r0, r1
239     pxor       xmm2, xmm2
240     movdqa     xmm0, [r0]
241     movdqa     xmm1, xmm0
242     punpcklbw  xmm0, xmm2
243     punpckhbw  xmm1, xmm2
244     movzx       r4d, byte [r0-1]
245     mov         r5d, 8
246 .loop:
247     movzx       r2d, byte [r0+r1*1-1]
248     movzx       r3d, byte [r0+r1*2-1]
249     sub         r2d, r4d
250     sub         r3d, r4d
251     movd       xmm2, r2d
252     movd       xmm4, r3d
253     pshuflw    xmm2, xmm2, 0
254     pshuflw    xmm4, xmm4, 0
255     punpcklqdq xmm2, xmm2
256     punpcklqdq xmm4, xmm4
257     movdqa     xmm3, xmm2
258     movdqa     xmm5, xmm4
259     paddw      xmm2, xmm0
260     paddw      xmm3, xmm1
261     paddw      xmm4, xmm0
262     paddw      xmm5, xmm1
263     packuswb   xmm2, xmm3
264     packuswb   xmm4, xmm5
265     movdqa [r0+r1*1], xmm2
266     movdqa [r0+r1*2], xmm4
267     lea          r0, [r0+r1*2]
268     dec         r5d
269     jg .loop
270     REP_RET
271
272 ;-----------------------------------------------------------------------------
273 ; void pred16x16_plane(uint8_t *src, int stride)
274 ;-----------------------------------------------------------------------------
275
276 %macro H264_PRED16x16_PLANE 1
277 cglobal pred16x16_plane_%1_8, 2,9,7
278     mov          r2, r1           ; +stride
279     neg          r1               ; -stride
280
281     movh         m0, [r0+r1  -1]
282 %if mmsize == 8
283     pxor         m4, m4
284     movh         m1, [r0+r1  +3 ]
285     movh         m2, [r0+r1  +8 ]
286     movh         m3, [r0+r1  +12]
287     punpcklbw    m0, m4
288     punpcklbw    m1, m4
289     punpcklbw    m2, m4
290     punpcklbw    m3, m4
291     pmullw       m0, [pw_m8tom1  ]
292     pmullw       m1, [pw_m8tom1+8]
293     pmullw       m2, [pw_1to8    ]
294     pmullw       m3, [pw_1to8  +8]
295     paddw        m0, m2
296     paddw        m1, m3
297 %else ; mmsize == 16
298 %if cpuflag(ssse3)
299     movhps       m0, [r0+r1  +8]
300     pmaddubsw    m0, [plane_shuf] ; H coefficients
301 %else ; sse2
302     pxor         m2, m2
303     movh         m1, [r0+r1  +8]
304     punpcklbw    m0, m2
305     punpcklbw    m1, m2
306     pmullw       m0, [pw_m8tom1]
307     pmullw       m1, [pw_1to8]
308     paddw        m0, m1
309 %endif
310     movhlps      m1, m0
311 %endif
312     paddw        m0, m1
313 %if cpuflag(mmx2)
314     PSHUFLW      m1, m0, 0xE
315 %elif cpuflag(mmx)
316     mova         m1, m0
317     psrlq        m1, 32
318 %endif
319     paddw        m0, m1
320 %if cpuflag(mmx2)
321     PSHUFLW      m1, m0, 0x1
322 %elif cpuflag(mmx)
323     mova         m1, m0
324     psrlq        m1, 16
325 %endif
326     paddw        m0, m1           ; sum of H coefficients
327
328     lea          r4, [r0+r2*8-1]
329     lea          r3, [r0+r2*4-1]
330     add          r4, r2
331
332 %if ARCH_X86_64
333 %define e_reg r8
334 %else
335 %define e_reg r0
336 %endif
337
338     movzx     e_reg, byte [r3+r2*2   ]
339     movzx        r5, byte [r4+r1     ]
340     sub          r5, e_reg
341
342     movzx     e_reg, byte [r3+r2     ]
343     movzx        r6, byte [r4        ]
344     sub          r6, e_reg
345     lea          r5, [r5+r6*2]
346
347     movzx     e_reg, byte [r3+r1     ]
348     movzx        r6, byte [r4+r2*2   ]
349     sub          r6, e_reg
350     lea          r5, [r5+r6*4]
351
352     movzx     e_reg, byte [r3        ]
353 %if ARCH_X86_64
354     movzx        r7, byte [r4+r2     ]
355     sub          r7, e_reg
356 %else
357     movzx        r6, byte [r4+r2     ]
358     sub          r6, e_reg
359     lea          r5, [r5+r6*4]
360     sub          r5, r6
361 %endif
362
363     lea       e_reg, [r3+r1*4]
364     lea          r3, [r4+r2*4]
365
366     movzx        r4, byte [e_reg+r2  ]
367     movzx        r6, byte [r3        ]
368     sub          r6, r4
369 %if ARCH_X86_64
370     lea          r6, [r7+r6*2]
371     lea          r5, [r5+r6*2]
372     add          r5, r6
373 %else
374     lea          r5, [r5+r6*4]
375     lea          r5, [r5+r6*2]
376 %endif
377
378     movzx        r4, byte [e_reg     ]
379 %if ARCH_X86_64
380     movzx        r7, byte [r3   +r2  ]
381     sub          r7, r4
382     sub          r5, r7
383 %else
384     movzx        r6, byte [r3   +r2  ]
385     sub          r6, r4
386     lea          r5, [r5+r6*8]
387     sub          r5, r6
388 %endif
389
390     movzx        r4, byte [e_reg+r1  ]
391     movzx        r6, byte [r3   +r2*2]
392     sub          r6, r4
393 %if ARCH_X86_64
394     add          r6, r7
395 %endif
396     lea          r5, [r5+r6*8]
397
398     movzx        r4, byte [e_reg+r2*2]
399     movzx        r6, byte [r3   +r1  ]
400     sub          r6, r4
401     lea          r5, [r5+r6*4]
402     add          r5, r6           ; sum of V coefficients
403
404 %if ARCH_X86_64 == 0
405     mov          r0, r0m
406 %endif
407
408 %ifidn %1, h264
409     lea          r5, [r5*5+32]
410     sar          r5, 6
411 %elifidn %1, rv40
412     lea          r5, [r5*5]
413     sar          r5, 6
414 %elifidn %1, svq3
415     test         r5, r5
416     lea          r6, [r5+3]
417     cmovs        r5, r6
418     sar          r5, 2            ; V/4
419     lea          r5, [r5*5]       ; 5*(V/4)
420     test         r5, r5
421     lea          r6, [r5+15]
422     cmovs        r5, r6
423     sar          r5, 4            ; (5*(V/4))/16
424 %endif
425
426     movzx        r4, byte [r0+r1  +15]
427     movzx        r3, byte [r3+r2*2   ]
428     lea          r3, [r3+r4+1]
429     shl          r3, 4
430
431     movd        r1d, m0
432     movsx       r1d, r1w
433 %ifnidn %1, svq3
434 %ifidn %1, h264
435     lea         r1d, [r1d*5+32]
436 %else ; rv40
437     lea         r1d, [r1d*5]
438 %endif
439     sar         r1d, 6
440 %else ; svq3
441     test        r1d, r1d
442     lea         r4d, [r1d+3]
443     cmovs       r1d, r4d
444     sar         r1d, 2           ; H/4
445     lea         r1d, [r1d*5]     ; 5*(H/4)
446     test        r1d, r1d
447     lea         r4d, [r1d+15]
448     cmovs       r1d, r4d
449     sar         r1d, 4           ; (5*(H/4))/16
450 %endif
451     movd         m0, r1d
452
453     add         r1d, r5d
454     add         r3d, r1d
455     shl         r1d, 3
456     sub         r3d, r1d          ; a
457
458     movd         m1, r5d
459     movd         m3, r3d
460     SPLATW       m0, m0, 0        ; H
461     SPLATW       m1, m1, 0        ; V
462     SPLATW       m3, m3, 0        ; a
463 %ifidn %1, svq3
464     SWAP          0, 1
465 %endif
466     mova         m2, m0
467 %if mmsize == 8
468     mova         m5, m0
469 %endif
470     pmullw       m0, [pw_0to7]    ; 0*H, 1*H, ..., 7*H  (words)
471 %if mmsize == 16
472     psllw        m2, 3
473 %else
474     psllw        m5, 3
475     psllw        m2, 2
476     mova         m6, m5
477     paddw        m6, m2
478 %endif
479     paddw        m0, m3           ; a + {0,1,2,3,4,5,6,7}*H
480     paddw        m2, m0           ; a + {8,9,10,11,12,13,14,15}*H
481 %if mmsize == 8
482     paddw        m5, m0           ; a + {8,9,10,11}*H
483     paddw        m6, m0           ; a + {12,13,14,15}*H
484 %endif
485
486     mov          r4, 8
487 .loop:
488     mova         m3, m0           ; b[0..7]
489     mova         m4, m2           ; b[8..15]
490     psraw        m3, 5
491     psraw        m4, 5
492     packuswb     m3, m4
493     mova       [r0], m3
494 %if mmsize == 8
495     mova         m3, m5           ; b[8..11]
496     mova         m4, m6           ; b[12..15]
497     psraw        m3, 5
498     psraw        m4, 5
499     packuswb     m3, m4
500     mova     [r0+8], m3
501 %endif
502     paddw        m0, m1
503     paddw        m2, m1
504 %if mmsize == 8
505     paddw        m5, m1
506     paddw        m6, m1
507 %endif
508
509     mova         m3, m0           ; b[0..7]
510     mova         m4, m2           ; b[8..15]
511     psraw        m3, 5
512     psraw        m4, 5
513     packuswb     m3, m4
514     mova    [r0+r2], m3
515 %if mmsize == 8
516     mova         m3, m5           ; b[8..11]
517     mova         m4, m6           ; b[12..15]
518     psraw        m3, 5
519     psraw        m4, 5
520     packuswb     m3, m4
521     mova  [r0+r2+8], m3
522 %endif
523     paddw        m0, m1
524     paddw        m2, m1
525 %if mmsize == 8
526     paddw        m5, m1
527     paddw        m6, m1
528 %endif
529
530     lea          r0, [r0+r2*2]
531     dec          r4
532     jg .loop
533     REP_RET
534 %endmacro
535
536 INIT_MMX mmx
537 H264_PRED16x16_PLANE h264
538 H264_PRED16x16_PLANE rv40
539 H264_PRED16x16_PLANE svq3
540 INIT_MMX mmx2
541 H264_PRED16x16_PLANE h264
542 H264_PRED16x16_PLANE rv40
543 H264_PRED16x16_PLANE svq3
544 INIT_XMM sse2
545 H264_PRED16x16_PLANE h264
546 H264_PRED16x16_PLANE rv40
547 H264_PRED16x16_PLANE svq3
548 INIT_XMM ssse3
549 H264_PRED16x16_PLANE h264
550 H264_PRED16x16_PLANE rv40
551 H264_PRED16x16_PLANE svq3
552 INIT_XMM
553
554 ;-----------------------------------------------------------------------------
555 ; void pred8x8_plane(uint8_t *src, int stride)
556 ;-----------------------------------------------------------------------------
557
558 %macro H264_PRED8x8_PLANE 0
559 cglobal pred8x8_plane_8, 2,9,7
560     mov          r2, r1           ; +stride
561     neg          r1               ; -stride
562
563     movd         m0, [r0+r1  -1]
564 %if mmsize == 8
565     pxor         m2, m2
566     movh         m1, [r0+r1  +4 ]
567     punpcklbw    m0, m2
568     punpcklbw    m1, m2
569     pmullw       m0, [pw_m4to4]
570     pmullw       m1, [pw_m4to4+8]
571 %else ; mmsize == 16
572 %if cpuflag(ssse3)
573     movhps       m0, [r0+r1  +4]   ; this reads 4 bytes more than necessary
574     pmaddubsw    m0, [plane8_shuf] ; H coefficients
575 %else ; sse2
576     pxor         m2, m2
577     movd         m1, [r0+r1  +4]
578     punpckldq    m0, m1
579     punpcklbw    m0, m2
580     pmullw       m0, [pw_m4to4]
581 %endif
582     movhlps      m1, m0
583 %endif
584     paddw        m0, m1
585
586 %if notcpuflag(ssse3)
587 %if cpuflag(mmx2)
588     PSHUFLW      m1, m0, 0xE
589 %elif cpuflag(mmx)
590     mova         m1, m0
591     psrlq        m1, 32
592 %endif
593     paddw        m0, m1
594 %endif ; !ssse3
595
596 %if cpuflag(mmx2)
597     PSHUFLW      m1, m0, 0x1
598 %elif cpuflag(mmx)
599     mova         m1, m0
600     psrlq        m1, 16
601 %endif
602     paddw        m0, m1           ; sum of H coefficients
603
604     lea          r4, [r0+r2*4-1]
605     lea          r3, [r0     -1]
606     add          r4, r2
607
608 %if ARCH_X86_64
609 %define e_reg r8
610 %else
611 %define e_reg r0
612 %endif
613
614     movzx     e_reg, byte [r3+r2*2   ]
615     movzx        r5, byte [r4+r1     ]
616     sub          r5, e_reg
617
618     movzx     e_reg, byte [r3        ]
619 %if ARCH_X86_64
620     movzx        r7, byte [r4+r2     ]
621     sub          r7, e_reg
622     sub          r5, r7
623 %else
624     movzx        r6, byte [r4+r2     ]
625     sub          r6, e_reg
626     lea          r5, [r5+r6*4]
627     sub          r5, r6
628 %endif
629
630     movzx     e_reg, byte [r3+r1     ]
631     movzx        r6, byte [r4+r2*2   ]
632     sub          r6, e_reg
633 %if ARCH_X86_64
634     add          r6, r7
635 %endif
636     lea          r5, [r5+r6*4]
637
638     movzx     e_reg, byte [r3+r2     ]
639     movzx        r6, byte [r4        ]
640     sub          r6, e_reg
641     lea          r6, [r5+r6*2]
642
643     lea          r5, [r6*9+16]
644     lea          r5, [r5+r6*8]
645     sar          r5, 5
646
647 %if ARCH_X86_64 == 0
648     mov          r0, r0m
649 %endif
650
651     movzx        r3, byte [r4+r2*2  ]
652     movzx        r4, byte [r0+r1  +7]
653     lea          r3, [r3+r4+1]
654     shl          r3, 4
655     movd        r1d, m0
656     movsx       r1d, r1w
657     imul        r1d, 17
658     add         r1d, 16
659     sar         r1d, 5
660     movd         m0, r1d
661     add         r1d, r5d
662     sub         r3d, r1d
663     add         r1d, r1d
664     sub         r3d, r1d          ; a
665
666     movd         m1, r5d
667     movd         m3, r3d
668     SPLATW       m0, m0, 0        ; H
669     SPLATW       m1, m1, 0        ; V
670     SPLATW       m3, m3, 0        ; a
671 %if mmsize == 8
672     mova         m2, m0
673 %endif
674     pmullw       m0, [pw_0to7]    ; 0*H, 1*H, ..., 7*H  (words)
675     paddw        m0, m3           ; a + {0,1,2,3,4,5,6,7}*H
676 %if mmsize == 8
677     psllw        m2, 2
678     paddw        m2, m0           ; a + {4,5,6,7}*H
679 %endif
680
681     mov          r4, 4
682 ALIGN 16
683 .loop:
684 %if mmsize == 16
685     mova         m3, m0           ; b[0..7]
686     paddw        m0, m1
687     psraw        m3, 5
688     mova         m4, m0           ; V+b[0..7]
689     paddw        m0, m1
690     psraw        m4, 5
691     packuswb     m3, m4
692     movh       [r0], m3
693     movhps  [r0+r2], m3
694 %else ; mmsize == 8
695     mova         m3, m0           ; b[0..3]
696     mova         m4, m2           ; b[4..7]
697     paddw        m0, m1
698     paddw        m2, m1
699     psraw        m3, 5
700     psraw        m4, 5
701     mova         m5, m0           ; V+b[0..3]
702     mova         m6, m2           ; V+b[4..7]
703     paddw        m0, m1
704     paddw        m2, m1
705     psraw        m5, 5
706     psraw        m6, 5
707     packuswb     m3, m4
708     packuswb     m5, m6
709     mova       [r0], m3
710     mova    [r0+r2], m5
711 %endif
712
713     lea          r0, [r0+r2*2]
714     dec          r4
715     jg .loop
716     REP_RET
717 %endmacro
718
719 INIT_MMX mmx
720 H264_PRED8x8_PLANE
721 INIT_MMX mmx2
722 H264_PRED8x8_PLANE
723 INIT_XMM sse2
724 H264_PRED8x8_PLANE
725 INIT_XMM ssse3
726 H264_PRED8x8_PLANE
727 INIT_XMM
728
729 ;-----------------------------------------------------------------------------
730 ; void pred8x8_vertical(uint8_t *src, int stride)
731 ;-----------------------------------------------------------------------------
732
733 cglobal pred8x8_vertical_8_mmx, 2,2
734     sub    r0, r1
735     movq  mm0, [r0]
736 %rep 3
737     movq [r0+r1*1], mm0
738     movq [r0+r1*2], mm0
739     lea    r0, [r0+r1*2]
740 %endrep
741     movq [r0+r1*1], mm0
742     movq [r0+r1*2], mm0
743     RET
744
745 ;-----------------------------------------------------------------------------
746 ; void pred8x8_horizontal(uint8_t *src, int stride)
747 ;-----------------------------------------------------------------------------
748
749 %macro PRED8x8_H 0
750 cglobal pred8x8_horizontal_8, 2,3
751     mov       r2, 4
752 %if cpuflag(ssse3)
753     mova      m2, [pb_3]
754 %endif
755 .loop:
756     SPLATB_LOAD m0, r0+r1*0-1, m2
757     SPLATB_LOAD m1, r0+r1*1-1, m2
758     mova [r0+r1*0], m0
759     mova [r0+r1*1], m1
760     lea       r0, [r0+r1*2]
761     dec       r2
762     jg .loop
763     REP_RET
764 %endmacro
765
766 INIT_MMX mmx
767 PRED8x8_H
768 INIT_MMX mmx2
769 PRED8x8_H
770 INIT_MMX ssse3
771 PRED8x8_H
772 INIT_MMX
773
774 ;-----------------------------------------------------------------------------
775 ; void pred8x8_top_dc_mmxext(uint8_t *src, int stride)
776 ;-----------------------------------------------------------------------------
777 cglobal pred8x8_top_dc_8_mmxext, 2,5
778     sub         r0, r1
779     movq       mm0, [r0]
780     pxor       mm1, mm1
781     pxor       mm2, mm2
782     lea         r2, [r0+r1*2]
783     punpckhbw  mm1, mm0
784     punpcklbw  mm0, mm2
785     psadbw     mm1, mm2        ; s1
786     lea         r3, [r2+r1*2]
787     psadbw     mm0, mm2        ; s0
788     psrlw      mm1, 1
789     psrlw      mm0, 1
790     pavgw      mm1, mm2
791     lea         r4, [r3+r1*2]
792     pavgw      mm0, mm2
793     pshufw     mm1, mm1, 0
794     pshufw     mm0, mm0, 0     ; dc0 (w)
795     packuswb   mm0, mm1        ; dc0,dc1 (b)
796     movq [r0+r1*1], mm0
797     movq [r0+r1*2], mm0
798     lea         r0, [r3+r1*2]
799     movq [r2+r1*1], mm0
800     movq [r2+r1*2], mm0
801     movq [r3+r1*1], mm0
802     movq [r3+r1*2], mm0
803     movq [r0+r1*1], mm0
804     movq [r0+r1*2], mm0
805     RET
806
807 ;-----------------------------------------------------------------------------
808 ; void pred8x8_dc_mmxext(uint8_t *src, int stride)
809 ;-----------------------------------------------------------------------------
810
811 INIT_MMX
812 cglobal pred8x8_dc_8_mmxext, 2,5
813     sub       r0, r1
814     pxor      m7, m7
815     movd      m0, [r0+0]
816     movd      m1, [r0+4]
817     psadbw    m0, m7            ; s0
818     mov       r4, r0
819     psadbw    m1, m7            ; s1
820
821     movzx    r2d, byte [r0+r1*1-1]
822     movzx    r3d, byte [r0+r1*2-1]
823     lea       r0, [r0+r1*2]
824     add      r2d, r3d
825     movzx    r3d, byte [r0+r1*1-1]
826     add      r2d, r3d
827     movzx    r3d, byte [r0+r1*2-1]
828     add      r2d, r3d
829     lea       r0, [r0+r1*2]
830     movd      m2, r2d            ; s2
831     movzx    r2d, byte [r0+r1*1-1]
832     movzx    r3d, byte [r0+r1*2-1]
833     lea       r0, [r0+r1*2]
834     add      r2d, r3d
835     movzx    r3d, byte [r0+r1*1-1]
836     add      r2d, r3d
837     movzx    r3d, byte [r0+r1*2-1]
838     add      r2d, r3d
839     movd      m3, r2d            ; s3
840
841     punpcklwd m0, m1
842     mov       r0, r4
843     punpcklwd m2, m3
844     punpckldq m0, m2            ; s0, s1, s2, s3
845     pshufw    m3, m0, 11110110b ; s2, s1, s3, s3
846     lea       r2, [r0+r1*2]
847     pshufw    m0, m0, 01110100b ; s0, s1, s3, s1
848     paddw     m0, m3
849     lea       r3, [r2+r1*2]
850     psrlw     m0, 2
851     pavgw     m0, m7            ; s0+s2, s1, s3, s1+s3
852     lea       r4, [r3+r1*2]
853     packuswb  m0, m0
854     punpcklbw m0, m0
855     movq      m1, m0
856     punpcklbw m0, m0
857     punpckhbw m1, m1
858     movq [r0+r1*1], m0
859     movq [r0+r1*2], m0
860     movq [r2+r1*1], m0
861     movq [r2+r1*2], m0
862     movq [r3+r1*1], m1
863     movq [r3+r1*2], m1
864     movq [r4+r1*1], m1
865     movq [r4+r1*2], m1
866     RET
867
868 ;-----------------------------------------------------------------------------
869 ; void pred8x8_dc_rv40(uint8_t *src, int stride)
870 ;-----------------------------------------------------------------------------
871
872 cglobal pred8x8_dc_rv40_8_mmxext, 2,7
873     mov       r4, r0
874     sub       r0, r1
875     pxor      mm0, mm0
876     psadbw    mm0, [r0]
877     dec        r0
878     movzx     r5d, byte [r0+r1*1]
879     movd      r6d, mm0
880     lea        r0, [r0+r1*2]
881 %rep 3
882     movzx     r2d, byte [r0+r1*0]
883     movzx     r3d, byte [r0+r1*1]
884     add       r5d, r2d
885     add       r6d, r3d
886     lea        r0, [r0+r1*2]
887 %endrep
888     movzx     r2d, byte [r0+r1*0]
889     add       r5d, r6d
890     lea       r2d, [r2+r5+8]
891     shr       r2d, 4
892     movd      mm0, r2d
893     punpcklbw mm0, mm0
894     pshufw    mm0, mm0, 0
895     mov       r3d, 4
896 .loop:
897     movq [r4+r1*0], mm0
898     movq [r4+r1*1], mm0
899     lea   r4, [r4+r1*2]
900     dec   r3d
901     jg .loop
902     REP_RET
903
904 ;-----------------------------------------------------------------------------
905 ; void pred8x8_tm_vp8(uint8_t *src, int stride)
906 ;-----------------------------------------------------------------------------
907
908 %macro PRED8x8_TM_MMX 0
909 cglobal pred8x8_tm_vp8_8, 2,6
910     sub        r0, r1
911     pxor      mm7, mm7
912     movq      mm0, [r0]
913     movq      mm1, mm0
914     punpcklbw mm0, mm7
915     punpckhbw mm1, mm7
916     movzx     r4d, byte [r0-1]
917     mov       r5d, 4
918 .loop:
919     movzx     r2d, byte [r0+r1*1-1]
920     movzx     r3d, byte [r0+r1*2-1]
921     sub       r2d, r4d
922     sub       r3d, r4d
923     movd      mm2, r2d
924     movd      mm4, r3d
925     SPLATW    mm2, mm2, 0
926     SPLATW    mm4, mm4, 0
927     movq      mm3, mm2
928     movq      mm5, mm4
929     paddw     mm2, mm0
930     paddw     mm3, mm1
931     paddw     mm4, mm0
932     paddw     mm5, mm1
933     packuswb  mm2, mm3
934     packuswb  mm4, mm5
935     movq [r0+r1*1], mm2
936     movq [r0+r1*2], mm4
937     lea        r0, [r0+r1*2]
938     dec       r5d
939     jg .loop
940     REP_RET
941 %endmacro
942
943 INIT_MMX mmx
944 PRED8x8_TM_MMX
945 INIT_MMX mmx2
946 PRED8x8_TM_MMX
947 INIT_MMX
948
949 cglobal pred8x8_tm_vp8_8_sse2, 2,6,4
950     sub          r0, r1
951     pxor       xmm1, xmm1
952     movq       xmm0, [r0]
953     punpcklbw  xmm0, xmm1
954     movzx       r4d, byte [r0-1]
955     mov         r5d, 4
956 .loop:
957     movzx       r2d, byte [r0+r1*1-1]
958     movzx       r3d, byte [r0+r1*2-1]
959     sub         r2d, r4d
960     sub         r3d, r4d
961     movd       xmm2, r2d
962     movd       xmm3, r3d
963     pshuflw    xmm2, xmm2, 0
964     pshuflw    xmm3, xmm3, 0
965     punpcklqdq xmm2, xmm2
966     punpcklqdq xmm3, xmm3
967     paddw      xmm2, xmm0
968     paddw      xmm3, xmm0
969     packuswb   xmm2, xmm3
970     movq   [r0+r1*1], xmm2
971     movhps [r0+r1*2], xmm2
972     lea          r0, [r0+r1*2]
973     dec         r5d
974     jg .loop
975     REP_RET
976
977 cglobal pred8x8_tm_vp8_8_ssse3, 2,3,6
978     sub          r0, r1
979     movdqa     xmm4, [tm_shuf]
980     pxor       xmm1, xmm1
981     movq       xmm0, [r0]
982     punpcklbw  xmm0, xmm1
983     movd       xmm5, [r0-4]
984     pshufb     xmm5, xmm4
985     mov         r2d, 4
986 .loop:
987     movd       xmm2, [r0+r1*1-4]
988     movd       xmm3, [r0+r1*2-4]
989     pshufb     xmm2, xmm4
990     pshufb     xmm3, xmm4
991     psubw      xmm2, xmm5
992     psubw      xmm3, xmm5
993     paddw      xmm2, xmm0
994     paddw      xmm3, xmm0
995     packuswb   xmm2, xmm3
996     movq   [r0+r1*1], xmm2
997     movhps [r0+r1*2], xmm2
998     lea          r0, [r0+r1*2]
999     dec         r2d
1000     jg .loop
1001     REP_RET
1002
1003 ; dest, left, right, src, tmp
1004 ; output: %1 = (t[n-1] + t[n]*2 + t[n+1] + 2) >> 2
1005 %macro PRED4x4_LOWPASS 5
1006     mova    %5, %2
1007     pavgb   %2, %3
1008     pxor    %3, %5
1009     mova    %1, %4
1010     pand    %3, [pb_1]
1011     psubusb %2, %3
1012     pavgb   %1, %2
1013 %endmacro
1014
1015 ;-----------------------------------------------------------------------------
1016 ; void pred8x8l_top_dc(uint8_t *src, int has_topleft, int has_topright, int stride)
1017 ;-----------------------------------------------------------------------------
1018 %macro PRED8x8L_TOP_DC 1
1019 cglobal pred8x8l_top_dc_8_%1, 4,4
1020     sub          r0, r3
1021     pxor        mm7, mm7
1022     movq        mm0, [r0-8]
1023     movq        mm3, [r0]
1024     movq        mm1, [r0+8]
1025     movq        mm2, mm3
1026     movq        mm4, mm3
1027     PALIGNR     mm2, mm0, 7, mm0
1028     PALIGNR     mm1, mm4, 1, mm4
1029     test         r1, r1 ; top_left
1030     jz .fix_lt_2
1031     test         r2, r2 ; top_right
1032     jz .fix_tr_1
1033     jmp .body
1034 .fix_lt_2:
1035     movq        mm5, mm3
1036     pxor        mm5, mm2
1037     psllq       mm5, 56
1038     psrlq       mm5, 56
1039     pxor        mm2, mm5
1040     test         r2, r2 ; top_right
1041     jnz .body
1042 .fix_tr_1:
1043     movq        mm5, mm3
1044     pxor        mm5, mm1
1045     psrlq       mm5, 56
1046     psllq       mm5, 56
1047     pxor        mm1, mm5
1048 .body:
1049     PRED4x4_LOWPASS mm0, mm2, mm1, mm3, mm5
1050     psadbw   mm7, mm0
1051     paddw    mm7, [pw_4]
1052     psrlw    mm7, 3
1053     pshufw   mm7, mm7, 0
1054     packuswb mm7, mm7
1055 %rep 3
1056     movq [r0+r3*1], mm7
1057     movq [r0+r3*2], mm7
1058     lea    r0, [r0+r3*2]
1059 %endrep
1060     movq [r0+r3*1], mm7
1061     movq [r0+r3*2], mm7
1062     RET
1063 %endmacro
1064
1065 INIT_MMX
1066 %define PALIGNR PALIGNR_MMX
1067 PRED8x8L_TOP_DC mmxext
1068 %define PALIGNR PALIGNR_SSSE3
1069 PRED8x8L_TOP_DC ssse3
1070
1071 ;-----------------------------------------------------------------------------
1072 ;void pred8x8l_dc(uint8_t *src, int has_topleft, int has_topright, int stride)
1073 ;-----------------------------------------------------------------------------
1074
1075 %macro PRED8x8L_DC 1
1076 cglobal pred8x8l_dc_8_%1, 4,5
1077     sub          r0, r3
1078     lea          r4, [r0+r3*2]
1079     movq        mm0, [r0+r3*1-8]
1080     punpckhbw   mm0, [r0+r3*0-8]
1081     movq        mm1, [r4+r3*1-8]
1082     punpckhbw   mm1, [r0+r3*2-8]
1083     mov          r4, r0
1084     punpckhwd   mm1, mm0
1085     lea          r0, [r0+r3*4]
1086     movq        mm2, [r0+r3*1-8]
1087     punpckhbw   mm2, [r0+r3*0-8]
1088     lea          r0, [r0+r3*2]
1089     movq        mm3, [r0+r3*1-8]
1090     punpckhbw   mm3, [r0+r3*0-8]
1091     punpckhwd   mm3, mm2
1092     punpckhdq   mm3, mm1
1093     lea          r0, [r0+r3*2]
1094     movq        mm0, [r0+r3*0-8]
1095     movq        mm1, [r4]
1096     mov          r0, r4
1097     movq        mm4, mm3
1098     movq        mm2, mm3
1099     PALIGNR     mm4, mm0, 7, mm0
1100     PALIGNR     mm1, mm2, 1, mm2
1101     test        r1, r1
1102     jnz .do_left
1103 .fix_lt_1:
1104     movq        mm5, mm3
1105     pxor        mm5, mm4
1106     psrlq       mm5, 56
1107     psllq       mm5, 48
1108     pxor        mm1, mm5
1109     jmp .do_left
1110 .fix_lt_2:
1111     movq        mm5, mm3
1112     pxor        mm5, mm2
1113     psllq       mm5, 56
1114     psrlq       mm5, 56
1115     pxor        mm2, mm5
1116     test         r2, r2
1117     jnz .body
1118 .fix_tr_1:
1119     movq        mm5, mm3
1120     pxor        mm5, mm1
1121     psrlq       mm5, 56
1122     psllq       mm5, 56
1123     pxor        mm1, mm5
1124     jmp .body
1125 .do_left:
1126     movq        mm0, mm4
1127     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1128     movq        mm4, mm0
1129     movq        mm7, mm2
1130     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1131     psllq       mm1, 56
1132     PALIGNR     mm7, mm1, 7, mm3
1133     movq        mm0, [r0-8]
1134     movq        mm3, [r0]
1135     movq        mm1, [r0+8]
1136     movq        mm2, mm3
1137     movq        mm4, mm3
1138     PALIGNR     mm2, mm0, 7, mm0
1139     PALIGNR     mm1, mm4, 1, mm4
1140     test         r1, r1
1141     jz .fix_lt_2
1142     test         r2, r2
1143     jz .fix_tr_1
1144 .body:
1145     lea          r1, [r0+r3*2]
1146     PRED4x4_LOWPASS mm6, mm2, mm1, mm3, mm5
1147     pxor        mm0, mm0
1148     pxor        mm1, mm1
1149     lea          r2, [r1+r3*2]
1150     psadbw      mm0, mm7
1151     psadbw      mm1, mm6
1152     paddw       mm0, [pw_8]
1153     paddw       mm0, mm1
1154     lea          r4, [r2+r3*2]
1155     psrlw       mm0, 4
1156     pshufw      mm0, mm0, 0
1157     packuswb    mm0, mm0
1158     movq [r0+r3*1], mm0
1159     movq [r0+r3*2], mm0
1160     movq [r1+r3*1], mm0
1161     movq [r1+r3*2], mm0
1162     movq [r2+r3*1], mm0
1163     movq [r2+r3*2], mm0
1164     movq [r4+r3*1], mm0
1165     movq [r4+r3*2], mm0
1166     RET
1167 %endmacro
1168 INIT_MMX
1169 %define PALIGNR PALIGNR_MMX
1170 PRED8x8L_DC mmxext
1171 %define PALIGNR PALIGNR_SSSE3
1172 PRED8x8L_DC ssse3
1173
1174 ;-----------------------------------------------------------------------------
1175 ; void pred8x8l_horizontal(uint8_t *src, int has_topleft, int has_topright, int stride)
1176 ;-----------------------------------------------------------------------------
1177
1178 %macro PRED8x8L_HORIZONTAL 1
1179 cglobal pred8x8l_horizontal_8_%1, 4,4
1180     sub          r0, r3
1181     lea          r2, [r0+r3*2]
1182     movq        mm0, [r0+r3*1-8]
1183     test         r1, r1
1184     lea          r1, [r0+r3]
1185     cmovnz       r1, r0
1186     punpckhbw   mm0, [r1+r3*0-8]
1187     movq        mm1, [r2+r3*1-8]
1188     punpckhbw   mm1, [r0+r3*2-8]
1189     mov          r2, r0
1190     punpckhwd   mm1, mm0
1191     lea          r0, [r0+r3*4]
1192     movq        mm2, [r0+r3*1-8]
1193     punpckhbw   mm2, [r0+r3*0-8]
1194     lea          r0, [r0+r3*2]
1195     movq        mm3, [r0+r3*1-8]
1196     punpckhbw   mm3, [r0+r3*0-8]
1197     punpckhwd   mm3, mm2
1198     punpckhdq   mm3, mm1
1199     lea          r0, [r0+r3*2]
1200     movq        mm0, [r0+r3*0-8]
1201     movq        mm1, [r1+r3*0-8]
1202     mov          r0, r2
1203     movq        mm4, mm3
1204     movq        mm2, mm3
1205     PALIGNR     mm4, mm0, 7, mm0
1206     PALIGNR     mm1, mm2, 1, mm2
1207     movq        mm0, mm4
1208     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1209     movq        mm4, mm0
1210     movq        mm7, mm2
1211     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1212     psllq       mm1, 56
1213     PALIGNR     mm7, mm1, 7, mm3
1214     movq        mm3, mm7
1215     lea         r1, [r0+r3*2]
1216     movq       mm7, mm3
1217     punpckhbw  mm3, mm3
1218     punpcklbw  mm7, mm7
1219     pshufw     mm0, mm3, 0xff
1220     pshufw     mm1, mm3, 0xaa
1221     lea         r2, [r1+r3*2]
1222     pshufw     mm2, mm3, 0x55
1223     pshufw     mm3, mm3, 0x00
1224     pshufw     mm4, mm7, 0xff
1225     pshufw     mm5, mm7, 0xaa
1226     pshufw     mm6, mm7, 0x55
1227     pshufw     mm7, mm7, 0x00
1228     movq [r0+r3*1], mm0
1229     movq [r0+r3*2], mm1
1230     movq [r1+r3*1], mm2
1231     movq [r1+r3*2], mm3
1232     movq [r2+r3*1], mm4
1233     movq [r2+r3*2], mm5
1234     lea         r0, [r2+r3*2]
1235     movq [r0+r3*1], mm6
1236     movq [r0+r3*2], mm7
1237     RET
1238 %endmacro
1239
1240 INIT_MMX
1241 %define PALIGNR PALIGNR_MMX
1242 PRED8x8L_HORIZONTAL mmxext
1243 %define PALIGNR PALIGNR_SSSE3
1244 PRED8x8L_HORIZONTAL ssse3
1245
1246 ;-----------------------------------------------------------------------------
1247 ; void pred8x8l_vertical(uint8_t *src, int has_topleft, int has_topright, int stride)
1248 ;-----------------------------------------------------------------------------
1249
1250 %macro PRED8x8L_VERTICAL 1
1251 cglobal pred8x8l_vertical_8_%1, 4,4
1252     sub          r0, r3
1253     movq        mm0, [r0-8]
1254     movq        mm3, [r0]
1255     movq        mm1, [r0+8]
1256     movq        mm2, mm3
1257     movq        mm4, mm3
1258     PALIGNR     mm2, mm0, 7, mm0
1259     PALIGNR     mm1, mm4, 1, mm4
1260     test         r1, r1 ; top_left
1261     jz .fix_lt_2
1262     test         r2, r2 ; top_right
1263     jz .fix_tr_1
1264     jmp .body
1265 .fix_lt_2:
1266     movq        mm5, mm3
1267     pxor        mm5, mm2
1268     psllq       mm5, 56
1269     psrlq       mm5, 56
1270     pxor        mm2, mm5
1271     test         r2, r2 ; top_right
1272     jnz .body
1273 .fix_tr_1:
1274     movq        mm5, mm3
1275     pxor        mm5, mm1
1276     psrlq       mm5, 56
1277     psllq       mm5, 56
1278     pxor        mm1, mm5
1279 .body:
1280     PRED4x4_LOWPASS mm0, mm2, mm1, mm3, mm5
1281 %rep 3
1282     movq [r0+r3*1], mm0
1283     movq [r0+r3*2], mm0
1284     lea    r0, [r0+r3*2]
1285 %endrep
1286     movq [r0+r3*1], mm0
1287     movq [r0+r3*2], mm0
1288     RET
1289 %endmacro
1290
1291 INIT_MMX
1292 %define PALIGNR PALIGNR_MMX
1293 PRED8x8L_VERTICAL mmxext
1294 %define PALIGNR PALIGNR_SSSE3
1295 PRED8x8L_VERTICAL ssse3
1296
1297 ;-----------------------------------------------------------------------------
1298 ;void pred8x8l_down_left(uint8_t *src, int has_topleft, int has_topright, int stride)
1299 ;-----------------------------------------------------------------------------
1300
1301 INIT_MMX
1302 %define PALIGNR PALIGNR_MMX
1303 cglobal pred8x8l_down_left_8_mmxext, 4,5
1304     sub          r0, r3
1305     movq        mm0, [r0-8]
1306     movq        mm3, [r0]
1307     movq        mm1, [r0+8]
1308     movq        mm2, mm3
1309     movq        mm4, mm3
1310     PALIGNR     mm2, mm0, 7, mm0
1311     PALIGNR     mm1, mm4, 1, mm4
1312     test         r1, r1
1313     jz .fix_lt_2
1314     test         r2, r2
1315     jz .fix_tr_1
1316     jmp .do_top
1317 .fix_lt_2:
1318     movq        mm5, mm3
1319     pxor        mm5, mm2
1320     psllq       mm5, 56
1321     psrlq       mm5, 56
1322     pxor        mm2, mm5
1323     test         r2, r2
1324     jnz .do_top
1325 .fix_tr_1:
1326     movq        mm5, mm3
1327     pxor        mm5, mm1
1328     psrlq       mm5, 56
1329     psllq       mm5, 56
1330     pxor        mm1, mm5
1331     jmp .do_top
1332 .fix_tr_2:
1333     punpckhbw   mm3, mm3
1334     pshufw      mm1, mm3, 0xFF
1335     jmp .do_topright
1336 .do_top:
1337     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1338     movq        mm7, mm4
1339     test         r2, r2
1340     jz .fix_tr_2
1341     movq        mm0, [r0+8]
1342     movq        mm5, mm0
1343     movq        mm2, mm0
1344     movq        mm4, mm0
1345     psrlq       mm5, 56
1346     PALIGNR     mm2, mm3, 7, mm3
1347     PALIGNR     mm5, mm4, 1, mm4
1348     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
1349 .do_topright:
1350     lea          r1, [r0+r3*2]
1351     movq        mm6, mm1
1352     psrlq       mm1, 56
1353     movq        mm4, mm1
1354     lea          r2, [r1+r3*2]
1355     movq        mm2, mm6
1356     PALIGNR     mm2, mm7, 1, mm0
1357     movq        mm3, mm6
1358     PALIGNR     mm3, mm7, 7, mm0
1359     PALIGNR     mm4, mm6, 1, mm0
1360     movq        mm5, mm7
1361     movq        mm1, mm7
1362     movq        mm7, mm6
1363     lea          r4, [r2+r3*2]
1364     psllq       mm1, 8
1365     PRED4x4_LOWPASS mm0, mm1, mm2, mm5, mm6
1366     PRED4x4_LOWPASS mm1, mm3, mm4, mm7, mm6
1367     movq  [r4+r3*2], mm1
1368     movq        mm2, mm0
1369     psllq       mm1, 8
1370     psrlq       mm2, 56
1371     psllq       mm0, 8
1372     por         mm1, mm2
1373     movq  [r4+r3*1], mm1
1374     movq        mm2, mm0
1375     psllq       mm1, 8
1376     psrlq       mm2, 56
1377     psllq       mm0, 8
1378     por         mm1, mm2
1379     movq  [r2+r3*2], mm1
1380     movq        mm2, mm0
1381     psllq       mm1, 8
1382     psrlq       mm2, 56
1383     psllq       mm0, 8
1384     por         mm1, mm2
1385     movq  [r2+r3*1], mm1
1386     movq        mm2, mm0
1387     psllq       mm1, 8
1388     psrlq       mm2, 56
1389     psllq       mm0, 8
1390     por         mm1, mm2
1391     movq  [r1+r3*2], mm1
1392     movq        mm2, mm0
1393     psllq       mm1, 8
1394     psrlq       mm2, 56
1395     psllq       mm0, 8
1396     por         mm1, mm2
1397     movq  [r1+r3*1], mm1
1398     movq        mm2, mm0
1399     psllq       mm1, 8
1400     psrlq       mm2, 56
1401     psllq       mm0, 8
1402     por         mm1, mm2
1403     movq  [r0+r3*2], mm1
1404     psllq       mm1, 8
1405     psrlq       mm0, 56
1406     por         mm1, mm0
1407     movq  [r0+r3*1], mm1
1408     RET
1409
1410 %macro PRED8x8L_DOWN_LEFT 1
1411 cglobal pred8x8l_down_left_8_%1, 4,4
1412     sub          r0, r3
1413     movq        mm0, [r0-8]
1414     movq        mm3, [r0]
1415     movq        mm1, [r0+8]
1416     movq        mm2, mm3
1417     movq        mm4, mm3
1418     PALIGNR     mm2, mm0, 7, mm0
1419     PALIGNR     mm1, mm4, 1, mm4
1420     test         r1, r1 ; top_left
1421     jz .fix_lt_2
1422     test         r2, r2 ; top_right
1423     jz .fix_tr_1
1424     jmp .do_top
1425 .fix_lt_2:
1426     movq        mm5, mm3
1427     pxor        mm5, mm2
1428     psllq       mm5, 56
1429     psrlq       mm5, 56
1430     pxor        mm2, mm5
1431     test         r2, r2 ; top_right
1432     jnz .do_top
1433 .fix_tr_1:
1434     movq        mm5, mm3
1435     pxor        mm5, mm1
1436     psrlq       mm5, 56
1437     psllq       mm5, 56
1438     pxor        mm1, mm5
1439     jmp .do_top
1440 .fix_tr_2:
1441     punpckhbw   mm3, mm3
1442     pshufw      mm1, mm3, 0xFF
1443     jmp .do_topright
1444 .do_top:
1445     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1446     movq2dq    xmm3, mm4
1447     test         r2, r2 ; top_right
1448     jz .fix_tr_2
1449     movq        mm0, [r0+8]
1450     movq        mm5, mm0
1451     movq        mm2, mm0
1452     movq        mm4, mm0
1453     psrlq       mm5, 56
1454     PALIGNR     mm2, mm3, 7, mm3
1455     PALIGNR     mm5, mm4, 1, mm4
1456     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
1457 .do_topright:
1458     movq2dq    xmm4, mm1
1459     psrlq       mm1, 56
1460     movq2dq    xmm5, mm1
1461     lea         r1, [r0+r3*2]
1462     pslldq    xmm4, 8
1463     por       xmm3, xmm4
1464     movdqa    xmm2, xmm3
1465     psrldq    xmm2, 1
1466     pslldq    xmm5, 15
1467     por       xmm2, xmm5
1468     lea         r2, [r1+r3*2]
1469     movdqa    xmm1, xmm3
1470     pslldq    xmm1, 1
1471 INIT_XMM
1472     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm3, xmm4
1473     psrldq    xmm0, 1
1474     movq [r0+r3*1], xmm0
1475     psrldq    xmm0, 1
1476     movq [r0+r3*2], xmm0
1477     psrldq    xmm0, 1
1478     lea         r0, [r2+r3*2]
1479     movq [r1+r3*1], xmm0
1480     psrldq    xmm0, 1
1481     movq [r1+r3*2], xmm0
1482     psrldq    xmm0, 1
1483     movq [r2+r3*1], xmm0
1484     psrldq    xmm0, 1
1485     movq [r2+r3*2], xmm0
1486     psrldq    xmm0, 1
1487     movq [r0+r3*1], xmm0
1488     psrldq    xmm0, 1
1489     movq [r0+r3*2], xmm0
1490     RET
1491 %endmacro
1492
1493 INIT_MMX
1494 %define PALIGNR PALIGNR_MMX
1495 PRED8x8L_DOWN_LEFT sse2
1496 INIT_MMX
1497 %define PALIGNR PALIGNR_SSSE3
1498 PRED8x8L_DOWN_LEFT ssse3
1499
1500 ;-----------------------------------------------------------------------------
1501 ;void pred8x8l_down_right_mmxext(uint8_t *src, int has_topleft, int has_topright, int stride)
1502 ;-----------------------------------------------------------------------------
1503
1504 INIT_MMX
1505 %define PALIGNR PALIGNR_MMX
1506 cglobal pred8x8l_down_right_8_mmxext, 4,5
1507     sub          r0, r3
1508     lea          r4, [r0+r3*2]
1509     movq        mm0, [r0+r3*1-8]
1510     punpckhbw   mm0, [r0+r3*0-8]
1511     movq        mm1, [r4+r3*1-8]
1512     punpckhbw   mm1, [r0+r3*2-8]
1513     mov          r4, r0
1514     punpckhwd   mm1, mm0
1515     lea          r0, [r0+r3*4]
1516     movq        mm2, [r0+r3*1-8]
1517     punpckhbw   mm2, [r0+r3*0-8]
1518     lea          r0, [r0+r3*2]
1519     movq        mm3, [r0+r3*1-8]
1520     punpckhbw   mm3, [r0+r3*0-8]
1521     punpckhwd   mm3, mm2
1522     punpckhdq   mm3, mm1
1523     lea          r0, [r0+r3*2]
1524     movq        mm0, [r0+r3*0-8]
1525     movq        mm1, [r4]
1526     mov          r0, r4
1527     movq        mm4, mm3
1528     movq        mm2, mm3
1529     PALIGNR     mm4, mm0, 7, mm0
1530     PALIGNR     mm1, mm2, 1, mm2
1531     test        r1, r1 ; top_left
1532     jz .fix_lt_1
1533 .do_left:
1534     movq        mm0, mm4
1535     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1536     movq        mm4, mm0
1537     movq        mm7, mm2
1538     movq        mm6, mm2
1539     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1540     psllq       mm1, 56
1541     PALIGNR     mm7, mm1, 7, mm3
1542     movq        mm0, [r0-8]
1543     movq        mm3, [r0]
1544     movq        mm1, [r0+8]
1545     movq        mm2, mm3
1546     movq        mm4, mm3
1547     PALIGNR     mm2, mm0, 7, mm0
1548     PALIGNR     mm1, mm4, 1, mm4
1549     test         r1, r1 ; top_left
1550     jz .fix_lt_2
1551     test         r2, r2 ; top_right
1552     jz .fix_tr_1
1553 .do_top:
1554     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1555     movq        mm5, mm4
1556     jmp .body
1557 .fix_lt_1:
1558     movq        mm5, mm3
1559     pxor        mm5, mm4
1560     psrlq       mm5, 56
1561     psllq       mm5, 48
1562     pxor        mm1, mm5
1563     jmp .do_left
1564 .fix_lt_2:
1565     movq        mm5, mm3
1566     pxor        mm5, mm2
1567     psllq       mm5, 56
1568     psrlq       mm5, 56
1569     pxor        mm2, mm5
1570     test         r2, r2 ; top_right
1571     jnz .do_top
1572 .fix_tr_1:
1573     movq        mm5, mm3
1574     pxor        mm5, mm1
1575     psrlq       mm5, 56
1576     psllq       mm5, 56
1577     pxor        mm1, mm5
1578     jmp .do_top
1579 .body:
1580     lea         r1, [r0+r3*2]
1581     movq       mm1, mm7
1582     movq       mm7, mm5
1583     movq       mm5, mm6
1584     movq       mm2, mm7
1585     lea         r2, [r1+r3*2]
1586     PALIGNR    mm2, mm6, 1, mm0
1587     movq       mm3, mm7
1588     PALIGNR    mm3, mm6, 7, mm0
1589     movq       mm4, mm7
1590     lea         r4, [r2+r3*2]
1591     psrlq      mm4, 8
1592     PRED4x4_LOWPASS mm0, mm1, mm2, mm5, mm6
1593     PRED4x4_LOWPASS mm1, mm3, mm4, mm7, mm6
1594     movq [r4+r3*2], mm0
1595     movq       mm2, mm1
1596     psrlq      mm0, 8
1597     psllq      mm2, 56
1598     psrlq      mm1, 8
1599     por        mm0, mm2
1600     movq [r4+r3*1], mm0
1601     movq       mm2, mm1
1602     psrlq      mm0, 8
1603     psllq      mm2, 56
1604     psrlq      mm1, 8
1605     por        mm0, mm2
1606     movq [r2+r3*2], mm0
1607     movq       mm2, mm1
1608     psrlq      mm0, 8
1609     psllq      mm2, 56
1610     psrlq      mm1, 8
1611     por        mm0, mm2
1612     movq [r2+r3*1], mm0
1613     movq       mm2, mm1
1614     psrlq      mm0, 8
1615     psllq      mm2, 56
1616     psrlq      mm1, 8
1617     por        mm0, mm2
1618     movq [r1+r3*2], mm0
1619     movq       mm2, mm1
1620     psrlq      mm0, 8
1621     psllq      mm2, 56
1622     psrlq      mm1, 8
1623     por        mm0, mm2
1624     movq [r1+r3*1], mm0
1625     movq       mm2, mm1
1626     psrlq      mm0, 8
1627     psllq      mm2, 56
1628     psrlq      mm1, 8
1629     por        mm0, mm2
1630     movq [r0+r3*2], mm0
1631     psrlq      mm0, 8
1632     psllq      mm1, 56
1633     por        mm0, mm1
1634     movq [r0+r3*1], mm0
1635     RET
1636
1637 %macro PRED8x8L_DOWN_RIGHT 1
1638 cglobal pred8x8l_down_right_8_%1, 4,5
1639     sub          r0, r3
1640     lea          r4, [r0+r3*2]
1641     movq        mm0, [r0+r3*1-8]
1642     punpckhbw   mm0, [r0+r3*0-8]
1643     movq        mm1, [r4+r3*1-8]
1644     punpckhbw   mm1, [r0+r3*2-8]
1645     mov          r4, r0
1646     punpckhwd   mm1, mm0
1647     lea          r0, [r0+r3*4]
1648     movq        mm2, [r0+r3*1-8]
1649     punpckhbw   mm2, [r0+r3*0-8]
1650     lea          r0, [r0+r3*2]
1651     movq        mm3, [r0+r3*1-8]
1652     punpckhbw   mm3, [r0+r3*0-8]
1653     punpckhwd   mm3, mm2
1654     punpckhdq   mm3, mm1
1655     lea          r0, [r0+r3*2]
1656     movq        mm0, [r0+r3*0-8]
1657     movq        mm1, [r4]
1658     mov          r0, r4
1659     movq        mm4, mm3
1660     movq        mm2, mm3
1661     PALIGNR     mm4, mm0, 7, mm0
1662     PALIGNR     mm1, mm2, 1, mm2
1663     test        r1, r1
1664     jz .fix_lt_1
1665     jmp .do_left
1666 .fix_lt_1:
1667     movq        mm5, mm3
1668     pxor        mm5, mm4
1669     psrlq       mm5, 56
1670     psllq       mm5, 48
1671     pxor        mm1, mm5
1672     jmp .do_left
1673 .fix_lt_2:
1674     movq        mm5, mm3
1675     pxor        mm5, mm2
1676     psllq       mm5, 56
1677     psrlq       mm5, 56
1678     pxor        mm2, mm5
1679     test         r2, r2
1680     jnz .do_top
1681 .fix_tr_1:
1682     movq        mm5, mm3
1683     pxor        mm5, mm1
1684     psrlq       mm5, 56
1685     psllq       mm5, 56
1686     pxor        mm1, mm5
1687     jmp .do_top
1688 .do_left:
1689     movq        mm0, mm4
1690     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1691     movq        mm4, mm0
1692     movq        mm7, mm2
1693     movq2dq    xmm3, mm2
1694     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1695     psllq       mm1, 56
1696     PALIGNR     mm7, mm1, 7, mm3
1697     movq2dq    xmm1, mm7
1698     movq        mm0, [r0-8]
1699     movq        mm3, [r0]
1700     movq        mm1, [r0+8]
1701     movq        mm2, mm3
1702     movq        mm4, mm3
1703     PALIGNR     mm2, mm0, 7, mm0
1704     PALIGNR     mm1, mm4, 1, mm4
1705     test         r1, r1
1706     jz .fix_lt_2
1707     test         r2, r2
1708     jz .fix_tr_1
1709 .do_top:
1710     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1711     movq2dq   xmm4, mm4
1712     lea         r1, [r0+r3*2]
1713     movdqa    xmm0, xmm3
1714     pslldq    xmm4, 8
1715     por       xmm3, xmm4
1716     lea         r2, [r1+r3*2]
1717     pslldq    xmm4, 1
1718     por       xmm1, xmm4
1719     psrldq    xmm0, 7
1720     pslldq    xmm0, 15
1721     psrldq    xmm0, 7
1722     por       xmm1, xmm0
1723     lea         r0, [r2+r3*2]
1724     movdqa    xmm2, xmm3
1725     psrldq    xmm2, 1
1726 INIT_XMM
1727     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm3, xmm4
1728     movdqa    xmm1, xmm0
1729     psrldq    xmm1, 1
1730     movq [r0+r3*2], xmm0
1731     movq [r0+r3*1], xmm1
1732     psrldq    xmm0, 2
1733     psrldq    xmm1, 2
1734     movq [r2+r3*2], xmm0
1735     movq [r2+r3*1], xmm1
1736     psrldq    xmm0, 2
1737     psrldq    xmm1, 2
1738     movq [r1+r3*2], xmm0
1739     movq [r1+r3*1], xmm1
1740     psrldq    xmm0, 2
1741     psrldq    xmm1, 2
1742     movq [r4+r3*2], xmm0
1743     movq [r4+r3*1], xmm1
1744     RET
1745 %endmacro
1746
1747 INIT_MMX
1748 %define PALIGNR PALIGNR_MMX
1749 PRED8x8L_DOWN_RIGHT sse2
1750 INIT_MMX
1751 %define PALIGNR PALIGNR_SSSE3
1752 PRED8x8L_DOWN_RIGHT ssse3
1753
1754 ;-----------------------------------------------------------------------------
1755 ; void pred8x8l_vertical_right(uint8_t *src, int has_topleft, int has_topright, int stride)
1756 ;-----------------------------------------------------------------------------
1757
1758 INIT_MMX
1759 %define PALIGNR PALIGNR_MMX
1760 cglobal pred8x8l_vertical_right_8_mmxext, 4,5
1761     sub          r0, r3
1762     lea          r4, [r0+r3*2]
1763     movq        mm0, [r0+r3*1-8]
1764     punpckhbw   mm0, [r0+r3*0-8]
1765     movq        mm1, [r4+r3*1-8]
1766     punpckhbw   mm1, [r0+r3*2-8]
1767     mov          r4, r0
1768     punpckhwd   mm1, mm0
1769     lea          r0, [r0+r3*4]
1770     movq        mm2, [r0+r3*1-8]
1771     punpckhbw   mm2, [r0+r3*0-8]
1772     lea          r0, [r0+r3*2]
1773     movq        mm3, [r0+r3*1-8]
1774     punpckhbw   mm3, [r0+r3*0-8]
1775     punpckhwd   mm3, mm2
1776     punpckhdq   mm3, mm1
1777     lea          r0, [r0+r3*2]
1778     movq        mm0, [r0+r3*0-8]
1779     movq        mm1, [r4]
1780     mov          r0, r4
1781     movq        mm4, mm3
1782     movq        mm2, mm3
1783     PALIGNR     mm4, mm0, 7, mm0
1784     PALIGNR     mm1, mm2, 1, mm2
1785     test        r1, r1
1786     jz .fix_lt_1
1787     jmp .do_left
1788 .fix_lt_1:
1789     movq        mm5, mm3
1790     pxor        mm5, mm4
1791     psrlq       mm5, 56
1792     psllq       mm5, 48
1793     pxor        mm1, mm5
1794     jmp .do_left
1795 .fix_lt_2:
1796     movq        mm5, mm3
1797     pxor        mm5, mm2
1798     psllq       mm5, 56
1799     psrlq       mm5, 56
1800     pxor        mm2, mm5
1801     test         r2, r2
1802     jnz .do_top
1803 .fix_tr_1:
1804     movq        mm5, mm3
1805     pxor        mm5, mm1
1806     psrlq       mm5, 56
1807     psllq       mm5, 56
1808     pxor        mm1, mm5
1809     jmp .do_top
1810 .do_left:
1811     movq        mm0, mm4
1812     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1813     movq        mm7, mm2
1814     movq        mm0, [r0-8]
1815     movq        mm3, [r0]
1816     movq        mm1, [r0+8]
1817     movq        mm2, mm3
1818     movq        mm4, mm3
1819     PALIGNR     mm2, mm0, 7, mm0
1820     PALIGNR     mm1, mm4, 1, mm4
1821     test         r1, r1
1822     jz .fix_lt_2
1823     test         r2, r2
1824     jz .fix_tr_1
1825 .do_top:
1826     PRED4x4_LOWPASS mm6, mm2, mm1, mm3, mm5
1827     lea         r1, [r0+r3*2]
1828     movq       mm2, mm6
1829     movq       mm3, mm6
1830     PALIGNR    mm3, mm7, 7, mm0
1831     PALIGNR    mm6, mm7, 6, mm1
1832     movq       mm4, mm3
1833     pavgb      mm3, mm2
1834     lea         r2, [r1+r3*2]
1835     PRED4x4_LOWPASS mm0, mm6, mm2, mm4, mm5
1836     movq [r0+r3*1], mm3
1837     movq [r0+r3*2], mm0
1838     movq       mm5, mm0
1839     movq       mm6, mm3
1840     movq       mm1, mm7
1841     movq       mm2, mm1
1842     psllq      mm2, 8
1843     movq       mm3, mm1
1844     psllq      mm3, 16
1845     lea         r4, [r2+r3*2]
1846     PRED4x4_LOWPASS mm0, mm1, mm3, mm2, mm4
1847     PALIGNR    mm6, mm0, 7, mm2
1848     movq [r1+r3*1], mm6
1849     psllq      mm0, 8
1850     PALIGNR    mm5, mm0, 7, mm1
1851     movq [r1+r3*2], mm5
1852     psllq      mm0, 8
1853     PALIGNR    mm6, mm0, 7, mm2
1854     movq [r2+r3*1], mm6
1855     psllq      mm0, 8
1856     PALIGNR    mm5, mm0, 7, mm1
1857     movq [r2+r3*2], mm5
1858     psllq      mm0, 8
1859     PALIGNR    mm6, mm0, 7, mm2
1860     movq [r4+r3*1], mm6
1861     psllq      mm0, 8
1862     PALIGNR    mm5, mm0, 7, mm1
1863     movq [r4+r3*2], mm5
1864     RET
1865
1866 %macro PRED8x8L_VERTICAL_RIGHT 1
1867 cglobal pred8x8l_vertical_right_8_%1, 4,5,7
1868     ; manually spill XMM registers for Win64 because
1869     ; the code here is initialized with INIT_MMX
1870     WIN64_SPILL_XMM 7
1871     sub          r0, r3
1872     lea          r4, [r0+r3*2]
1873     movq        mm0, [r0+r3*1-8]
1874     punpckhbw   mm0, [r0+r3*0-8]
1875     movq        mm1, [r4+r3*1-8]
1876     punpckhbw   mm1, [r0+r3*2-8]
1877     mov          r4, r0
1878     punpckhwd   mm1, mm0
1879     lea          r0, [r0+r3*4]
1880     movq        mm2, [r0+r3*1-8]
1881     punpckhbw   mm2, [r0+r3*0-8]
1882     lea          r0, [r0+r3*2]
1883     movq        mm3, [r0+r3*1-8]
1884     punpckhbw   mm3, [r0+r3*0-8]
1885     punpckhwd   mm3, mm2
1886     punpckhdq   mm3, mm1
1887     lea          r0, [r0+r3*2]
1888     movq        mm0, [r0+r3*0-8]
1889     movq        mm1, [r4]
1890     mov          r0, r4
1891     movq        mm4, mm3
1892     movq        mm2, mm3
1893     PALIGNR     mm4, mm0, 7, mm0
1894     PALIGNR     mm1, mm2, 1, mm2
1895     test        r1, r1
1896     jnz .do_left
1897 .fix_lt_1:
1898     movq        mm5, mm3
1899     pxor        mm5, mm4
1900     psrlq       mm5, 56
1901     psllq       mm5, 48
1902     pxor        mm1, mm5
1903     jmp .do_left
1904 .fix_lt_2:
1905     movq        mm5, mm3
1906     pxor        mm5, mm2
1907     psllq       mm5, 56
1908     psrlq       mm5, 56
1909     pxor        mm2, mm5
1910     test         r2, r2
1911     jnz .do_top
1912 .fix_tr_1:
1913     movq        mm5, mm3
1914     pxor        mm5, mm1
1915     psrlq       mm5, 56
1916     psllq       mm5, 56
1917     pxor        mm1, mm5
1918     jmp .do_top
1919 .do_left:
1920     movq        mm0, mm4
1921     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1922     movq2dq    xmm0, mm2
1923     movq        mm0, [r0-8]
1924     movq        mm3, [r0]
1925     movq        mm1, [r0+8]
1926     movq        mm2, mm3
1927     movq        mm4, mm3
1928     PALIGNR     mm2, mm0, 7, mm0
1929     PALIGNR     mm1, mm4, 1, mm4
1930     test         r1, r1
1931     jz .fix_lt_2
1932     test         r2, r2
1933     jz .fix_tr_1
1934 .do_top:
1935     PRED4x4_LOWPASS mm6, mm2, mm1, mm3, mm5
1936     lea           r1, [r0+r3*2]
1937     movq2dq     xmm4, mm6
1938     pslldq      xmm4, 8
1939     por         xmm0, xmm4
1940     movdqa      xmm6, [pw_ff00]
1941     movdqa      xmm1, xmm0
1942     lea           r2, [r1+r3*2]
1943     movdqa      xmm2, xmm0
1944     movdqa      xmm3, xmm0
1945     pslldq      xmm0, 1
1946     pslldq      xmm1, 2
1947     pavgb       xmm2, xmm0
1948 INIT_XMM
1949     PRED4x4_LOWPASS xmm4, xmm3, xmm1, xmm0, xmm5
1950     pandn       xmm6, xmm4
1951     movdqa      xmm5, xmm4
1952     psrlw       xmm4, 8
1953     packuswb    xmm6, xmm4
1954     movhlps     xmm4, xmm6
1955     movhps [r0+r3*2], xmm5
1956     movhps [r0+r3*1], xmm2
1957     psrldq      xmm5, 4
1958     movss       xmm5, xmm6
1959     psrldq      xmm2, 4
1960     movss       xmm2, xmm4
1961     lea           r0, [r2+r3*2]
1962     psrldq      xmm5, 1
1963     psrldq      xmm2, 1
1964     movq        [r0+r3*2], xmm5
1965     movq        [r0+r3*1], xmm2
1966     psrldq      xmm5, 1
1967     psrldq      xmm2, 1
1968     movq        [r2+r3*2], xmm5
1969     movq        [r2+r3*1], xmm2
1970     psrldq      xmm5, 1
1971     psrldq      xmm2, 1
1972     movq        [r1+r3*2], xmm5
1973     movq        [r1+r3*1], xmm2
1974     RET
1975 %endmacro
1976
1977 INIT_MMX
1978 %define PALIGNR PALIGNR_MMX
1979 PRED8x8L_VERTICAL_RIGHT sse2
1980 INIT_MMX
1981 %define PALIGNR PALIGNR_SSSE3
1982 PRED8x8L_VERTICAL_RIGHT ssse3
1983
1984 ;-----------------------------------------------------------------------------
1985 ;void pred8x8l_vertical_left(uint8_t *src, int has_topleft, int has_topright, int stride)
1986 ;-----------------------------------------------------------------------------
1987
1988 %macro PRED8x8L_VERTICAL_LEFT 1
1989 cglobal pred8x8l_vertical_left_8_%1, 4,4
1990     sub          r0, r3
1991     movq        mm0, [r0-8]
1992     movq        mm3, [r0]
1993     movq        mm1, [r0+8]
1994     movq        mm2, mm3
1995     movq        mm4, mm3
1996     PALIGNR     mm2, mm0, 7, mm0
1997     PALIGNR     mm1, mm4, 1, mm4
1998     test         r1, r1
1999     jz .fix_lt_2
2000     test         r2, r2
2001     jz .fix_tr_1
2002     jmp .do_top
2003 .fix_lt_2:
2004     movq        mm5, mm3
2005     pxor        mm5, mm2
2006     psllq       mm5, 56
2007     psrlq       mm5, 56
2008     pxor        mm2, mm5
2009     test         r2, r2
2010     jnz .do_top
2011 .fix_tr_1:
2012     movq        mm5, mm3
2013     pxor        mm5, mm1
2014     psrlq       mm5, 56
2015     psllq       mm5, 56
2016     pxor        mm1, mm5
2017     jmp .do_top
2018 .fix_tr_2:
2019     punpckhbw   mm3, mm3
2020     pshufw      mm1, mm3, 0xFF
2021     jmp .do_topright
2022 .do_top:
2023     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
2024     movq2dq    xmm4, mm4
2025     test         r2, r2
2026     jz .fix_tr_2
2027     movq        mm0, [r0+8]
2028     movq        mm5, mm0
2029     movq        mm2, mm0
2030     movq        mm4, mm0
2031     psrlq       mm5, 56
2032     PALIGNR     mm2, mm3, 7, mm3
2033     PALIGNR     mm5, mm4, 1, mm4
2034     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
2035 .do_topright:
2036     movq2dq   xmm3, mm1
2037     lea         r1, [r0+r3*2]
2038     pslldq    xmm3, 8
2039     por       xmm4, xmm3
2040     movdqa    xmm2, xmm4
2041     movdqa    xmm1, xmm4
2042     movdqa    xmm3, xmm4
2043     psrldq    xmm2, 1
2044     pslldq    xmm1, 1
2045     pavgb     xmm3, xmm2
2046     lea         r2, [r1+r3*2]
2047 INIT_XMM
2048     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm4, xmm5
2049     psrldq    xmm0, 1
2050     movq [r0+r3*1], xmm3
2051     movq [r0+r3*2], xmm0
2052     lea         r0, [r2+r3*2]
2053     psrldq    xmm3, 1
2054     psrldq    xmm0, 1
2055     movq [r1+r3*1], xmm3
2056     movq [r1+r3*2], xmm0
2057     psrldq    xmm3, 1
2058     psrldq    xmm0, 1
2059     movq [r2+r3*1], xmm3
2060     movq [r2+r3*2], xmm0
2061     psrldq    xmm3, 1
2062     psrldq    xmm0, 1
2063     movq [r0+r3*1], xmm3
2064     movq [r0+r3*2], xmm0
2065     RET
2066 %endmacro
2067
2068 INIT_MMX
2069 %define PALIGNR PALIGNR_MMX
2070 PRED8x8L_VERTICAL_LEFT sse2
2071 %define PALIGNR PALIGNR_SSSE3
2072 INIT_MMX
2073 PRED8x8L_VERTICAL_LEFT ssse3
2074
2075 ;-----------------------------------------------------------------------------
2076 ; void pred8x8l_horizontal_up(uint8_t *src, int has_topleft, int has_topright, int stride)
2077 ;-----------------------------------------------------------------------------
2078
2079 %macro PRED8x8L_HORIZONTAL_UP 1
2080 cglobal pred8x8l_horizontal_up_8_%1, 4,4
2081     sub          r0, r3
2082     lea          r2, [r0+r3*2]
2083     movq        mm0, [r0+r3*1-8]
2084     test         r1, r1
2085     lea          r1, [r0+r3]
2086     cmovnz       r1, r0
2087     punpckhbw   mm0, [r1+r3*0-8]
2088     movq        mm1, [r2+r3*1-8]
2089     punpckhbw   mm1, [r0+r3*2-8]
2090     mov          r2, r0
2091     punpckhwd   mm1, mm0
2092     lea          r0, [r0+r3*4]
2093     movq        mm2, [r0+r3*1-8]
2094     punpckhbw   mm2, [r0+r3*0-8]
2095     lea          r0, [r0+r3*2]
2096     movq        mm3, [r0+r3*1-8]
2097     punpckhbw   mm3, [r0+r3*0-8]
2098     punpckhwd   mm3, mm2
2099     punpckhdq   mm3, mm1
2100     lea          r0, [r0+r3*2]
2101     movq        mm0, [r0+r3*0-8]
2102     movq        mm1, [r1+r3*0-8]
2103     mov          r0, r2
2104     movq        mm4, mm3
2105     movq        mm2, mm3
2106     PALIGNR     mm4, mm0, 7, mm0
2107     PALIGNR     mm1, mm2, 1, mm2
2108     movq       mm0, mm4
2109     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
2110     movq       mm4, mm0
2111     movq       mm7, mm2
2112     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
2113     psllq      mm1, 56
2114     PALIGNR    mm7, mm1, 7, mm3
2115     lea         r1, [r0+r3*2]
2116     pshufw     mm0, mm7, 00011011b ; l6 l7 l4 l5 l2 l3 l0 l1
2117     psllq      mm7, 56             ; l7 .. .. .. .. .. .. ..
2118     movq       mm2, mm0
2119     psllw      mm0, 8
2120     psrlw      mm2, 8
2121     por        mm2, mm0            ; l7 l6 l5 l4 l3 l2 l1 l0
2122     movq       mm3, mm2
2123     movq       mm4, mm2
2124     movq       mm5, mm2
2125     psrlq      mm2, 8
2126     psrlq      mm3, 16
2127     lea         r2, [r1+r3*2]
2128     por        mm2, mm7            ; l7 l7 l6 l5 l4 l3 l2 l1
2129     punpckhbw  mm7, mm7
2130     por        mm3, mm7            ; l7 l7 l7 l6 l5 l4 l3 l2
2131     pavgb      mm4, mm2
2132     PRED4x4_LOWPASS mm1, mm3, mm5, mm2, mm6
2133     movq       mm5, mm4
2134     punpcklbw  mm4, mm1            ; p4 p3 p2 p1
2135     punpckhbw  mm5, mm1            ; p8 p7 p6 p5
2136     movq       mm6, mm5
2137     movq       mm7, mm5
2138     movq       mm0, mm5
2139     PALIGNR    mm5, mm4, 2, mm1
2140     pshufw     mm1, mm6, 11111001b
2141     PALIGNR    mm6, mm4, 4, mm2
2142     pshufw     mm2, mm7, 11111110b
2143     PALIGNR    mm7, mm4, 6, mm3
2144     pshufw     mm3, mm0, 11111111b
2145     movq [r0+r3*1], mm4
2146     movq [r0+r3*2], mm5
2147     lea         r0, [r2+r3*2]
2148     movq [r1+r3*1], mm6
2149     movq [r1+r3*2], mm7
2150     movq [r2+r3*1], mm0
2151     movq [r2+r3*2], mm1
2152     movq [r0+r3*1], mm2
2153     movq [r0+r3*2], mm3
2154     RET
2155 %endmacro
2156
2157 INIT_MMX
2158 %define PALIGNR PALIGNR_MMX
2159 PRED8x8L_HORIZONTAL_UP mmxext
2160 %define PALIGNR PALIGNR_SSSE3
2161 PRED8x8L_HORIZONTAL_UP ssse3
2162
2163 ;-----------------------------------------------------------------------------
2164 ;void pred8x8l_horizontal_down(uint8_t *src, int has_topleft, int has_topright, int stride)
2165 ;-----------------------------------------------------------------------------
2166
2167 INIT_MMX
2168 %define PALIGNR PALIGNR_MMX
2169 cglobal pred8x8l_horizontal_down_8_mmxext, 4,5
2170     sub          r0, r3
2171     lea          r4, [r0+r3*2]
2172     movq        mm0, [r0+r3*1-8]
2173     punpckhbw   mm0, [r0+r3*0-8]
2174     movq        mm1, [r4+r3*1-8]
2175     punpckhbw   mm1, [r0+r3*2-8]
2176     mov          r4, r0
2177     punpckhwd   mm1, mm0
2178     lea          r0, [r0+r3*4]
2179     movq        mm2, [r0+r3*1-8]
2180     punpckhbw   mm2, [r0+r3*0-8]
2181     lea          r0, [r0+r3*2]
2182     movq        mm3, [r0+r3*1-8]
2183     punpckhbw   mm3, [r0+r3*0-8]
2184     punpckhwd   mm3, mm2
2185     punpckhdq   mm3, mm1
2186     lea          r0, [r0+r3*2]
2187     movq        mm0, [r0+r3*0-8]
2188     movq        mm1, [r4]
2189     mov          r0, r4
2190     movq        mm4, mm3
2191     movq        mm2, mm3
2192     PALIGNR     mm4, mm0, 7, mm0
2193     PALIGNR     mm1, mm2, 1, mm2
2194     test        r1, r1
2195     jnz .do_left
2196 .fix_lt_1:
2197     movq        mm5, mm3
2198     pxor        mm5, mm4
2199     psrlq       mm5, 56
2200     psllq       mm5, 48
2201     pxor        mm1, mm5
2202     jmp .do_left
2203 .fix_lt_2:
2204     movq        mm5, mm3
2205     pxor        mm5, mm2
2206     psllq       mm5, 56
2207     psrlq       mm5, 56
2208     pxor        mm2, mm5
2209     test         r2, r2
2210     jnz .do_top
2211 .fix_tr_1:
2212     movq        mm5, mm3
2213     pxor        mm5, mm1
2214     psrlq       mm5, 56
2215     psllq       mm5, 56
2216     pxor        mm1, mm5
2217     jmp .do_top
2218 .do_left:
2219     movq        mm0, mm4
2220     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
2221     movq        mm4, mm0
2222     movq        mm7, mm2
2223     movq        mm6, mm2
2224     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
2225     psllq       mm1, 56
2226     PALIGNR     mm7, mm1, 7, mm3
2227     movq        mm0, [r0-8]
2228     movq        mm3, [r0]
2229     movq        mm1, [r0+8]
2230     movq        mm2, mm3
2231     movq        mm4, mm3
2232     PALIGNR     mm2, mm0, 7, mm0
2233     PALIGNR     mm1, mm4, 1, mm4
2234     test         r1, r1
2235     jz .fix_lt_2
2236     test         r2, r2
2237     jz .fix_tr_1
2238 .do_top:
2239     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
2240     movq       mm5, mm4
2241     lea         r1, [r0+r3*2]
2242     psllq      mm7, 56
2243     movq       mm2, mm5
2244     movq       mm3, mm6
2245     movq       mm4, mm2
2246     PALIGNR    mm2, mm6, 7, mm5
2247     PALIGNR    mm6, mm7, 7, mm0
2248     lea         r2, [r1+r3*2]
2249     PALIGNR    mm4, mm3, 1, mm7
2250     movq       mm5, mm3
2251     pavgb      mm3, mm6
2252     PRED4x4_LOWPASS mm0, mm4, mm6, mm5, mm7
2253     movq       mm4, mm2
2254     movq       mm1, mm2
2255     lea         r4, [r2+r3*2]
2256     psrlq      mm4, 16
2257     psrlq      mm1, 8
2258     PRED4x4_LOWPASS mm6, mm4, mm2, mm1, mm5
2259     movq       mm7, mm3
2260     punpcklbw  mm3, mm0
2261     punpckhbw  mm7, mm0
2262     movq       mm1, mm7
2263     movq       mm0, mm7
2264     movq       mm4, mm7
2265     movq [r4+r3*2], mm3
2266     PALIGNR    mm7, mm3, 2, mm5
2267     movq [r4+r3*1], mm7
2268     PALIGNR    mm1, mm3, 4, mm5
2269     movq [r2+r3*2], mm1
2270     PALIGNR    mm0, mm3, 6, mm3
2271     movq [r2+r3*1], mm0
2272     movq       mm2, mm6
2273     movq       mm3, mm6
2274     movq [r1+r3*2], mm4
2275     PALIGNR    mm6, mm4, 2, mm5
2276     movq [r1+r3*1], mm6
2277     PALIGNR    mm2, mm4, 4, mm5
2278     movq [r0+r3*2], mm2
2279     PALIGNR    mm3, mm4, 6, mm4
2280     movq [r0+r3*1], mm3
2281     RET
2282
2283 %macro PRED8x8L_HORIZONTAL_DOWN 1
2284 cglobal pred8x8l_horizontal_down_8_%1, 4,5
2285     sub          r0, r3
2286     lea          r4, [r0+r3*2]
2287     movq        mm0, [r0+r3*1-8]
2288     punpckhbw   mm0, [r0+r3*0-8]
2289     movq        mm1, [r4+r3*1-8]
2290     punpckhbw   mm1, [r0+r3*2-8]
2291     mov          r4, r0
2292     punpckhwd   mm1, mm0
2293     lea          r0, [r0+r3*4]
2294     movq        mm2, [r0+r3*1-8]
2295     punpckhbw   mm2, [r0+r3*0-8]
2296     lea          r0, [r0+r3*2]
2297     movq        mm3, [r0+r3*1-8]
2298     punpckhbw   mm3, [r0+r3*0-8]
2299     punpckhwd   mm3, mm2
2300     punpckhdq   mm3, mm1
2301     lea          r0, [r0+r3*2]
2302     movq        mm0, [r0+r3*0-8]
2303     movq        mm1, [r4]
2304     mov          r0, r4
2305     movq        mm4, mm3
2306     movq        mm2, mm3
2307     PALIGNR     mm4, mm0, 7, mm0
2308     PALIGNR     mm1, mm2, 1, mm2
2309     test        r1, r1
2310     jnz .do_left
2311 .fix_lt_1:
2312     movq        mm5, mm3
2313     pxor        mm5, mm4
2314     psrlq       mm5, 56
2315     psllq       mm5, 48
2316     pxor        mm1, mm5
2317     jmp .do_left
2318 .fix_lt_2:
2319     movq        mm5, mm3
2320     pxor        mm5, mm2
2321     psllq       mm5, 56
2322     psrlq       mm5, 56
2323     pxor        mm2, mm5
2324     test         r2, r2
2325     jnz .do_top
2326 .fix_tr_1:
2327     movq        mm5, mm3
2328     pxor        mm5, mm1
2329     psrlq       mm5, 56
2330     psllq       mm5, 56
2331     pxor        mm1, mm5
2332     jmp .do_top
2333 .fix_tr_2:
2334     punpckhbw   mm3, mm3
2335     pshufw      mm1, mm3, 0xFF
2336     jmp .do_topright
2337 .do_left:
2338     movq        mm0, mm4
2339     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
2340     movq2dq    xmm0, mm2
2341     pslldq     xmm0, 8
2342     movq        mm4, mm0
2343     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
2344     movq2dq    xmm2, mm1
2345     pslldq     xmm2, 15
2346     psrldq     xmm2, 8
2347     por        xmm0, xmm2
2348     movq        mm0, [r0-8]
2349     movq        mm3, [r0]
2350     movq        mm1, [r0+8]
2351     movq        mm2, mm3
2352     movq        mm4, mm3
2353     PALIGNR     mm2, mm0, 7, mm0
2354     PALIGNR     mm1, mm4, 1, mm4
2355     test         r1, r1
2356     jz .fix_lt_2
2357     test         r2, r2
2358     jz .fix_tr_1
2359 .do_top:
2360     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
2361     movq2dq    xmm1, mm4
2362     test         r2, r2
2363     jz .fix_tr_2
2364     movq        mm0, [r0+8]
2365     movq        mm5, mm0
2366     movq        mm2, mm0
2367     movq        mm4, mm0
2368     psrlq       mm5, 56
2369     PALIGNR     mm2, mm3, 7, mm3
2370     PALIGNR     mm5, mm4, 1, mm4
2371     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
2372 .do_topright:
2373     movq2dq    xmm5, mm1
2374     pslldq     xmm5, 8
2375     por        xmm1, xmm5
2376 INIT_XMM
2377     lea         r2, [r4+r3*2]
2378     movdqa    xmm2, xmm1
2379     movdqa    xmm3, xmm1
2380     PALIGNR   xmm1, xmm0, 7, xmm4
2381     PALIGNR   xmm2, xmm0, 9, xmm5
2382     lea         r1, [r2+r3*2]
2383     PALIGNR   xmm3, xmm0, 8, xmm0
2384     movdqa    xmm4, xmm1
2385     pavgb     xmm4, xmm3
2386     lea         r0, [r1+r3*2]
2387     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm3, xmm5
2388     punpcklbw xmm4, xmm0
2389     movhlps   xmm0, xmm4
2390     movq   [r0+r3*2], xmm4
2391     movq   [r2+r3*2], xmm0
2392     psrldq xmm4, 2
2393     psrldq xmm0, 2
2394     movq   [r0+r3*1], xmm4
2395     movq   [r2+r3*1], xmm0
2396     psrldq xmm4, 2
2397     psrldq xmm0, 2
2398     movq   [r1+r3*2], xmm4
2399     movq   [r4+r3*2], xmm0
2400     psrldq xmm4, 2
2401     psrldq xmm0, 2
2402     movq   [r1+r3*1], xmm4
2403     movq   [r4+r3*1], xmm0
2404     RET
2405 %endmacro
2406
2407 INIT_MMX
2408 %define PALIGNR PALIGNR_MMX
2409 PRED8x8L_HORIZONTAL_DOWN sse2
2410 INIT_MMX
2411 %define PALIGNR PALIGNR_SSSE3
2412 PRED8x8L_HORIZONTAL_DOWN ssse3
2413
2414 ;-----------------------------------------------------------------------------
2415 ; void pred4x4_dc_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2416 ;-----------------------------------------------------------------------------
2417
2418 cglobal pred4x4_dc_8_mmxext, 3,5
2419     pxor   mm7, mm7
2420     mov     r4, r0
2421     sub     r0, r2
2422     movd   mm0, [r0]
2423     psadbw mm0, mm7
2424     movzx  r1d, byte [r0+r2*1-1]
2425     movd   r3d, mm0
2426     add    r3d, r1d
2427     movzx  r1d, byte [r0+r2*2-1]
2428     lea     r0, [r0+r2*2]
2429     add    r3d, r1d
2430     movzx  r1d, byte [r0+r2*1-1]
2431     add    r3d, r1d
2432     movzx  r1d, byte [r0+r2*2-1]
2433     add    r3d, r1d
2434     add    r3d, 4
2435     shr    r3d, 3
2436     imul   r3d, 0x01010101
2437     mov   [r4+r2*0], r3d
2438     mov   [r0+r2*0], r3d
2439     mov   [r0+r2*1], r3d
2440     mov   [r0+r2*2], r3d
2441     RET
2442
2443 ;-----------------------------------------------------------------------------
2444 ; void pred4x4_tm_vp8_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2445 ;-----------------------------------------------------------------------------
2446
2447 %macro PRED4x4_TM_MMX 0
2448 cglobal pred4x4_tm_vp8_8, 3,6
2449     sub        r0, r2
2450     pxor      mm7, mm7
2451     movd      mm0, [r0]
2452     punpcklbw mm0, mm7
2453     movzx     r4d, byte [r0-1]
2454     mov       r5d, 2
2455 .loop:
2456     movzx     r1d, byte [r0+r2*1-1]
2457     movzx     r3d, byte [r0+r2*2-1]
2458     sub       r1d, r4d
2459     sub       r3d, r4d
2460     movd      mm2, r1d
2461     movd      mm4, r3d
2462 %if cpuflag(mmx2)
2463     pshufw    mm2, mm2, 0
2464     pshufw    mm4, mm4, 0
2465 %else
2466     punpcklwd mm2, mm2
2467     punpcklwd mm4, mm4
2468     punpckldq mm2, mm2
2469     punpckldq mm4, mm4
2470 %endif
2471     paddw     mm2, mm0
2472     paddw     mm4, mm0
2473     packuswb  mm2, mm2
2474     packuswb  mm4, mm4
2475     movd [r0+r2*1], mm2
2476     movd [r0+r2*2], mm4
2477     lea        r0, [r0+r2*2]
2478     dec       r5d
2479     jg .loop
2480     REP_RET
2481 %endmacro
2482
2483 INIT_MMX mmx
2484 PRED4x4_TM_MMX
2485 INIT_MMX mmx2
2486 PRED4x4_TM_MMX
2487 INIT_MMX
2488
2489 cglobal pred4x4_tm_vp8_8_ssse3, 3,3
2490     sub         r0, r2
2491     movq       mm6, [tm_shuf]
2492     pxor       mm1, mm1
2493     movd       mm0, [r0]
2494     punpcklbw  mm0, mm1
2495     movd       mm7, [r0-4]
2496     pshufb     mm7, mm6
2497     lea         r1, [r0+r2*2]
2498     movd       mm2, [r0+r2*1-4]
2499     movd       mm3, [r0+r2*2-4]
2500     movd       mm4, [r1+r2*1-4]
2501     movd       mm5, [r1+r2*2-4]
2502     pshufb     mm2, mm6
2503     pshufb     mm3, mm6
2504     pshufb     mm4, mm6
2505     pshufb     mm5, mm6
2506     psubw      mm2, mm7
2507     psubw      mm3, mm7
2508     psubw      mm4, mm7
2509     psubw      mm5, mm7
2510     paddw      mm2, mm0
2511     paddw      mm3, mm0
2512     paddw      mm4, mm0
2513     paddw      mm5, mm0
2514     packuswb   mm2, mm2
2515     packuswb   mm3, mm3
2516     packuswb   mm4, mm4
2517     packuswb   mm5, mm5
2518     movd [r0+r2*1], mm2
2519     movd [r0+r2*2], mm3
2520     movd [r1+r2*1], mm4
2521     movd [r1+r2*2], mm5
2522     RET
2523
2524 ;-----------------------------------------------------------------------------
2525 ; void pred4x4_vertical_vp8_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2526 ;-----------------------------------------------------------------------------
2527
2528 INIT_MMX
2529 cglobal pred4x4_vertical_vp8_8_mmxext, 3,3
2530     sub       r0, r2
2531     movd      m1, [r0-1]
2532     movd      m0, [r0]
2533     mova      m2, m0   ;t0 t1 t2 t3
2534     punpckldq m0, [r1] ;t0 t1 t2 t3 t4 t5 t6 t7
2535     lea       r1, [r0+r2*2]
2536     psrlq     m0, 8    ;t1 t2 t3 t4
2537     PRED4x4_LOWPASS m3, m1, m0, m2, m4
2538     movd [r0+r2*1], m3
2539     movd [r0+r2*2], m3
2540     movd [r1+r2*1], m3
2541     movd [r1+r2*2], m3
2542     RET
2543
2544 ;-----------------------------------------------------------------------------
2545 ; void pred4x4_down_left_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2546 ;-----------------------------------------------------------------------------
2547 INIT_MMX
2548 cglobal pred4x4_down_left_8_mmxext, 3,3
2549     sub       r0, r2
2550     movq      m1, [r0]
2551     punpckldq m1, [r1]
2552     movq      m2, m1
2553     movq      m3, m1
2554     psllq     m1, 8
2555     pxor      m2, m1
2556     psrlq     m2, 8
2557     pxor      m2, m3
2558     PRED4x4_LOWPASS m0, m1, m2, m3, m4
2559     lea       r1, [r0+r2*2]
2560     psrlq     m0, 8
2561     movd      [r0+r2*1], m0
2562     psrlq     m0, 8
2563     movd      [r0+r2*2], m0
2564     psrlq     m0, 8
2565     movd      [r1+r2*1], m0
2566     psrlq     m0, 8
2567     movd      [r1+r2*2], m0
2568     RET
2569
2570 ;-----------------------------------------------------------------------------
2571 ; void pred4x4_vertical_left_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2572 ;-----------------------------------------------------------------------------
2573
2574 INIT_MMX
2575 cglobal pred4x4_vertical_left_8_mmxext, 3,3
2576     sub       r0, r2
2577     movq      m1, [r0]
2578     punpckldq m1, [r1]
2579     movq      m3, m1
2580     movq      m2, m1
2581     psrlq     m3, 8
2582     psrlq     m2, 16
2583     movq      m4, m3
2584     pavgb     m4, m1
2585     PRED4x4_LOWPASS m0, m1, m2, m3, m5
2586     lea       r1, [r0+r2*2]
2587     movh      [r0+r2*1], m4
2588     movh      [r0+r2*2], m0
2589     psrlq     m4, 8
2590     psrlq     m0, 8
2591     movh      [r1+r2*1], m4
2592     movh      [r1+r2*2], m0
2593     RET
2594
2595 ;-----------------------------------------------------------------------------
2596 ; void pred4x4_horizontal_up_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2597 ;-----------------------------------------------------------------------------
2598
2599 INIT_MMX
2600 cglobal pred4x4_horizontal_up_8_mmxext, 3,3
2601     sub       r0, r2
2602     lea       r1, [r0+r2*2]
2603     movd      m0, [r0+r2*1-4]
2604     punpcklbw m0, [r0+r2*2-4]
2605     movd      m1, [r1+r2*1-4]
2606     punpcklbw m1, [r1+r2*2-4]
2607     punpckhwd m0, m1
2608     movq      m1, m0
2609     punpckhbw m1, m1
2610     pshufw    m1, m1, 0xFF
2611     punpckhdq m0, m1
2612     movq      m2, m0
2613     movq      m3, m0
2614     movq      m7, m0
2615     psrlq     m2, 16
2616     psrlq     m3, 8
2617     pavgb     m7, m3
2618     PRED4x4_LOWPASS m4, m0, m2, m3, m5
2619     punpcklbw m7, m4
2620     movd    [r0+r2*1], m7
2621     psrlq    m7, 16
2622     movd    [r0+r2*2], m7
2623     psrlq    m7, 16
2624     movd    [r1+r2*1], m7
2625     movd    [r1+r2*2], m1
2626     RET
2627
2628 ;-----------------------------------------------------------------------------
2629 ; void pred4x4_horizontal_down_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2630 ;-----------------------------------------------------------------------------
2631
2632 INIT_MMX
2633 %define PALIGNR PALIGNR_MMX
2634 cglobal pred4x4_horizontal_down_8_mmxext, 3,3
2635     sub       r0, r2
2636     lea       r1, [r0+r2*2]
2637     movh      m0, [r0-4]      ; lt ..
2638     punpckldq m0, [r0]        ; t3 t2 t1 t0 lt .. .. ..
2639     psllq     m0, 8           ; t2 t1 t0 lt .. .. .. ..
2640     movd      m1, [r1+r2*2-4] ; l3
2641     punpcklbw m1, [r1+r2*1-4] ; l2 l3
2642     movd      m2, [r0+r2*2-4] ; l1
2643     punpcklbw m2, [r0+r2*1-4] ; l0 l1
2644     punpckhwd m1, m2          ; l0 l1 l2 l3
2645     punpckhdq m1, m0          ; t2 t1 t0 lt l0 l1 l2 l3
2646     movq      m0, m1
2647     movq      m2, m1
2648     movq      m5, m1
2649     psrlq     m0, 16          ; .. .. t2 t1 t0 lt l0 l1
2650     psrlq     m2, 8           ; .. t2 t1 t0 lt l0 l1 l2
2651     pavgb     m5, m2
2652     PRED4x4_LOWPASS m3, m1, m0, m2, m4
2653     punpcklbw m5, m3
2654     psrlq     m3, 32
2655     PALIGNR   m3, m5, 6, m4
2656     movh      [r1+r2*2], m5
2657     psrlq     m5, 16
2658     movh      [r1+r2*1], m5
2659     psrlq     m5, 16
2660     movh      [r0+r2*2], m5
2661     movh      [r0+r2*1], m3
2662     RET
2663
2664 ;-----------------------------------------------------------------------------
2665 ; void pred4x4_vertical_right_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2666 ;-----------------------------------------------------------------------------
2667
2668 INIT_MMX
2669 %define PALIGNR PALIGNR_MMX
2670 cglobal pred4x4_vertical_right_8_mmxext, 3,3
2671     sub     r0, r2
2672     lea     r1, [r0+r2*2]
2673     movh    m0, [r0]                    ; ........t3t2t1t0
2674     movq    m5, m0
2675     PALIGNR m0, [r0-8], 7, m1           ; ......t3t2t1t0lt
2676     pavgb   m5, m0
2677     PALIGNR m0, [r0+r2*1-8], 7, m1      ; ....t3t2t1t0ltl0
2678     movq    m1, m0
2679     PALIGNR m0, [r0+r2*2-8], 7, m2      ; ..t3t2t1t0ltl0l1
2680     movq    m2, m0
2681     PALIGNR m0, [r1+r2*1-8], 7, m3      ; t3t2t1t0ltl0l1l2
2682     PRED4x4_LOWPASS m3, m1, m0, m2, m4
2683     movq    m1, m3
2684     psrlq   m3, 16
2685     psllq   m1, 48
2686     movh    [r0+r2*1], m5
2687     movh    [r0+r2*2], m3
2688     PALIGNR m5, m1, 7, m2
2689     psllq   m1, 8
2690     movh    [r1+r2*1], m5
2691     PALIGNR m3, m1, 7, m1
2692     movh    [r1+r2*2], m3
2693     RET
2694
2695 ;-----------------------------------------------------------------------------
2696 ; void pred4x4_down_right_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2697 ;-----------------------------------------------------------------------------
2698
2699 INIT_MMX
2700 %define PALIGNR PALIGNR_MMX
2701 cglobal pred4x4_down_right_8_mmxext, 3,3
2702     sub       r0, r2
2703     lea       r1, [r0+r2*2]
2704     movq      m1, [r1-8]
2705     movq      m2, [r0+r2*1-8]
2706     punpckhbw m2, [r0-8]
2707     movh      m3, [r0]
2708     punpckhwd m1, m2
2709     PALIGNR   m3, m1, 5, m1
2710     movq      m1, m3
2711     PALIGNR   m3, [r1+r2*1-8], 7, m4
2712     movq      m2, m3
2713     PALIGNR   m3, [r1+r2*2-8], 7, m4
2714     PRED4x4_LOWPASS m0, m3, m1, m2, m4
2715     movh      [r1+r2*2], m0
2716     psrlq     m0, 8
2717     movh      [r1+r2*1], m0
2718     psrlq     m0, 8
2719     movh      [r0+r2*2], m0
2720     psrlq     m0, 8
2721     movh      [r0+r2*1], m0
2722     RET