Merge commit 'b2c087871dafc7d030b2d48457ddff597dfd4925'
[ffmpeg.git] / libavcodec / x86 / h264_intrapred.asm
1 ;******************************************************************************
2 ;* H.264 intra prediction asm optimizations
3 ;* Copyright (c) 2010 Jason Garrett-Glaser
4 ;* Copyright (c) 2010 Holger Lubitz
5 ;* Copyright (c) 2010 Loren Merritt
6 ;* Copyright (c) 2010 Ronald S. Bultje
7 ;*
8 ;* This file is part of FFmpeg.
9 ;*
10 ;* FFmpeg is free software; you can redistribute it and/or
11 ;* modify it under the terms of the GNU Lesser General Public
12 ;* License as published by the Free Software Foundation; either
13 ;* version 2.1 of the License, or (at your option) any later version.
14 ;*
15 ;* FFmpeg is distributed in the hope that it will be useful,
16 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18 ;* Lesser General Public License for more details.
19 ;*
20 ;* You should have received a copy of the GNU Lesser General Public
21 ;* License along with FFmpeg; if not, write to the Free Software
22 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23 ;******************************************************************************
24
25 %include "libavutil/x86/x86inc.asm"
26 %include "libavutil/x86/x86util.asm"
27
28 SECTION_RODATA
29
30 tm_shuf: times 8 db 0x03, 0x80
31 pw_ff00: times 8 dw 0xff00
32 plane_shuf:  db -8, -7, -6, -5, -4, -3, -2, -1
33              db  1,  2,  3,  4,  5,  6,  7,  8
34 plane8_shuf: db -4, -3, -2, -1,  0,  0,  0,  0
35              db  1,  2,  3,  4,  0,  0,  0,  0
36 pw_0to7:     dw  0,  1,  2,  3,  4,  5,  6,  7
37 pw_1to8:     dw  1,  2,  3,  4,  5,  6,  7,  8
38 pw_m8tom1:   dw -8, -7, -6, -5, -4, -3, -2, -1
39 pw_m4to4:    dw -4, -3, -2, -1,  1,  2,  3,  4
40
41 SECTION .text
42
43 cextern pb_1
44 cextern pb_3
45 cextern pw_4
46 cextern pw_5
47 cextern pw_8
48 cextern pw_16
49 cextern pw_17
50 cextern pw_32
51
52 ;-----------------------------------------------------------------------------
53 ; void pred16x16_vertical(uint8_t *src, int stride)
54 ;-----------------------------------------------------------------------------
55
56 cglobal pred16x16_vertical_mmx, 2,3
57     sub   r0, r1
58     mov   r2, 8
59     movq mm0, [r0+0]
60     movq mm1, [r0+8]
61 .loop:
62     movq [r0+r1*1+0], mm0
63     movq [r0+r1*1+8], mm1
64     movq [r0+r1*2+0], mm0
65     movq [r0+r1*2+8], mm1
66     lea   r0, [r0+r1*2]
67     dec   r2
68     jg .loop
69     REP_RET
70
71 cglobal pred16x16_vertical_sse, 2,3
72     sub   r0, r1
73     mov   r2, 4
74     movaps xmm0, [r0]
75 .loop:
76     movaps [r0+r1*1], xmm0
77     movaps [r0+r1*2], xmm0
78     lea   r0, [r0+r1*2]
79     movaps [r0+r1*1], xmm0
80     movaps [r0+r1*2], xmm0
81     lea   r0, [r0+r1*2]
82     dec   r2
83     jg .loop
84     REP_RET
85
86 ;-----------------------------------------------------------------------------
87 ; void pred16x16_horizontal(uint8_t *src, int stride)
88 ;-----------------------------------------------------------------------------
89
90 %macro PRED16x16_H 1
91 cglobal pred16x16_horizontal_%1, 2,3
92     mov       r2, 8
93 %ifidn %1, ssse3
94     mova      m2, [pb_3]
95 %endif
96 .loop:
97     movd      m0, [r0+r1*0-4]
98     movd      m1, [r0+r1*1-4]
99
100 %ifidn %1, ssse3
101     pshufb    m0, m2
102     pshufb    m1, m2
103 %else
104     punpcklbw m0, m0
105     punpcklbw m1, m1
106 %ifidn %1, mmxext
107     pshufw    m0, m0, 0xff
108     pshufw    m1, m1, 0xff
109 %else
110     punpckhwd m0, m0
111     punpckhwd m1, m1
112     punpckhdq m0, m0
113     punpckhdq m1, m1
114 %endif
115     mova [r0+r1*0+8], m0
116     mova [r0+r1*1+8], m1
117 %endif
118
119     mova [r0+r1*0], m0
120     mova [r0+r1*1], m1
121     lea       r0, [r0+r1*2]
122     dec       r2
123     jg .loop
124     REP_RET
125 %endmacro
126
127 INIT_MMX
128 PRED16x16_H mmx
129 PRED16x16_H mmxext
130 INIT_XMM
131 PRED16x16_H ssse3
132
133 ;-----------------------------------------------------------------------------
134 ; void pred16x16_dc(uint8_t *src, int stride)
135 ;-----------------------------------------------------------------------------
136
137 %macro PRED16x16_DC 1
138 cglobal pred16x16_dc_%1, 2,7
139     mov       r4, r0
140     sub       r0, r1
141     pxor      mm0, mm0
142     pxor      mm1, mm1
143     psadbw    mm0, [r0+0]
144     psadbw    mm1, [r0+8]
145     dec        r0
146     movzx     r5d, byte [r0+r1*1]
147     paddw     mm0, mm1
148     movd      r6d, mm0
149     lea        r0, [r0+r1*2]
150 %rep 7
151     movzx     r2d, byte [r0+r1*0]
152     movzx     r3d, byte [r0+r1*1]
153     add       r5d, r2d
154     add       r6d, r3d
155     lea        r0, [r0+r1*2]
156 %endrep
157     movzx     r2d, byte [r0+r1*0]
158     add       r5d, r6d
159     lea       r2d, [r2+r5+16]
160     shr       r2d, 5
161 %ifidn %1, mmxext
162     movd       m0, r2d
163     punpcklbw  m0, m0
164     pshufw     m0, m0, 0
165 %elifidn %1, sse2
166     movd       m0, r2d
167     punpcklbw  m0, m0
168     pshuflw    m0, m0, 0
169     punpcklqdq m0, m0
170 %elifidn %1, ssse3
171     pxor       m1, m1
172     movd       m0, r2d
173     pshufb     m0, m1
174 %endif
175
176 %if mmsize==8
177     mov       r3d, 8
178 .loop:
179     mova [r4+r1*0+0], m0
180     mova [r4+r1*0+8], m0
181     mova [r4+r1*1+0], m0
182     mova [r4+r1*1+8], m0
183 %else
184     mov       r3d, 4
185 .loop:
186     mova [r4+r1*0], m0
187     mova [r4+r1*1], m0
188     lea   r4, [r4+r1*2]
189     mova [r4+r1*0], m0
190     mova [r4+r1*1], m0
191 %endif
192     lea   r4, [r4+r1*2]
193     dec   r3d
194     jg .loop
195     REP_RET
196 %endmacro
197
198 INIT_MMX
199 PRED16x16_DC mmxext
200 INIT_XMM
201 PRED16x16_DC   sse2
202 PRED16x16_DC  ssse3
203
204 ;-----------------------------------------------------------------------------
205 ; void pred16x16_tm_vp8(uint8_t *src, int stride)
206 ;-----------------------------------------------------------------------------
207
208 %macro PRED16x16_TM_MMX 1
209 cglobal pred16x16_tm_vp8_%1, 2,5
210     sub        r0, r1
211     pxor      mm7, mm7
212     movq      mm0, [r0+0]
213     movq      mm2, [r0+8]
214     movq      mm1, mm0
215     movq      mm3, mm2
216     punpcklbw mm0, mm7
217     punpckhbw mm1, mm7
218     punpcklbw mm2, mm7
219     punpckhbw mm3, mm7
220     movzx     r3d, byte [r0-1]
221     mov       r4d, 16
222 .loop:
223     movzx     r2d, byte [r0+r1-1]
224     sub       r2d, r3d
225     movd      mm4, r2d
226 %ifidn %1, mmx
227     punpcklwd mm4, mm4
228     punpckldq mm4, mm4
229 %else
230     pshufw    mm4, mm4, 0
231 %endif
232     movq      mm5, mm4
233     movq      mm6, mm4
234     movq      mm7, mm4
235     paddw     mm4, mm0
236     paddw     mm5, mm1
237     paddw     mm6, mm2
238     paddw     mm7, mm3
239     packuswb  mm4, mm5
240     packuswb  mm6, mm7
241     movq [r0+r1+0], mm4
242     movq [r0+r1+8], mm6
243     add        r0, r1
244     dec       r4d
245     jg .loop
246     REP_RET
247 %endmacro
248
249 PRED16x16_TM_MMX mmx
250 PRED16x16_TM_MMX mmxext
251
252 cglobal pred16x16_tm_vp8_sse2, 2,6,6
253     sub          r0, r1
254     pxor       xmm2, xmm2
255     movdqa     xmm0, [r0]
256     movdqa     xmm1, xmm0
257     punpcklbw  xmm0, xmm2
258     punpckhbw  xmm1, xmm2
259     movzx       r4d, byte [r0-1]
260     mov         r5d, 8
261 .loop:
262     movzx       r2d, byte [r0+r1*1-1]
263     movzx       r3d, byte [r0+r1*2-1]
264     sub         r2d, r4d
265     sub         r3d, r4d
266     movd       xmm2, r2d
267     movd       xmm4, r3d
268     pshuflw    xmm2, xmm2, 0
269     pshuflw    xmm4, xmm4, 0
270     punpcklqdq xmm2, xmm2
271     punpcklqdq xmm4, xmm4
272     movdqa     xmm3, xmm2
273     movdqa     xmm5, xmm4
274     paddw      xmm2, xmm0
275     paddw      xmm3, xmm1
276     paddw      xmm4, xmm0
277     paddw      xmm5, xmm1
278     packuswb   xmm2, xmm3
279     packuswb   xmm4, xmm5
280     movdqa [r0+r1*1], xmm2
281     movdqa [r0+r1*2], xmm4
282     lea          r0, [r0+r1*2]
283     dec         r5d
284     jg .loop
285     REP_RET
286
287 ;-----------------------------------------------------------------------------
288 ; void pred16x16_plane(uint8_t *src, int stride)
289 ;-----------------------------------------------------------------------------
290
291 %macro H264_PRED16x16_PLANE 3
292 cglobal pred16x16_plane_%3_%1, 2, 7, %2
293     mov          r2, r1           ; +stride
294     neg          r1               ; -stride
295
296     movh         m0, [r0+r1  -1]
297 %if mmsize == 8
298     pxor         m4, m4
299     movh         m1, [r0+r1  +3 ]
300     movh         m2, [r0+r1  +8 ]
301     movh         m3, [r0+r1  +12]
302     punpcklbw    m0, m4
303     punpcklbw    m1, m4
304     punpcklbw    m2, m4
305     punpcklbw    m3, m4
306     pmullw       m0, [pw_m8tom1  ]
307     pmullw       m1, [pw_m8tom1+8]
308     pmullw       m2, [pw_1to8    ]
309     pmullw       m3, [pw_1to8  +8]
310     paddw        m0, m2
311     paddw        m1, m3
312 %else ; mmsize == 16
313 %ifidn %1, sse2
314     pxor         m2, m2
315     movh         m1, [r0+r1  +8]
316     punpcklbw    m0, m2
317     punpcklbw    m1, m2
318     pmullw       m0, [pw_m8tom1]
319     pmullw       m1, [pw_1to8]
320     paddw        m0, m1
321 %else ; ssse3
322     movhps       m0, [r0+r1  +8]
323     pmaddubsw    m0, [plane_shuf] ; H coefficients
324 %endif
325     movhlps      m1, m0
326 %endif
327     paddw        m0, m1
328 %ifidn %1, mmx
329     mova         m1, m0
330     psrlq        m1, 32
331 %elifidn %1, mmx2
332     pshufw       m1, m0, 0xE
333 %else ; mmsize == 16
334     pshuflw      m1, m0, 0xE
335 %endif
336     paddw        m0, m1
337 %ifidn %1, mmx
338     mova         m1, m0
339     psrlq        m1, 16
340 %elifidn %1, mmx2
341     pshufw       m1, m0, 0x1
342 %else
343     pshuflw      m1, m0, 0x1
344 %endif
345     paddw        m0, m1           ; sum of H coefficients
346
347     lea          r4, [r0+r2*8-1]
348     lea          r3, [r0+r2*4-1]
349     add          r4, r2
350
351 %ifdef ARCH_X86_64
352 %define e_reg r11
353 %else
354 %define e_reg r0
355 %endif
356
357     movzx     e_reg, byte [r3+r2*2   ]
358     movzx        r5, byte [r4+r1     ]
359     sub          r5, e_reg
360
361     movzx     e_reg, byte [r3+r2     ]
362     movzx        r6, byte [r4        ]
363     sub          r6, e_reg
364     lea          r5, [r5+r6*2]
365
366     movzx     e_reg, byte [r3+r1     ]
367     movzx        r6, byte [r4+r2*2   ]
368     sub          r6, e_reg
369     lea          r5, [r5+r6*4]
370
371     movzx     e_reg, byte [r3        ]
372 %ifdef ARCH_X86_64
373     movzx       r10, byte [r4+r2     ]
374     sub         r10, e_reg
375 %else
376     movzx        r6, byte [r4+r2     ]
377     sub          r6, e_reg
378     lea          r5, [r5+r6*4]
379     sub          r5, r6
380 %endif
381
382     lea       e_reg, [r3+r1*4]
383     lea          r3, [r4+r2*4]
384
385     movzx        r4, byte [e_reg+r2  ]
386     movzx        r6, byte [r3        ]
387     sub          r6, r4
388 %ifdef ARCH_X86_64
389     lea          r6, [r10+r6*2]
390     lea          r5, [r5+r6*2]
391     add          r5, r6
392 %else
393     lea          r5, [r5+r6*4]
394     lea          r5, [r5+r6*2]
395 %endif
396
397     movzx        r4, byte [e_reg     ]
398 %ifdef ARCH_X86_64
399     movzx       r10, byte [r3   +r2  ]
400     sub         r10, r4
401     sub          r5, r10
402 %else
403     movzx        r6, byte [r3   +r2  ]
404     sub          r6, r4
405     lea          r5, [r5+r6*8]
406     sub          r5, r6
407 %endif
408
409     movzx        r4, byte [e_reg+r1  ]
410     movzx        r6, byte [r3   +r2*2]
411     sub          r6, r4
412 %ifdef ARCH_X86_64
413     add          r6, r10
414 %endif
415     lea          r5, [r5+r6*8]
416
417     movzx        r4, byte [e_reg+r2*2]
418     movzx        r6, byte [r3   +r1  ]
419     sub          r6, r4
420     lea          r5, [r5+r6*4]
421     add          r5, r6           ; sum of V coefficients
422
423 %ifndef ARCH_X86_64
424     mov          r0, r0m
425 %endif
426
427 %ifidn %3, h264
428     lea          r5, [r5*5+32]
429     sar          r5, 6
430 %elifidn %3, rv40
431     lea          r5, [r5*5]
432     sar          r5, 6
433 %elifidn %3, svq3
434     test         r5, r5
435     lea          r6, [r5+3]
436     cmovs        r5, r6
437     sar          r5, 2            ; V/4
438     lea          r5, [r5*5]       ; 5*(V/4)
439     test         r5, r5
440     lea          r6, [r5+15]
441     cmovs        r5, r6
442     sar          r5, 4            ; (5*(V/4))/16
443 %endif
444
445     movzx        r4, byte [r0+r1  +15]
446     movzx        r3, byte [r3+r2*2   ]
447     lea          r3, [r3+r4+1]
448     shl          r3, 4
449
450     movd        r1d, m0
451     movsx       r1d, r1w
452 %ifnidn %3, svq3
453 %ifidn %3, h264
454     lea         r1d, [r1d*5+32]
455 %else ; rv40
456     lea         r1d, [r1d*5]
457 %endif
458     sar         r1d, 6
459 %else ; svq3
460     test        r1d, r1d
461     lea         r4d, [r1d+3]
462     cmovs       r1d, r4d
463     sar         r1d, 2           ; H/4
464     lea         r1d, [r1d*5]     ; 5*(H/4)
465     test        r1d, r1d
466     lea         r4d, [r1d+15]
467     cmovs       r1d, r4d
468     sar         r1d, 4           ; (5*(H/4))/16
469 %endif
470     movd         m0, r1d
471
472     add         r1d, r5d
473     add         r3d, r1d
474     shl         r1d, 3
475     sub         r3d, r1d          ; a
476
477     movd         m1, r5d
478     movd         m3, r3d
479 %ifidn %1, mmx
480     punpcklwd    m0, m0
481     punpcklwd    m1, m1
482     punpcklwd    m3, m3
483     punpckldq    m0, m0
484     punpckldq    m1, m1
485     punpckldq    m3, m3
486 %elifidn %1, mmx2
487     pshufw       m0, m0, 0x0
488     pshufw       m1, m1, 0x0
489     pshufw       m3, m3, 0x0
490 %else
491     pshuflw      m0, m0, 0x0
492     pshuflw      m1, m1, 0x0
493     pshuflw      m3, m3, 0x0
494     punpcklqdq   m0, m0           ; splat H (words)
495     punpcklqdq   m1, m1           ; splat V (words)
496     punpcklqdq   m3, m3           ; splat a (words)
497 %endif
498 %ifidn %3, svq3
499     SWAP          0, 1
500 %endif
501     mova         m2, m0
502 %if mmsize == 8
503     mova         m5, m0
504 %endif
505     pmullw       m0, [pw_0to7]    ; 0*H, 1*H, ..., 7*H  (words)
506 %if mmsize == 16
507     psllw        m2, 3
508 %else
509     psllw        m5, 3
510     psllw        m2, 2
511     mova         m6, m5
512     paddw        m6, m2
513 %endif
514     paddw        m0, m3           ; a + {0,1,2,3,4,5,6,7}*H
515     paddw        m2, m0           ; a + {8,9,10,11,12,13,14,15}*H
516 %if mmsize == 8
517     paddw        m5, m0           ; a + {8,9,10,11}*H
518     paddw        m6, m0           ; a + {12,13,14,15}*H
519 %endif
520
521     mov          r4, 8
522 .loop
523     mova         m3, m0           ; b[0..7]
524     mova         m4, m2           ; b[8..15]
525     psraw        m3, 5
526     psraw        m4, 5
527     packuswb     m3, m4
528     mova       [r0], m3
529 %if mmsize == 8
530     mova         m3, m5           ; b[8..11]
531     mova         m4, m6           ; b[12..15]
532     psraw        m3, 5
533     psraw        m4, 5
534     packuswb     m3, m4
535     mova     [r0+8], m3
536 %endif
537     paddw        m0, m1
538     paddw        m2, m1
539 %if mmsize == 8
540     paddw        m5, m1
541     paddw        m6, m1
542 %endif
543
544     mova         m3, m0           ; b[0..7]
545     mova         m4, m2           ; b[8..15]
546     psraw        m3, 5
547     psraw        m4, 5
548     packuswb     m3, m4
549     mova    [r0+r2], m3
550 %if mmsize == 8
551     mova         m3, m5           ; b[8..11]
552     mova         m4, m6           ; b[12..15]
553     psraw        m3, 5
554     psraw        m4, 5
555     packuswb     m3, m4
556     mova  [r0+r2+8], m3
557 %endif
558     paddw        m0, m1
559     paddw        m2, m1
560 %if mmsize == 8
561     paddw        m5, m1
562     paddw        m6, m1
563 %endif
564
565     lea          r0, [r0+r2*2]
566     dec          r4
567     jg .loop
568     REP_RET
569 %endmacro
570
571 INIT_MMX
572 H264_PRED16x16_PLANE mmx,   0, h264
573 H264_PRED16x16_PLANE mmx,   0, rv40
574 H264_PRED16x16_PLANE mmx,   0, svq3
575 H264_PRED16x16_PLANE mmx2,  0, h264
576 H264_PRED16x16_PLANE mmx2,  0, rv40
577 H264_PRED16x16_PLANE mmx2,  0, svq3
578 INIT_XMM
579 H264_PRED16x16_PLANE sse2,  8, h264
580 H264_PRED16x16_PLANE sse2,  8, rv40
581 H264_PRED16x16_PLANE sse2,  8, svq3
582 H264_PRED16x16_PLANE ssse3, 8, h264
583 H264_PRED16x16_PLANE ssse3, 8, rv40
584 H264_PRED16x16_PLANE ssse3, 8, svq3
585
586 ;-----------------------------------------------------------------------------
587 ; void pred8x8_plane(uint8_t *src, int stride)
588 ;-----------------------------------------------------------------------------
589
590 %macro H264_PRED8x8_PLANE 2
591 cglobal pred8x8_plane_%1, 2, 7, %2
592     mov          r2, r1           ; +stride
593     neg          r1               ; -stride
594
595     movd         m0, [r0+r1  -1]
596 %if mmsize == 8
597     pxor         m2, m2
598     movh         m1, [r0+r1  +4 ]
599     punpcklbw    m0, m2
600     punpcklbw    m1, m2
601     pmullw       m0, [pw_m4to4]
602     pmullw       m1, [pw_m4to4+8]
603 %else ; mmsize == 16
604 %ifidn %1, sse2
605     pxor         m2, m2
606     movd         m1, [r0+r1  +4]
607     punpckldq    m0, m1
608     punpcklbw    m0, m2
609     pmullw       m0, [pw_m4to4]
610 %else ; ssse3
611     movhps       m0, [r0+r1  +4]   ; this reads 4 bytes more than necessary
612     pmaddubsw    m0, [plane8_shuf] ; H coefficients
613 %endif
614     movhlps      m1, m0
615 %endif
616     paddw        m0, m1
617
618 %ifnidn %1, ssse3
619 %ifidn %1, mmx
620     mova         m1, m0
621     psrlq        m1, 32
622 %elifidn %1, mmx2
623     pshufw       m1, m0, 0xE
624 %else ; mmsize == 16
625     pshuflw      m1, m0, 0xE
626 %endif
627     paddw        m0, m1
628 %endif ; !ssse3
629
630 %ifidn %1, mmx
631     mova         m1, m0
632     psrlq        m1, 16
633 %elifidn %1, mmx2
634     pshufw       m1, m0, 0x1
635 %else
636     pshuflw      m1, m0, 0x1
637 %endif
638     paddw        m0, m1           ; sum of H coefficients
639
640     lea          r4, [r0+r2*4-1]
641     lea          r3, [r0     -1]
642     add          r4, r2
643
644 %ifdef ARCH_X86_64
645 %define e_reg r11
646 %else
647 %define e_reg r0
648 %endif
649
650     movzx     e_reg, byte [r3+r2*2   ]
651     movzx        r5, byte [r4+r1     ]
652     sub          r5, e_reg
653
654     movzx     e_reg, byte [r3        ]
655 %ifdef ARCH_X86_64
656     movzx       r10, byte [r4+r2     ]
657     sub         r10, e_reg
658     sub          r5, r10
659 %else
660     movzx        r6, byte [r4+r2     ]
661     sub          r6, e_reg
662     lea          r5, [r5+r6*4]
663     sub          r5, r6
664 %endif
665
666     movzx     e_reg, byte [r3+r1     ]
667     movzx        r6, byte [r4+r2*2   ]
668     sub          r6, e_reg
669 %ifdef ARCH_X86_64
670     add          r6, r10
671 %endif
672     lea          r5, [r5+r6*4]
673
674     movzx     e_reg, byte [r3+r2     ]
675     movzx        r6, byte [r4        ]
676     sub          r6, e_reg
677     lea          r6, [r5+r6*2]
678
679     lea          r5, [r6*9+16]
680     lea          r5, [r5+r6*8]
681     sar          r5, 5
682
683 %ifndef ARCH_X86_64
684     mov          r0, r0m
685 %endif
686
687     movzx        r3, byte [r4+r2*2  ]
688     movzx        r4, byte [r0+r1  +7]
689     lea          r3, [r3+r4+1]
690     shl          r3, 4
691     movd        r1d, m0
692     movsx       r1d, r1w
693     imul        r1d, 17
694     add         r1d, 16
695     sar         r1d, 5
696     movd         m0, r1d
697     add         r1d, r5d
698     sub         r3d, r1d
699     add         r1d, r1d
700     sub         r3d, r1d          ; a
701
702     movd         m1, r5d
703     movd         m3, r3d
704 %ifidn %1, mmx
705     punpcklwd    m0, m0
706     punpcklwd    m1, m1
707     punpcklwd    m3, m3
708     punpckldq    m0, m0
709     punpckldq    m1, m1
710     punpckldq    m3, m3
711 %elifidn %1, mmx2
712     pshufw       m0, m0, 0x0
713     pshufw       m1, m1, 0x0
714     pshufw       m3, m3, 0x0
715 %else
716     pshuflw      m0, m0, 0x0
717     pshuflw      m1, m1, 0x0
718     pshuflw      m3, m3, 0x0
719     punpcklqdq   m0, m0           ; splat H (words)
720     punpcklqdq   m1, m1           ; splat V (words)
721     punpcklqdq   m3, m3           ; splat a (words)
722 %endif
723 %if mmsize == 8
724     mova         m2, m0
725 %endif
726     pmullw       m0, [pw_0to7]    ; 0*H, 1*H, ..., 7*H  (words)
727     paddw        m0, m3           ; a + {0,1,2,3,4,5,6,7}*H
728 %if mmsize == 8
729     psllw        m2, 2
730     paddw        m2, m0           ; a + {4,5,6,7}*H
731 %endif
732
733     mov          r4, 4
734 ALIGN 16
735 .loop
736 %if mmsize == 16
737     mova         m3, m0           ; b[0..7]
738     paddw        m0, m1
739     psraw        m3, 5
740     mova         m4, m0           ; V+b[0..7]
741     paddw        m0, m1
742     psraw        m4, 5
743     packuswb     m3, m4
744     movh       [r0], m3
745     movhps  [r0+r2], m3
746 %else ; mmsize == 8
747     mova         m3, m0           ; b[0..3]
748     mova         m4, m2           ; b[4..7]
749     paddw        m0, m1
750     paddw        m2, m1
751     psraw        m3, 5
752     psraw        m4, 5
753     mova         m5, m0           ; V+b[0..3]
754     mova         m6, m2           ; V+b[4..7]
755     paddw        m0, m1
756     paddw        m2, m1
757     psraw        m5, 5
758     psraw        m6, 5
759     packuswb     m3, m4
760     packuswb     m5, m6
761     mova       [r0], m3
762     mova    [r0+r2], m5
763 %endif
764
765     lea          r0, [r0+r2*2]
766     dec          r4
767     jg .loop
768     REP_RET
769 %endmacro
770
771 INIT_MMX
772 H264_PRED8x8_PLANE mmx,   0
773 H264_PRED8x8_PLANE mmx2,  0
774 INIT_XMM
775 H264_PRED8x8_PLANE sse2,  8
776 H264_PRED8x8_PLANE ssse3, 8
777
778 ;-----------------------------------------------------------------------------
779 ; void pred8x8_vertical(uint8_t *src, int stride)
780 ;-----------------------------------------------------------------------------
781
782 cglobal pred8x8_vertical_mmx, 2,2
783     sub    r0, r1
784     movq  mm0, [r0]
785 %rep 3
786     movq [r0+r1*1], mm0
787     movq [r0+r1*2], mm0
788     lea    r0, [r0+r1*2]
789 %endrep
790     movq [r0+r1*1], mm0
791     movq [r0+r1*2], mm0
792     RET
793
794 ;-----------------------------------------------------------------------------
795 ; void pred8x8_horizontal(uint8_t *src, int stride)
796 ;-----------------------------------------------------------------------------
797
798 %macro PRED8x8_H 1
799 cglobal pred8x8_horizontal_%1, 2,3
800     mov       r2, 4
801 %ifidn %1, ssse3
802     mova      m2, [pb_3]
803 %endif
804 .loop:
805     movd      m0, [r0+r1*0-4]
806     movd      m1, [r0+r1*1-4]
807 %ifidn %1, ssse3
808     pshufb    m0, m2
809     pshufb    m1, m2
810 %else
811     punpcklbw m0, m0
812     punpcklbw m1, m1
813 %ifidn %1, mmxext
814     pshufw    m0, m0, 0xff
815     pshufw    m1, m1, 0xff
816 %else
817     punpckhwd m0, m0
818     punpckhwd m1, m1
819     punpckhdq m0, m0
820     punpckhdq m1, m1
821 %endif
822 %endif
823     mova [r0+r1*0], m0
824     mova [r0+r1*1], m1
825     lea       r0, [r0+r1*2]
826     dec       r2
827     jg .loop
828     REP_RET
829 %endmacro
830
831 INIT_MMX
832 PRED8x8_H mmx
833 PRED8x8_H mmxext
834 PRED8x8_H ssse3
835
836 ;-----------------------------------------------------------------------------
837 ; void pred8x8_top_dc_mmxext(uint8_t *src, int stride)
838 ;-----------------------------------------------------------------------------
839 cglobal pred8x8_top_dc_mmxext, 2,5
840     sub         r0, r1
841     movq       mm0, [r0]
842     pxor       mm1, mm1
843     pxor       mm2, mm2
844     lea         r2, [r0+r1*2]
845     punpckhbw  mm1, mm0
846     punpcklbw  mm0, mm2
847     psadbw     mm1, mm2        ; s1
848     lea         r3, [r2+r1*2]
849     psadbw     mm0, mm2        ; s0
850     psrlw      mm1, 1
851     psrlw      mm0, 1
852     pavgw      mm1, mm2
853     lea         r4, [r3+r1*2]
854     pavgw      mm0, mm2
855     pshufw     mm1, mm1, 0
856     pshufw     mm0, mm0, 0     ; dc0 (w)
857     packuswb   mm0, mm1        ; dc0,dc1 (b)
858     movq [r0+r1*1], mm0
859     movq [r0+r1*2], mm0
860     lea         r0, [r3+r1*2]
861     movq [r2+r1*1], mm0
862     movq [r2+r1*2], mm0
863     movq [r3+r1*1], mm0
864     movq [r3+r1*2], mm0
865     movq [r0+r1*1], mm0
866     movq [r0+r1*2], mm0
867     RET
868
869 ;-----------------------------------------------------------------------------
870 ; void pred8x8_dc_mmxext(uint8_t *src, int stride)
871 ;-----------------------------------------------------------------------------
872
873 INIT_MMX
874 cglobal pred8x8_dc_mmxext, 2,5
875     sub       r0, r1
876     pxor      m7, m7
877     movd      m0, [r0+0]
878     movd      m1, [r0+4]
879     psadbw    m0, m7            ; s0
880     mov       r4, r0
881     psadbw    m1, m7            ; s1
882
883     movzx    r2d, byte [r0+r1*1-1]
884     movzx    r3d, byte [r0+r1*2-1]
885     lea       r0, [r0+r1*2]
886     add      r2d, r3d
887     movzx    r3d, byte [r0+r1*1-1]
888     add      r2d, r3d
889     movzx    r3d, byte [r0+r1*2-1]
890     add      r2d, r3d
891     lea       r0, [r0+r1*2]
892     movd      m2, r2d            ; s2
893     movzx    r2d, byte [r0+r1*1-1]
894     movzx    r3d, byte [r0+r1*2-1]
895     lea       r0, [r0+r1*2]
896     add      r2d, r3d
897     movzx    r3d, byte [r0+r1*1-1]
898     add      r2d, r3d
899     movzx    r3d, byte [r0+r1*2-1]
900     add      r2d, r3d
901     movd      m3, r2d            ; s3
902
903     punpcklwd m0, m1
904     mov       r0, r4
905     punpcklwd m2, m3
906     punpckldq m0, m2            ; s0, s1, s2, s3
907     pshufw    m3, m0, 11110110b ; s2, s1, s3, s3
908     lea       r2, [r0+r1*2]
909     pshufw    m0, m0, 01110100b ; s0, s1, s3, s1
910     paddw     m0, m3
911     lea       r3, [r2+r1*2]
912     psrlw     m0, 2
913     pavgw     m0, m7            ; s0+s2, s1, s3, s1+s3
914     lea       r4, [r3+r1*2]
915     packuswb  m0, m0
916     punpcklbw m0, m0
917     movq      m1, m0
918     punpcklbw m0, m0
919     punpckhbw m1, m1
920     movq [r0+r1*1], m0
921     movq [r0+r1*2], m0
922     movq [r2+r1*1], m0
923     movq [r2+r1*2], m0
924     movq [r3+r1*1], m1
925     movq [r3+r1*2], m1
926     movq [r4+r1*1], m1
927     movq [r4+r1*2], m1
928     RET
929
930 ;-----------------------------------------------------------------------------
931 ; void pred8x8_dc_rv40(uint8_t *src, int stride)
932 ;-----------------------------------------------------------------------------
933
934 cglobal pred8x8_dc_rv40_mmxext, 2,7
935     mov       r4, r0
936     sub       r0, r1
937     pxor      mm0, mm0
938     psadbw    mm0, [r0]
939     dec        r0
940     movzx     r5d, byte [r0+r1*1]
941     movd      r6d, mm0
942     lea        r0, [r0+r1*2]
943 %rep 3
944     movzx     r2d, byte [r0+r1*0]
945     movzx     r3d, byte [r0+r1*1]
946     add       r5d, r2d
947     add       r6d, r3d
948     lea        r0, [r0+r1*2]
949 %endrep
950     movzx     r2d, byte [r0+r1*0]
951     add       r5d, r6d
952     lea       r2d, [r2+r5+8]
953     shr       r2d, 4
954     movd      mm0, r2d
955     punpcklbw mm0, mm0
956     pshufw    mm0, mm0, 0
957     mov       r3d, 4
958 .loop:
959     movq [r4+r1*0], mm0
960     movq [r4+r1*1], mm0
961     lea   r4, [r4+r1*2]
962     dec   r3d
963     jg .loop
964     REP_RET
965
966 ;-----------------------------------------------------------------------------
967 ; void pred8x8_tm_vp8(uint8_t *src, int stride)
968 ;-----------------------------------------------------------------------------
969
970 %macro PRED8x8_TM_MMX 1
971 cglobal pred8x8_tm_vp8_%1, 2,6
972     sub        r0, r1
973     pxor      mm7, mm7
974     movq      mm0, [r0]
975     movq      mm1, mm0
976     punpcklbw mm0, mm7
977     punpckhbw mm1, mm7
978     movzx     r4d, byte [r0-1]
979     mov       r5d, 4
980 .loop:
981     movzx     r2d, byte [r0+r1*1-1]
982     movzx     r3d, byte [r0+r1*2-1]
983     sub       r2d, r4d
984     sub       r3d, r4d
985     movd      mm2, r2d
986     movd      mm4, r3d
987 %ifidn %1, mmx
988     punpcklwd mm2, mm2
989     punpcklwd mm4, mm4
990     punpckldq mm2, mm2
991     punpckldq mm4, mm4
992 %else
993     pshufw    mm2, mm2, 0
994     pshufw    mm4, mm4, 0
995 %endif
996     movq      mm3, mm2
997     movq      mm5, mm4
998     paddw     mm2, mm0
999     paddw     mm3, mm1
1000     paddw     mm4, mm0
1001     paddw     mm5, mm1
1002     packuswb  mm2, mm3
1003     packuswb  mm4, mm5
1004     movq [r0+r1*1], mm2
1005     movq [r0+r1*2], mm4
1006     lea        r0, [r0+r1*2]
1007     dec       r5d
1008     jg .loop
1009     REP_RET
1010 %endmacro
1011
1012 PRED8x8_TM_MMX mmx
1013 PRED8x8_TM_MMX mmxext
1014
1015 cglobal pred8x8_tm_vp8_sse2, 2,6,4
1016     sub          r0, r1
1017     pxor       xmm1, xmm1
1018     movq       xmm0, [r0]
1019     punpcklbw  xmm0, xmm1
1020     movzx       r4d, byte [r0-1]
1021     mov         r5d, 4
1022 .loop:
1023     movzx       r2d, byte [r0+r1*1-1]
1024     movzx       r3d, byte [r0+r1*2-1]
1025     sub         r2d, r4d
1026     sub         r3d, r4d
1027     movd       xmm2, r2d
1028     movd       xmm3, r3d
1029     pshuflw    xmm2, xmm2, 0
1030     pshuflw    xmm3, xmm3, 0
1031     punpcklqdq xmm2, xmm2
1032     punpcklqdq xmm3, xmm3
1033     paddw      xmm2, xmm0
1034     paddw      xmm3, xmm0
1035     packuswb   xmm2, xmm3
1036     movq   [r0+r1*1], xmm2
1037     movhps [r0+r1*2], xmm2
1038     lea          r0, [r0+r1*2]
1039     dec         r5d
1040     jg .loop
1041     REP_RET
1042
1043 cglobal pred8x8_tm_vp8_ssse3, 2,3,6
1044     sub          r0, r1
1045     movdqa     xmm4, [tm_shuf]
1046     pxor       xmm1, xmm1
1047     movq       xmm0, [r0]
1048     punpcklbw  xmm0, xmm1
1049     movd       xmm5, [r0-4]
1050     pshufb     xmm5, xmm4
1051     mov         r2d, 4
1052 .loop:
1053     movd       xmm2, [r0+r1*1-4]
1054     movd       xmm3, [r0+r1*2-4]
1055     pshufb     xmm2, xmm4
1056     pshufb     xmm3, xmm4
1057     psubw      xmm2, xmm5
1058     psubw      xmm3, xmm5
1059     paddw      xmm2, xmm0
1060     paddw      xmm3, xmm0
1061     packuswb   xmm2, xmm3
1062     movq   [r0+r1*1], xmm2
1063     movhps [r0+r1*2], xmm2
1064     lea          r0, [r0+r1*2]
1065     dec         r2d
1066     jg .loop
1067     REP_RET
1068
1069 ; dest, left, right, src, tmp
1070 ; output: %1 = (t[n-1] + t[n]*2 + t[n+1] + 2) >> 2
1071 %macro PRED4x4_LOWPASS 5
1072     mova    %5, %2
1073     pavgb   %2, %3
1074     pxor    %3, %5
1075     mova    %1, %4
1076     pand    %3, [pb_1]
1077     psubusb %2, %3
1078     pavgb   %1, %2
1079 %endmacro
1080
1081 ;-----------------------------------------------------------------------------
1082 ; void pred8x8l_top_dc(uint8_t *src, int has_topleft, int has_topright, int stride)
1083 ;-----------------------------------------------------------------------------
1084 %macro PRED8x8L_TOP_DC 1
1085 cglobal pred8x8l_top_dc_%1, 4,4
1086     sub          r0, r3
1087     pxor        mm7, mm7
1088     movq        mm0, [r0-8]
1089     movq        mm3, [r0]
1090     movq        mm1, [r0+8]
1091     movq        mm2, mm3
1092     movq        mm4, mm3
1093     PALIGNR     mm2, mm0, 7, mm0
1094     PALIGNR     mm1, mm4, 1, mm4
1095     test         r1, r1 ; top_left
1096     jz .fix_lt_2
1097     test         r2, r2 ; top_right
1098     jz .fix_tr_1
1099     jmp .body
1100 .fix_lt_2:
1101     movq        mm5, mm3
1102     pxor        mm5, mm2
1103     psllq       mm5, 56
1104     psrlq       mm5, 56
1105     pxor        mm2, mm5
1106     test         r2, r2 ; top_right
1107     jnz .body
1108 .fix_tr_1:
1109     movq        mm5, mm3
1110     pxor        mm5, mm1
1111     psrlq       mm5, 56
1112     psllq       mm5, 56
1113     pxor        mm1, mm5
1114 .body
1115     PRED4x4_LOWPASS mm0, mm2, mm1, mm3, mm5
1116     psadbw   mm7, mm0
1117     paddw    mm7, [pw_4]
1118     psrlw    mm7, 3
1119     pshufw   mm7, mm7, 0
1120     packuswb mm7, mm7
1121 %rep 3
1122     movq [r0+r3*1], mm7
1123     movq [r0+r3*2], mm7
1124     lea    r0, [r0+r3*2]
1125 %endrep
1126     movq [r0+r3*1], mm7
1127     movq [r0+r3*2], mm7
1128     RET
1129 %endmacro
1130
1131 INIT_MMX
1132 %define PALIGNR PALIGNR_MMX
1133 PRED8x8L_TOP_DC mmxext
1134 %define PALIGNR PALIGNR_SSSE3
1135 PRED8x8L_TOP_DC ssse3
1136
1137 ;-----------------------------------------------------------------------------
1138 ;void pred8x8l_dc(uint8_t *src, int has_topleft, int has_topright, int stride)
1139 ;-----------------------------------------------------------------------------
1140
1141 %macro PRED8x8L_DC 1
1142 cglobal pred8x8l_dc_%1, 4,5
1143     sub          r0, r3
1144     lea          r4, [r0+r3*2]
1145     movq        mm0, [r0+r3*1-8]
1146     punpckhbw   mm0, [r0+r3*0-8]
1147     movq        mm1, [r4+r3*1-8]
1148     punpckhbw   mm1, [r0+r3*2-8]
1149     mov          r4, r0
1150     punpckhwd   mm1, mm0
1151     lea          r0, [r0+r3*4]
1152     movq        mm2, [r0+r3*1-8]
1153     punpckhbw   mm2, [r0+r3*0-8]
1154     lea          r0, [r0+r3*2]
1155     movq        mm3, [r0+r3*1-8]
1156     punpckhbw   mm3, [r0+r3*0-8]
1157     punpckhwd   mm3, mm2
1158     punpckhdq   mm3, mm1
1159     lea          r0, [r0+r3*2]
1160     movq        mm0, [r0+r3*0-8]
1161     movq        mm1, [r4]
1162     mov          r0, r4
1163     movq        mm4, mm3
1164     movq        mm2, mm3
1165     PALIGNR     mm4, mm0, 7, mm0
1166     PALIGNR     mm1, mm2, 1, mm2
1167     test        r1, r1
1168     jnz .do_left
1169 .fix_lt_1:
1170     movq        mm5, mm3
1171     pxor        mm5, mm4
1172     psrlq       mm5, 56
1173     psllq       mm5, 48
1174     pxor        mm1, mm5
1175     jmp .do_left
1176 .fix_lt_2:
1177     movq        mm5, mm3
1178     pxor        mm5, mm2
1179     psllq       mm5, 56
1180     psrlq       mm5, 56
1181     pxor        mm2, mm5
1182     test         r2, r2
1183     jnz .body
1184 .fix_tr_1:
1185     movq        mm5, mm3
1186     pxor        mm5, mm1
1187     psrlq       mm5, 56
1188     psllq       mm5, 56
1189     pxor        mm1, mm5
1190     jmp .body
1191 .do_left:
1192     movq        mm0, mm4
1193     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1194     movq        mm4, mm0
1195     movq        mm7, mm2
1196     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1197     psllq       mm1, 56
1198     PALIGNR     mm7, mm1, 7, mm3
1199     movq        mm0, [r0-8]
1200     movq        mm3, [r0]
1201     movq        mm1, [r0+8]
1202     movq        mm2, mm3
1203     movq        mm4, mm3
1204     PALIGNR     mm2, mm0, 7, mm0
1205     PALIGNR     mm1, mm4, 1, mm4
1206     test         r1, r1
1207     jz .fix_lt_2
1208     test         r2, r2
1209     jz .fix_tr_1
1210 .body
1211     lea          r1, [r0+r3*2]
1212     PRED4x4_LOWPASS mm6, mm2, mm1, mm3, mm5
1213     pxor        mm0, mm0
1214     pxor        mm1, mm1
1215     lea          r2, [r1+r3*2]
1216     psadbw      mm0, mm7
1217     psadbw      mm1, mm6
1218     paddw       mm0, [pw_8]
1219     paddw       mm0, mm1
1220     lea          r4, [r2+r3*2]
1221     psrlw       mm0, 4
1222     pshufw      mm0, mm0, 0
1223     packuswb    mm0, mm0
1224     movq [r0+r3*1], mm0
1225     movq [r0+r3*2], mm0
1226     movq [r1+r3*1], mm0
1227     movq [r1+r3*2], mm0
1228     movq [r2+r3*1], mm0
1229     movq [r2+r3*2], mm0
1230     movq [r4+r3*1], mm0
1231     movq [r4+r3*2], mm0
1232     RET
1233 %endmacro
1234 INIT_MMX
1235 %define PALIGNR PALIGNR_MMX
1236 PRED8x8L_DC mmxext
1237 %define PALIGNR PALIGNR_SSSE3
1238 PRED8x8L_DC ssse3
1239
1240 ;-----------------------------------------------------------------------------
1241 ; void pred8x8l_horizontal(uint8_t *src, int has_topleft, int has_topright, int stride)
1242 ;-----------------------------------------------------------------------------
1243
1244 %macro PRED8x8L_HORIZONTAL 1
1245 cglobal pred8x8l_horizontal_%1, 4,4
1246     sub          r0, r3
1247     lea          r2, [r0+r3*2]
1248     movq        mm0, [r0+r3*1-8]
1249     test         r1, r1
1250     lea          r1, [r0+r3]
1251     cmovnz       r1, r0
1252     punpckhbw   mm0, [r1+r3*0-8]
1253     movq        mm1, [r2+r3*1-8]
1254     punpckhbw   mm1, [r0+r3*2-8]
1255     mov          r2, r0
1256     punpckhwd   mm1, mm0
1257     lea          r0, [r0+r3*4]
1258     movq        mm2, [r0+r3*1-8]
1259     punpckhbw   mm2, [r0+r3*0-8]
1260     lea          r0, [r0+r3*2]
1261     movq        mm3, [r0+r3*1-8]
1262     punpckhbw   mm3, [r0+r3*0-8]
1263     punpckhwd   mm3, mm2
1264     punpckhdq   mm3, mm1
1265     lea          r0, [r0+r3*2]
1266     movq        mm0, [r0+r3*0-8]
1267     movq        mm1, [r1+r3*0-8]
1268     mov          r0, r2
1269     movq        mm4, mm3
1270     movq        mm2, mm3
1271     PALIGNR     mm4, mm0, 7, mm0
1272     PALIGNR     mm1, mm2, 1, mm2
1273     movq        mm0, mm4
1274     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1275     movq        mm4, mm0
1276     movq        mm7, mm2
1277     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1278     psllq       mm1, 56
1279     PALIGNR     mm7, mm1, 7, mm3
1280     movq        mm3, mm7
1281     lea         r1, [r0+r3*2]
1282     movq       mm7, mm3
1283     punpckhbw  mm3, mm3
1284     punpcklbw  mm7, mm7
1285     pshufw     mm0, mm3, 0xff
1286     pshufw     mm1, mm3, 0xaa
1287     lea         r2, [r1+r3*2]
1288     pshufw     mm2, mm3, 0x55
1289     pshufw     mm3, mm3, 0x00
1290     pshufw     mm4, mm7, 0xff
1291     pshufw     mm5, mm7, 0xaa
1292     pshufw     mm6, mm7, 0x55
1293     pshufw     mm7, mm7, 0x00
1294     movq [r0+r3*1], mm0
1295     movq [r0+r3*2], mm1
1296     movq [r1+r3*1], mm2
1297     movq [r1+r3*2], mm3
1298     movq [r2+r3*1], mm4
1299     movq [r2+r3*2], mm5
1300     lea         r0, [r2+r3*2]
1301     movq [r0+r3*1], mm6
1302     movq [r0+r3*2], mm7
1303     RET
1304 %endmacro
1305
1306 INIT_MMX
1307 %define PALIGNR PALIGNR_MMX
1308 PRED8x8L_HORIZONTAL mmxext
1309 %define PALIGNR PALIGNR_SSSE3
1310 PRED8x8L_HORIZONTAL ssse3
1311
1312 ;-----------------------------------------------------------------------------
1313 ; void pred8x8l_vertical(uint8_t *src, int has_topleft, int has_topright, int stride)
1314 ;-----------------------------------------------------------------------------
1315
1316 %macro PRED8x8L_VERTICAL 1
1317 cglobal pred8x8l_vertical_%1, 4,4
1318     sub          r0, r3
1319     movq        mm0, [r0-8]
1320     movq        mm3, [r0]
1321     movq        mm1, [r0+8]
1322     movq        mm2, mm3
1323     movq        mm4, mm3
1324     PALIGNR     mm2, mm0, 7, mm0
1325     PALIGNR     mm1, mm4, 1, mm4
1326     test         r1, r1 ; top_left
1327     jz .fix_lt_2
1328     test         r2, r2 ; top_right
1329     jz .fix_tr_1
1330     jmp .body
1331 .fix_lt_2:
1332     movq        mm5, mm3
1333     pxor        mm5, mm2
1334     psllq       mm5, 56
1335     psrlq       mm5, 56
1336     pxor        mm2, mm5
1337     test         r2, r2 ; top_right
1338     jnz .body
1339 .fix_tr_1:
1340     movq        mm5, mm3
1341     pxor        mm5, mm1
1342     psrlq       mm5, 56
1343     psllq       mm5, 56
1344     pxor        mm1, mm5
1345 .body
1346     PRED4x4_LOWPASS mm0, mm2, mm1, mm3, mm5
1347 %rep 3
1348     movq [r0+r3*1], mm0
1349     movq [r0+r3*2], mm0
1350     lea    r0, [r0+r3*2]
1351 %endrep
1352     movq [r0+r3*1], mm0
1353     movq [r0+r3*2], mm0
1354     RET
1355 %endmacro
1356
1357 INIT_MMX
1358 %define PALIGNR PALIGNR_MMX
1359 PRED8x8L_VERTICAL mmxext
1360 %define PALIGNR PALIGNR_SSSE3
1361 PRED8x8L_VERTICAL ssse3
1362
1363 ;-----------------------------------------------------------------------------
1364 ;void pred8x8l_down_left(uint8_t *src, int has_topleft, int has_topright, int stride)
1365 ;-----------------------------------------------------------------------------
1366
1367 INIT_MMX
1368 %define PALIGNR PALIGNR_MMX
1369 cglobal pred8x8l_down_left_mmxext, 4,5
1370     sub          r0, r3
1371     movq        mm0, [r0-8]
1372     movq        mm3, [r0]
1373     movq        mm1, [r0+8]
1374     movq        mm2, mm3
1375     movq        mm4, mm3
1376     PALIGNR     mm2, mm0, 7, mm0
1377     PALIGNR     mm1, mm4, 1, mm4
1378     test         r1, r1
1379     jz .fix_lt_2
1380     test         r2, r2
1381     jz .fix_tr_1
1382     jmp .do_top
1383 .fix_lt_2:
1384     movq        mm5, mm3
1385     pxor        mm5, mm2
1386     psllq       mm5, 56
1387     psrlq       mm5, 56
1388     pxor        mm2, mm5
1389     test         r2, r2
1390     jnz .do_top
1391 .fix_tr_1:
1392     movq        mm5, mm3
1393     pxor        mm5, mm1
1394     psrlq       mm5, 56
1395     psllq       mm5, 56
1396     pxor        mm1, mm5
1397     jmp .do_top
1398 .fix_tr_2:
1399     punpckhbw   mm3, mm3
1400     pshufw      mm1, mm3, 0xFF
1401     jmp .do_topright
1402 .do_top:
1403     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1404     movq        mm7, mm4
1405     test         r2, r2
1406     jz .fix_tr_2
1407     movq        mm0, [r0+8]
1408     movq        mm5, mm0
1409     movq        mm2, mm0
1410     movq        mm4, mm0
1411     psrlq       mm5, 56
1412     PALIGNR     mm2, mm3, 7, mm3
1413     PALIGNR     mm5, mm4, 1, mm4
1414     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
1415 .do_topright:
1416     lea          r1, [r0+r3*2]
1417     movq        mm6, mm1
1418     psrlq       mm1, 56
1419     movq        mm4, mm1
1420     lea          r2, [r1+r3*2]
1421     movq        mm2, mm6
1422     PALIGNR     mm2, mm7, 1, mm0
1423     movq        mm3, mm6
1424     PALIGNR     mm3, mm7, 7, mm0
1425     PALIGNR     mm4, mm6, 1, mm0
1426     movq        mm5, mm7
1427     movq        mm1, mm7
1428     movq        mm7, mm6
1429     lea          r4, [r2+r3*2]
1430     psllq       mm1, 8
1431     PRED4x4_LOWPASS mm0, mm1, mm2, mm5, mm6
1432     PRED4x4_LOWPASS mm1, mm3, mm4, mm7, mm6
1433     movq  [r4+r3*2], mm1
1434     movq        mm2, mm0
1435     psllq       mm1, 8
1436     psrlq       mm2, 56
1437     psllq       mm0, 8
1438     por         mm1, mm2
1439     movq  [r4+r3*1], mm1
1440     movq        mm2, mm0
1441     psllq       mm1, 8
1442     psrlq       mm2, 56
1443     psllq       mm0, 8
1444     por         mm1, mm2
1445     movq  [r2+r3*2], mm1
1446     movq        mm2, mm0
1447     psllq       mm1, 8
1448     psrlq       mm2, 56
1449     psllq       mm0, 8
1450     por         mm1, mm2
1451     movq  [r2+r3*1], mm1
1452     movq        mm2, mm0
1453     psllq       mm1, 8
1454     psrlq       mm2, 56
1455     psllq       mm0, 8
1456     por         mm1, mm2
1457     movq  [r1+r3*2], mm1
1458     movq        mm2, mm0
1459     psllq       mm1, 8
1460     psrlq       mm2, 56
1461     psllq       mm0, 8
1462     por         mm1, mm2
1463     movq  [r1+r3*1], mm1
1464     movq        mm2, mm0
1465     psllq       mm1, 8
1466     psrlq       mm2, 56
1467     psllq       mm0, 8
1468     por         mm1, mm2
1469     movq  [r0+r3*2], mm1
1470     psllq       mm1, 8
1471     psrlq       mm0, 56
1472     por         mm1, mm0
1473     movq  [r0+r3*1], mm1
1474     RET
1475
1476 %macro PRED8x8L_DOWN_LEFT 1
1477 cglobal pred8x8l_down_left_%1, 4,4
1478     sub          r0, r3
1479     movq        mm0, [r0-8]
1480     movq        mm3, [r0]
1481     movq        mm1, [r0+8]
1482     movq        mm2, mm3
1483     movq        mm4, mm3
1484     PALIGNR     mm2, mm0, 7, mm0
1485     PALIGNR     mm1, mm4, 1, mm4
1486     test         r1, r1 ; top_left
1487     jz .fix_lt_2
1488     test         r2, r2 ; top_right
1489     jz .fix_tr_1
1490     jmp .do_top
1491 .fix_lt_2:
1492     movq        mm5, mm3
1493     pxor        mm5, mm2
1494     psllq       mm5, 56
1495     psrlq       mm5, 56
1496     pxor        mm2, mm5
1497     test         r2, r2 ; top_right
1498     jnz .do_top
1499 .fix_tr_1:
1500     movq        mm5, mm3
1501     pxor        mm5, mm1
1502     psrlq       mm5, 56
1503     psllq       mm5, 56
1504     pxor        mm1, mm5
1505     jmp .do_top
1506 .fix_tr_2:
1507     punpckhbw   mm3, mm3
1508     pshufw      mm1, mm3, 0xFF
1509     jmp .do_topright
1510 .do_top:
1511     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1512     movq2dq    xmm3, mm4
1513     test         r2, r2 ; top_right
1514     jz .fix_tr_2
1515     movq        mm0, [r0+8]
1516     movq        mm5, mm0
1517     movq        mm2, mm0
1518     movq        mm4, mm0
1519     psrlq       mm5, 56
1520     PALIGNR     mm2, mm3, 7, mm3
1521     PALIGNR     mm5, mm4, 1, mm4
1522     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
1523 .do_topright:
1524     movq2dq    xmm4, mm1
1525     psrlq       mm1, 56
1526     movq2dq    xmm5, mm1
1527     lea         r1, [r0+r3*2]
1528     pslldq    xmm4, 8
1529     por       xmm3, xmm4
1530     movdqa    xmm2, xmm3
1531     psrldq    xmm2, 1
1532     pslldq    xmm5, 15
1533     por       xmm2, xmm5
1534     lea         r2, [r1+r3*2]
1535     movdqa    xmm1, xmm3
1536     pslldq    xmm1, 1
1537 INIT_XMM
1538     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm3, xmm4
1539     psrldq    xmm0, 1
1540     movq [r0+r3*1], xmm0
1541     psrldq    xmm0, 1
1542     movq [r0+r3*2], xmm0
1543     psrldq    xmm0, 1
1544     lea         r0, [r2+r3*2]
1545     movq [r1+r3*1], xmm0
1546     psrldq    xmm0, 1
1547     movq [r1+r3*2], xmm0
1548     psrldq    xmm0, 1
1549     movq [r2+r3*1], xmm0
1550     psrldq    xmm0, 1
1551     movq [r2+r3*2], xmm0
1552     psrldq    xmm0, 1
1553     movq [r0+r3*1], xmm0
1554     psrldq    xmm0, 1
1555     movq [r0+r3*2], xmm0
1556     RET
1557 %endmacro
1558
1559 INIT_MMX
1560 %define PALIGNR PALIGNR_MMX
1561 PRED8x8L_DOWN_LEFT sse2
1562 INIT_MMX
1563 %define PALIGNR PALIGNR_SSSE3
1564 PRED8x8L_DOWN_LEFT ssse3
1565
1566 ;-----------------------------------------------------------------------------
1567 ;void pred8x8l_down_right_mmxext(uint8_t *src, int has_topleft, int has_topright, int stride)
1568 ;-----------------------------------------------------------------------------
1569
1570 INIT_MMX
1571 %define PALIGNR PALIGNR_MMX
1572 cglobal pred8x8l_down_right_mmxext, 4,5
1573     sub          r0, r3
1574     lea          r4, [r0+r3*2]
1575     movq        mm0, [r0+r3*1-8]
1576     punpckhbw   mm0, [r0+r3*0-8]
1577     movq        mm1, [r4+r3*1-8]
1578     punpckhbw   mm1, [r0+r3*2-8]
1579     mov          r4, r0
1580     punpckhwd   mm1, mm0
1581     lea          r0, [r0+r3*4]
1582     movq        mm2, [r0+r3*1-8]
1583     punpckhbw   mm2, [r0+r3*0-8]
1584     lea          r0, [r0+r3*2]
1585     movq        mm3, [r0+r3*1-8]
1586     punpckhbw   mm3, [r0+r3*0-8]
1587     punpckhwd   mm3, mm2
1588     punpckhdq   mm3, mm1
1589     lea          r0, [r0+r3*2]
1590     movq        mm0, [r0+r3*0-8]
1591     movq        mm1, [r4]
1592     mov          r0, r4
1593     movq        mm4, mm3
1594     movq        mm2, mm3
1595     PALIGNR     mm4, mm0, 7, mm0
1596     PALIGNR     mm1, mm2, 1, mm2
1597     test        r1, r1 ; top_left
1598     jz .fix_lt_1
1599 .do_left:
1600     movq        mm0, mm4
1601     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1602     movq        mm4, mm0
1603     movq        mm7, mm2
1604     movq        mm6, mm2
1605     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1606     psllq       mm1, 56
1607     PALIGNR     mm7, mm1, 7, mm3
1608     movq        mm0, [r0-8]
1609     movq        mm3, [r0]
1610     movq        mm1, [r0+8]
1611     movq        mm2, mm3
1612     movq        mm4, mm3
1613     PALIGNR     mm2, mm0, 7, mm0
1614     PALIGNR     mm1, mm4, 1, mm4
1615     test         r1, r1 ; top_left
1616     jz .fix_lt_2
1617     test         r2, r2 ; top_right
1618     jz .fix_tr_1
1619 .do_top:
1620     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1621     movq        mm5, mm4
1622     jmp .body
1623 .fix_lt_1:
1624     movq        mm5, mm3
1625     pxor        mm5, mm4
1626     psrlq       mm5, 56
1627     psllq       mm5, 48
1628     pxor        mm1, mm5
1629     jmp .do_left
1630 .fix_lt_2:
1631     movq        mm5, mm3
1632     pxor        mm5, mm2
1633     psllq       mm5, 56
1634     psrlq       mm5, 56
1635     pxor        mm2, mm5
1636     test         r2, r2 ; top_right
1637     jnz .do_top
1638 .fix_tr_1:
1639     movq        mm5, mm3
1640     pxor        mm5, mm1
1641     psrlq       mm5, 56
1642     psllq       mm5, 56
1643     pxor        mm1, mm5
1644     jmp .do_top
1645 .body
1646     lea         r1, [r0+r3*2]
1647     movq       mm1, mm7
1648     movq       mm7, mm5
1649     movq       mm5, mm6
1650     movq       mm2, mm7
1651     lea         r2, [r1+r3*2]
1652     PALIGNR    mm2, mm6, 1, mm0
1653     movq       mm3, mm7
1654     PALIGNR    mm3, mm6, 7, mm0
1655     movq       mm4, mm7
1656     lea         r4, [r2+r3*2]
1657     psrlq      mm4, 8
1658     PRED4x4_LOWPASS mm0, mm1, mm2, mm5, mm6
1659     PRED4x4_LOWPASS mm1, mm3, mm4, mm7, mm6
1660     movq [r4+r3*2], mm0
1661     movq       mm2, mm1
1662     psrlq      mm0, 8
1663     psllq      mm2, 56
1664     psrlq      mm1, 8
1665     por        mm0, mm2
1666     movq [r4+r3*1], mm0
1667     movq       mm2, mm1
1668     psrlq      mm0, 8
1669     psllq      mm2, 56
1670     psrlq      mm1, 8
1671     por        mm0, mm2
1672     movq [r2+r3*2], mm0
1673     movq       mm2, mm1
1674     psrlq      mm0, 8
1675     psllq      mm2, 56
1676     psrlq      mm1, 8
1677     por        mm0, mm2
1678     movq [r2+r3*1], mm0
1679     movq       mm2, mm1
1680     psrlq      mm0, 8
1681     psllq      mm2, 56
1682     psrlq      mm1, 8
1683     por        mm0, mm2
1684     movq [r1+r3*2], mm0
1685     movq       mm2, mm1
1686     psrlq      mm0, 8
1687     psllq      mm2, 56
1688     psrlq      mm1, 8
1689     por        mm0, mm2
1690     movq [r1+r3*1], mm0
1691     movq       mm2, mm1
1692     psrlq      mm0, 8
1693     psllq      mm2, 56
1694     psrlq      mm1, 8
1695     por        mm0, mm2
1696     movq [r0+r3*2], mm0
1697     psrlq      mm0, 8
1698     psllq      mm1, 56
1699     por        mm0, mm1
1700     movq [r0+r3*1], mm0
1701     RET
1702
1703 %macro PRED8x8L_DOWN_RIGHT 1
1704 cglobal pred8x8l_down_right_%1, 4,5
1705     sub          r0, r3
1706     lea          r4, [r0+r3*2]
1707     movq        mm0, [r0+r3*1-8]
1708     punpckhbw   mm0, [r0+r3*0-8]
1709     movq        mm1, [r4+r3*1-8]
1710     punpckhbw   mm1, [r0+r3*2-8]
1711     mov          r4, r0
1712     punpckhwd   mm1, mm0
1713     lea          r0, [r0+r3*4]
1714     movq        mm2, [r0+r3*1-8]
1715     punpckhbw   mm2, [r0+r3*0-8]
1716     lea          r0, [r0+r3*2]
1717     movq        mm3, [r0+r3*1-8]
1718     punpckhbw   mm3, [r0+r3*0-8]
1719     punpckhwd   mm3, mm2
1720     punpckhdq   mm3, mm1
1721     lea          r0, [r0+r3*2]
1722     movq        mm0, [r0+r3*0-8]
1723     movq        mm1, [r4]
1724     mov          r0, r4
1725     movq        mm4, mm3
1726     movq        mm2, mm3
1727     PALIGNR     mm4, mm0, 7, mm0
1728     PALIGNR     mm1, mm2, 1, mm2
1729     test        r1, r1
1730     jz .fix_lt_1
1731     jmp .do_left
1732 .fix_lt_1:
1733     movq        mm5, mm3
1734     pxor        mm5, mm4
1735     psrlq       mm5, 56
1736     psllq       mm5, 48
1737     pxor        mm1, mm5
1738     jmp .do_left
1739 .fix_lt_2:
1740     movq        mm5, mm3
1741     pxor        mm5, mm2
1742     psllq       mm5, 56
1743     psrlq       mm5, 56
1744     pxor        mm2, mm5
1745     test         r2, r2
1746     jnz .do_top
1747 .fix_tr_1:
1748     movq        mm5, mm3
1749     pxor        mm5, mm1
1750     psrlq       mm5, 56
1751     psllq       mm5, 56
1752     pxor        mm1, mm5
1753     jmp .do_top
1754 .do_left:
1755     movq        mm0, mm4
1756     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1757     movq        mm4, mm0
1758     movq        mm7, mm2
1759     movq2dq    xmm3, mm2
1760     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
1761     psllq       mm1, 56
1762     PALIGNR     mm7, mm1, 7, mm3
1763     movq2dq    xmm1, mm7
1764     movq        mm0, [r0-8]
1765     movq        mm3, [r0]
1766     movq        mm1, [r0+8]
1767     movq        mm2, mm3
1768     movq        mm4, mm3
1769     PALIGNR     mm2, mm0, 7, mm0
1770     PALIGNR     mm1, mm4, 1, mm4
1771     test         r1, r1
1772     jz .fix_lt_2
1773     test         r2, r2
1774     jz .fix_tr_1
1775 .do_top:
1776     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
1777     movq2dq   xmm4, mm4
1778     lea         r1, [r0+r3*2]
1779     movdqa    xmm0, xmm3
1780     pslldq    xmm4, 8
1781     por       xmm3, xmm4
1782     lea         r2, [r1+r3*2]
1783     pslldq    xmm4, 1
1784     por       xmm1, xmm4
1785     psrldq    xmm0, 7
1786     pslldq    xmm0, 15
1787     psrldq    xmm0, 7
1788     por       xmm1, xmm0
1789     lea         r0, [r2+r3*2]
1790     movdqa    xmm2, xmm3
1791     psrldq    xmm2, 1
1792 INIT_XMM
1793     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm3, xmm4
1794     movdqa    xmm1, xmm0
1795     psrldq    xmm1, 1
1796     movq [r0+r3*2], xmm0
1797     movq [r0+r3*1], xmm1
1798     psrldq    xmm0, 2
1799     psrldq    xmm1, 2
1800     movq [r2+r3*2], xmm0
1801     movq [r2+r3*1], xmm1
1802     psrldq    xmm0, 2
1803     psrldq    xmm1, 2
1804     movq [r1+r3*2], xmm0
1805     movq [r1+r3*1], xmm1
1806     psrldq    xmm0, 2
1807     psrldq    xmm1, 2
1808     movq [r4+r3*2], xmm0
1809     movq [r4+r3*1], xmm1
1810     RET
1811 %endmacro
1812
1813 INIT_MMX
1814 %define PALIGNR PALIGNR_MMX
1815 PRED8x8L_DOWN_RIGHT sse2
1816 INIT_MMX
1817 %define PALIGNR PALIGNR_SSSE3
1818 PRED8x8L_DOWN_RIGHT ssse3
1819
1820 ;-----------------------------------------------------------------------------
1821 ; void pred8x8l_vertical_right(uint8_t *src, int has_topleft, int has_topright, int stride)
1822 ;-----------------------------------------------------------------------------
1823
1824 INIT_MMX
1825 %define PALIGNR PALIGNR_MMX
1826 cglobal pred8x8l_vertical_right_mmxext, 4,5
1827     sub          r0, r3
1828     lea          r4, [r0+r3*2]
1829     movq        mm0, [r0+r3*1-8]
1830     punpckhbw   mm0, [r0+r3*0-8]
1831     movq        mm1, [r4+r3*1-8]
1832     punpckhbw   mm1, [r0+r3*2-8]
1833     mov          r4, r0
1834     punpckhwd   mm1, mm0
1835     lea          r0, [r0+r3*4]
1836     movq        mm2, [r0+r3*1-8]
1837     punpckhbw   mm2, [r0+r3*0-8]
1838     lea          r0, [r0+r3*2]
1839     movq        mm3, [r0+r3*1-8]
1840     punpckhbw   mm3, [r0+r3*0-8]
1841     punpckhwd   mm3, mm2
1842     punpckhdq   mm3, mm1
1843     lea          r0, [r0+r3*2]
1844     movq        mm0, [r0+r3*0-8]
1845     movq        mm1, [r4]
1846     mov          r0, r4
1847     movq        mm4, mm3
1848     movq        mm2, mm3
1849     PALIGNR     mm4, mm0, 7, mm0
1850     PALIGNR     mm1, mm2, 1, mm2
1851     test        r1, r1
1852     jz .fix_lt_1
1853     jmp .do_left
1854 .fix_lt_1:
1855     movq        mm5, mm3
1856     pxor        mm5, mm4
1857     psrlq       mm5, 56
1858     psllq       mm5, 48
1859     pxor        mm1, mm5
1860     jmp .do_left
1861 .fix_lt_2:
1862     movq        mm5, mm3
1863     pxor        mm5, mm2
1864     psllq       mm5, 56
1865     psrlq       mm5, 56
1866     pxor        mm2, mm5
1867     test         r2, r2
1868     jnz .do_top
1869 .fix_tr_1:
1870     movq        mm5, mm3
1871     pxor        mm5, mm1
1872     psrlq       mm5, 56
1873     psllq       mm5, 56
1874     pxor        mm1, mm5
1875     jmp .do_top
1876 .do_left:
1877     movq        mm0, mm4
1878     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1879     movq        mm7, mm2
1880     movq        mm0, [r0-8]
1881     movq        mm3, [r0]
1882     movq        mm1, [r0+8]
1883     movq        mm2, mm3
1884     movq        mm4, mm3
1885     PALIGNR     mm2, mm0, 7, mm0
1886     PALIGNR     mm1, mm4, 1, mm4
1887     test         r1, r1
1888     jz .fix_lt_2
1889     test         r2, r2
1890     jz .fix_tr_1
1891 .do_top
1892     PRED4x4_LOWPASS mm6, mm2, mm1, mm3, mm5
1893     lea         r1, [r0+r3*2]
1894     movq       mm2, mm6
1895     movq       mm3, mm6
1896     PALIGNR    mm3, mm7, 7, mm0
1897     PALIGNR    mm6, mm7, 6, mm1
1898     movq       mm4, mm3
1899     pavgb      mm3, mm2
1900     lea         r2, [r1+r3*2]
1901     PRED4x4_LOWPASS mm0, mm6, mm2, mm4, mm5
1902     movq [r0+r3*1], mm3
1903     movq [r0+r3*2], mm0
1904     movq       mm5, mm0
1905     movq       mm6, mm3
1906     movq       mm1, mm7
1907     movq       mm2, mm1
1908     psllq      mm2, 8
1909     movq       mm3, mm1
1910     psllq      mm3, 16
1911     lea         r4, [r2+r3*2]
1912     PRED4x4_LOWPASS mm0, mm1, mm3, mm2, mm4
1913     PALIGNR    mm6, mm0, 7, mm2
1914     movq [r1+r3*1], mm6
1915     psllq      mm0, 8
1916     PALIGNR    mm5, mm0, 7, mm1
1917     movq [r1+r3*2], mm5
1918     psllq      mm0, 8
1919     PALIGNR    mm6, mm0, 7, mm2
1920     movq [r2+r3*1], mm6
1921     psllq      mm0, 8
1922     PALIGNR    mm5, mm0, 7, mm1
1923     movq [r2+r3*2], mm5
1924     psllq      mm0, 8
1925     PALIGNR    mm6, mm0, 7, mm2
1926     movq [r4+r3*1], mm6
1927     psllq      mm0, 8
1928     PALIGNR    mm5, mm0, 7, mm1
1929     movq [r4+r3*2], mm5
1930     RET
1931
1932 %macro PRED8x8L_VERTICAL_RIGHT 1
1933 cglobal pred8x8l_vertical_right_%1, 4,5,7
1934     sub          r0, r3
1935     lea          r4, [r0+r3*2]
1936     movq        mm0, [r0+r3*1-8]
1937     punpckhbw   mm0, [r0+r3*0-8]
1938     movq        mm1, [r4+r3*1-8]
1939     punpckhbw   mm1, [r0+r3*2-8]
1940     mov          r4, r0
1941     punpckhwd   mm1, mm0
1942     lea          r0, [r0+r3*4]
1943     movq        mm2, [r0+r3*1-8]
1944     punpckhbw   mm2, [r0+r3*0-8]
1945     lea          r0, [r0+r3*2]
1946     movq        mm3, [r0+r3*1-8]
1947     punpckhbw   mm3, [r0+r3*0-8]
1948     punpckhwd   mm3, mm2
1949     punpckhdq   mm3, mm1
1950     lea          r0, [r0+r3*2]
1951     movq        mm0, [r0+r3*0-8]
1952     movq        mm1, [r4]
1953     mov          r0, r4
1954     movq        mm4, mm3
1955     movq        mm2, mm3
1956     PALIGNR     mm4, mm0, 7, mm0
1957     PALIGNR     mm1, mm2, 1, mm2
1958     test        r1, r1
1959     jnz .do_left
1960 .fix_lt_1:
1961     movq        mm5, mm3
1962     pxor        mm5, mm4
1963     psrlq       mm5, 56
1964     psllq       mm5, 48
1965     pxor        mm1, mm5
1966     jmp .do_left
1967 .fix_lt_2:
1968     movq        mm5, mm3
1969     pxor        mm5, mm2
1970     psllq       mm5, 56
1971     psrlq       mm5, 56
1972     pxor        mm2, mm5
1973     test         r2, r2
1974     jnz .do_top
1975 .fix_tr_1:
1976     movq        mm5, mm3
1977     pxor        mm5, mm1
1978     psrlq       mm5, 56
1979     psllq       mm5, 56
1980     pxor        mm1, mm5
1981     jmp .do_top
1982 .do_left:
1983     movq        mm0, mm4
1984     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
1985     movq2dq    xmm0, mm2
1986     movq        mm0, [r0-8]
1987     movq        mm3, [r0]
1988     movq        mm1, [r0+8]
1989     movq        mm2, mm3
1990     movq        mm4, mm3
1991     PALIGNR     mm2, mm0, 7, mm0
1992     PALIGNR     mm1, mm4, 1, mm4
1993     test         r1, r1
1994     jz .fix_lt_2
1995     test         r2, r2
1996     jz .fix_tr_1
1997 .do_top
1998     PRED4x4_LOWPASS mm6, mm2, mm1, mm3, mm5
1999     lea           r1, [r0+r3*2]
2000     movq2dq     xmm4, mm6
2001     pslldq      xmm4, 8
2002     por         xmm0, xmm4
2003     movdqa      xmm6, [pw_ff00]
2004     movdqa      xmm1, xmm0
2005     lea           r2, [r1+r3*2]
2006     movdqa      xmm2, xmm0
2007     movdqa      xmm3, xmm0
2008     pslldq      xmm0, 1
2009     pslldq      xmm1, 2
2010     pavgb       xmm2, xmm0
2011 INIT_XMM
2012     PRED4x4_LOWPASS xmm4, xmm3, xmm1, xmm0, xmm5
2013     pandn       xmm6, xmm4
2014     movdqa      xmm5, xmm4
2015     psrlw       xmm4, 8
2016     packuswb    xmm6, xmm4
2017     movhlps     xmm4, xmm6
2018     movhps [r0+r3*2], xmm5
2019     movhps [r0+r3*1], xmm2
2020     psrldq      xmm5, 4
2021     movss       xmm5, xmm6
2022     psrldq      xmm2, 4
2023     movss       xmm2, xmm4
2024     lea           r0, [r2+r3*2]
2025     psrldq      xmm5, 1
2026     psrldq      xmm2, 1
2027     movq        [r0+r3*2], xmm5
2028     movq        [r0+r3*1], xmm2
2029     psrldq      xmm5, 1
2030     psrldq      xmm2, 1
2031     movq        [r2+r3*2], xmm5
2032     movq        [r2+r3*1], xmm2
2033     psrldq      xmm5, 1
2034     psrldq      xmm2, 1
2035     movq        [r1+r3*2], xmm5
2036     movq        [r1+r3*1], xmm2
2037     RET
2038 %endmacro
2039
2040 INIT_MMX
2041 %define PALIGNR PALIGNR_MMX
2042 PRED8x8L_VERTICAL_RIGHT sse2
2043 INIT_MMX
2044 %define PALIGNR PALIGNR_SSSE3
2045 PRED8x8L_VERTICAL_RIGHT ssse3
2046
2047 ;-----------------------------------------------------------------------------
2048 ;void pred8x8l_vertical_left(uint8_t *src, int has_topleft, int has_topright, int stride)
2049 ;-----------------------------------------------------------------------------
2050
2051 %macro PRED8x8L_VERTICAL_LEFT 1
2052 cglobal pred8x8l_vertical_left_%1, 4,4
2053     sub          r0, r3
2054     movq        mm0, [r0-8]
2055     movq        mm3, [r0]
2056     movq        mm1, [r0+8]
2057     movq        mm2, mm3
2058     movq        mm4, mm3
2059     PALIGNR     mm2, mm0, 7, mm0
2060     PALIGNR     mm1, mm4, 1, mm4
2061     test         r1, r1
2062     jz .fix_lt_2
2063     test         r2, r2
2064     jz .fix_tr_1
2065     jmp .do_top
2066 .fix_lt_2:
2067     movq        mm5, mm3
2068     pxor        mm5, mm2
2069     psllq       mm5, 56
2070     psrlq       mm5, 56
2071     pxor        mm2, mm5
2072     test         r2, r2
2073     jnz .do_top
2074 .fix_tr_1:
2075     movq        mm5, mm3
2076     pxor        mm5, mm1
2077     psrlq       mm5, 56
2078     psllq       mm5, 56
2079     pxor        mm1, mm5
2080     jmp .do_top
2081 .fix_tr_2:
2082     punpckhbw   mm3, mm3
2083     pshufw      mm1, mm3, 0xFF
2084     jmp .do_topright
2085 .do_top:
2086     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
2087     movq2dq    xmm4, mm4
2088     test         r2, r2
2089     jz .fix_tr_2
2090     movq        mm0, [r0+8]
2091     movq        mm5, mm0
2092     movq        mm2, mm0
2093     movq        mm4, mm0
2094     psrlq       mm5, 56
2095     PALIGNR     mm2, mm3, 7, mm3
2096     PALIGNR     mm5, mm4, 1, mm4
2097     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
2098 .do_topright:
2099     movq2dq   xmm3, mm1
2100     lea         r1, [r0+r3*2]
2101     pslldq    xmm3, 8
2102     por       xmm4, xmm3
2103     movdqa    xmm2, xmm4
2104     movdqa    xmm1, xmm4
2105     movdqa    xmm3, xmm4
2106     psrldq    xmm2, 1
2107     pslldq    xmm1, 1
2108     pavgb     xmm3, xmm2
2109     lea         r2, [r1+r3*2]
2110 INIT_XMM
2111     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm4, xmm5
2112     psrldq    xmm0, 1
2113     movq [r0+r3*1], xmm3
2114     movq [r0+r3*2], xmm0
2115     lea         r0, [r2+r3*2]
2116     psrldq    xmm3, 1
2117     psrldq    xmm0, 1
2118     movq [r1+r3*1], xmm3
2119     movq [r1+r3*2], xmm0
2120     psrldq    xmm3, 1
2121     psrldq    xmm0, 1
2122     movq [r2+r3*1], xmm3
2123     movq [r2+r3*2], xmm0
2124     psrldq    xmm3, 1
2125     psrldq    xmm0, 1
2126     movq [r0+r3*1], xmm3
2127     movq [r0+r3*2], xmm0
2128     RET
2129 %endmacro
2130
2131 INIT_MMX
2132 %define PALIGNR PALIGNR_MMX
2133 PRED8x8L_VERTICAL_LEFT sse2
2134 %define PALIGNR PALIGNR_SSSE3
2135 INIT_MMX
2136 PRED8x8L_VERTICAL_LEFT ssse3
2137
2138 ;-----------------------------------------------------------------------------
2139 ; void pred8x8l_horizontal_up(uint8_t *src, int has_topleft, int has_topright, int stride)
2140 ;-----------------------------------------------------------------------------
2141
2142 %macro PRED8x8L_HORIZONTAL_UP 1
2143 cglobal pred8x8l_horizontal_up_%1, 4,4
2144     sub          r0, r3
2145     lea          r2, [r0+r3*2]
2146     movq        mm0, [r0+r3*1-8]
2147     test         r1, r1
2148     lea          r1, [r0+r3]
2149     cmovnz       r1, r0
2150     punpckhbw   mm0, [r1+r3*0-8]
2151     movq        mm1, [r2+r3*1-8]
2152     punpckhbw   mm1, [r0+r3*2-8]
2153     mov          r2, r0
2154     punpckhwd   mm1, mm0
2155     lea          r0, [r0+r3*4]
2156     movq        mm2, [r0+r3*1-8]
2157     punpckhbw   mm2, [r0+r3*0-8]
2158     lea          r0, [r0+r3*2]
2159     movq        mm3, [r0+r3*1-8]
2160     punpckhbw   mm3, [r0+r3*0-8]
2161     punpckhwd   mm3, mm2
2162     punpckhdq   mm3, mm1
2163     lea          r0, [r0+r3*2]
2164     movq        mm0, [r0+r3*0-8]
2165     movq        mm1, [r1+r3*0-8]
2166     mov          r0, r2
2167     movq        mm4, mm3
2168     movq        mm2, mm3
2169     PALIGNR     mm4, mm0, 7, mm0
2170     PALIGNR     mm1, mm2, 1, mm2
2171     movq       mm0, mm4
2172     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
2173     movq       mm4, mm0
2174     movq       mm7, mm2
2175     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
2176     psllq      mm1, 56
2177     PALIGNR    mm7, mm1, 7, mm3
2178     lea         r1, [r0+r3*2]
2179     pshufw     mm0, mm7, 00011011b ; l6 l7 l4 l5 l2 l3 l0 l1
2180     psllq      mm7, 56             ; l7 .. .. .. .. .. .. ..
2181     movq       mm2, mm0
2182     psllw      mm0, 8
2183     psrlw      mm2, 8
2184     por        mm2, mm0            ; l7 l6 l5 l4 l3 l2 l1 l0
2185     movq       mm3, mm2
2186     movq       mm4, mm2
2187     movq       mm5, mm2
2188     psrlq      mm2, 8
2189     psrlq      mm3, 16
2190     lea         r2, [r1+r3*2]
2191     por        mm2, mm7            ; l7 l7 l6 l5 l4 l3 l2 l1
2192     punpckhbw  mm7, mm7
2193     por        mm3, mm7            ; l7 l7 l7 l6 l5 l4 l3 l2
2194     pavgb      mm4, mm2
2195     PRED4x4_LOWPASS mm1, mm3, mm5, mm2, mm6
2196     movq       mm5, mm4
2197     punpcklbw  mm4, mm1            ; p4 p3 p2 p1
2198     punpckhbw  mm5, mm1            ; p8 p7 p6 p5
2199     movq       mm6, mm5
2200     movq       mm7, mm5
2201     movq       mm0, mm5
2202     PALIGNR    mm5, mm4, 2, mm1
2203     pshufw     mm1, mm6, 11111001b
2204     PALIGNR    mm6, mm4, 4, mm2
2205     pshufw     mm2, mm7, 11111110b
2206     PALIGNR    mm7, mm4, 6, mm3
2207     pshufw     mm3, mm0, 11111111b
2208     movq [r0+r3*1], mm4
2209     movq [r0+r3*2], mm5
2210     lea         r0, [r2+r3*2]
2211     movq [r1+r3*1], mm6
2212     movq [r1+r3*2], mm7
2213     movq [r2+r3*1], mm0
2214     movq [r2+r3*2], mm1
2215     movq [r0+r3*1], mm2
2216     movq [r0+r3*2], mm3
2217     RET
2218 %endmacro
2219
2220 INIT_MMX
2221 %define PALIGNR PALIGNR_MMX
2222 PRED8x8L_HORIZONTAL_UP mmxext
2223 %define PALIGNR PALIGNR_SSSE3
2224 PRED8x8L_HORIZONTAL_UP ssse3
2225
2226 ;-----------------------------------------------------------------------------
2227 ;void pred8x8l_horizontal_down(uint8_t *src, int has_topleft, int has_topright, int stride)
2228 ;-----------------------------------------------------------------------------
2229
2230 INIT_MMX
2231 %define PALIGNR PALIGNR_MMX
2232 cglobal pred8x8l_horizontal_down_mmxext, 4,5
2233     sub          r0, r3
2234     lea          r4, [r0+r3*2]
2235     movq        mm0, [r0+r3*1-8]
2236     punpckhbw   mm0, [r0+r3*0-8]
2237     movq        mm1, [r4+r3*1-8]
2238     punpckhbw   mm1, [r0+r3*2-8]
2239     mov          r4, r0
2240     punpckhwd   mm1, mm0
2241     lea          r0, [r0+r3*4]
2242     movq        mm2, [r0+r3*1-8]
2243     punpckhbw   mm2, [r0+r3*0-8]
2244     lea          r0, [r0+r3*2]
2245     movq        mm3, [r0+r3*1-8]
2246     punpckhbw   mm3, [r0+r3*0-8]
2247     punpckhwd   mm3, mm2
2248     punpckhdq   mm3, mm1
2249     lea          r0, [r0+r3*2]
2250     movq        mm0, [r0+r3*0-8]
2251     movq        mm1, [r4]
2252     mov          r0, r4
2253     movq        mm4, mm3
2254     movq        mm2, mm3
2255     PALIGNR     mm4, mm0, 7, mm0
2256     PALIGNR     mm1, mm2, 1, mm2
2257     test        r1, r1
2258     jnz .do_left
2259 .fix_lt_1:
2260     movq        mm5, mm3
2261     pxor        mm5, mm4
2262     psrlq       mm5, 56
2263     psllq       mm5, 48
2264     pxor        mm1, mm5
2265     jmp .do_left
2266 .fix_lt_2:
2267     movq        mm5, mm3
2268     pxor        mm5, mm2
2269     psllq       mm5, 56
2270     psrlq       mm5, 56
2271     pxor        mm2, mm5
2272     test         r2, r2
2273     jnz .do_top
2274 .fix_tr_1:
2275     movq        mm5, mm3
2276     pxor        mm5, mm1
2277     psrlq       mm5, 56
2278     psllq       mm5, 56
2279     pxor        mm1, mm5
2280     jmp .do_top
2281 .do_left:
2282     movq        mm0, mm4
2283     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
2284     movq        mm4, mm0
2285     movq        mm7, mm2
2286     movq        mm6, mm2
2287     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
2288     psllq       mm1, 56
2289     PALIGNR     mm7, mm1, 7, mm3
2290     movq        mm0, [r0-8]
2291     movq        mm3, [r0]
2292     movq        mm1, [r0+8]
2293     movq        mm2, mm3
2294     movq        mm4, mm3
2295     PALIGNR     mm2, mm0, 7, mm0
2296     PALIGNR     mm1, mm4, 1, mm4
2297     test         r1, r1
2298     jz .fix_lt_2
2299     test         r2, r2
2300     jz .fix_tr_1
2301 .do_top:
2302     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
2303     movq       mm5, mm4
2304     lea         r1, [r0+r3*2]
2305     psllq      mm7, 56
2306     movq       mm2, mm5
2307     movq       mm3, mm6
2308     movq       mm4, mm2
2309     PALIGNR    mm2, mm6, 7, mm5
2310     PALIGNR    mm6, mm7, 7, mm0
2311     lea         r2, [r1+r3*2]
2312     PALIGNR    mm4, mm3, 1, mm7
2313     movq       mm5, mm3
2314     pavgb      mm3, mm6
2315     PRED4x4_LOWPASS mm0, mm4, mm6, mm5, mm7
2316     movq       mm4, mm2
2317     movq       mm1, mm2
2318     lea         r4, [r2+r3*2]
2319     psrlq      mm4, 16
2320     psrlq      mm1, 8
2321     PRED4x4_LOWPASS mm6, mm4, mm2, mm1, mm5
2322     movq       mm7, mm3
2323     punpcklbw  mm3, mm0
2324     punpckhbw  mm7, mm0
2325     movq       mm1, mm7
2326     movq       mm0, mm7
2327     movq       mm4, mm7
2328     movq [r4+r3*2], mm3
2329     PALIGNR    mm7, mm3, 2, mm5
2330     movq [r4+r3*1], mm7
2331     PALIGNR    mm1, mm3, 4, mm5
2332     movq [r2+r3*2], mm1
2333     PALIGNR    mm0, mm3, 6, mm3
2334     movq [r2+r3*1], mm0
2335     movq       mm2, mm6
2336     movq       mm3, mm6
2337     movq [r1+r3*2], mm4
2338     PALIGNR    mm6, mm4, 2, mm5
2339     movq [r1+r3*1], mm6
2340     PALIGNR    mm2, mm4, 4, mm5
2341     movq [r0+r3*2], mm2
2342     PALIGNR    mm3, mm4, 6, mm4
2343     movq [r0+r3*1], mm3
2344     RET
2345
2346 %macro PRED8x8L_HORIZONTAL_DOWN 1
2347 cglobal pred8x8l_horizontal_down_%1, 4,5
2348     sub          r0, r3
2349     lea          r4, [r0+r3*2]
2350     movq        mm0, [r0+r3*1-8]
2351     punpckhbw   mm0, [r0+r3*0-8]
2352     movq        mm1, [r4+r3*1-8]
2353     punpckhbw   mm1, [r0+r3*2-8]
2354     mov          r4, r0
2355     punpckhwd   mm1, mm0
2356     lea          r0, [r0+r3*4]
2357     movq        mm2, [r0+r3*1-8]
2358     punpckhbw   mm2, [r0+r3*0-8]
2359     lea          r0, [r0+r3*2]
2360     movq        mm3, [r0+r3*1-8]
2361     punpckhbw   mm3, [r0+r3*0-8]
2362     punpckhwd   mm3, mm2
2363     punpckhdq   mm3, mm1
2364     lea          r0, [r0+r3*2]
2365     movq        mm0, [r0+r3*0-8]
2366     movq        mm1, [r4]
2367     mov          r0, r4
2368     movq        mm4, mm3
2369     movq        mm2, mm3
2370     PALIGNR     mm4, mm0, 7, mm0
2371     PALIGNR     mm1, mm2, 1, mm2
2372     test        r1, r1
2373     jnz .do_left
2374 .fix_lt_1:
2375     movq        mm5, mm3
2376     pxor        mm5, mm4
2377     psrlq       mm5, 56
2378     psllq       mm5, 48
2379     pxor        mm1, mm5
2380     jmp .do_left
2381 .fix_lt_2:
2382     movq        mm5, mm3
2383     pxor        mm5, mm2
2384     psllq       mm5, 56
2385     psrlq       mm5, 56
2386     pxor        mm2, mm5
2387     test         r2, r2
2388     jnz .do_top
2389 .fix_tr_1:
2390     movq        mm5, mm3
2391     pxor        mm5, mm1
2392     psrlq       mm5, 56
2393     psllq       mm5, 56
2394     pxor        mm1, mm5
2395     jmp .do_top
2396 .fix_tr_2:
2397     punpckhbw   mm3, mm3
2398     pshufw      mm1, mm3, 0xFF
2399     jmp .do_topright
2400 .do_left:
2401     movq        mm0, mm4
2402     PRED4x4_LOWPASS mm2, mm1, mm4, mm3, mm5
2403     movq2dq    xmm0, mm2
2404     pslldq     xmm0, 8
2405     movq        mm4, mm0
2406     PRED4x4_LOWPASS mm1, mm3, mm0, mm4, mm5
2407     movq2dq    xmm2, mm1
2408     pslldq     xmm2, 15
2409     psrldq     xmm2, 8
2410     por        xmm0, xmm2
2411     movq        mm0, [r0-8]
2412     movq        mm3, [r0]
2413     movq        mm1, [r0+8]
2414     movq        mm2, mm3
2415     movq        mm4, mm3
2416     PALIGNR     mm2, mm0, 7, mm0
2417     PALIGNR     mm1, mm4, 1, mm4
2418     test         r1, r1
2419     jz .fix_lt_2
2420     test         r2, r2
2421     jz .fix_tr_1
2422 .do_top:
2423     PRED4x4_LOWPASS mm4, mm2, mm1, mm3, mm5
2424     movq2dq    xmm1, mm4
2425     test         r2, r2
2426     jz .fix_tr_2
2427     movq        mm0, [r0+8]
2428     movq        mm5, mm0
2429     movq        mm2, mm0
2430     movq        mm4, mm0
2431     psrlq       mm5, 56
2432     PALIGNR     mm2, mm3, 7, mm3
2433     PALIGNR     mm5, mm4, 1, mm4
2434     PRED4x4_LOWPASS mm1, mm2, mm5, mm0, mm4
2435 .do_topright:
2436     movq2dq    xmm5, mm1
2437     pslldq     xmm5, 8
2438     por        xmm1, xmm5
2439 INIT_XMM
2440     lea         r2, [r4+r3*2]
2441     movdqa    xmm2, xmm1
2442     movdqa    xmm3, xmm1
2443     PALIGNR   xmm1, xmm0, 7, xmm4
2444     PALIGNR   xmm2, xmm0, 9, xmm5
2445     lea         r1, [r2+r3*2]
2446     PALIGNR   xmm3, xmm0, 8, xmm0
2447     movdqa    xmm4, xmm1
2448     pavgb     xmm4, xmm3
2449     lea         r0, [r1+r3*2]
2450     PRED4x4_LOWPASS xmm0, xmm1, xmm2, xmm3, xmm5
2451     punpcklbw xmm4, xmm0
2452     movhlps   xmm0, xmm4
2453     movq   [r0+r3*2], xmm4
2454     movq   [r2+r3*2], xmm0
2455     psrldq xmm4, 2
2456     psrldq xmm0, 2
2457     movq   [r0+r3*1], xmm4
2458     movq   [r2+r3*1], xmm0
2459     psrldq xmm4, 2
2460     psrldq xmm0, 2
2461     movq   [r1+r3*2], xmm4
2462     movq   [r4+r3*2], xmm0
2463     psrldq xmm4, 2
2464     psrldq xmm0, 2
2465     movq   [r1+r3*1], xmm4
2466     movq   [r4+r3*1], xmm0
2467     RET
2468 %endmacro
2469
2470 INIT_MMX
2471 %define PALIGNR PALIGNR_MMX
2472 PRED8x8L_HORIZONTAL_DOWN sse2
2473 INIT_MMX
2474 %define PALIGNR PALIGNR_SSSE3
2475 PRED8x8L_HORIZONTAL_DOWN ssse3
2476
2477 ;-----------------------------------------------------------------------------
2478 ; void pred4x4_dc_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2479 ;-----------------------------------------------------------------------------
2480
2481 cglobal pred4x4_dc_mmxext, 3,5
2482     pxor   mm7, mm7
2483     mov     r4, r0
2484     sub     r0, r2
2485     movd   mm0, [r0]
2486     psadbw mm0, mm7
2487     movzx  r1d, byte [r0+r2*1-1]
2488     movd   r3d, mm0
2489     add    r3d, r1d
2490     movzx  r1d, byte [r0+r2*2-1]
2491     lea     r0, [r0+r2*2]
2492     add    r3d, r1d
2493     movzx  r1d, byte [r0+r2*1-1]
2494     add    r3d, r1d
2495     movzx  r1d, byte [r0+r2*2-1]
2496     add    r3d, r1d
2497     add    r3d, 4
2498     shr    r3d, 3
2499     imul   r3d, 0x01010101
2500     mov   [r4+r2*0], r3d
2501     mov   [r0+r2*0], r3d
2502     mov   [r0+r2*1], r3d
2503     mov   [r0+r2*2], r3d
2504     RET
2505
2506 ;-----------------------------------------------------------------------------
2507 ; void pred4x4_tm_vp8_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2508 ;-----------------------------------------------------------------------------
2509
2510 %macro PRED4x4_TM_MMX 1
2511 cglobal pred4x4_tm_vp8_%1, 3,6
2512     sub        r0, r2
2513     pxor      mm7, mm7
2514     movd      mm0, [r0]
2515     punpcklbw mm0, mm7
2516     movzx     r4d, byte [r0-1]
2517     mov       r5d, 2
2518 .loop:
2519     movzx     r1d, byte [r0+r2*1-1]
2520     movzx     r3d, byte [r0+r2*2-1]
2521     sub       r1d, r4d
2522     sub       r3d, r4d
2523     movd      mm2, r1d
2524     movd      mm4, r3d
2525 %ifidn %1, mmx
2526     punpcklwd mm2, mm2
2527     punpcklwd mm4, mm4
2528     punpckldq mm2, mm2
2529     punpckldq mm4, mm4
2530 %else
2531     pshufw    mm2, mm2, 0
2532     pshufw    mm4, mm4, 0
2533 %endif
2534     paddw     mm2, mm0
2535     paddw     mm4, mm0
2536     packuswb  mm2, mm2
2537     packuswb  mm4, mm4
2538     movd [r0+r2*1], mm2
2539     movd [r0+r2*2], mm4
2540     lea        r0, [r0+r2*2]
2541     dec       r5d
2542     jg .loop
2543     REP_RET
2544 %endmacro
2545
2546 PRED4x4_TM_MMX mmx
2547 PRED4x4_TM_MMX mmxext
2548
2549 cglobal pred4x4_tm_vp8_ssse3, 3,3
2550     sub         r0, r2
2551     movq       mm6, [tm_shuf]
2552     pxor       mm1, mm1
2553     movd       mm0, [r0]
2554     punpcklbw  mm0, mm1
2555     movd       mm7, [r0-4]
2556     pshufb     mm7, mm6
2557     lea         r1, [r0+r2*2]
2558     movd       mm2, [r0+r2*1-4]
2559     movd       mm3, [r0+r2*2-4]
2560     movd       mm4, [r1+r2*1-4]
2561     movd       mm5, [r1+r2*2-4]
2562     pshufb     mm2, mm6
2563     pshufb     mm3, mm6
2564     pshufb     mm4, mm6
2565     pshufb     mm5, mm6
2566     psubw      mm2, mm7
2567     psubw      mm3, mm7
2568     psubw      mm4, mm7
2569     psubw      mm5, mm7
2570     paddw      mm2, mm0
2571     paddw      mm3, mm0
2572     paddw      mm4, mm0
2573     paddw      mm5, mm0
2574     packuswb   mm2, mm2
2575     packuswb   mm3, mm3
2576     packuswb   mm4, mm4
2577     packuswb   mm5, mm5
2578     movd [r0+r2*1], mm2
2579     movd [r0+r2*2], mm3
2580     movd [r1+r2*1], mm4
2581     movd [r1+r2*2], mm5
2582     RET
2583
2584 ;-----------------------------------------------------------------------------
2585 ; void pred4x4_vertical_vp8_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2586 ;-----------------------------------------------------------------------------
2587
2588 INIT_MMX
2589 cglobal pred4x4_vertical_vp8_mmxext, 3,3
2590     sub       r0, r2
2591     movd      m1, [r0-1]
2592     movd      m0, [r0]
2593     mova      m2, m0   ;t0 t1 t2 t3
2594     punpckldq m0, [r1] ;t0 t1 t2 t3 t4 t5 t6 t7
2595     lea       r1, [r0+r2*2]
2596     psrlq     m0, 8    ;t1 t2 t3 t4
2597     PRED4x4_LOWPASS m3, m1, m0, m2, m4
2598     movd [r0+r2*1], m3
2599     movd [r0+r2*2], m3
2600     movd [r1+r2*1], m3
2601     movd [r1+r2*2], m3
2602     RET
2603
2604 ;-----------------------------------------------------------------------------
2605 ; void pred4x4_down_left_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2606 ;-----------------------------------------------------------------------------
2607 INIT_MMX
2608 cglobal pred4x4_down_left_mmxext, 3,3
2609     sub       r0, r2
2610     movq      m1, [r0]
2611     punpckldq m1, [r1]
2612     movq      m2, m1
2613     movq      m3, m1
2614     psllq     m1, 8
2615     pxor      m2, m1
2616     psrlq     m2, 8
2617     pxor      m2, m3
2618     PRED4x4_LOWPASS m0, m1, m2, m3, m4
2619     lea       r1, [r0+r2*2]
2620     psrlq     m0, 8
2621     movd      [r0+r2*1], m0
2622     psrlq     m0, 8
2623     movd      [r0+r2*2], m0
2624     psrlq     m0, 8
2625     movd      [r1+r2*1], m0
2626     psrlq     m0, 8
2627     movd      [r1+r2*2], m0
2628     RET
2629
2630 ;-----------------------------------------------------------------------------
2631 ; void pred4x4_vertical_left_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2632 ;-----------------------------------------------------------------------------
2633
2634 INIT_MMX
2635 cglobal pred4x4_vertical_left_mmxext, 3,3
2636     sub       r0, r2
2637     movq      m1, [r0]
2638     punpckldq m1, [r1]
2639     movq      m3, m1
2640     movq      m2, m1
2641     psrlq     m3, 8
2642     psrlq     m2, 16
2643     movq      m4, m3
2644     pavgb     m4, m1
2645     PRED4x4_LOWPASS m0, m1, m2, m3, m5
2646     lea       r1, [r0+r2*2]
2647     movh      [r0+r2*1], m4
2648     movh      [r0+r2*2], m0
2649     psrlq     m4, 8
2650     psrlq     m0, 8
2651     movh      [r1+r2*1], m4
2652     movh      [r1+r2*2], m0
2653     RET
2654
2655 ;-----------------------------------------------------------------------------
2656 ; void pred4x4_horizontal_up_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2657 ;-----------------------------------------------------------------------------
2658
2659 INIT_MMX
2660 cglobal pred4x4_horizontal_up_mmxext, 3,3
2661     sub       r0, r2
2662     lea       r1, [r0+r2*2]
2663     movd      m0, [r0+r2*1-4]
2664     punpcklbw m0, [r0+r2*2-4]
2665     movd      m1, [r1+r2*1-4]
2666     punpcklbw m1, [r1+r2*2-4]
2667     punpckhwd m0, m1
2668     movq      m1, m0
2669     punpckhbw m1, m1
2670     pshufw    m1, m1, 0xFF
2671     punpckhdq m0, m1
2672     movq      m2, m0
2673     movq      m3, m0
2674     movq      m7, m0
2675     psrlq     m2, 16
2676     psrlq     m3, 8
2677     pavgb     m7, m3
2678     PRED4x4_LOWPASS m4, m0, m2, m3, m5
2679     punpcklbw m7, m4
2680     movd    [r0+r2*1], m7
2681     psrlq    m7, 16
2682     movd    [r0+r2*2], m7
2683     psrlq    m7, 16
2684     movd    [r1+r2*1], m7
2685     movd    [r1+r2*2], m1
2686     RET
2687
2688 ;-----------------------------------------------------------------------------
2689 ; void pred4x4_horizontal_down_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2690 ;-----------------------------------------------------------------------------
2691
2692 INIT_MMX
2693 %define PALIGNR PALIGNR_MMX
2694 cglobal pred4x4_horizontal_down_mmxext, 3,3
2695     sub       r0, r2
2696     lea       r1, [r0+r2*2]
2697     movh      m0, [r0-4]      ; lt ..
2698     punpckldq m0, [r0]        ; t3 t2 t1 t0 lt .. .. ..
2699     psllq     m0, 8           ; t2 t1 t0 lt .. .. .. ..
2700     movd      m1, [r1+r2*2-4] ; l3
2701     punpcklbw m1, [r1+r2*1-4] ; l2 l3
2702     movd      m2, [r0+r2*2-4] ; l1
2703     punpcklbw m2, [r0+r2*1-4] ; l0 l1
2704     punpckhwd m1, m2          ; l0 l1 l2 l3
2705     punpckhdq m1, m0          ; t2 t1 t0 lt l0 l1 l2 l3
2706     movq      m0, m1
2707     movq      m2, m1
2708     movq      m5, m1
2709     psrlq     m0, 16          ; .. .. t2 t1 t0 lt l0 l1
2710     psrlq     m2, 8           ; .. t2 t1 t0 lt l0 l1 l2
2711     pavgb     m5, m2
2712     PRED4x4_LOWPASS m3, m1, m0, m2, m4
2713     punpcklbw m5, m3
2714     psrlq     m3, 32
2715     PALIGNR   m3, m5, 6, m4
2716     movh      [r1+r2*2], m5
2717     psrlq     m5, 16
2718     movh      [r1+r2*1], m5
2719     psrlq     m5, 16
2720     movh      [r0+r2*2], m5
2721     movh      [r0+r2*1], m3
2722     RET
2723
2724 ;-----------------------------------------------------------------------------
2725 ; void pred4x4_vertical_right_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2726 ;-----------------------------------------------------------------------------
2727
2728 INIT_MMX
2729 %define PALIGNR PALIGNR_MMX
2730 cglobal pred4x4_vertical_right_mmxext, 3,3
2731     sub     r0, r2
2732     lea     r1, [r0+r2*2]
2733     movh    m0, [r0]                    ; ........t3t2t1t0
2734     movq    m5, m0
2735     PALIGNR m0, [r0-8], 7, m1           ; ......t3t2t1t0lt
2736     pavgb   m5, m0
2737     PALIGNR m0, [r0+r2*1-8], 7, m1      ; ....t3t2t1t0ltl0
2738     movq    m1, m0
2739     PALIGNR m0, [r0+r2*2-8], 7, m2      ; ..t3t2t1t0ltl0l1
2740     movq    m2, m0
2741     PALIGNR m0, [r1+r2*1-8], 7, m3      ; t3t2t1t0ltl0l1l2
2742     PRED4x4_LOWPASS m3, m1, m0, m2, m4
2743     movq    m1, m3
2744     psrlq   m3, 16
2745     psllq   m1, 48
2746     movh    [r0+r2*1], m5
2747     movh    [r0+r2*2], m3
2748     PALIGNR m5, m1, 7, m2
2749     psllq   m1, 8
2750     movh    [r1+r2*1], m5
2751     PALIGNR m3, m1, 7, m1
2752     movh    [r1+r2*2], m3
2753     RET
2754
2755 ;-----------------------------------------------------------------------------
2756 ; void pred4x4_down_right_mmxext(uint8_t *src, const uint8_t *topright, int stride)
2757 ;-----------------------------------------------------------------------------
2758
2759 INIT_MMX
2760 %define PALIGNR PALIGNR_MMX
2761 cglobal pred4x4_down_right_mmxext, 3,3
2762     sub       r0, r2
2763     lea       r1, [r0+r2*2]
2764     movq      m1, [r1-8]
2765     movq      m2, [r0+r2*1-8]
2766     punpckhbw m2, [r0-8]
2767     movh      m3, [r0]
2768     punpckhwd m1, m2
2769     PALIGNR   m3, m1, 5, m1
2770     movq      m1, m3
2771     PALIGNR   m3, [r1+r2*1-8], 7, m4
2772     movq      m2, m3
2773     PALIGNR   m3, [r1+r2*2-8], 7, m4
2774     PRED4x4_LOWPASS m0, m3, m1, m2, m4
2775     movh      [r1+r2*2], m0
2776     psrlq     m0, 8
2777     movh      [r1+r2*1], m0
2778     psrlq     m0, 8
2779     movh      [r0+r2*2], m0
2780     psrlq     m0, 8
2781     movh      [r0+r2*1], m0
2782     RET