rv40dsp: implement prescaled versions for biweight.
[ffmpeg.git] / libavcodec / x86 / rv40dsp.asm
1 ;******************************************************************************
2 ;* MMX/SSE2-optimized functions for the RV40 decoder
3 ;* Copyright (C) 2012 Christophe Gisquet <christophe.gisquet@gmail.com>
4 ;*
5 ;* This file is part of Libav.
6 ;*
7 ;* Libav is free software; you can redistribute it and/or
8 ;* modify it under the terms of the GNU Lesser General Public
9 ;* License as published by the Free Software Foundation; either
10 ;* version 2.1 of the License, or (at your option) any later version.
11 ;*
12 ;* Libav is distributed in the hope that it will be useful,
13 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
14 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 ;* Lesser General Public License for more details.
16 ;*
17 ;* You should have received a copy of the GNU Lesser General Public
18 ;* License along with Libav; if not, write to the Free Software
19 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20 ;******************************************************************************
21
22 %include "x86inc.asm"
23 %include "x86util.asm"
24
25 SECTION_RODATA
26
27 align 16
28 shift_round:   times 8 dw 1 << (16 - 6)
29 cextern pw_16
30
31 SECTION .text
32
33 ; %1=5bits weights?, %2=dst %3=src1 %4=src3 %5=stride if sse2
34 %macro RV40_WCORE  4-5
35     movh       m4, [%3 + 0]
36     movh       m5, [%4 + 0]
37 %if %0 == 4
38 %define OFFSET mmsize / 2
39 %else
40     ; 8x8 block and sse2, stride was provided
41 %define OFFSET %5
42 %endif
43     movh       m6, [%3 + OFFSET]
44     movh       m7, [%4 + OFFSET]
45
46 %if %1 == 0
47     ; 14bits weights
48     punpcklbw  m4, m0
49     punpcklbw  m5, m0
50     punpcklbw  m6, m0
51     punpcklbw  m7, m0
52
53     psllw      m4, 7
54     psllw      m5, 7
55     psllw      m6, 7
56     psllw      m7, 7
57     pmulhw     m4, m3
58     pmulhw     m5, m2
59     pmulhw     m6, m3
60     pmulhw     m7, m2
61
62     paddw      m4, m5
63     paddw      m6, m7
64 %else
65     ; 5bits weights
66 %if cpuflag(ssse3)
67     punpcklbw  m4, m5
68     punpcklbw  m6, m7
69
70     pmaddubsw  m4, m3
71     pmaddubsw  m6, m3
72 %else
73     punpcklbw  m4, m0
74     punpcklbw  m5, m0
75     punpcklbw  m6, m0
76     punpcklbw  m7, m0
77
78     pmullw     m4, m3
79     pmullw     m5, m2
80     pmullw     m6, m3
81     pmullw     m7, m2
82     paddw      m4, m5
83     paddw      m6, m7
84 %endif
85
86 %endif
87
88     ; bias and shift down
89 %if cpuflag(ssse3)
90     pmulhrsw   m4, m1
91     pmulhrsw   m6, m1
92 %else
93     paddw      m4, m1
94     paddw      m6, m1
95     psrlw      m4, 5
96     psrlw      m6, 5
97 %endif
98
99     packuswb   m4, m6
100 %if %0 == 5
101     ; Only called for 8x8 blocks and sse2
102     movh       [%2 +  0], m4
103     movhps     [%2 + %5], m4
104 %else
105     mova       [%2], m4
106 %endif
107 %endmacro
108
109
110 %macro MAIN_LOOP   2
111 %if mmsize == 8
112     RV40_WCORE %2, r0, r1, r2
113 %if %1 == 16
114     RV40_WCORE %2, r0 + 8, r1 + 8, r2 + 8
115 %endif
116
117     ; Prepare for next loop
118     add        r0, r5
119     add        r1, r5
120     add        r2, r5
121 %else
122 %ifidn %1, 8
123     RV40_WCORE %2, r0, r1, r2, r5
124     ; Prepare 2 next lines
125     lea        r0, [r0 + 2 * r5]
126     lea        r1, [r1 + 2 * r5]
127     lea        r2, [r2 + 2 * r5]
128 %else
129     RV40_WCORE %2, r0, r1, r2
130     ; Prepare single next line
131     add        r0, r5
132     add        r1, r5
133     add        r2, r5
134 %endif
135 %endif
136
137     dec        r6
138 %endmacro
139
140 ; rv40_weight_func_%1(uint8_t *dst, uint8_t *src1, uint8_t *src2, int w1, int w2, int stride)
141 ; %1=size  %2=num of xmm regs
142 ; The weights are FP0.14 notation of fractions depending on pts.
143 ; For timebases without rounding error (i.e. PAL), the fractions
144 ; can be simplified, and several operations can be avoided.
145 ; Therefore, we check here whether they are multiples of 2^9 for
146 ; those simplifications to occur.
147 %macro RV40_WEIGHT  3
148 cglobal rv40_weight_func_%1_%2, 6, 7, %3
149 %if cpuflag(ssse3)
150     mova       m1, [shift_round]
151 %else
152     mova       m1, [pw_16]
153 %endif
154     pxor       m0, m0
155     ; Set loop counter and increments
156 %if mmsize == 8
157     mov        r6, %2
158 %else
159     mov        r6, (%2 * %2) / mmsize
160 %endif
161
162     movd       m2, r3
163     movd       m3, r4
164 %ifidn %1,rnd
165 %define  RND   0
166     SPLATW     m2, m2
167 %else
168 %define  RND   1
169 %if cpuflag(ssse3)
170     punpcklbw  m3, m2
171 %else
172     SPLATW     m2, m2
173 %endif
174 %endif
175     SPLATW     m3, m3
176
177 .loop:
178     MAIN_LOOP  %2, RND
179     jnz        .loop
180     REP_RET
181 %endmacro
182
183 INIT_MMX mmx
184 RV40_WEIGHT   rnd,    8, 3
185 RV40_WEIGHT   rnd,   16, 4
186 RV40_WEIGHT   nornd,  8, 3
187 RV40_WEIGHT   nornd, 16, 4
188
189 INIT_XMM sse2
190 RV40_WEIGHT   rnd,    8, 3
191 RV40_WEIGHT   rnd,   16, 4
192 RV40_WEIGHT   nornd,  8, 3
193 RV40_WEIGHT   nornd, 16, 4
194
195 INIT_XMM ssse3
196 RV40_WEIGHT   rnd,    8, 3
197 RV40_WEIGHT   rnd,   16, 4
198 RV40_WEIGHT   nornd,  8, 3
199 RV40_WEIGHT   nornd, 16, 4