3605e03f9ccca2eccf1c3b89d1ee0ddf3208557f
[ffmpeg.git] / libavcodec / i386 / dsputil_mmx_rnd.h
1 /*
2  * DSP utils mmx functions are compiled twice for rnd/no_rnd
3  * Copyright (c) 2000, 2001 Fabrice Bellard.
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Lesser General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Lesser General Public License for more details.
14  *
15  * You should have received a copy of the GNU Lesser General Public
16  * License along with this library; if not, write to the Free Software
17  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18  *
19  * MMX optimization by Nick Kurshev <nickols_k@mail.ru>
20  * mostly rewritten by Michael Niedermayer <michaelni@gmx.at>
21  * and improved by Zdenek Kabelac <kabi@users.sf.net>
22  */
23
24 // put_pixels
25 static void DEF(put, pixels8_x2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
26 {
27     MOVQ_BFE(mm6);
28     __asm __volatile(
29         "lea    (%3, %3), %%eax         \n\t"
30         ".balign 8                      \n\t"
31         "1:                             \n\t"
32         "movq   (%1), %%mm0             \n\t"
33         "movq   1(%1), %%mm1            \n\t"
34         "movq   (%1, %3), %%mm2         \n\t"
35         "movq   1(%1, %3), %%mm3        \n\t"
36         PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
37         "movq   %%mm4, (%2)             \n\t"
38         "movq   %%mm5, (%2, %3)         \n\t"
39         "addl   %%eax, %1               \n\t"
40         "addl   %%eax, %2               \n\t"
41         "movq   (%1), %%mm0             \n\t"
42         "movq   1(%1), %%mm1            \n\t"
43         "movq   (%1, %3), %%mm2         \n\t"
44         "movq   1(%1, %3), %%mm3        \n\t"
45         PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
46         "movq   %%mm4, (%2)             \n\t"
47         "movq   %%mm5, (%2, %3)         \n\t"
48         "addl   %%eax, %1               \n\t"
49         "addl   %%eax, %2               \n\t"
50         "subl   $4, %0                  \n\t"
51         "jnz    1b                      \n\t"
52         :"+g"(h), "+S"(pixels), "+D"(block)
53         :"r"(line_size)
54         :"eax", "memory");
55 }
56
57 static void DEF(put, pixels16_x2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
58 {
59     MOVQ_BFE(mm6);
60     __asm __volatile(
61         "lea    (%3, %3), %%eax         \n\t"
62         ".balign 8                      \n\t"
63         "1:                             \n\t"
64         "movq   (%1), %%mm0             \n\t"
65         "movq   1(%1), %%mm1            \n\t"
66         "movq   (%1, %3), %%mm2         \n\t"
67         "movq   1(%1, %3), %%mm3        \n\t"
68         PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
69         "movq   %%mm4, (%2)             \n\t"
70         "movq   %%mm5, (%2, %3)         \n\t"
71         "movq   8(%1), %%mm0            \n\t"
72         "movq   9(%1), %%mm1            \n\t"
73         "movq   8(%1, %3), %%mm2        \n\t"
74         "movq   9(%1, %3), %%mm3        \n\t"
75         PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
76         "movq   %%mm4, 8(%2)            \n\t"
77         "movq   %%mm5, 8(%2, %3)        \n\t"
78         "addl   %%eax, %1               \n\t"
79         "addl   %%eax, %2               \n\t"
80         "movq   (%1), %%mm0             \n\t"
81         "movq   1(%1), %%mm1            \n\t"
82         "movq   (%1, %3), %%mm2         \n\t"
83         "movq   1(%1, %3), %%mm3        \n\t"
84         PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
85         "movq   %%mm4, (%2)             \n\t"
86         "movq   %%mm5, (%2, %3)         \n\t"
87         "movq   8(%1), %%mm0            \n\t"
88         "movq   9(%1), %%mm1            \n\t"
89         "movq   8(%1, %3), %%mm2        \n\t"
90         "movq   9(%1, %3), %%mm3        \n\t"
91         PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
92         "movq   %%mm4, 8(%2)            \n\t"
93         "movq   %%mm5, 8(%2, %3)                \n\t"
94         "addl   %%eax, %1               \n\t"
95         "addl   %%eax, %2               \n\t"
96         "subl   $4, %0                  \n\t"
97         "jnz    1b                      \n\t"
98         :"+g"(h), "+S"(pixels), "+D"(block)
99         :"r"(line_size)
100         :"eax", "memory");
101 }
102
103 static void DEF(put, pixels8_y2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
104 {
105     MOVQ_BFE(mm6);
106     __asm __volatile(
107         "lea (%3, %3), %%eax            \n\t"
108         "movq (%1), %%mm0               \n\t"
109         ".balign 8                      \n\t"
110         "1:                             \n\t"
111         "movq   (%1, %3), %%mm1         \n\t"
112         "movq   (%1, %%eax),%%mm2       \n\t"
113         PAVGBP(%%mm1, %%mm0, %%mm4,   %%mm2, %%mm1, %%mm5)
114         "movq   %%mm4, (%2)             \n\t"
115         "movq   %%mm5, (%2, %3)         \n\t"
116         "addl   %%eax, %1               \n\t"
117         "addl   %%eax, %2               \n\t"
118         "movq   (%1, %3), %%mm1         \n\t"
119         "movq   (%1, %%eax),%%mm0       \n\t"
120         PAVGBP(%%mm1, %%mm2, %%mm4,   %%mm0, %%mm1, %%mm5)
121         "movq   %%mm4, (%2)             \n\t"
122         "movq   %%mm5, (%2, %3)         \n\t"
123         "addl   %%eax, %1               \n\t"
124         "addl   %%eax, %2               \n\t"
125         "subl   $4, %0                  \n\t"
126         "jnz    1b                      \n\t"
127         :"+g"(h), "+S"(pixels), "+D"(block)
128         :"r"(line_size)
129         :"eax", "memory");
130 }
131
132 static void DEF(put, pixels8_xy2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
133 {
134     MOVQ_ZERO(mm7);
135     SET_RND(mm6); // =2 for rnd  and  =1 for no_rnd version
136     __asm __volatile(
137         "movq   (%1), %%mm0             \n\t"
138         "movq   1(%1), %%mm4            \n\t"
139         "movq   %%mm0, %%mm1            \n\t"
140         "movq   %%mm4, %%mm5            \n\t"
141         "punpcklbw %%mm7, %%mm0         \n\t"
142         "punpcklbw %%mm7, %%mm4         \n\t"
143         "punpckhbw %%mm7, %%mm1         \n\t"
144         "punpckhbw %%mm7, %%mm5         \n\t"
145         "paddusw %%mm0, %%mm4           \n\t"
146         "paddusw %%mm1, %%mm5           \n\t"
147         "xorl   %%eax, %%eax            \n\t"
148         "addl   %3, %1                  \n\t"
149         ".balign 8                      \n\t"
150         "1:                             \n\t"
151         "movq   (%1, %%eax), %%mm0      \n\t"
152         "movq   1(%1, %%eax), %%mm2     \n\t"
153         "movq   %%mm0, %%mm1            \n\t"
154         "movq   %%mm2, %%mm3            \n\t"
155         "punpcklbw %%mm7, %%mm0         \n\t"
156         "punpcklbw %%mm7, %%mm2         \n\t"
157         "punpckhbw %%mm7, %%mm1         \n\t"
158         "punpckhbw %%mm7, %%mm3         \n\t"
159         "paddusw %%mm2, %%mm0           \n\t"
160         "paddusw %%mm3, %%mm1           \n\t"
161         "paddusw %%mm6, %%mm4           \n\t"
162         "paddusw %%mm6, %%mm5           \n\t"
163         "paddusw %%mm0, %%mm4           \n\t"
164         "paddusw %%mm1, %%mm5           \n\t"
165         "psrlw  $2, %%mm4               \n\t"
166         "psrlw  $2, %%mm5               \n\t"
167         "packuswb  %%mm5, %%mm4         \n\t"
168         "movq   %%mm4, (%2, %%eax)      \n\t"
169         "addl   %3, %%eax               \n\t"
170
171         "movq   (%1, %%eax), %%mm2      \n\t" // 0 <-> 2   1 <-> 3
172         "movq   1(%1, %%eax), %%mm4     \n\t"
173         "movq   %%mm2, %%mm3            \n\t"
174         "movq   %%mm4, %%mm5            \n\t"
175         "punpcklbw %%mm7, %%mm2         \n\t"
176         "punpcklbw %%mm7, %%mm4         \n\t"
177         "punpckhbw %%mm7, %%mm3         \n\t"
178         "punpckhbw %%mm7, %%mm5         \n\t"
179         "paddusw %%mm2, %%mm4           \n\t"
180         "paddusw %%mm3, %%mm5           \n\t"
181         "paddusw %%mm6, %%mm0           \n\t"
182         "paddusw %%mm6, %%mm1           \n\t"
183         "paddusw %%mm4, %%mm0           \n\t"
184         "paddusw %%mm5, %%mm1           \n\t"
185         "psrlw  $2, %%mm0               \n\t"
186         "psrlw  $2, %%mm1               \n\t"
187         "packuswb  %%mm1, %%mm0         \n\t"
188         "movq   %%mm0, (%2, %%eax)      \n\t"
189         "addl   %3, %%eax               \n\t"
190
191         "subl   $2, %0                  \n\t"
192         "jnz    1b                      \n\t"
193         :"+g"(h), "+S"(pixels)
194         :"D"(block), "r"(line_size)
195         :"eax", "memory");
196 }
197
198 // avg_pixels
199 // in case more speed is needed - unroling would certainly help
200 static void DEF(avg, pixels8)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
201 {
202     MOVQ_BFE(mm6);
203     JUMPALIGN();
204     do {
205         __asm __volatile(
206              "movq  %0, %%mm0           \n\t"
207              "movq  %1, %%mm1           \n\t"
208              PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
209              "movq  %%mm2, %0           \n\t"
210              :"+m"(*block)
211              :"m"(*pixels)
212              :"memory");
213         pixels += line_size;
214         block += line_size;
215     }
216     while (--h);
217 }
218
219 static void DEF(avg, pixels16)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
220 {
221     MOVQ_BFE(mm6);
222     JUMPALIGN();
223     do {
224         __asm __volatile(
225              "movq  %0, %%mm0           \n\t"
226              "movq  %1, %%mm1           \n\t"
227              PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
228              "movq  %%mm2, %0           \n\t"
229              "movq  8%0, %%mm0          \n\t"
230              "movq  8%1, %%mm1          \n\t"
231              PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
232              "movq  %%mm2, 8%0          \n\t"
233              :"+m"(*block)
234              :"m"(*pixels)
235              :"memory");
236         pixels += line_size;
237         block += line_size;
238     }
239     while (--h);
240 }
241
242 static void DEF(avg, pixels8_x2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
243 {
244     MOVQ_BFE(mm6);
245     JUMPALIGN();
246     do {
247         __asm __volatile(
248             "movq  %1, %%mm0            \n\t"
249             "movq  1%1, %%mm1           \n\t"
250             "movq  %0, %%mm3            \n\t"
251             PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
252             PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
253             "movq  %%mm0, %0            \n\t"
254             :"+m"(*block)
255             :"m"(*pixels)
256             :"memory");
257         pixels += line_size;
258         block += line_size;
259     } while (--h);
260 }
261
262 static void DEF(avg, pixels16_x2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
263 {
264     MOVQ_BFE(mm6);
265     JUMPALIGN();
266     do {
267         __asm __volatile(
268             "movq  %1, %%mm0            \n\t"
269             "movq  1%1, %%mm1           \n\t"
270             "movq  %0, %%mm3            \n\t"
271             PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
272             PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
273             "movq  %%mm0, %0            \n\t"
274             "movq  8%1, %%mm0           \n\t"
275             "movq  9%1, %%mm1           \n\t"
276             "movq  8%0, %%mm3           \n\t"
277             PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
278             PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
279             "movq  %%mm0, 8%0           \n\t"
280             :"+m"(*block)
281             :"m"(*pixels)
282             :"memory");
283         pixels += line_size;
284         block += line_size;
285     } while (--h);
286 }
287
288 static void DEF(avg, pixels8_y2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
289 {
290     MOVQ_BFE(mm6);
291     __asm __volatile(
292         "lea    (%3, %3), %%eax         \n\t"
293         "movq   (%1), %%mm0             \n\t"
294         ".balign 8                      \n\t"
295         "1:                             \n\t"
296         "movq   (%1, %3), %%mm1         \n\t"
297         "movq   (%1, %%eax), %%mm2      \n\t"
298         PAVGBP(%%mm1, %%mm0, %%mm4,   %%mm2, %%mm1, %%mm5)
299         "movq   (%2), %%mm3             \n\t"
300         PAVGB(%%mm3, %%mm4, %%mm0, %%mm6)
301         "movq   (%2, %3), %%mm3         \n\t"
302         PAVGB(%%mm3, %%mm5, %%mm1, %%mm6)
303         "movq   %%mm0, (%2)             \n\t"
304         "movq   %%mm1, (%2, %3)         \n\t"
305         "addl   %%eax, %1               \n\t"
306         "addl   %%eax, %2               \n\t"
307
308         "movq   (%1, %3), %%mm1         \n\t"
309         "movq   (%1, %%eax), %%mm0      \n\t"
310         PAVGBP(%%mm1, %%mm2, %%mm4,   %%mm0, %%mm1, %%mm5)
311         "movq   (%2), %%mm3             \n\t"
312         PAVGB(%%mm3, %%mm4, %%mm2, %%mm6)
313         "movq   (%2, %3), %%mm3         \n\t"
314         PAVGB(%%mm3, %%mm5, %%mm1, %%mm6)
315         "movq   %%mm2, (%2)             \n\t"
316         "movq   %%mm1, (%2, %3)         \n\t"
317         "addl   %%eax, %1               \n\t"
318         "addl   %%eax, %2               \n\t"
319
320         "subl   $4, %0                  \n\t"
321         "jnz    1b                      \n\t"
322         :"+g"(h), "+S"(pixels), "+D"(block)
323         :"r"(line_size)
324         :"eax", "memory");
325 }
326
327 // this routine is 'slightly' suboptimal but mostly unused
328 static void DEF(avg, pixels8_xy2)(UINT8 *block, const UINT8 *pixels, int line_size, int h)
329 {
330     MOVQ_ZERO(mm7);
331     SET_RND(mm6); // =2 for rnd  and  =1 for no_rnd version
332     __asm __volatile(
333         "movq   (%1), %%mm0             \n\t"
334         "movq   1(%1), %%mm4            \n\t"
335         "movq   %%mm0, %%mm1            \n\t"
336         "movq   %%mm4, %%mm5            \n\t"
337         "punpcklbw %%mm7, %%mm0         \n\t"
338         "punpcklbw %%mm7, %%mm4         \n\t"
339         "punpckhbw %%mm7, %%mm1         \n\t"
340         "punpckhbw %%mm7, %%mm5         \n\t"
341         "paddusw %%mm0, %%mm4           \n\t"
342         "paddusw %%mm1, %%mm5           \n\t"
343         "xorl   %%eax, %%eax            \n\t"
344         "addl   %3, %1                  \n\t"
345         ".balign 8                      \n\t"
346         "1:                             \n\t"
347         "movq   (%1, %%eax), %%mm0      \n\t"
348         "movq   1(%1, %%eax), %%mm2     \n\t"
349         "movq   %%mm0, %%mm1            \n\t"
350         "movq   %%mm2, %%mm3            \n\t"
351         "punpcklbw %%mm7, %%mm0         \n\t"
352         "punpcklbw %%mm7, %%mm2         \n\t"
353         "punpckhbw %%mm7, %%mm1         \n\t"
354         "punpckhbw %%mm7, %%mm3         \n\t"
355         "paddusw %%mm2, %%mm0           \n\t"
356         "paddusw %%mm3, %%mm1           \n\t"
357         "paddusw %%mm6, %%mm4           \n\t"
358         "paddusw %%mm6, %%mm5           \n\t"
359         "paddusw %%mm0, %%mm4           \n\t"
360         "paddusw %%mm1, %%mm5           \n\t"
361         "psrlw  $2, %%mm4               \n\t"
362         "psrlw  $2, %%mm5               \n\t"
363                 "movq   (%2, %%eax), %%mm3      \n\t"
364         "packuswb  %%mm5, %%mm4         \n\t"
365                 "pcmpeqd %%mm2, %%mm2   \n\t"
366                 "paddb %%mm2, %%mm2     \n\t"
367                 PAVGB(%%mm3, %%mm4, %%mm5, %%mm2)
368                 "movq   %%mm5, (%2, %%eax)      \n\t"
369         "addl   %3, %%eax               \n\t"
370
371         "movq   (%1, %%eax), %%mm2      \n\t" // 0 <-> 2   1 <-> 3
372         "movq   1(%1, %%eax), %%mm4     \n\t"
373         "movq   %%mm2, %%mm3            \n\t"
374         "movq   %%mm4, %%mm5            \n\t"
375         "punpcklbw %%mm7, %%mm2         \n\t"
376         "punpcklbw %%mm7, %%mm4         \n\t"
377         "punpckhbw %%mm7, %%mm3         \n\t"
378         "punpckhbw %%mm7, %%mm5         \n\t"
379         "paddusw %%mm2, %%mm4           \n\t"
380         "paddusw %%mm3, %%mm5           \n\t"
381         "paddusw %%mm6, %%mm0           \n\t"
382         "paddusw %%mm6, %%mm1           \n\t"
383         "paddusw %%mm4, %%mm0           \n\t"
384         "paddusw %%mm5, %%mm1           \n\t"
385         "psrlw  $2, %%mm0               \n\t"
386         "psrlw  $2, %%mm1               \n\t"
387                 "movq   (%2, %%eax), %%mm3      \n\t"
388         "packuswb  %%mm1, %%mm0         \n\t"
389                 "pcmpeqd %%mm2, %%mm2   \n\t"
390                 "paddb %%mm2, %%mm2     \n\t"
391                 PAVGB(%%mm3, %%mm0, %%mm1, %%mm2)
392                 "movq   %%mm1, (%2, %%eax)      \n\t"
393         "addl   %3, %%eax               \n\t"
394
395         "subl   $2, %0                  \n\t"
396         "jnz    1b                      \n\t"
397         :"+g"(h), "+S"(pixels)
398         :"D"(block), "r"(line_size)
399         :"eax", "memory");
400 }
401
402 //FIXME optimize
403 static void DEF(put, pixels16_y2)(UINT8 *block, const UINT8 *pixels, int line_size, int h){
404     DEF(put, pixels8_y2)(block  , pixels  , line_size, h);
405     DEF(put, pixels8_y2)(block+8, pixels+8, line_size, h);
406 }
407
408 static void DEF(put, pixels16_xy2)(UINT8 *block, const UINT8 *pixels, int line_size, int h){
409     DEF(put, pixels8_xy2)(block  , pixels  , line_size, h);
410     DEF(put, pixels8_xy2)(block+8, pixels+8, line_size, h);
411 }
412
413 static void DEF(avg, pixels16_y2)(UINT8 *block, const UINT8 *pixels, int line_size, int h){
414     DEF(avg, pixels8_y2)(block  , pixels  , line_size, h);
415     DEF(avg, pixels8_y2)(block+8, pixels+8, line_size, h);
416 }
417
418 static void DEF(avg, pixels16_xy2)(UINT8 *block, const UINT8 *pixels, int line_size, int h){
419     DEF(avg, pixels8_xy2)(block  , pixels  , line_size, h);
420     DEF(avg, pixels8_xy2)(block+8, pixels+8, line_size, h);
421 }
422
423