swscale/x86/rgb2rgb : remove mmx version for shuffle2103
[ffmpeg.git] / libswscale / x86 / rgb2rgb_template.c
1 /*
2  * software RGB to RGB converter
3  * pluralize by software PAL8 to RGB converter
4  *              software YUV to YUV converter
5  *              software YUV to RGB converter
6  * Written by Nick Kurshev.
7  * palette & YUV & runtime CPU stuff by Michael (michaelni@gmx.at)
8  * lot of big-endian byte order fixes by Alex Beregszaszi
9  *
10  * This file is part of FFmpeg.
11  *
12  * FFmpeg is free software; you can redistribute it and/or
13  * modify it under the terms of the GNU Lesser General Public
14  * License as published by the Free Software Foundation; either
15  * version 2.1 of the License, or (at your option) any later version.
16  *
17  * FFmpeg is distributed in the hope that it will be useful,
18  * but WITHOUT ANY WARRANTY; without even the implied warranty of
19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
20  * Lesser General Public License for more details.
21  *
22  * You should have received a copy of the GNU Lesser General Public
23  * License along with FFmpeg; if not, write to the Free Software
24  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
25  */
26
27 #include <stddef.h>
28 #include <stdint.h>
29
30 #include "libavutil/attributes.h"
31 #include "libavutil/x86/asm.h"
32
33 #undef PREFETCH
34 #undef MOVNTQ
35 #undef EMMS
36 #undef SFENCE
37 #undef PAVGB
38
39 #if COMPILE_TEMPLATE_AMD3DNOW
40 #define PREFETCH  "prefetch"
41 #define PAVGB     "pavgusb"
42 #elif COMPILE_TEMPLATE_MMXEXT
43 #define PREFETCH "prefetchnta"
44 #define PAVGB     "pavgb"
45 #else
46 #define PREFETCH  " # nop"
47 #endif
48
49 #if COMPILE_TEMPLATE_AMD3DNOW
50 /* On K6 femms is faster than emms. On K7 femms is directly mapped to emms. */
51 #define EMMS     "femms"
52 #else
53 #define EMMS     "emms"
54 #endif
55
56 #if COMPILE_TEMPLATE_MMXEXT
57 #define MOVNTQ "movntq"
58 #define SFENCE "sfence"
59 #else
60 #define MOVNTQ "movq"
61 #define SFENCE " # nop"
62 #endif
63
64 #if !COMPILE_TEMPLATE_SSE2
65
66 #if !COMPILE_TEMPLATE_AMD3DNOW
67
68 static inline void RENAME(rgb24tobgr32)(const uint8_t *src, uint8_t *dst, int src_size)
69 {
70     uint8_t *dest = dst;
71     const uint8_t *s = src;
72     const uint8_t *end;
73     const uint8_t *mm_end;
74     end = s + src_size;
75     __asm__ volatile(PREFETCH"    %0"::"m"(*s):"memory");
76     mm_end = end - 23;
77     __asm__ volatile("movq        %0, %%mm7"::"m"(mask32a):"memory");
78     while (s < mm_end) {
79         __asm__ volatile(
80             PREFETCH"  32(%1)           \n\t"
81             "movd        (%1), %%mm0    \n\t"
82             "punpckldq  3(%1), %%mm0    \n\t"
83             "movd       6(%1), %%mm1    \n\t"
84             "punpckldq  9(%1), %%mm1    \n\t"
85             "movd      12(%1), %%mm2    \n\t"
86             "punpckldq 15(%1), %%mm2    \n\t"
87             "movd      18(%1), %%mm3    \n\t"
88             "punpckldq 21(%1), %%mm3    \n\t"
89             "por        %%mm7, %%mm0    \n\t"
90             "por        %%mm7, %%mm1    \n\t"
91             "por        %%mm7, %%mm2    \n\t"
92             "por        %%mm7, %%mm3    \n\t"
93             MOVNTQ"     %%mm0,   (%0)   \n\t"
94             MOVNTQ"     %%mm1,  8(%0)   \n\t"
95             MOVNTQ"     %%mm2, 16(%0)   \n\t"
96             MOVNTQ"     %%mm3, 24(%0)"
97             :: "r"(dest), "r"(s)
98             :"memory");
99         dest += 32;
100         s += 24;
101     }
102     __asm__ volatile(SFENCE:::"memory");
103     __asm__ volatile(EMMS:::"memory");
104     while (s < end) {
105         *dest++ = *s++;
106         *dest++ = *s++;
107         *dest++ = *s++;
108         *dest++ = 255;
109     }
110 }
111
112 #define STORE_BGR24_MMX \
113             "psrlq         $8, %%mm2    \n\t" \
114             "psrlq         $8, %%mm3    \n\t" \
115             "psrlq         $8, %%mm6    \n\t" \
116             "psrlq         $8, %%mm7    \n\t" \
117             "pand "MANGLE(mask24l)", %%mm0\n\t" \
118             "pand "MANGLE(mask24l)", %%mm1\n\t" \
119             "pand "MANGLE(mask24l)", %%mm4\n\t" \
120             "pand "MANGLE(mask24l)", %%mm5\n\t" \
121             "pand "MANGLE(mask24h)", %%mm2\n\t" \
122             "pand "MANGLE(mask24h)", %%mm3\n\t" \
123             "pand "MANGLE(mask24h)", %%mm6\n\t" \
124             "pand "MANGLE(mask24h)", %%mm7\n\t" \
125             "por        %%mm2, %%mm0    \n\t" \
126             "por        %%mm3, %%mm1    \n\t" \
127             "por        %%mm6, %%mm4    \n\t" \
128             "por        %%mm7, %%mm5    \n\t" \
129  \
130             "movq       %%mm1, %%mm2    \n\t" \
131             "movq       %%mm4, %%mm3    \n\t" \
132             "psllq        $48, %%mm2    \n\t" \
133             "psllq        $32, %%mm3    \n\t" \
134             "por        %%mm2, %%mm0    \n\t" \
135             "psrlq        $16, %%mm1    \n\t" \
136             "psrlq        $32, %%mm4    \n\t" \
137             "psllq        $16, %%mm5    \n\t" \
138             "por        %%mm3, %%mm1    \n\t" \
139             "por        %%mm5, %%mm4    \n\t" \
140  \
141             MOVNTQ"     %%mm0,   (%0)    \n\t" \
142             MOVNTQ"     %%mm1,  8(%0)    \n\t" \
143             MOVNTQ"     %%mm4, 16(%0)"
144
145
146 static inline void RENAME(rgb32tobgr24)(const uint8_t *src, uint8_t *dst, int src_size)
147 {
148     uint8_t *dest = dst;
149     const uint8_t *s = src;
150     const uint8_t *end;
151     const uint8_t *mm_end;
152     end = s + src_size;
153     __asm__ volatile(PREFETCH"    %0"::"m"(*s):"memory");
154     mm_end = end - 31;
155     while (s < mm_end) {
156         __asm__ volatile(
157             PREFETCH"  32(%1)           \n\t"
158             "movq        (%1), %%mm0    \n\t"
159             "movq       8(%1), %%mm1    \n\t"
160             "movq      16(%1), %%mm4    \n\t"
161             "movq      24(%1), %%mm5    \n\t"
162             "movq       %%mm0, %%mm2    \n\t"
163             "movq       %%mm1, %%mm3    \n\t"
164             "movq       %%mm4, %%mm6    \n\t"
165             "movq       %%mm5, %%mm7    \n\t"
166             STORE_BGR24_MMX
167             :: "r"(dest), "r"(s)
168               NAMED_CONSTRAINTS_ADD(mask24l,mask24h)
169             :"memory");
170         dest += 24;
171         s += 32;
172     }
173     __asm__ volatile(SFENCE:::"memory");
174     __asm__ volatile(EMMS:::"memory");
175     while (s < end) {
176         *dest++ = *s++;
177         *dest++ = *s++;
178         *dest++ = *s++;
179         s++;
180     }
181 }
182
183 /*
184  original by Strepto/Astral
185  ported to gcc & bugfixed: A'rpi
186  MMXEXT, 3DNOW optimization by Nick Kurshev
187  32-bit C version, and and&add trick by Michael Niedermayer
188 */
189 static inline void RENAME(rgb15to16)(const uint8_t *src, uint8_t *dst, int src_size)
190 {
191     register const uint8_t* s=src;
192     register uint8_t* d=dst;
193     register const uint8_t *end;
194     const uint8_t *mm_end;
195     end = s + src_size;
196     __asm__ volatile(PREFETCH"    %0"::"m"(*s));
197     __asm__ volatile("movq        %0, %%mm4"::"m"(mask15s));
198     mm_end = end - 15;
199     while (s<mm_end) {
200         __asm__ volatile(
201             PREFETCH" 32(%1)        \n\t"
202             "movq      (%1), %%mm0  \n\t"
203             "movq     8(%1), %%mm2  \n\t"
204             "movq     %%mm0, %%mm1  \n\t"
205             "movq     %%mm2, %%mm3  \n\t"
206             "pand     %%mm4, %%mm0  \n\t"
207             "pand     %%mm4, %%mm2  \n\t"
208             "paddw    %%mm1, %%mm0  \n\t"
209             "paddw    %%mm3, %%mm2  \n\t"
210             MOVNTQ"   %%mm0,  (%0)  \n\t"
211             MOVNTQ"   %%mm2, 8(%0)"
212             :: "r"(d), "r"(s)
213         );
214         d+=16;
215         s+=16;
216     }
217     __asm__ volatile(SFENCE:::"memory");
218     __asm__ volatile(EMMS:::"memory");
219     mm_end = end - 3;
220     while (s < mm_end) {
221         register unsigned x= *((const uint32_t *)s);
222         *((uint32_t *)d) = (x&0x7FFF7FFF) + (x&0x7FE07FE0);
223         d+=4;
224         s+=4;
225     }
226     if (s < end) {
227         register unsigned short x= *((const uint16_t *)s);
228         *((uint16_t *)d) = (x&0x7FFF) + (x&0x7FE0);
229     }
230 }
231
232 static inline void RENAME(rgb16to15)(const uint8_t *src, uint8_t *dst, int src_size)
233 {
234     register const uint8_t* s=src;
235     register uint8_t* d=dst;
236     register const uint8_t *end;
237     const uint8_t *mm_end;
238     end = s + src_size;
239     __asm__ volatile(PREFETCH"    %0"::"m"(*s));
240     __asm__ volatile("movq        %0, %%mm7"::"m"(mask15rg));
241     __asm__ volatile("movq        %0, %%mm6"::"m"(mask15b));
242     mm_end = end - 15;
243     while (s<mm_end) {
244         __asm__ volatile(
245             PREFETCH" 32(%1)        \n\t"
246             "movq      (%1), %%mm0  \n\t"
247             "movq     8(%1), %%mm2  \n\t"
248             "movq     %%mm0, %%mm1  \n\t"
249             "movq     %%mm2, %%mm3  \n\t"
250             "psrlq       $1, %%mm0  \n\t"
251             "psrlq       $1, %%mm2  \n\t"
252             "pand     %%mm7, %%mm0  \n\t"
253             "pand     %%mm7, %%mm2  \n\t"
254             "pand     %%mm6, %%mm1  \n\t"
255             "pand     %%mm6, %%mm3  \n\t"
256             "por      %%mm1, %%mm0  \n\t"
257             "por      %%mm3, %%mm2  \n\t"
258             MOVNTQ"   %%mm0,  (%0)  \n\t"
259             MOVNTQ"   %%mm2, 8(%0)"
260             :: "r"(d), "r"(s)
261         );
262         d+=16;
263         s+=16;
264     }
265     __asm__ volatile(SFENCE:::"memory");
266     __asm__ volatile(EMMS:::"memory");
267     mm_end = end - 3;
268     while (s < mm_end) {
269         register uint32_t x= *((const uint32_t*)s);
270         *((uint32_t *)d) = ((x>>1)&0x7FE07FE0) | (x&0x001F001F);
271         s+=4;
272         d+=4;
273     }
274     if (s < end) {
275         register uint16_t x= *((const uint16_t*)s);
276         *((uint16_t *)d) = ((x>>1)&0x7FE0) | (x&0x001F);
277     }
278 }
279
280 static inline void RENAME(rgb32to16)(const uint8_t *src, uint8_t *dst, int src_size)
281 {
282     const uint8_t *s = src;
283     const uint8_t *end;
284     const uint8_t *mm_end;
285     uint16_t *d = (uint16_t *)dst;
286     end = s + src_size;
287     mm_end = end - 15;
288     __asm__ volatile(
289         "movq           %3, %%mm5   \n\t"
290         "movq           %4, %%mm6   \n\t"
291         "movq           %5, %%mm7   \n\t"
292         "jmp 2f                     \n\t"
293         ".p2align        4          \n\t"
294         "1:                         \n\t"
295         PREFETCH"   32(%1)          \n\t"
296         "movd         (%1), %%mm0   \n\t"
297         "movd        4(%1), %%mm3   \n\t"
298         "punpckldq   8(%1), %%mm0   \n\t"
299         "punpckldq  12(%1), %%mm3   \n\t"
300         "movq        %%mm0, %%mm1   \n\t"
301         "movq        %%mm3, %%mm4   \n\t"
302         "pand        %%mm6, %%mm0   \n\t"
303         "pand        %%mm6, %%mm3   \n\t"
304         "pmaddwd     %%mm7, %%mm0   \n\t"
305         "pmaddwd     %%mm7, %%mm3   \n\t"
306         "pand        %%mm5, %%mm1   \n\t"
307         "pand        %%mm5, %%mm4   \n\t"
308         "por         %%mm1, %%mm0   \n\t"
309         "por         %%mm4, %%mm3   \n\t"
310         "psrld          $5, %%mm0   \n\t"
311         "pslld         $11, %%mm3   \n\t"
312         "por         %%mm3, %%mm0   \n\t"
313         MOVNTQ"      %%mm0, (%0)    \n\t"
314         "add           $16,  %1     \n\t"
315         "add            $8,  %0     \n\t"
316         "2:                         \n\t"
317         "cmp            %2,  %1     \n\t"
318         " jb            1b          \n\t"
319         : "+r" (d), "+r"(s)
320         : "r" (mm_end), "m" (mask3216g), "m" (mask3216br), "m" (mul3216)
321     );
322     __asm__ volatile(SFENCE:::"memory");
323     __asm__ volatile(EMMS:::"memory");
324     while (s < end) {
325         register int rgb = *(const uint32_t*)s; s += 4;
326         *d++ = ((rgb&0xFF)>>3) + ((rgb&0xFC00)>>5) + ((rgb&0xF80000)>>8);
327     }
328 }
329
330 static inline void RENAME(rgb32tobgr16)(const uint8_t *src, uint8_t *dst, int src_size)
331 {
332     const uint8_t *s = src;
333     const uint8_t *end;
334     const uint8_t *mm_end;
335     uint16_t *d = (uint16_t *)dst;
336     end = s + src_size;
337     __asm__ volatile(PREFETCH"    %0"::"m"(*src):"memory");
338     __asm__ volatile(
339         "movq          %0, %%mm7    \n\t"
340         "movq          %1, %%mm6    \n\t"
341         ::"m"(red_16mask),"m"(green_16mask));
342     mm_end = end - 15;
343     while (s < mm_end) {
344         __asm__ volatile(
345             PREFETCH"  32(%1)           \n\t"
346             "movd        (%1), %%mm0    \n\t"
347             "movd       4(%1), %%mm3    \n\t"
348             "punpckldq  8(%1), %%mm0    \n\t"
349             "punpckldq 12(%1), %%mm3    \n\t"
350             "movq       %%mm0, %%mm1    \n\t"
351             "movq       %%mm0, %%mm2    \n\t"
352             "movq       %%mm3, %%mm4    \n\t"
353             "movq       %%mm3, %%mm5    \n\t"
354             "psllq         $8, %%mm0    \n\t"
355             "psllq         $8, %%mm3    \n\t"
356             "pand       %%mm7, %%mm0    \n\t"
357             "pand       %%mm7, %%mm3    \n\t"
358             "psrlq         $5, %%mm1    \n\t"
359             "psrlq         $5, %%mm4    \n\t"
360             "pand       %%mm6, %%mm1    \n\t"
361             "pand       %%mm6, %%mm4    \n\t"
362             "psrlq        $19, %%mm2    \n\t"
363             "psrlq        $19, %%mm5    \n\t"
364             "pand          %2, %%mm2    \n\t"
365             "pand          %2, %%mm5    \n\t"
366             "por        %%mm1, %%mm0    \n\t"
367             "por        %%mm4, %%mm3    \n\t"
368             "por        %%mm2, %%mm0    \n\t"
369             "por        %%mm5, %%mm3    \n\t"
370             "psllq        $16, %%mm3    \n\t"
371             "por        %%mm3, %%mm0    \n\t"
372             MOVNTQ"     %%mm0, (%0)     \n\t"
373             :: "r"(d),"r"(s),"m"(blue_16mask):"memory");
374         d += 4;
375         s += 16;
376     }
377     __asm__ volatile(SFENCE:::"memory");
378     __asm__ volatile(EMMS:::"memory");
379     while (s < end) {
380         register int rgb = *(const uint32_t*)s; s += 4;
381         *d++ = ((rgb&0xF8)<<8) + ((rgb&0xFC00)>>5) + ((rgb&0xF80000)>>19);
382     }
383 }
384
385 static inline void RENAME(rgb32to15)(const uint8_t *src, uint8_t *dst, int src_size)
386 {
387     const uint8_t *s = src;
388     const uint8_t *end;
389     const uint8_t *mm_end;
390     uint16_t *d = (uint16_t *)dst;
391     end = s + src_size;
392     mm_end = end - 15;
393     __asm__ volatile(
394         "movq           %3, %%mm5   \n\t"
395         "movq           %4, %%mm6   \n\t"
396         "movq           %5, %%mm7   \n\t"
397         "jmp            2f          \n\t"
398         ".p2align        4          \n\t"
399         "1:                         \n\t"
400         PREFETCH"   32(%1)          \n\t"
401         "movd         (%1), %%mm0   \n\t"
402         "movd        4(%1), %%mm3   \n\t"
403         "punpckldq   8(%1), %%mm0   \n\t"
404         "punpckldq  12(%1), %%mm3   \n\t"
405         "movq        %%mm0, %%mm1   \n\t"
406         "movq        %%mm3, %%mm4   \n\t"
407         "pand        %%mm6, %%mm0   \n\t"
408         "pand        %%mm6, %%mm3   \n\t"
409         "pmaddwd     %%mm7, %%mm0   \n\t"
410         "pmaddwd     %%mm7, %%mm3   \n\t"
411         "pand        %%mm5, %%mm1   \n\t"
412         "pand        %%mm5, %%mm4   \n\t"
413         "por         %%mm1, %%mm0   \n\t"
414         "por         %%mm4, %%mm3   \n\t"
415         "psrld          $6, %%mm0   \n\t"
416         "pslld         $10, %%mm3   \n\t"
417         "por         %%mm3, %%mm0   \n\t"
418         MOVNTQ"      %%mm0, (%0)    \n\t"
419         "add           $16,  %1     \n\t"
420         "add            $8,  %0     \n\t"
421         "2:                         \n\t"
422         "cmp            %2,  %1     \n\t"
423         " jb            1b          \n\t"
424         : "+r" (d), "+r"(s)
425         : "r" (mm_end), "m" (mask3215g), "m" (mask3216br), "m" (mul3215)
426     );
427     __asm__ volatile(SFENCE:::"memory");
428     __asm__ volatile(EMMS:::"memory");
429     while (s < end) {
430         register int rgb = *(const uint32_t*)s; s += 4;
431         *d++ = ((rgb&0xFF)>>3) + ((rgb&0xF800)>>6) + ((rgb&0xF80000)>>9);
432     }
433 }
434
435 static inline void RENAME(rgb32tobgr15)(const uint8_t *src, uint8_t *dst, int src_size)
436 {
437     const uint8_t *s = src;
438     const uint8_t *end;
439     const uint8_t *mm_end;
440     uint16_t *d = (uint16_t *)dst;
441     end = s + src_size;
442     __asm__ volatile(PREFETCH"    %0"::"m"(*src):"memory");
443     __asm__ volatile(
444         "movq          %0, %%mm7    \n\t"
445         "movq          %1, %%mm6    \n\t"
446         ::"m"(red_15mask),"m"(green_15mask));
447     mm_end = end - 15;
448     while (s < mm_end) {
449         __asm__ volatile(
450             PREFETCH"  32(%1)           \n\t"
451             "movd        (%1), %%mm0    \n\t"
452             "movd       4(%1), %%mm3    \n\t"
453             "punpckldq  8(%1), %%mm0    \n\t"
454             "punpckldq 12(%1), %%mm3    \n\t"
455             "movq       %%mm0, %%mm1    \n\t"
456             "movq       %%mm0, %%mm2    \n\t"
457             "movq       %%mm3, %%mm4    \n\t"
458             "movq       %%mm3, %%mm5    \n\t"
459             "psllq         $7, %%mm0    \n\t"
460             "psllq         $7, %%mm3    \n\t"
461             "pand       %%mm7, %%mm0    \n\t"
462             "pand       %%mm7, %%mm3    \n\t"
463             "psrlq         $6, %%mm1    \n\t"
464             "psrlq         $6, %%mm4    \n\t"
465             "pand       %%mm6, %%mm1    \n\t"
466             "pand       %%mm6, %%mm4    \n\t"
467             "psrlq        $19, %%mm2    \n\t"
468             "psrlq        $19, %%mm5    \n\t"
469             "pand          %2, %%mm2    \n\t"
470             "pand          %2, %%mm5    \n\t"
471             "por        %%mm1, %%mm0    \n\t"
472             "por        %%mm4, %%mm3    \n\t"
473             "por        %%mm2, %%mm0    \n\t"
474             "por        %%mm5, %%mm3    \n\t"
475             "psllq        $16, %%mm3    \n\t"
476             "por        %%mm3, %%mm0    \n\t"
477             MOVNTQ"     %%mm0, (%0)     \n\t"
478             ::"r"(d),"r"(s),"m"(blue_15mask):"memory");
479         d += 4;
480         s += 16;
481     }
482     __asm__ volatile(SFENCE:::"memory");
483     __asm__ volatile(EMMS:::"memory");
484     while (s < end) {
485         register int rgb = *(const uint32_t*)s; s += 4;
486         *d++ = ((rgb&0xF8)<<7) + ((rgb&0xF800)>>6) + ((rgb&0xF80000)>>19);
487     }
488 }
489
490 static inline void RENAME(rgb24tobgr16)(const uint8_t *src, uint8_t *dst, int src_size)
491 {
492     const uint8_t *s = src;
493     const uint8_t *end;
494     const uint8_t *mm_end;
495     uint16_t *d = (uint16_t *)dst;
496     end = s + src_size;
497     __asm__ volatile(PREFETCH"    %0"::"m"(*src):"memory");
498     __asm__ volatile(
499         "movq         %0, %%mm7     \n\t"
500         "movq         %1, %%mm6     \n\t"
501         ::"m"(red_16mask),"m"(green_16mask));
502     mm_end = end - 11;
503     while (s < mm_end) {
504         __asm__ volatile(
505             PREFETCH"  32(%1)           \n\t"
506             "movd        (%1), %%mm0    \n\t"
507             "movd       3(%1), %%mm3    \n\t"
508             "punpckldq  6(%1), %%mm0    \n\t"
509             "punpckldq  9(%1), %%mm3    \n\t"
510             "movq       %%mm0, %%mm1    \n\t"
511             "movq       %%mm0, %%mm2    \n\t"
512             "movq       %%mm3, %%mm4    \n\t"
513             "movq       %%mm3, %%mm5    \n\t"
514             "psrlq         $3, %%mm0    \n\t"
515             "psrlq         $3, %%mm3    \n\t"
516             "pand          %2, %%mm0    \n\t"
517             "pand          %2, %%mm3    \n\t"
518             "psrlq         $5, %%mm1    \n\t"
519             "psrlq         $5, %%mm4    \n\t"
520             "pand       %%mm6, %%mm1    \n\t"
521             "pand       %%mm6, %%mm4    \n\t"
522             "psrlq         $8, %%mm2    \n\t"
523             "psrlq         $8, %%mm5    \n\t"
524             "pand       %%mm7, %%mm2    \n\t"
525             "pand       %%mm7, %%mm5    \n\t"
526             "por        %%mm1, %%mm0    \n\t"
527             "por        %%mm4, %%mm3    \n\t"
528             "por        %%mm2, %%mm0    \n\t"
529             "por        %%mm5, %%mm3    \n\t"
530             "psllq        $16, %%mm3    \n\t"
531             "por        %%mm3, %%mm0    \n\t"
532             MOVNTQ"     %%mm0, (%0)     \n\t"
533             ::"r"(d),"r"(s),"m"(blue_16mask):"memory");
534         d += 4;
535         s += 12;
536     }
537     __asm__ volatile(SFENCE:::"memory");
538     __asm__ volatile(EMMS:::"memory");
539     while (s < end) {
540         const int b = *s++;
541         const int g = *s++;
542         const int r = *s++;
543         *d++ = (b>>3) | ((g&0xFC)<<3) | ((r&0xF8)<<8);
544     }
545 }
546
547 static inline void RENAME(rgb24to16)(const uint8_t *src, uint8_t *dst, int src_size)
548 {
549     const uint8_t *s = src;
550     const uint8_t *end;
551     const uint8_t *mm_end;
552     uint16_t *d = (uint16_t *)dst;
553     end = s + src_size;
554     __asm__ volatile(PREFETCH"    %0"::"m"(*src):"memory");
555     __asm__ volatile(
556         "movq         %0, %%mm7     \n\t"
557         "movq         %1, %%mm6     \n\t"
558         ::"m"(red_16mask),"m"(green_16mask));
559     mm_end = end - 15;
560     while (s < mm_end) {
561         __asm__ volatile(
562             PREFETCH"  32(%1)           \n\t"
563             "movd        (%1), %%mm0    \n\t"
564             "movd       3(%1), %%mm3    \n\t"
565             "punpckldq  6(%1), %%mm0    \n\t"
566             "punpckldq  9(%1), %%mm3    \n\t"
567             "movq       %%mm0, %%mm1    \n\t"
568             "movq       %%mm0, %%mm2    \n\t"
569             "movq       %%mm3, %%mm4    \n\t"
570             "movq       %%mm3, %%mm5    \n\t"
571             "psllq         $8, %%mm0    \n\t"
572             "psllq         $8, %%mm3    \n\t"
573             "pand       %%mm7, %%mm0    \n\t"
574             "pand       %%mm7, %%mm3    \n\t"
575             "psrlq         $5, %%mm1    \n\t"
576             "psrlq         $5, %%mm4    \n\t"
577             "pand       %%mm6, %%mm1    \n\t"
578             "pand       %%mm6, %%mm4    \n\t"
579             "psrlq        $19, %%mm2    \n\t"
580             "psrlq        $19, %%mm5    \n\t"
581             "pand          %2, %%mm2    \n\t"
582             "pand          %2, %%mm5    \n\t"
583             "por        %%mm1, %%mm0    \n\t"
584             "por        %%mm4, %%mm3    \n\t"
585             "por        %%mm2, %%mm0    \n\t"
586             "por        %%mm5, %%mm3    \n\t"
587             "psllq        $16, %%mm3    \n\t"
588             "por        %%mm3, %%mm0    \n\t"
589             MOVNTQ"     %%mm0, (%0)     \n\t"
590             ::"r"(d),"r"(s),"m"(blue_16mask):"memory");
591         d += 4;
592         s += 12;
593     }
594     __asm__ volatile(SFENCE:::"memory");
595     __asm__ volatile(EMMS:::"memory");
596     while (s < end) {
597         const int r = *s++;
598         const int g = *s++;
599         const int b = *s++;
600         *d++ = (b>>3) | ((g&0xFC)<<3) | ((r&0xF8)<<8);
601     }
602 }
603
604 static inline void RENAME(rgb24tobgr15)(const uint8_t *src, uint8_t *dst, int src_size)
605 {
606     const uint8_t *s = src;
607     const uint8_t *end;
608     const uint8_t *mm_end;
609     uint16_t *d = (uint16_t *)dst;
610     end = s + src_size;
611     __asm__ volatile(PREFETCH"    %0"::"m"(*src):"memory");
612     __asm__ volatile(
613         "movq          %0, %%mm7    \n\t"
614         "movq          %1, %%mm6    \n\t"
615         ::"m"(red_15mask),"m"(green_15mask));
616     mm_end = end - 11;
617     while (s < mm_end) {
618         __asm__ volatile(
619             PREFETCH"  32(%1)           \n\t"
620             "movd        (%1), %%mm0    \n\t"
621             "movd       3(%1), %%mm3    \n\t"
622             "punpckldq  6(%1), %%mm0    \n\t"
623             "punpckldq  9(%1), %%mm3    \n\t"
624             "movq       %%mm0, %%mm1    \n\t"
625             "movq       %%mm0, %%mm2    \n\t"
626             "movq       %%mm3, %%mm4    \n\t"
627             "movq       %%mm3, %%mm5    \n\t"
628             "psrlq         $3, %%mm0    \n\t"
629             "psrlq         $3, %%mm3    \n\t"
630             "pand          %2, %%mm0    \n\t"
631             "pand          %2, %%mm3    \n\t"
632             "psrlq         $6, %%mm1    \n\t"
633             "psrlq         $6, %%mm4    \n\t"
634             "pand       %%mm6, %%mm1    \n\t"
635             "pand       %%mm6, %%mm4    \n\t"
636             "psrlq         $9, %%mm2    \n\t"
637             "psrlq         $9, %%mm5    \n\t"
638             "pand       %%mm7, %%mm2    \n\t"
639             "pand       %%mm7, %%mm5    \n\t"
640             "por        %%mm1, %%mm0    \n\t"
641             "por        %%mm4, %%mm3    \n\t"
642             "por        %%mm2, %%mm0    \n\t"
643             "por        %%mm5, %%mm3    \n\t"
644             "psllq        $16, %%mm3    \n\t"
645             "por        %%mm3, %%mm0    \n\t"
646             MOVNTQ"     %%mm0, (%0)     \n\t"
647             ::"r"(d),"r"(s),"m"(blue_15mask):"memory");
648         d += 4;
649         s += 12;
650     }
651     __asm__ volatile(SFENCE:::"memory");
652     __asm__ volatile(EMMS:::"memory");
653     while (s < end) {
654         const int b = *s++;
655         const int g = *s++;
656         const int r = *s++;
657         *d++ = (b>>3) | ((g&0xF8)<<2) | ((r&0xF8)<<7);
658     }
659 }
660
661 static inline void RENAME(rgb24to15)(const uint8_t *src, uint8_t *dst, int src_size)
662 {
663     const uint8_t *s = src;
664     const uint8_t *end;
665     const uint8_t *mm_end;
666     uint16_t *d = (uint16_t *)dst;
667     end = s + src_size;
668     __asm__ volatile(PREFETCH"    %0"::"m"(*src):"memory");
669     __asm__ volatile(
670         "movq         %0, %%mm7     \n\t"
671         "movq         %1, %%mm6     \n\t"
672         ::"m"(red_15mask),"m"(green_15mask));
673     mm_end = end - 15;
674     while (s < mm_end) {
675         __asm__ volatile(
676             PREFETCH" 32(%1)            \n\t"
677             "movd       (%1), %%mm0     \n\t"
678             "movd      3(%1), %%mm3     \n\t"
679             "punpckldq 6(%1), %%mm0     \n\t"
680             "punpckldq 9(%1), %%mm3     \n\t"
681             "movq      %%mm0, %%mm1     \n\t"
682             "movq      %%mm0, %%mm2     \n\t"
683             "movq      %%mm3, %%mm4     \n\t"
684             "movq      %%mm3, %%mm5     \n\t"
685             "psllq        $7, %%mm0     \n\t"
686             "psllq        $7, %%mm3     \n\t"
687             "pand      %%mm7, %%mm0     \n\t"
688             "pand      %%mm7, %%mm3     \n\t"
689             "psrlq        $6, %%mm1     \n\t"
690             "psrlq        $6, %%mm4     \n\t"
691             "pand      %%mm6, %%mm1     \n\t"
692             "pand      %%mm6, %%mm4     \n\t"
693             "psrlq       $19, %%mm2     \n\t"
694             "psrlq       $19, %%mm5     \n\t"
695             "pand         %2, %%mm2     \n\t"
696             "pand         %2, %%mm5     \n\t"
697             "por       %%mm1, %%mm0     \n\t"
698             "por       %%mm4, %%mm3     \n\t"
699             "por       %%mm2, %%mm0     \n\t"
700             "por       %%mm5, %%mm3     \n\t"
701             "psllq       $16, %%mm3     \n\t"
702             "por       %%mm3, %%mm0     \n\t"
703             MOVNTQ"    %%mm0, (%0)      \n\t"
704             ::"r"(d),"r"(s),"m"(blue_15mask):"memory");
705         d += 4;
706         s += 12;
707     }
708     __asm__ volatile(SFENCE:::"memory");
709     __asm__ volatile(EMMS:::"memory");
710     while (s < end) {
711         const int r = *s++;
712         const int g = *s++;
713         const int b = *s++;
714         *d++ = (b>>3) | ((g&0xF8)<<2) | ((r&0xF8)<<7);
715     }
716 }
717
718 static inline void RENAME(rgb15tobgr24)(const uint8_t *src, uint8_t *dst, int src_size)
719 {
720     const uint16_t *end;
721     const uint16_t *mm_end;
722     uint8_t *d = dst;
723     const uint16_t *s = (const uint16_t*)src;
724     end = s + src_size/2;
725     __asm__ volatile(PREFETCH"    %0"::"m"(*s):"memory");
726     mm_end = end - 7;
727     while (s < mm_end) {
728         __asm__ volatile(
729             PREFETCH"  32(%1)           \n\t"
730             "movq        (%1), %%mm0    \n\t"
731             "movq        (%1), %%mm1    \n\t"
732             "movq        (%1), %%mm2    \n\t"
733             "pand          %2, %%mm0    \n\t"
734             "pand          %3, %%mm1    \n\t"
735             "pand          %4, %%mm2    \n\t"
736             "psllq         $5, %%mm0    \n\t"
737             "pmulhw        "MANGLE(mul15_mid)", %%mm0    \n\t"
738             "pmulhw        "MANGLE(mul15_mid)", %%mm1    \n\t"
739             "pmulhw        "MANGLE(mul15_hi)", %%mm2    \n\t"
740             "movq       %%mm0, %%mm3    \n\t"
741             "movq       %%mm1, %%mm4    \n\t"
742             "movq       %%mm2, %%mm5    \n\t"
743             "punpcklwd     %5, %%mm0    \n\t"
744             "punpcklwd     %5, %%mm1    \n\t"
745             "punpcklwd     %5, %%mm2    \n\t"
746             "punpckhwd     %5, %%mm3    \n\t"
747             "punpckhwd     %5, %%mm4    \n\t"
748             "punpckhwd     %5, %%mm5    \n\t"
749             "psllq         $8, %%mm1    \n\t"
750             "psllq        $16, %%mm2    \n\t"
751             "por        %%mm1, %%mm0    \n\t"
752             "por        %%mm2, %%mm0    \n\t"
753             "psllq         $8, %%mm4    \n\t"
754             "psllq        $16, %%mm5    \n\t"
755             "por        %%mm4, %%mm3    \n\t"
756             "por        %%mm5, %%mm3    \n\t"
757
758             "movq       %%mm0, %%mm6    \n\t"
759             "movq       %%mm3, %%mm7    \n\t"
760
761             "movq       8(%1), %%mm0    \n\t"
762             "movq       8(%1), %%mm1    \n\t"
763             "movq       8(%1), %%mm2    \n\t"
764             "pand          %2, %%mm0    \n\t"
765             "pand          %3, %%mm1    \n\t"
766             "pand          %4, %%mm2    \n\t"
767             "psllq         $5, %%mm0    \n\t"
768             "pmulhw        "MANGLE(mul15_mid)", %%mm0    \n\t"
769             "pmulhw        "MANGLE(mul15_mid)", %%mm1    \n\t"
770             "pmulhw        "MANGLE(mul15_hi)", %%mm2    \n\t"
771             "movq       %%mm0, %%mm3    \n\t"
772             "movq       %%mm1, %%mm4    \n\t"
773             "movq       %%mm2, %%mm5    \n\t"
774             "punpcklwd     %5, %%mm0    \n\t"
775             "punpcklwd     %5, %%mm1    \n\t"
776             "punpcklwd     %5, %%mm2    \n\t"
777             "punpckhwd     %5, %%mm3    \n\t"
778             "punpckhwd     %5, %%mm4    \n\t"
779             "punpckhwd     %5, %%mm5    \n\t"
780             "psllq         $8, %%mm1    \n\t"
781             "psllq        $16, %%mm2    \n\t"
782             "por        %%mm1, %%mm0    \n\t"
783             "por        %%mm2, %%mm0    \n\t"
784             "psllq         $8, %%mm4    \n\t"
785             "psllq        $16, %%mm5    \n\t"
786             "por        %%mm4, %%mm3    \n\t"
787             "por        %%mm5, %%mm3    \n\t"
788
789             :"=m"(*d)
790             :"r"(s),"m"(mask15b),"m"(mask15g),"m"(mask15r), "m"(mmx_null)
791              NAMED_CONSTRAINTS_ADD(mul15_mid,mul15_hi)
792             :"memory");
793         /* borrowed 32 to 24 */
794         __asm__ volatile(
795             "movq       %%mm0, %%mm4    \n\t"
796             "movq       %%mm3, %%mm5    \n\t"
797             "movq       %%mm6, %%mm0    \n\t"
798             "movq       %%mm7, %%mm1    \n\t"
799
800             "movq       %%mm4, %%mm6    \n\t"
801             "movq       %%mm5, %%mm7    \n\t"
802             "movq       %%mm0, %%mm2    \n\t"
803             "movq       %%mm1, %%mm3    \n\t"
804
805             STORE_BGR24_MMX
806
807             :: "r"(d), "m"(*s)
808               NAMED_CONSTRAINTS_ADD(mask24l,mask24h)
809             :"memory");
810         d += 24;
811         s += 8;
812     }
813     __asm__ volatile(SFENCE:::"memory");
814     __asm__ volatile(EMMS:::"memory");
815     while (s < end) {
816         register uint16_t bgr;
817         bgr = *s++;
818         *d++ = ((bgr&0x1F)<<3) | ((bgr&0x1F)>>2);
819         *d++ = ((bgr&0x3E0)>>2) | ((bgr&0x3E0)>>7);
820         *d++ = ((bgr&0x7C00)>>7) | ((bgr&0x7C00)>>12);
821     }
822 }
823
824 static inline void RENAME(rgb16tobgr24)(const uint8_t *src, uint8_t *dst, int src_size)
825 {
826     const uint16_t *end;
827     const uint16_t *mm_end;
828     uint8_t *d = (uint8_t *)dst;
829     const uint16_t *s = (const uint16_t *)src;
830     end = s + src_size/2;
831     __asm__ volatile(PREFETCH"    %0"::"m"(*s):"memory");
832     mm_end = end - 7;
833     while (s < mm_end) {
834         __asm__ volatile(
835             PREFETCH"  32(%1)           \n\t"
836             "movq        (%1), %%mm0    \n\t"
837             "movq        (%1), %%mm1    \n\t"
838             "movq        (%1), %%mm2    \n\t"
839             "pand          %2, %%mm0    \n\t"
840             "pand          %3, %%mm1    \n\t"
841             "pand          %4, %%mm2    \n\t"
842             "psllq         $5, %%mm0    \n\t"
843             "psrlq         $1, %%mm2    \n\t"
844             "pmulhw        "MANGLE(mul15_mid)", %%mm0    \n\t"
845             "pmulhw        "MANGLE(mul16_mid)", %%mm1    \n\t"
846             "pmulhw        "MANGLE(mul15_hi)", %%mm2    \n\t"
847             "movq       %%mm0, %%mm3    \n\t"
848             "movq       %%mm1, %%mm4    \n\t"
849             "movq       %%mm2, %%mm5    \n\t"
850             "punpcklwd     %5, %%mm0    \n\t"
851             "punpcklwd     %5, %%mm1    \n\t"
852             "punpcklwd     %5, %%mm2    \n\t"
853             "punpckhwd     %5, %%mm3    \n\t"
854             "punpckhwd     %5, %%mm4    \n\t"
855             "punpckhwd     %5, %%mm5    \n\t"
856             "psllq         $8, %%mm1    \n\t"
857             "psllq        $16, %%mm2    \n\t"
858             "por        %%mm1, %%mm0    \n\t"
859             "por        %%mm2, %%mm0    \n\t"
860             "psllq         $8, %%mm4    \n\t"
861             "psllq        $16, %%mm5    \n\t"
862             "por        %%mm4, %%mm3    \n\t"
863             "por        %%mm5, %%mm3    \n\t"
864
865             "movq       %%mm0, %%mm6    \n\t"
866             "movq       %%mm3, %%mm7    \n\t"
867
868             "movq       8(%1), %%mm0    \n\t"
869             "movq       8(%1), %%mm1    \n\t"
870             "movq       8(%1), %%mm2    \n\t"
871             "pand          %2, %%mm0    \n\t"
872             "pand          %3, %%mm1    \n\t"
873             "pand          %4, %%mm2    \n\t"
874             "psllq         $5, %%mm0    \n\t"
875             "psrlq         $1, %%mm2    \n\t"
876             "pmulhw        "MANGLE(mul15_mid)", %%mm0    \n\t"
877             "pmulhw        "MANGLE(mul16_mid)", %%mm1    \n\t"
878             "pmulhw        "MANGLE(mul15_hi)", %%mm2    \n\t"
879             "movq       %%mm0, %%mm3    \n\t"
880             "movq       %%mm1, %%mm4    \n\t"
881             "movq       %%mm2, %%mm5    \n\t"
882             "punpcklwd     %5, %%mm0    \n\t"
883             "punpcklwd     %5, %%mm1    \n\t"
884             "punpcklwd     %5, %%mm2    \n\t"
885             "punpckhwd     %5, %%mm3    \n\t"
886             "punpckhwd     %5, %%mm4    \n\t"
887             "punpckhwd     %5, %%mm5    \n\t"
888             "psllq         $8, %%mm1    \n\t"
889             "psllq        $16, %%mm2    \n\t"
890             "por        %%mm1, %%mm0    \n\t"
891             "por        %%mm2, %%mm0    \n\t"
892             "psllq         $8, %%mm4    \n\t"
893             "psllq        $16, %%mm5    \n\t"
894             "por        %%mm4, %%mm3    \n\t"
895             "por        %%mm5, %%mm3    \n\t"
896             :"=m"(*d)
897             :"r"(s),"m"(mask16b),"m"(mask16g),"m"(mask16r),"m"(mmx_null)
898              NAMED_CONSTRAINTS_ADD(mul15_mid,mul16_mid,mul15_hi)
899             :"memory");
900         /* borrowed 32 to 24 */
901         __asm__ volatile(
902             "movq       %%mm0, %%mm4    \n\t"
903             "movq       %%mm3, %%mm5    \n\t"
904             "movq       %%mm6, %%mm0    \n\t"
905             "movq       %%mm7, %%mm1    \n\t"
906
907             "movq       %%mm4, %%mm6    \n\t"
908             "movq       %%mm5, %%mm7    \n\t"
909             "movq       %%mm0, %%mm2    \n\t"
910             "movq       %%mm1, %%mm3    \n\t"
911
912             STORE_BGR24_MMX
913
914             :: "r"(d), "m"(*s)
915               NAMED_CONSTRAINTS_ADD(mask24l,mask24h)
916             :"memory");
917         d += 24;
918         s += 8;
919     }
920     __asm__ volatile(SFENCE:::"memory");
921     __asm__ volatile(EMMS:::"memory");
922     while (s < end) {
923         register uint16_t bgr;
924         bgr = *s++;
925         *d++ = ((bgr&0x1F)<<3) | ((bgr&0x1F)>>2);
926         *d++ = ((bgr&0x7E0)>>3) | ((bgr&0x7E0)>>9);
927         *d++ = ((bgr&0xF800)>>8) | ((bgr&0xF800)>>13);
928     }
929 }
930
931 /*
932  * mm0 = 00 B3 00 B2 00 B1 00 B0
933  * mm1 = 00 G3 00 G2 00 G1 00 G0
934  * mm2 = 00 R3 00 R2 00 R1 00 R0
935  * mm6 = FF FF FF FF FF FF FF FF
936  * mm7 = 00 00 00 00 00 00 00 00
937  */
938 #define PACK_RGB32 \
939     "packuswb   %%mm7, %%mm0    \n\t" /* 00 00 00 00 B3 B2 B1 B0 */ \
940     "packuswb   %%mm7, %%mm1    \n\t" /* 00 00 00 00 G3 G2 G1 G0 */ \
941     "packuswb   %%mm7, %%mm2    \n\t" /* 00 00 00 00 R3 R2 R1 R0 */ \
942     "punpcklbw  %%mm1, %%mm0    \n\t" /* G3 B3 G2 B2 G1 B1 G0 B0 */ \
943     "punpcklbw  %%mm6, %%mm2    \n\t" /* FF R3 FF R2 FF R1 FF R0 */ \
944     "movq       %%mm0, %%mm3    \n\t"                               \
945     "punpcklwd  %%mm2, %%mm0    \n\t" /* FF R1 G1 B1 FF R0 G0 B0 */ \
946     "punpckhwd  %%mm2, %%mm3    \n\t" /* FF R3 G3 B3 FF R2 G2 B2 */ \
947     MOVNTQ"     %%mm0,  (%0)    \n\t"                               \
948     MOVNTQ"     %%mm3, 8(%0)    \n\t"                               \
949
950 static inline void RENAME(rgb15to32)(const uint8_t *src, uint8_t *dst, int src_size)
951 {
952     const uint16_t *end;
953     const uint16_t *mm_end;
954     uint8_t *d = dst;
955     const uint16_t *s = (const uint16_t *)src;
956     end = s + src_size/2;
957     __asm__ volatile(PREFETCH"    %0"::"m"(*s):"memory");
958     __asm__ volatile("pxor    %%mm7,%%mm7    \n\t":::"memory");
959     __asm__ volatile("pcmpeqd %%mm6,%%mm6    \n\t":::"memory");
960     mm_end = end - 3;
961     while (s < mm_end) {
962         __asm__ volatile(
963             PREFETCH"  32(%1)           \n\t"
964             "movq        (%1), %%mm0    \n\t"
965             "movq        (%1), %%mm1    \n\t"
966             "movq        (%1), %%mm2    \n\t"
967             "pand          %2, %%mm0    \n\t"
968             "pand          %3, %%mm1    \n\t"
969             "pand          %4, %%mm2    \n\t"
970             "psllq         $5, %%mm0    \n\t"
971             "pmulhw        %5, %%mm0    \n\t"
972             "pmulhw        %5, %%mm1    \n\t"
973             "pmulhw        "MANGLE(mul15_hi)", %%mm2    \n\t"
974             PACK_RGB32
975             ::"r"(d),"r"(s),"m"(mask15b),"m"(mask15g),"m"(mask15r) ,"m"(mul15_mid)
976               NAMED_CONSTRAINTS_ADD(mul15_hi)
977             :"memory");
978         d += 16;
979         s += 4;
980     }
981     __asm__ volatile(SFENCE:::"memory");
982     __asm__ volatile(EMMS:::"memory");
983     while (s < end) {
984         register uint16_t bgr;
985         bgr = *s++;
986         *d++ = ((bgr&0x1F)<<3) | ((bgr&0x1F)>>2);
987         *d++ = ((bgr&0x3E0)>>2) | ((bgr&0x3E0)>>7);
988         *d++ = ((bgr&0x7C00)>>7) | ((bgr&0x7C00)>>12);
989         *d++ = 255;
990     }
991 }
992
993 static inline void RENAME(rgb16to32)(const uint8_t *src, uint8_t *dst, int src_size)
994 {
995     const uint16_t *end;
996     const uint16_t *mm_end;
997     uint8_t *d = dst;
998     const uint16_t *s = (const uint16_t*)src;
999     end = s + src_size/2;
1000     __asm__ volatile(PREFETCH"    %0"::"m"(*s):"memory");
1001     __asm__ volatile("pxor    %%mm7,%%mm7    \n\t":::"memory");
1002     __asm__ volatile("pcmpeqd %%mm6,%%mm6    \n\t":::"memory");
1003     mm_end = end - 3;
1004     while (s < mm_end) {
1005         __asm__ volatile(
1006             PREFETCH"  32(%1)           \n\t"
1007             "movq        (%1), %%mm0    \n\t"
1008             "movq        (%1), %%mm1    \n\t"
1009             "movq        (%1), %%mm2    \n\t"
1010             "pand          %2, %%mm0    \n\t"
1011             "pand          %3, %%mm1    \n\t"
1012             "pand          %4, %%mm2    \n\t"
1013             "psllq         $5, %%mm0    \n\t"
1014             "psrlq         $1, %%mm2    \n\t"
1015             "pmulhw        %5, %%mm0    \n\t"
1016             "pmulhw        "MANGLE(mul16_mid)", %%mm1    \n\t"
1017             "pmulhw        "MANGLE(mul15_hi)", %%mm2    \n\t"
1018             PACK_RGB32
1019             ::"r"(d),"r"(s),"m"(mask16b),"m"(mask16g),"m"(mask16r),"m"(mul15_mid)
1020               NAMED_CONSTRAINTS_ADD(mul16_mid,mul15_hi)
1021             :"memory");
1022         d += 16;
1023         s += 4;
1024     }
1025     __asm__ volatile(SFENCE:::"memory");
1026     __asm__ volatile(EMMS:::"memory");
1027     while (s < end) {
1028         register uint16_t bgr;
1029         bgr = *s++;
1030         *d++ = ((bgr&0x1F)<<3) | ((bgr&0x1F)>>2);
1031         *d++ = ((bgr&0x7E0)>>3) | ((bgr&0x7E0)>>9);
1032         *d++ = ((bgr&0xF800)>>8) | ((bgr&0xF800)>>13);
1033         *d++ = 255;
1034     }
1035 }
1036
1037 #if COMPILE_TEMPLATE_MMXEXT
1038 static inline void RENAME(shuffle_bytes_2103)(const uint8_t *src, uint8_t *dst, int src_size)
1039 {
1040     x86_reg idx = 15 - src_size;
1041     const uint8_t *s = src-idx;
1042     uint8_t *d = dst-idx;
1043     __asm__ volatile(
1044         "test          %0, %0           \n\t"
1045         "jns           2f               \n\t"
1046         PREFETCH"       (%1, %0)        \n\t"
1047         "movq          %3, %%mm7        \n\t"
1048         "pxor          %4, %%mm7        \n\t"
1049         "movq       %%mm7, %%mm6        \n\t"
1050         "pxor          %5, %%mm7        \n\t"
1051         ".p2align       4               \n\t"
1052         "1:                             \n\t"
1053         PREFETCH"     32(%1, %0)        \n\t"
1054         "movq           (%1, %0), %%mm0 \n\t"
1055         "movq          8(%1, %0), %%mm1 \n\t"
1056         "pshufw      $177, %%mm0, %%mm3 \n\t"
1057         "pshufw      $177, %%mm1, %%mm5 \n\t"
1058         "pand       %%mm7, %%mm0        \n\t"
1059         "pand       %%mm6, %%mm3        \n\t"
1060         "pand       %%mm7, %%mm1        \n\t"
1061         "pand       %%mm6, %%mm5        \n\t"
1062         "por        %%mm3, %%mm0        \n\t"
1063         "por        %%mm5, %%mm1        \n\t"
1064         MOVNTQ"     %%mm0,  (%2, %0)    \n\t"
1065         MOVNTQ"     %%mm1, 8(%2, %0)    \n\t"
1066         "add          $16, %0           \n\t"
1067         "js            1b               \n\t"
1068         SFENCE"                         \n\t"
1069         EMMS"                           \n\t"
1070         "2:                             \n\t"
1071         : "+&r"(idx)
1072         : "r" (s), "r" (d), "m" (mask32b), "m" (mask32r), "m" (mmx_one)
1073         : "memory");
1074     for (; idx<15; idx+=4) {
1075         register unsigned v  = *(const uint32_t *)&s[idx], g = v & 0xff00ff00;
1076         v &= 0xff00ff;
1077         *(uint32_t *)&d[idx] = (v>>16) + g + (v<<16);
1078     }
1079 }
1080 #endif
1081
1082 static inline void RENAME(rgb24tobgr24)(const uint8_t *src, uint8_t *dst, int src_size)
1083 {
1084     unsigned i;
1085     x86_reg mmx_size= 23 - src_size;
1086     __asm__ volatile (
1087         "test             %%"FF_REG_a", %%"FF_REG_a"    \n\t"
1088         "jns                     2f                     \n\t"
1089         "movq     "MANGLE(mask24r)", %%mm5              \n\t"
1090         "movq     "MANGLE(mask24g)", %%mm6              \n\t"
1091         "movq     "MANGLE(mask24b)", %%mm7              \n\t"
1092         ".p2align                 4                     \n\t"
1093         "1:                                             \n\t"
1094         PREFETCH" 32(%1, %%"FF_REG_a")                  \n\t"
1095         "movq    (%1, %%"FF_REG_a"), %%mm0              \n\t" // BGR BGR BG
1096         "movq    (%1, %%"FF_REG_a"), %%mm1              \n\t" // BGR BGR BG
1097         "movq   2(%1, %%"FF_REG_a"), %%mm2              \n\t" // R BGR BGR B
1098         "psllq                  $16, %%mm0              \n\t" // 00 BGR BGR
1099         "pand                 %%mm5, %%mm0              \n\t"
1100         "pand                 %%mm6, %%mm1              \n\t"
1101         "pand                 %%mm7, %%mm2              \n\t"
1102         "por                  %%mm0, %%mm1              \n\t"
1103         "por                  %%mm2, %%mm1              \n\t"
1104         "movq   6(%1, %%"FF_REG_a"), %%mm0              \n\t" // BGR BGR BG
1105         MOVNTQ"               %%mm1,(%2, %%"FF_REG_a")  \n\t" // RGB RGB RG
1106         "movq   8(%1, %%"FF_REG_a"), %%mm1              \n\t" // R BGR BGR B
1107         "movq  10(%1, %%"FF_REG_a"), %%mm2              \n\t" // GR BGR BGR
1108         "pand                 %%mm7, %%mm0              \n\t"
1109         "pand                 %%mm5, %%mm1              \n\t"
1110         "pand                 %%mm6, %%mm2              \n\t"
1111         "por                  %%mm0, %%mm1              \n\t"
1112         "por                  %%mm2, %%mm1              \n\t"
1113         "movq  14(%1, %%"FF_REG_a"), %%mm0              \n\t" // R BGR BGR B
1114         MOVNTQ"               %%mm1, 8(%2, %%"FF_REG_a")\n\t" // B RGB RGB R
1115         "movq  16(%1, %%"FF_REG_a"), %%mm1              \n\t" // GR BGR BGR
1116         "movq  18(%1, %%"FF_REG_a"), %%mm2              \n\t" // BGR BGR BG
1117         "pand                 %%mm6, %%mm0              \n\t"
1118         "pand                 %%mm7, %%mm1              \n\t"
1119         "pand                 %%mm5, %%mm2              \n\t"
1120         "por                  %%mm0, %%mm1              \n\t"
1121         "por                  %%mm2, %%mm1              \n\t"
1122         MOVNTQ"               %%mm1, 16(%2, %%"FF_REG_a") \n\t"
1123         "add                    $24, %%"FF_REG_a"       \n\t"
1124         " js                     1b                     \n\t"
1125         "2:                                             \n\t"
1126         : "+a" (mmx_size)
1127         : "r" (src-mmx_size), "r"(dst-mmx_size)
1128           NAMED_CONSTRAINTS_ADD(mask24r,mask24g,mask24b)
1129     );
1130
1131     __asm__ volatile(SFENCE:::"memory");
1132     __asm__ volatile(EMMS:::"memory");
1133
1134     if (mmx_size==23) return; //finished, was multiple of 8
1135
1136     src+= src_size;
1137     dst+= src_size;
1138     src_size= 23-mmx_size;
1139     src-= src_size;
1140     dst-= src_size;
1141     for (i=0; i<src_size; i+=3) {
1142         register uint8_t x;
1143         x          = src[i + 2];
1144         dst[i + 1] = src[i + 1];
1145         dst[i + 2] = src[i + 0];
1146         dst[i + 0] = x;
1147     }
1148 }
1149
1150 static inline void RENAME(yuvPlanartoyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
1151                                            int width, int height,
1152                                            int lumStride, int chromStride, int dstStride, int vertLumPerChroma)
1153 {
1154     int y;
1155     const x86_reg chromWidth= width>>1;
1156     for (y=0; y<height; y++) {
1157         //FIXME handle 2 lines at once (fewer prefetches, reuse some chroma, but very likely memory-limited anyway)
1158         __asm__ volatile(
1159             "xor                 %%"FF_REG_a", %%"FF_REG_a" \n\t"
1160             ".p2align                    4              \n\t"
1161             "1:                                         \n\t"
1162             PREFETCH" 32(%1, %%"FF_REG_a", 2)           \n\t"
1163             PREFETCH" 32(%2, %%"FF_REG_a")              \n\t"
1164             PREFETCH" 32(%3, %%"FF_REG_a")              \n\t"
1165             "movq       (%2, %%"FF_REG_a"), %%mm0       \n\t" // U(0)
1166             "movq                    %%mm0, %%mm2       \n\t" // U(0)
1167             "movq       (%3, %%"FF_REG_a"), %%mm1       \n\t" // V(0)
1168             "punpcklbw               %%mm1, %%mm0       \n\t" // UVUV UVUV(0)
1169             "punpckhbw               %%mm1, %%mm2       \n\t" // UVUV UVUV(8)
1170
1171             "movq     (%1, %%"FF_REG_a",2), %%mm3       \n\t" // Y(0)
1172             "movq    8(%1, %%"FF_REG_a",2), %%mm5       \n\t" // Y(8)
1173             "movq                    %%mm3, %%mm4       \n\t" // Y(0)
1174             "movq                    %%mm5, %%mm6       \n\t" // Y(8)
1175             "punpcklbw               %%mm0, %%mm3       \n\t" // YUYV YUYV(0)
1176             "punpckhbw               %%mm0, %%mm4       \n\t" // YUYV YUYV(4)
1177             "punpcklbw               %%mm2, %%mm5       \n\t" // YUYV YUYV(8)
1178             "punpckhbw               %%mm2, %%mm6       \n\t" // YUYV YUYV(12)
1179
1180             MOVNTQ"                  %%mm3,   (%0, %%"FF_REG_a", 4)    \n\t"
1181             MOVNTQ"                  %%mm4,  8(%0, %%"FF_REG_a", 4)    \n\t"
1182             MOVNTQ"                  %%mm5, 16(%0, %%"FF_REG_a", 4)    \n\t"
1183             MOVNTQ"                  %%mm6, 24(%0, %%"FF_REG_a", 4)    \n\t"
1184
1185             "add                        $8, %%"FF_REG_a" \n\t"
1186             "cmp                        %4, %%"FF_REG_a" \n\t"
1187             " jb                        1b               \n\t"
1188             ::"r"(dst), "r"(ysrc), "r"(usrc), "r"(vsrc), "g" (chromWidth)
1189             : "%"FF_REG_a
1190         );
1191         if ((y&(vertLumPerChroma-1)) == vertLumPerChroma-1) {
1192             usrc += chromStride;
1193             vsrc += chromStride;
1194         }
1195         ysrc += lumStride;
1196         dst  += dstStride;
1197     }
1198     __asm__(EMMS"       \n\t"
1199             SFENCE"     \n\t"
1200             :::"memory");
1201 }
1202
1203 /**
1204  * Height should be a multiple of 2 and width should be a multiple of 16.
1205  * (If this is a problem for anyone then tell me, and I will fix it.)
1206  */
1207 static inline void RENAME(yv12toyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
1208                                       int width, int height,
1209                                       int lumStride, int chromStride, int dstStride)
1210 {
1211     //FIXME interpolate chroma
1212     RENAME(yuvPlanartoyuy2)(ysrc, usrc, vsrc, dst, width, height, lumStride, chromStride, dstStride, 2);
1213 }
1214
1215 static inline void RENAME(yuvPlanartouyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
1216                                            int width, int height,
1217                                            int lumStride, int chromStride, int dstStride, int vertLumPerChroma)
1218 {
1219     int y;
1220     const x86_reg chromWidth= width>>1;
1221     for (y=0; y<height; y++) {
1222         //FIXME handle 2 lines at once (fewer prefetches, reuse some chroma, but very likely memory-limited anyway)
1223         __asm__ volatile(
1224             "xor             %%"FF_REG_a", %%"FF_REG_a" \n\t"
1225             ".p2align                   4               \n\t"
1226             "1:                                         \n\t"
1227             PREFETCH" 32(%1, %%"FF_REG_a", 2)           \n\t"
1228             PREFETCH" 32(%2, %%"FF_REG_a")              \n\t"
1229             PREFETCH" 32(%3, %%"FF_REG_a")              \n\t"
1230             "movq      (%2, %%"FF_REG_a"), %%mm0        \n\t" // U(0)
1231             "movq                   %%mm0, %%mm2        \n\t" // U(0)
1232             "movq      (%3, %%"FF_REG_a"), %%mm1        \n\t" // V(0)
1233             "punpcklbw              %%mm1, %%mm0        \n\t" // UVUV UVUV(0)
1234             "punpckhbw              %%mm1, %%mm2        \n\t" // UVUV UVUV(8)
1235
1236             "movq    (%1, %%"FF_REG_a",2), %%mm3        \n\t" // Y(0)
1237             "movq   8(%1, %%"FF_REG_a",2), %%mm5        \n\t" // Y(8)
1238             "movq                   %%mm0, %%mm4        \n\t" // Y(0)
1239             "movq                   %%mm2, %%mm6        \n\t" // Y(8)
1240             "punpcklbw              %%mm3, %%mm0        \n\t" // YUYV YUYV(0)
1241             "punpckhbw              %%mm3, %%mm4        \n\t" // YUYV YUYV(4)
1242             "punpcklbw              %%mm5, %%mm2        \n\t" // YUYV YUYV(8)
1243             "punpckhbw              %%mm5, %%mm6        \n\t" // YUYV YUYV(12)
1244
1245             MOVNTQ"                 %%mm0,   (%0, %%"FF_REG_a", 4)     \n\t"
1246             MOVNTQ"                 %%mm4,  8(%0, %%"FF_REG_a", 4)     \n\t"
1247             MOVNTQ"                 %%mm2, 16(%0, %%"FF_REG_a", 4)     \n\t"
1248             MOVNTQ"                 %%mm6, 24(%0, %%"FF_REG_a", 4)     \n\t"
1249
1250             "add                       $8, %%"FF_REG_a" \n\t"
1251             "cmp                       %4, %%"FF_REG_a" \n\t"
1252             " jb                       1b               \n\t"
1253             ::"r"(dst), "r"(ysrc), "r"(usrc), "r"(vsrc), "g" (chromWidth)
1254             : "%"FF_REG_a
1255         );
1256         if ((y&(vertLumPerChroma-1)) == vertLumPerChroma-1) {
1257             usrc += chromStride;
1258             vsrc += chromStride;
1259         }
1260         ysrc += lumStride;
1261         dst += dstStride;
1262     }
1263     __asm__(EMMS"       \n\t"
1264             SFENCE"     \n\t"
1265             :::"memory");
1266 }
1267
1268 /**
1269  * Height should be a multiple of 2 and width should be a multiple of 16
1270  * (If this is a problem for anyone then tell me, and I will fix it.)
1271  */
1272 static inline void RENAME(yv12touyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
1273                                       int width, int height,
1274                                       int lumStride, int chromStride, int dstStride)
1275 {
1276     //FIXME interpolate chroma
1277     RENAME(yuvPlanartouyvy)(ysrc, usrc, vsrc, dst, width, height, lumStride, chromStride, dstStride, 2);
1278 }
1279
1280 /**
1281  * Width should be a multiple of 16.
1282  */
1283 static inline void RENAME(yuv422ptouyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
1284                                          int width, int height,
1285                                          int lumStride, int chromStride, int dstStride)
1286 {
1287     RENAME(yuvPlanartouyvy)(ysrc, usrc, vsrc, dst, width, height, lumStride, chromStride, dstStride, 1);
1288 }
1289
1290 /**
1291  * Width should be a multiple of 16.
1292  */
1293 static inline void RENAME(yuv422ptoyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
1294                                          int width, int height,
1295                                          int lumStride, int chromStride, int dstStride)
1296 {
1297     RENAME(yuvPlanartoyuy2)(ysrc, usrc, vsrc, dst, width, height, lumStride, chromStride, dstStride, 1);
1298 }
1299
1300 /**
1301  * Height should be a multiple of 2 and width should be a multiple of 16.
1302  * (If this is a problem for anyone then tell me, and I will fix it.)
1303  */
1304 static inline void RENAME(yuy2toyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
1305                                       int width, int height,
1306                                       int lumStride, int chromStride, int srcStride)
1307 {
1308     int y;
1309     const x86_reg chromWidth= width>>1;
1310     for (y=0; y<height; y+=2) {
1311         __asm__ volatile(
1312             "xor              %%"FF_REG_a", %%"FF_REG_a"\n\t"
1313             "pcmpeqw                 %%mm7, %%mm7       \n\t"
1314             "psrlw                      $8, %%mm7       \n\t" // FF,00,FF,00...
1315             ".p2align                    4              \n\t"
1316             "1:                \n\t"
1317             PREFETCH" 64(%0, %%"FF_REG_a", 4)           \n\t"
1318             "movq    (%0, %%"FF_REG_a", 4), %%mm0       \n\t" // YUYV YUYV(0)
1319             "movq   8(%0, %%"FF_REG_a", 4), %%mm1       \n\t" // YUYV YUYV(4)
1320             "movq                    %%mm0, %%mm2       \n\t" // YUYV YUYV(0)
1321             "movq                    %%mm1, %%mm3       \n\t" // YUYV YUYV(4)
1322             "psrlw                      $8, %%mm0       \n\t" // U0V0 U0V0(0)
1323             "psrlw                      $8, %%mm1       \n\t" // U0V0 U0V0(4)
1324             "pand                    %%mm7, %%mm2       \n\t" // Y0Y0 Y0Y0(0)
1325             "pand                    %%mm7, %%mm3       \n\t" // Y0Y0 Y0Y0(4)
1326             "packuswb                %%mm1, %%mm0       \n\t" // UVUV UVUV(0)
1327             "packuswb                %%mm3, %%mm2       \n\t" // YYYY YYYY(0)
1328
1329             MOVNTQ"                  %%mm2, (%1, %%"FF_REG_a", 2) \n\t"
1330
1331             "movq  16(%0, %%"FF_REG_a", 4), %%mm1       \n\t" // YUYV YUYV(8)
1332             "movq  24(%0, %%"FF_REG_a", 4), %%mm2       \n\t" // YUYV YUYV(12)
1333             "movq                    %%mm1, %%mm3       \n\t" // YUYV YUYV(8)
1334             "movq                    %%mm2, %%mm4       \n\t" // YUYV YUYV(12)
1335             "psrlw                      $8, %%mm1       \n\t" // U0V0 U0V0(8)
1336             "psrlw                      $8, %%mm2       \n\t" // U0V0 U0V0(12)
1337             "pand                    %%mm7, %%mm3       \n\t" // Y0Y0 Y0Y0(8)
1338             "pand                    %%mm7, %%mm4       \n\t" // Y0Y0 Y0Y0(12)
1339             "packuswb                %%mm2, %%mm1       \n\t" // UVUV UVUV(8)
1340             "packuswb                %%mm4, %%mm3       \n\t" // YYYY YYYY(8)
1341
1342             MOVNTQ"                  %%mm3, 8(%1, %%"FF_REG_a", 2) \n\t"
1343
1344             "movq                    %%mm0, %%mm2       \n\t" // UVUV UVUV(0)
1345             "movq                    %%mm1, %%mm3       \n\t" // UVUV UVUV(8)
1346             "psrlw                      $8, %%mm0       \n\t" // V0V0 V0V0(0)
1347             "psrlw                      $8, %%mm1       \n\t" // V0V0 V0V0(8)
1348             "pand                    %%mm7, %%mm2       \n\t" // U0U0 U0U0(0)
1349             "pand                    %%mm7, %%mm3       \n\t" // U0U0 U0U0(8)
1350             "packuswb                %%mm1, %%mm0       \n\t" // VVVV VVVV(0)
1351             "packuswb                %%mm3, %%mm2       \n\t" // UUUU UUUU(0)
1352
1353             MOVNTQ"                  %%mm0, (%3, %%"FF_REG_a")     \n\t"
1354             MOVNTQ"                  %%mm2, (%2, %%"FF_REG_a")     \n\t"
1355
1356             "add                        $8, %%"FF_REG_a" \n\t"
1357             "cmp                        %4, %%"FF_REG_a" \n\t"
1358             " jb                        1b               \n\t"
1359             ::"r"(src), "r"(ydst), "r"(udst), "r"(vdst), "g" (chromWidth)
1360             : "memory", "%"FF_REG_a
1361         );
1362
1363         ydst += lumStride;
1364         src  += srcStride;
1365
1366         __asm__ volatile(
1367             "xor              %%"FF_REG_a", %%"FF_REG_a"\n\t"
1368             ".p2align                    4              \n\t"
1369             "1:                                         \n\t"
1370             PREFETCH" 64(%0, %%"FF_REG_a", 4)           \n\t"
1371             "movq    (%0, %%"FF_REG_a", 4), %%mm0       \n\t" // YUYV YUYV(0)
1372             "movq   8(%0, %%"FF_REG_a", 4), %%mm1       \n\t" // YUYV YUYV(4)
1373             "movq  16(%0, %%"FF_REG_a", 4), %%mm2       \n\t" // YUYV YUYV(8)
1374             "movq  24(%0, %%"FF_REG_a", 4), %%mm3       \n\t" // YUYV YUYV(12)
1375             "pand                    %%mm7, %%mm0       \n\t" // Y0Y0 Y0Y0(0)
1376             "pand                    %%mm7, %%mm1       \n\t" // Y0Y0 Y0Y0(4)
1377             "pand                    %%mm7, %%mm2       \n\t" // Y0Y0 Y0Y0(8)
1378             "pand                    %%mm7, %%mm3       \n\t" // Y0Y0 Y0Y0(12)
1379             "packuswb                %%mm1, %%mm0       \n\t" // YYYY YYYY(0)
1380             "packuswb                %%mm3, %%mm2       \n\t" // YYYY YYYY(8)
1381
1382             MOVNTQ"                  %%mm0,  (%1, %%"FF_REG_a", 2) \n\t"
1383             MOVNTQ"                  %%mm2, 8(%1, %%"FF_REG_a", 2) \n\t"
1384
1385             "add                        $8, %%"FF_REG_a"\n\t"
1386             "cmp                        %4, %%"FF_REG_a"\n\t"
1387             " jb                        1b              \n\t"
1388
1389             ::"r"(src), "r"(ydst), "r"(udst), "r"(vdst), "g" (chromWidth)
1390             : "memory", "%"FF_REG_a
1391         );
1392         udst += chromStride;
1393         vdst += chromStride;
1394         ydst += lumStride;
1395         src  += srcStride;
1396     }
1397     __asm__ volatile(EMMS"       \n\t"
1398                      SFENCE"     \n\t"
1399                      :::"memory");
1400 }
1401 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
1402
1403 #if COMPILE_TEMPLATE_MMXEXT || COMPILE_TEMPLATE_AMD3DNOW
1404 static inline void RENAME(planar2x)(const uint8_t *src, uint8_t *dst, int srcWidth, int srcHeight, int srcStride, int dstStride)
1405 {
1406     int x,y;
1407
1408     dst[0]= src[0];
1409
1410     // first line
1411     for (x=0; x<srcWidth-1; x++) {
1412         dst[2*x+1]= (3*src[x] +   src[x+1])>>2;
1413         dst[2*x+2]= (  src[x] + 3*src[x+1])>>2;
1414     }
1415     dst[2*srcWidth-1]= src[srcWidth-1];
1416
1417     dst+= dstStride;
1418
1419     for (y=1; y<srcHeight; y++) {
1420         x86_reg mmxSize= srcWidth&~15;
1421
1422         if (mmxSize) {
1423         __asm__ volatile(
1424             "mov                       %4, %%"FF_REG_a" \n\t"
1425             "movq        "MANGLE(mmx_ff)", %%mm0    \n\t"
1426             "movq      (%0, %%"FF_REG_a"), %%mm4    \n\t"
1427             "movq                   %%mm4, %%mm2    \n\t"
1428             "psllq                     $8, %%mm4    \n\t"
1429             "pand                   %%mm0, %%mm2    \n\t"
1430             "por                    %%mm2, %%mm4    \n\t"
1431             "movq      (%1, %%"FF_REG_a"), %%mm5    \n\t"
1432             "movq                   %%mm5, %%mm3    \n\t"
1433             "psllq                     $8, %%mm5    \n\t"
1434             "pand                   %%mm0, %%mm3    \n\t"
1435             "por                    %%mm3, %%mm5    \n\t"
1436             "1:                                     \n\t"
1437             "movq      (%0, %%"FF_REG_a"), %%mm0    \n\t"
1438             "movq      (%1, %%"FF_REG_a"), %%mm1    \n\t"
1439             "movq     1(%0, %%"FF_REG_a"), %%mm2    \n\t"
1440             "movq     1(%1, %%"FF_REG_a"), %%mm3    \n\t"
1441             PAVGB"                  %%mm0, %%mm5    \n\t"
1442             PAVGB"                  %%mm0, %%mm3    \n\t"
1443             PAVGB"                  %%mm0, %%mm5    \n\t"
1444             PAVGB"                  %%mm0, %%mm3    \n\t"
1445             PAVGB"                  %%mm1, %%mm4    \n\t"
1446             PAVGB"                  %%mm1, %%mm2    \n\t"
1447             PAVGB"                  %%mm1, %%mm4    \n\t"
1448             PAVGB"                  %%mm1, %%mm2    \n\t"
1449             "movq                   %%mm5, %%mm7    \n\t"
1450             "movq                   %%mm4, %%mm6    \n\t"
1451             "punpcklbw              %%mm3, %%mm5    \n\t"
1452             "punpckhbw              %%mm3, %%mm7    \n\t"
1453             "punpcklbw              %%mm2, %%mm4    \n\t"
1454             "punpckhbw              %%mm2, %%mm6    \n\t"
1455             MOVNTQ"                 %%mm5,  (%2, %%"FF_REG_a", 2)  \n\t"
1456             MOVNTQ"                 %%mm7, 8(%2, %%"FF_REG_a", 2)  \n\t"
1457             MOVNTQ"                 %%mm4,  (%3, %%"FF_REG_a", 2)  \n\t"
1458             MOVNTQ"                 %%mm6, 8(%3, %%"FF_REG_a", 2)  \n\t"
1459             "add                       $8, %%"FF_REG_a"            \n\t"
1460             "movq    -1(%0, %%"FF_REG_a"), %%mm4    \n\t"
1461             "movq    -1(%1, %%"FF_REG_a"), %%mm5    \n\t"
1462             " js                       1b           \n\t"
1463             :: "r" (src + mmxSize  ), "r" (src + srcStride + mmxSize  ),
1464                "r" (dst + mmxSize*2), "r" (dst + dstStride + mmxSize*2),
1465                "g" (-mmxSize)
1466                NAMED_CONSTRAINTS_ADD(mmx_ff)
1467             : "%"FF_REG_a
1468         );
1469         } else {
1470             mmxSize = 1;
1471             dst[0]         = (src[0] * 3 + src[srcStride]) >> 2;
1472             dst[dstStride] = (src[0] + 3 * src[srcStride]) >> 2;
1473         }
1474
1475         for (x=mmxSize-1; x<srcWidth-1; x++) {
1476             dst[2*x          +1]= (3*src[x+0] +   src[x+srcStride+1])>>2;
1477             dst[2*x+dstStride+2]= (  src[x+0] + 3*src[x+srcStride+1])>>2;
1478             dst[2*x+dstStride+1]= (  src[x+1] + 3*src[x+srcStride  ])>>2;
1479             dst[2*x          +2]= (3*src[x+1] +   src[x+srcStride  ])>>2;
1480         }
1481         dst[srcWidth*2 -1            ]= (3*src[srcWidth-1] +   src[srcWidth-1 + srcStride])>>2;
1482         dst[srcWidth*2 -1 + dstStride]= (  src[srcWidth-1] + 3*src[srcWidth-1 + srcStride])>>2;
1483
1484         dst+=dstStride*2;
1485         src+=srcStride;
1486     }
1487
1488     // last line
1489     dst[0]= src[0];
1490
1491     for (x=0; x<srcWidth-1; x++) {
1492         dst[2*x+1]= (3*src[x] +   src[x+1])>>2;
1493         dst[2*x+2]= (  src[x] + 3*src[x+1])>>2;
1494     }
1495     dst[2*srcWidth-1]= src[srcWidth-1];
1496
1497     __asm__ volatile(EMMS"       \n\t"
1498                      SFENCE"     \n\t"
1499                      :::"memory");
1500 }
1501 #endif /* COMPILE_TEMPLATE_MMXEXT || COMPILE_TEMPLATE_AMD3DNOW */
1502
1503 #if !COMPILE_TEMPLATE_AMD3DNOW
1504 /**
1505  * Height should be a multiple of 2 and width should be a multiple of 16.
1506  * (If this is a problem for anyone then tell me, and I will fix it.)
1507  * Chrominance data is only taken from every second line, others are ignored.
1508  * FIXME: Write HQ version.
1509  */
1510 static inline void RENAME(uyvytoyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
1511                                       int width, int height,
1512                                       int lumStride, int chromStride, int srcStride)
1513 {
1514     int y;
1515     const x86_reg chromWidth= width>>1;
1516     for (y=0; y<height; y+=2) {
1517         __asm__ volatile(
1518             "xor          %%"FF_REG_a", %%"FF_REG_a" \n\t"
1519             "pcmpeqw             %%mm7, %%mm7   \n\t"
1520             "psrlw                  $8, %%mm7   \n\t" // FF,00,FF,00...
1521             ".p2align                4          \n\t"
1522             "1:                                 \n\t"
1523             PREFETCH" 64(%0, %%"FF_REG_a", 4)          \n\t"
1524             "movq       (%0, %%"FF_REG_a", 4), %%mm0   \n\t" // UYVY UYVY(0)
1525             "movq      8(%0, %%"FF_REG_a", 4), %%mm1   \n\t" // UYVY UYVY(4)
1526             "movq                %%mm0, %%mm2   \n\t" // UYVY UYVY(0)
1527             "movq                %%mm1, %%mm3   \n\t" // UYVY UYVY(4)
1528             "pand                %%mm7, %%mm0   \n\t" // U0V0 U0V0(0)
1529             "pand                %%mm7, %%mm1   \n\t" // U0V0 U0V0(4)
1530             "psrlw                  $8, %%mm2   \n\t" // Y0Y0 Y0Y0(0)
1531             "psrlw                  $8, %%mm3   \n\t" // Y0Y0 Y0Y0(4)
1532             "packuswb            %%mm1, %%mm0   \n\t" // UVUV UVUV(0)
1533             "packuswb            %%mm3, %%mm2   \n\t" // YYYY YYYY(0)
1534
1535             MOVNTQ"              %%mm2,  (%1, %%"FF_REG_a", 2) \n\t"
1536
1537             "movq     16(%0, %%"FF_REG_a", 4), %%mm1   \n\t" // UYVY UYVY(8)
1538             "movq     24(%0, %%"FF_REG_a", 4), %%mm2   \n\t" // UYVY UYVY(12)
1539             "movq                %%mm1, %%mm3   \n\t" // UYVY UYVY(8)
1540             "movq                %%mm2, %%mm4   \n\t" // UYVY UYVY(12)
1541             "pand                %%mm7, %%mm1   \n\t" // U0V0 U0V0(8)
1542             "pand                %%mm7, %%mm2   \n\t" // U0V0 U0V0(12)
1543             "psrlw                  $8, %%mm3   \n\t" // Y0Y0 Y0Y0(8)
1544             "psrlw                  $8, %%mm4   \n\t" // Y0Y0 Y0Y0(12)
1545             "packuswb            %%mm2, %%mm1   \n\t" // UVUV UVUV(8)
1546             "packuswb            %%mm4, %%mm3   \n\t" // YYYY YYYY(8)
1547
1548             MOVNTQ"              %%mm3, 8(%1, %%"FF_REG_a", 2) \n\t"
1549
1550             "movq                %%mm0, %%mm2   \n\t" // UVUV UVUV(0)
1551             "movq                %%mm1, %%mm3   \n\t" // UVUV UVUV(8)
1552             "psrlw                  $8, %%mm0   \n\t" // V0V0 V0V0(0)
1553             "psrlw                  $8, %%mm1   \n\t" // V0V0 V0V0(8)
1554             "pand                %%mm7, %%mm2   \n\t" // U0U0 U0U0(0)
1555             "pand                %%mm7, %%mm3   \n\t" // U0U0 U0U0(8)
1556             "packuswb            %%mm1, %%mm0   \n\t" // VVVV VVVV(0)
1557             "packuswb            %%mm3, %%mm2   \n\t" // UUUU UUUU(0)
1558
1559             MOVNTQ"              %%mm0, (%3, %%"FF_REG_a") \n\t"
1560             MOVNTQ"              %%mm2, (%2, %%"FF_REG_a") \n\t"
1561
1562             "add                    $8, %%"FF_REG_a" \n\t"
1563             "cmp                    %4, %%"FF_REG_a" \n\t"
1564             " jb                    1b               \n\t"
1565             ::"r"(src), "r"(ydst), "r"(udst), "r"(vdst), "g" (chromWidth)
1566             : "memory", "%"FF_REG_a
1567         );
1568
1569         ydst += lumStride;
1570         src  += srcStride;
1571
1572         __asm__ volatile(
1573             "xor          %%"FF_REG_a", %%"FF_REG_a"  \n\t"
1574             ".p2align                4                \n\t"
1575             "1:                                       \n\t"
1576             PREFETCH" 64(%0, %%"FF_REG_a", 4)         \n\t"
1577             "movq       (%0, %%"FF_REG_a", 4), %%mm0  \n\t" // YUYV YUYV(0)
1578             "movq      8(%0, %%"FF_REG_a", 4), %%mm1  \n\t" // YUYV YUYV(4)
1579             "movq     16(%0, %%"FF_REG_a", 4), %%mm2  \n\t" // YUYV YUYV(8)
1580             "movq     24(%0, %%"FF_REG_a", 4), %%mm3  \n\t" // YUYV YUYV(12)
1581             "psrlw                  $8, %%mm0   \n\t" // Y0Y0 Y0Y0(0)
1582             "psrlw                  $8, %%mm1   \n\t" // Y0Y0 Y0Y0(4)
1583             "psrlw                  $8, %%mm2   \n\t" // Y0Y0 Y0Y0(8)
1584             "psrlw                  $8, %%mm3   \n\t" // Y0Y0 Y0Y0(12)
1585             "packuswb            %%mm1, %%mm0   \n\t" // YYYY YYYY(0)
1586             "packuswb            %%mm3, %%mm2   \n\t" // YYYY YYYY(8)
1587
1588             MOVNTQ"              %%mm0,  (%1, %%"FF_REG_a", 2) \n\t"
1589             MOVNTQ"              %%mm2, 8(%1, %%"FF_REG_a", 2) \n\t"
1590
1591             "add                    $8, %%"FF_REG_a" \n\t"
1592             "cmp                    %4, %%"FF_REG_a" \n\t"
1593             " jb                    1b               \n\t"
1594
1595             ::"r"(src), "r"(ydst), "r"(udst), "r"(vdst), "g" (chromWidth)
1596             : "memory", "%"FF_REG_a
1597         );
1598         udst += chromStride;
1599         vdst += chromStride;
1600         ydst += lumStride;
1601         src  += srcStride;
1602     }
1603     __asm__ volatile(EMMS"       \n\t"
1604                      SFENCE"     \n\t"
1605                      :::"memory");
1606 }
1607 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
1608
1609 /**
1610  * Height should be a multiple of 2 and width should be a multiple of 2.
1611  * (If this is a problem for anyone then tell me, and I will fix it.)
1612  * Chrominance data is only taken from every second line,
1613  * others are ignored in the C version.
1614  * FIXME: Write HQ version.
1615  */
1616 #if HAVE_7REGS
1617 static inline void RENAME(rgb24toyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
1618                                        int width, int height,
1619                                        int lumStride, int chromStride, int srcStride,
1620                                        int32_t *rgb2yuv)
1621 {
1622 #define BGR2Y_IDX "16*4+16*32"
1623 #define BGR2U_IDX "16*4+16*33"
1624 #define BGR2V_IDX "16*4+16*34"
1625     int y;
1626     const x86_reg chromWidth= width>>1;
1627
1628     if (height > 2) {
1629         ff_rgb24toyv12_c(src, ydst, udst, vdst, width, 2, lumStride, chromStride, srcStride, rgb2yuv);
1630         src  += 2*srcStride;
1631         ydst += 2*lumStride;
1632         udst += chromStride;
1633         vdst += chromStride;
1634         height -= 2;
1635     }
1636
1637     for (y=0; y<height-2; y+=2) {
1638         int i;
1639         for (i=0; i<2; i++) {
1640             __asm__ volatile(
1641                 "mov                        %2, %%"FF_REG_a"\n\t"
1642                 "movq          "BGR2Y_IDX"(%3), %%mm6       \n\t"
1643                 "movq       "MANGLE(ff_w1111)", %%mm5       \n\t"
1644                 "pxor                    %%mm7, %%mm7       \n\t"
1645                 "lea (%%"FF_REG_a", %%"FF_REG_a", 2), %%"FF_REG_d" \n\t"
1646                 ".p2align                    4              \n\t"
1647                 "1:                                         \n\t"
1648                 PREFETCH" 64(%0, %%"FF_REG_d")              \n\t"
1649                 "movd       (%0, %%"FF_REG_d"), %%mm0       \n\t"
1650                 "movd      3(%0, %%"FF_REG_d"), %%mm1       \n\t"
1651                 "punpcklbw               %%mm7, %%mm0       \n\t"
1652                 "punpcklbw               %%mm7, %%mm1       \n\t"
1653                 "movd      6(%0, %%"FF_REG_d"), %%mm2       \n\t"
1654                 "movd      9(%0, %%"FF_REG_d"), %%mm3       \n\t"
1655                 "punpcklbw               %%mm7, %%mm2       \n\t"
1656                 "punpcklbw               %%mm7, %%mm3       \n\t"
1657                 "pmaddwd                 %%mm6, %%mm0       \n\t"
1658                 "pmaddwd                 %%mm6, %%mm1       \n\t"
1659                 "pmaddwd                 %%mm6, %%mm2       \n\t"
1660                 "pmaddwd                 %%mm6, %%mm3       \n\t"
1661                 "psrad                      $8, %%mm0       \n\t"
1662                 "psrad                      $8, %%mm1       \n\t"
1663                 "psrad                      $8, %%mm2       \n\t"
1664                 "psrad                      $8, %%mm3       \n\t"
1665                 "packssdw                %%mm1, %%mm0       \n\t"
1666                 "packssdw                %%mm3, %%mm2       \n\t"
1667                 "pmaddwd                 %%mm5, %%mm0       \n\t"
1668                 "pmaddwd                 %%mm5, %%mm2       \n\t"
1669                 "packssdw                %%mm2, %%mm0       \n\t"
1670                 "psraw                      $7, %%mm0       \n\t"
1671
1672                 "movd     12(%0, %%"FF_REG_d"), %%mm4       \n\t"
1673                 "movd     15(%0, %%"FF_REG_d"), %%mm1       \n\t"
1674                 "punpcklbw               %%mm7, %%mm4       \n\t"
1675                 "punpcklbw               %%mm7, %%mm1       \n\t"
1676                 "movd     18(%0, %%"FF_REG_d"), %%mm2       \n\t"
1677                 "movd     21(%0, %%"FF_REG_d"), %%mm3       \n\t"
1678                 "punpcklbw               %%mm7, %%mm2       \n\t"
1679                 "punpcklbw               %%mm7, %%mm3       \n\t"
1680                 "pmaddwd                 %%mm6, %%mm4       \n\t"
1681                 "pmaddwd                 %%mm6, %%mm1       \n\t"
1682                 "pmaddwd                 %%mm6, %%mm2       \n\t"
1683                 "pmaddwd                 %%mm6, %%mm3       \n\t"
1684                 "psrad                      $8, %%mm4       \n\t"
1685                 "psrad                      $8, %%mm1       \n\t"
1686                 "psrad                      $8, %%mm2       \n\t"
1687                 "psrad                      $8, %%mm3       \n\t"
1688                 "packssdw                %%mm1, %%mm4       \n\t"
1689                 "packssdw                %%mm3, %%mm2       \n\t"
1690                 "pmaddwd                 %%mm5, %%mm4       \n\t"
1691                 "pmaddwd                 %%mm5, %%mm2       \n\t"
1692                 "add                       $24, %%"FF_REG_d"\n\t"
1693                 "packssdw                %%mm2, %%mm4       \n\t"
1694                 "psraw                      $7, %%mm4       \n\t"
1695
1696                 "packuswb                %%mm4, %%mm0       \n\t"
1697                 "paddusb "MANGLE(ff_bgr2YOffset)", %%mm0    \n\t"
1698
1699                 MOVNTQ"                  %%mm0, (%1, %%"FF_REG_a") \n\t"
1700                 "add                        $8,      %%"FF_REG_a"  \n\t"
1701                 " js                        1b                     \n\t"
1702                 : : "r" (src+width*3), "r" (ydst+width), "g" ((x86_reg)-width), "r"(rgb2yuv)
1703                   NAMED_CONSTRAINTS_ADD(ff_w1111,ff_bgr2YOffset)
1704                 : "%"FF_REG_a, "%"FF_REG_d
1705             );
1706             ydst += lumStride;
1707             src  += srcStride;
1708         }
1709         src -= srcStride*2;
1710         __asm__ volatile(
1711             "mov                        %4, %%"FF_REG_a"\n\t"
1712             "movq       "MANGLE(ff_w1111)", %%mm5       \n\t"
1713             "movq          "BGR2U_IDX"(%5), %%mm6       \n\t"
1714             "pxor                    %%mm7, %%mm7       \n\t"
1715             "lea (%%"FF_REG_a", %%"FF_REG_a", 2), %%"FF_REG_d" \n\t"
1716             "add              %%"FF_REG_d", %%"FF_REG_d"\n\t"
1717             ".p2align                    4              \n\t"
1718             "1:                                         \n\t"
1719             PREFETCH" 64(%0, %%"FF_REG_d")              \n\t"
1720             PREFETCH" 64(%1, %%"FF_REG_d")              \n\t"
1721 #if COMPILE_TEMPLATE_MMXEXT || COMPILE_TEMPLATE_AMD3DNOW
1722             "movq       (%0, %%"FF_REG_d"), %%mm0       \n\t"
1723             "movq       (%1, %%"FF_REG_d"), %%mm1       \n\t"
1724             "movq      6(%0, %%"FF_REG_d"), %%mm2       \n\t"
1725             "movq      6(%1, %%"FF_REG_d"), %%mm3       \n\t"
1726             PAVGB"                   %%mm1, %%mm0       \n\t"
1727             PAVGB"                   %%mm3, %%mm2       \n\t"
1728             "movq                    %%mm0, %%mm1       \n\t"
1729             "movq                    %%mm2, %%mm3       \n\t"
1730             "psrlq                     $24, %%mm0       \n\t"
1731             "psrlq                     $24, %%mm2       \n\t"
1732             PAVGB"                   %%mm1, %%mm0       \n\t"
1733             PAVGB"                   %%mm3, %%mm2       \n\t"
1734             "punpcklbw               %%mm7, %%mm0       \n\t"
1735             "punpcklbw               %%mm7, %%mm2       \n\t"
1736 #else
1737             "movd       (%0, %%"FF_REG_d"), %%mm0       \n\t"
1738             "movd       (%1, %%"FF_REG_d"), %%mm1       \n\t"
1739             "movd      3(%0, %%"FF_REG_d"), %%mm2       \n\t"
1740             "movd      3(%1, %%"FF_REG_d"), %%mm3       \n\t"
1741             "punpcklbw               %%mm7, %%mm0       \n\t"
1742             "punpcklbw               %%mm7, %%mm1       \n\t"
1743             "punpcklbw               %%mm7, %%mm2       \n\t"
1744             "punpcklbw               %%mm7, %%mm3       \n\t"
1745             "paddw                   %%mm1, %%mm0       \n\t"
1746             "paddw                   %%mm3, %%mm2       \n\t"
1747             "paddw                   %%mm2, %%mm0       \n\t"
1748             "movd      6(%0, %%"FF_REG_d"), %%mm4       \n\t"
1749             "movd      6(%1, %%"FF_REG_d"), %%mm1       \n\t"
1750             "movd      9(%0, %%"FF_REG_d"), %%mm2       \n\t"
1751             "movd      9(%1, %%"FF_REG_d"), %%mm3       \n\t"
1752             "punpcklbw               %%mm7, %%mm4       \n\t"
1753             "punpcklbw               %%mm7, %%mm1       \n\t"
1754             "punpcklbw               %%mm7, %%mm2       \n\t"
1755             "punpcklbw               %%mm7, %%mm3       \n\t"
1756             "paddw                   %%mm1, %%mm4       \n\t"
1757             "paddw                   %%mm3, %%mm2       \n\t"
1758             "paddw                   %%mm4, %%mm2       \n\t"
1759             "psrlw                      $2, %%mm0       \n\t"
1760             "psrlw                      $2, %%mm2       \n\t"
1761 #endif
1762             "movq          "BGR2V_IDX"(%5), %%mm1       \n\t"
1763             "movq          "BGR2V_IDX"(%5), %%mm3       \n\t"
1764
1765             "pmaddwd                 %%mm0, %%mm1       \n\t"
1766             "pmaddwd                 %%mm2, %%mm3       \n\t"
1767             "pmaddwd                 %%mm6, %%mm0       \n\t"
1768             "pmaddwd                 %%mm6, %%mm2       \n\t"
1769             "psrad                      $8, %%mm0       \n\t"
1770             "psrad                      $8, %%mm1       \n\t"
1771             "psrad                      $8, %%mm2       \n\t"
1772             "psrad                      $8, %%mm3       \n\t"
1773             "packssdw                %%mm2, %%mm0       \n\t"
1774             "packssdw                %%mm3, %%mm1       \n\t"
1775             "pmaddwd                 %%mm5, %%mm0       \n\t"
1776             "pmaddwd                 %%mm5, %%mm1       \n\t"
1777             "packssdw                %%mm1, %%mm0       \n\t" // V1 V0 U1 U0
1778             "psraw                      $7, %%mm0       \n\t"
1779
1780 #if COMPILE_TEMPLATE_MMXEXT || COMPILE_TEMPLATE_AMD3DNOW
1781             "movq     12(%0, %%"FF_REG_d"), %%mm4       \n\t"
1782             "movq     12(%1, %%"FF_REG_d"), %%mm1       \n\t"
1783             "movq     18(%0, %%"FF_REG_d"), %%mm2       \n\t"
1784             "movq     18(%1, %%"FF_REG_d"), %%mm3       \n\t"
1785             PAVGB"                   %%mm1, %%mm4       \n\t"
1786             PAVGB"                   %%mm3, %%mm2       \n\t"
1787             "movq                    %%mm4, %%mm1       \n\t"
1788             "movq                    %%mm2, %%mm3       \n\t"
1789             "psrlq                     $24, %%mm4       \n\t"
1790             "psrlq                     $24, %%mm2       \n\t"
1791             PAVGB"                   %%mm1, %%mm4       \n\t"
1792             PAVGB"                   %%mm3, %%mm2       \n\t"
1793             "punpcklbw               %%mm7, %%mm4       \n\t"
1794             "punpcklbw               %%mm7, %%mm2       \n\t"
1795 #else
1796             "movd     12(%0, %%"FF_REG_d"), %%mm4       \n\t"
1797             "movd     12(%1, %%"FF_REG_d"), %%mm1       \n\t"
1798             "movd     15(%0, %%"FF_REG_d"), %%mm2       \n\t"
1799             "movd     15(%1, %%"FF_REG_d"), %%mm3       \n\t"
1800             "punpcklbw               %%mm7, %%mm4       \n\t"
1801             "punpcklbw               %%mm7, %%mm1       \n\t"
1802             "punpcklbw               %%mm7, %%mm2       \n\t"
1803             "punpcklbw               %%mm7, %%mm3       \n\t"
1804             "paddw                   %%mm1, %%mm4       \n\t"
1805             "paddw                   %%mm3, %%mm2       \n\t"
1806             "paddw                   %%mm2, %%mm4       \n\t"
1807             "movd     18(%0, %%"FF_REG_d"), %%mm5       \n\t"
1808             "movd     18(%1, %%"FF_REG_d"), %%mm1       \n\t"
1809             "movd     21(%0, %%"FF_REG_d"), %%mm2       \n\t"
1810             "movd     21(%1, %%"FF_REG_d"), %%mm3       \n\t"
1811             "punpcklbw               %%mm7, %%mm5       \n\t"
1812             "punpcklbw               %%mm7, %%mm1       \n\t"
1813             "punpcklbw               %%mm7, %%mm2       \n\t"
1814             "punpcklbw               %%mm7, %%mm3       \n\t"
1815             "paddw                   %%mm1, %%mm5       \n\t"
1816             "paddw                   %%mm3, %%mm2       \n\t"
1817             "paddw                   %%mm5, %%mm2       \n\t"
1818             "movq       "MANGLE(ff_w1111)", %%mm5       \n\t"
1819             "psrlw                      $2, %%mm4       \n\t"
1820             "psrlw                      $2, %%mm2       \n\t"
1821 #endif
1822             "movq          "BGR2V_IDX"(%5), %%mm1       \n\t"
1823             "movq          "BGR2V_IDX"(%5), %%mm3       \n\t"
1824
1825             "pmaddwd                 %%mm4, %%mm1       \n\t"
1826             "pmaddwd                 %%mm2, %%mm3       \n\t"
1827             "pmaddwd                 %%mm6, %%mm4       \n\t"
1828             "pmaddwd                 %%mm6, %%mm2       \n\t"
1829             "psrad                      $8, %%mm4       \n\t"
1830             "psrad                      $8, %%mm1       \n\t"
1831             "psrad                      $8, %%mm2       \n\t"
1832             "psrad                      $8, %%mm3       \n\t"
1833             "packssdw                %%mm2, %%mm4       \n\t"
1834             "packssdw                %%mm3, %%mm1       \n\t"
1835             "pmaddwd                 %%mm5, %%mm4       \n\t"
1836             "pmaddwd                 %%mm5, %%mm1       \n\t"
1837             "add                       $24, %%"FF_REG_d"\n\t"
1838             "packssdw                %%mm1, %%mm4       \n\t" // V3 V2 U3 U2
1839             "psraw                      $7, %%mm4       \n\t"
1840
1841             "movq                    %%mm0, %%mm1           \n\t"
1842             "punpckldq               %%mm4, %%mm0           \n\t"
1843             "punpckhdq               %%mm4, %%mm1           \n\t"
1844             "packsswb                %%mm1, %%mm0           \n\t"
1845             "paddb "MANGLE(ff_bgr2UVOffset)", %%mm0         \n\t"
1846             "movd                    %%mm0, (%2, %%"FF_REG_a") \n\t"
1847             "punpckhdq               %%mm0, %%mm0              \n\t"
1848             "movd                    %%mm0, (%3, %%"FF_REG_a") \n\t"
1849             "add                        $4, %%"FF_REG_a"       \n\t"
1850             " js                        1b              \n\t"
1851             : : "r" (src+chromWidth*6), "r" (src+srcStride+chromWidth*6), "r" (udst+chromWidth), "r" (vdst+chromWidth), "g" (-chromWidth), "r"(rgb2yuv)
1852               NAMED_CONSTRAINTS_ADD(ff_w1111,ff_bgr2UVOffset)
1853             : "%"FF_REG_a, "%"FF_REG_d
1854         );
1855
1856         udst += chromStride;
1857         vdst += chromStride;
1858         src  += srcStride*2;
1859     }
1860
1861     __asm__ volatile(EMMS"       \n\t"
1862                      SFENCE"     \n\t"
1863                      :::"memory");
1864
1865      ff_rgb24toyv12_c(src, ydst, udst, vdst, width, height-y, lumStride, chromStride, srcStride, rgb2yuv);
1866 }
1867 #endif /* HAVE_7REGS */
1868 #endif /* !COMPILE_TEMPLATE_SSE2 */
1869
1870 #if !COMPILE_TEMPLATE_AMD3DNOW && !COMPILE_TEMPLATE_AVX
1871 static void RENAME(interleaveBytes)(const uint8_t *src1, const uint8_t *src2, uint8_t *dest,
1872                                     int width, int height, int src1Stride,
1873                                     int src2Stride, int dstStride)
1874 {
1875     int h;
1876
1877     for (h=0; h < height; h++) {
1878         int w;
1879
1880         if (width >= 16) {
1881 #if COMPILE_TEMPLATE_SSE2
1882             if (!((((intptr_t)src1) | ((intptr_t)src2) | ((intptr_t)dest))&15)) {
1883         __asm__(
1884             "xor              %%"FF_REG_a", %%"FF_REG_a"  \n\t"
1885             "1:                                     \n\t"
1886             PREFETCH" 64(%1, %%"FF_REG_a")          \n\t"
1887             PREFETCH" 64(%2, %%"FF_REG_a")          \n\t"
1888             "movdqa  (%1, %%"FF_REG_a"), %%xmm0     \n\t"
1889             "movdqa  (%1, %%"FF_REG_a"), %%xmm1     \n\t"
1890             "movdqa  (%2, %%"FF_REG_a"), %%xmm2     \n\t"
1891             "punpcklbw           %%xmm2, %%xmm0     \n\t"
1892             "punpckhbw           %%xmm2, %%xmm1     \n\t"
1893             "movntdq             %%xmm0,   (%0, %%"FF_REG_a", 2) \n\t"
1894             "movntdq             %%xmm1, 16(%0, %%"FF_REG_a", 2) \n\t"
1895             "add                    $16, %%"FF_REG_a"            \n\t"
1896             "cmp                     %3, %%"FF_REG_a"            \n\t"
1897             " jb                     1b             \n\t"
1898             ::"r"(dest), "r"(src1), "r"(src2), "r" ((x86_reg)width-15)
1899             : "memory", XMM_CLOBBERS("xmm0", "xmm1", "xmm2",) "%"FF_REG_a
1900         );
1901             } else
1902 #endif
1903         __asm__(
1904             "xor %%"FF_REG_a", %%"FF_REG_a"         \n\t"
1905             "1:                                     \n\t"
1906             PREFETCH" 64(%1, %%"FF_REG_a")          \n\t"
1907             PREFETCH" 64(%2, %%"FF_REG_a")          \n\t"
1908             "movq    (%1, %%"FF_REG_a"), %%mm0      \n\t"
1909             "movq   8(%1, %%"FF_REG_a"), %%mm2      \n\t"
1910             "movq                 %%mm0, %%mm1      \n\t"
1911             "movq                 %%mm2, %%mm3      \n\t"
1912             "movq    (%2, %%"FF_REG_a"), %%mm4      \n\t"
1913             "movq   8(%2, %%"FF_REG_a"), %%mm5      \n\t"
1914             "punpcklbw            %%mm4, %%mm0      \n\t"
1915             "punpckhbw            %%mm4, %%mm1      \n\t"
1916             "punpcklbw            %%mm5, %%mm2      \n\t"
1917             "punpckhbw            %%mm5, %%mm3      \n\t"
1918             MOVNTQ"               %%mm0,   (%0, %%"FF_REG_a", 2) \n\t"
1919             MOVNTQ"               %%mm1,  8(%0, %%"FF_REG_a", 2) \n\t"
1920             MOVNTQ"               %%mm2, 16(%0, %%"FF_REG_a", 2) \n\t"
1921             MOVNTQ"               %%mm3, 24(%0, %%"FF_REG_a", 2) \n\t"
1922             "add                    $16, %%"FF_REG_a"            \n\t"
1923             "cmp                     %3, %%"FF_REG_a"            \n\t"
1924             " jb                     1b                          \n\t"
1925             ::"r"(dest), "r"(src1), "r"(src2), "r" ((x86_reg)width-15)
1926             : "memory", "%"FF_REG_a
1927         );
1928
1929         }
1930         for (w= (width&(~15)); w < width; w++) {
1931             dest[2*w+0] = src1[w];
1932             dest[2*w+1] = src2[w];
1933         }
1934         dest += dstStride;
1935         src1 += src1Stride;
1936         src2 += src2Stride;
1937     }
1938     __asm__(
1939             EMMS"       \n\t"
1940             SFENCE"     \n\t"
1941             ::: "memory"
1942             );
1943 }
1944 #endif /* !COMPILE_TEMPLATE_AMD3DNOW && !COMPILE_TEMPLATE_AVX */
1945
1946 #if !COMPILE_TEMPLATE_AVX || HAVE_AVX_EXTERNAL
1947 #if !COMPILE_TEMPLATE_AMD3DNOW && (ARCH_X86_32 || COMPILE_TEMPLATE_SSE2) && COMPILE_TEMPLATE_MMXEXT == COMPILE_TEMPLATE_SSE2 && HAVE_X86ASM
1948 void RENAME(ff_nv12ToUV)(uint8_t *dstU, uint8_t *dstV,
1949                          const uint8_t *unused,
1950                          const uint8_t *src1,
1951                          const uint8_t *src2,
1952                          int w,
1953                          uint32_t *unused2);
1954 static void RENAME(deinterleaveBytes)(const uint8_t *src, uint8_t *dst1, uint8_t *dst2,
1955                                       int width, int height, int srcStride,
1956                                       int dst1Stride, int dst2Stride)
1957 {
1958     int h;
1959
1960     for (h = 0; h < height; h++) {
1961         RENAME(ff_nv12ToUV)(dst1, dst2, NULL, src, NULL, width, NULL);
1962         src  += srcStride;
1963         dst1 += dst1Stride;
1964         dst2 += dst2Stride;
1965     }
1966     __asm__(
1967 #if !COMPILE_TEMPLATE_SSE2
1968             EMMS"       \n\t"
1969 #endif
1970             SFENCE"     \n\t"
1971             ::: "memory"
1972             );
1973 }
1974 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
1975 #endif /* !COMPILE_TEMPLATE_AVX || HAVE_AVX_EXTERNAL */
1976
1977 #if !COMPILE_TEMPLATE_SSE2
1978 #if !COMPILE_TEMPLATE_AMD3DNOW
1979 static inline void RENAME(vu9_to_vu12)(const uint8_t *src1, const uint8_t *src2,
1980                                        uint8_t *dst1, uint8_t *dst2,
1981                                        int width, int height,
1982                                        int srcStride1, int srcStride2,
1983                                        int dstStride1, int dstStride2)
1984 {
1985     x86_reg x, y;
1986     int w,h;
1987     w=width/2; h=height/2;
1988     __asm__ volatile(
1989         PREFETCH" %0    \n\t"
1990         PREFETCH" %1    \n\t"
1991         ::"m"(*(src1+srcStride1)),"m"(*(src2+srcStride2)):"memory");
1992     for (y=0;y<h;y++) {
1993         const uint8_t* s1=src1+srcStride1*(y>>1);
1994         uint8_t* d=dst1+dstStride1*y;
1995         x=0;
1996         for (;x<w-31;x+=32) {
1997             __asm__ volatile(
1998                 PREFETCH"   32(%1,%2)        \n\t"
1999                 "movq         (%1,%2), %%mm0 \n\t"
2000                 "movq        8(%1,%2), %%mm2 \n\t"
2001                 "movq       16(%1,%2), %%mm4 \n\t"
2002                 "movq       24(%1,%2), %%mm6 \n\t"
2003                 "movq      %%mm0, %%mm1 \n\t"
2004                 "movq      %%mm2, %%mm3 \n\t"
2005                 "movq      %%mm4, %%mm5 \n\t"
2006                 "movq      %%mm6, %%mm7 \n\t"
2007                 "punpcklbw %%mm0, %%mm0 \n\t"
2008                 "punpckhbw %%mm1, %%mm1 \n\t"
2009                 "punpcklbw %%mm2, %%mm2 \n\t"
2010                 "punpckhbw %%mm3, %%mm3 \n\t"
2011                 "punpcklbw %%mm4, %%mm4 \n\t"
2012                 "punpckhbw %%mm5, %%mm5 \n\t"
2013                 "punpcklbw %%mm6, %%mm6 \n\t"
2014                 "punpckhbw %%mm7, %%mm7 \n\t"
2015                 MOVNTQ"    %%mm0,   (%0,%2,2)  \n\t"
2016                 MOVNTQ"    %%mm1,  8(%0,%2,2)  \n\t"
2017                 MOVNTQ"    %%mm2, 16(%0,%2,2)  \n\t"
2018                 MOVNTQ"    %%mm3, 24(%0,%2,2)  \n\t"
2019                 MOVNTQ"    %%mm4, 32(%0,%2,2)  \n\t"
2020                 MOVNTQ"    %%mm5, 40(%0,%2,2)  \n\t"
2021                 MOVNTQ"    %%mm6, 48(%0,%2,2)  \n\t"
2022                 MOVNTQ"    %%mm7, 56(%0,%2,2)"
2023                 :: "r"(d), "r"(s1), "r"(x)
2024                 :"memory");
2025         }
2026         for (;x<w;x++) d[2*x]=d[2*x+1]=s1[x];
2027     }
2028     for (y=0;y<h;y++) {
2029         const uint8_t* s2=src2+srcStride2*(y>>1);
2030         uint8_t* d=dst2+dstStride2*y;
2031         x=0;
2032         for (;x<w-31;x+=32) {
2033             __asm__ volatile(
2034                 PREFETCH"   32(%1,%2)        \n\t"
2035                 "movq         (%1,%2), %%mm0 \n\t"
2036                 "movq        8(%1,%2), %%mm2 \n\t"
2037                 "movq       16(%1,%2), %%mm4 \n\t"
2038                 "movq       24(%1,%2), %%mm6 \n\t"
2039                 "movq      %%mm0, %%mm1 \n\t"
2040                 "movq      %%mm2, %%mm3 \n\t"
2041                 "movq      %%mm4, %%mm5 \n\t"
2042                 "movq      %%mm6, %%mm7 \n\t"
2043                 "punpcklbw %%mm0, %%mm0 \n\t"
2044                 "punpckhbw %%mm1, %%mm1 \n\t"
2045                 "punpcklbw %%mm2, %%mm2 \n\t"
2046                 "punpckhbw %%mm3, %%mm3 \n\t"
2047                 "punpcklbw %%mm4, %%mm4 \n\t"
2048                 "punpckhbw %%mm5, %%mm5 \n\t"
2049                 "punpcklbw %%mm6, %%mm6 \n\t"
2050                 "punpckhbw %%mm7, %%mm7 \n\t"
2051                 MOVNTQ"    %%mm0,   (%0,%2,2)  \n\t"
2052                 MOVNTQ"    %%mm1,  8(%0,%2,2)  \n\t"
2053                 MOVNTQ"    %%mm2, 16(%0,%2,2)  \n\t"
2054                 MOVNTQ"    %%mm3, 24(%0,%2,2)  \n\t"
2055                 MOVNTQ"    %%mm4, 32(%0,%2,2)  \n\t"
2056                 MOVNTQ"    %%mm5, 40(%0,%2,2)  \n\t"
2057                 MOVNTQ"    %%mm6, 48(%0,%2,2)  \n\t"
2058                 MOVNTQ"    %%mm7, 56(%0,%2,2)"
2059                 :: "r"(d), "r"(s2), "r"(x)
2060                 :"memory");
2061         }
2062         for (;x<w;x++) d[2*x]=d[2*x+1]=s2[x];
2063     }
2064     __asm__(
2065             EMMS"       \n\t"
2066             SFENCE"     \n\t"
2067             ::: "memory"
2068         );
2069 }
2070
2071 static inline void RENAME(yvu9_to_yuy2)(const uint8_t *src1, const uint8_t *src2, const uint8_t *src3,
2072                                         uint8_t *dst,
2073                                         int width, int height,
2074                                         int srcStride1, int srcStride2,
2075                                         int srcStride3, int dstStride)
2076 {
2077     x86_reg x;
2078     int y,w,h;
2079     w=width/2; h=height;
2080     for (y=0;y<h;y++) {
2081         const uint8_t* yp=src1+srcStride1*y;
2082         const uint8_t* up=src2+srcStride2*(y>>2);
2083         const uint8_t* vp=src3+srcStride3*(y>>2);
2084         uint8_t* d=dst+dstStride*y;
2085         x=0;
2086         for (;x<w-7;x+=8) {
2087             __asm__ volatile(
2088                 PREFETCH"   32(%1, %0)          \n\t"
2089                 PREFETCH"   32(%2, %0)          \n\t"
2090                 PREFETCH"   32(%3, %0)          \n\t"
2091                 "movq      (%1, %0, 4), %%mm0   \n\t" /* Y0Y1Y2Y3Y4Y5Y6Y7 */
2092                 "movq         (%2, %0), %%mm1   \n\t" /* U0U1U2U3U4U5U6U7 */
2093                 "movq         (%3, %0), %%mm2   \n\t" /* V0V1V2V3V4V5V6V7 */
2094                 "movq            %%mm0, %%mm3   \n\t" /* Y0Y1Y2Y3Y4Y5Y6Y7 */
2095                 "movq            %%mm1, %%mm4   \n\t" /* U0U1U2U3U4U5U6U7 */
2096                 "movq            %%mm2, %%mm5   \n\t" /* V0V1V2V3V4V5V6V7 */
2097                 "punpcklbw       %%mm1, %%mm1   \n\t" /* U0U0 U1U1 U2U2 U3U3 */
2098                 "punpcklbw       %%mm2, %%mm2   \n\t" /* V0V0 V1V1 V2V2 V3V3 */
2099                 "punpckhbw       %%mm4, %%mm4   \n\t" /* U4U4 U5U5 U6U6 U7U7 */
2100                 "punpckhbw       %%mm5, %%mm5   \n\t" /* V4V4 V5V5 V6V6 V7V7 */
2101
2102                 "movq            %%mm1, %%mm6   \n\t"
2103                 "punpcklbw       %%mm2, %%mm1   \n\t" /* U0V0 U0V0 U1V1 U1V1*/
2104                 "punpcklbw       %%mm1, %%mm0   \n\t" /* Y0U0 Y1V0 Y2U0 Y3V0*/
2105                 "punpckhbw       %%mm1, %%mm3   \n\t" /* Y4U1 Y5V1 Y6U1 Y7V1*/
2106                 MOVNTQ"          %%mm0,  (%4, %0, 8)    \n\t"
2107                 MOVNTQ"          %%mm3, 8(%4, %0, 8)    \n\t"
2108
2109                 "punpckhbw       %%mm2, %%mm6   \n\t" /* U2V2 U2V2 U3V3 U3V3*/
2110                 "movq     8(%1, %0, 4), %%mm0   \n\t"
2111                 "movq            %%mm0, %%mm3   \n\t"
2112                 "punpcklbw       %%mm6, %%mm0   \n\t" /* Y U2 Y V2 Y U2 Y V2*/
2113                 "punpckhbw       %%mm6, %%mm3   \n\t" /* Y U3 Y V3 Y U3 Y V3*/
2114                 MOVNTQ"          %%mm0, 16(%4, %0, 8)   \n\t"
2115                 MOVNTQ"          %%mm3, 24(%4, %0, 8)   \n\t"
2116
2117                 "movq            %%mm4, %%mm6   \n\t"
2118                 "movq    16(%1, %0, 4), %%mm0   \n\t"
2119                 "movq            %%mm0, %%mm3   \n\t"
2120                 "punpcklbw       %%mm5, %%mm4   \n\t"
2121                 "punpcklbw       %%mm4, %%mm0   \n\t" /* Y U4 Y V4 Y U4 Y V4*/
2122                 "punpckhbw       %%mm4, %%mm3   \n\t" /* Y U5 Y V5 Y U5 Y V5*/
2123                 MOVNTQ"          %%mm0, 32(%4, %0, 8)   \n\t"
2124                 MOVNTQ"          %%mm3, 40(%4, %0, 8)   \n\t"
2125
2126                 "punpckhbw       %%mm5, %%mm6   \n\t"
2127                 "movq    24(%1, %0, 4), %%mm0   \n\t"
2128                 "movq            %%mm0, %%mm3   \n\t"
2129                 "punpcklbw       %%mm6, %%mm0   \n\t" /* Y U6 Y V6 Y U6 Y V6*/
2130                 "punpckhbw       %%mm6, %%mm3   \n\t" /* Y U7 Y V7 Y U7 Y V7*/
2131                 MOVNTQ"          %%mm0, 48(%4, %0, 8)   \n\t"
2132                 MOVNTQ"          %%mm3, 56(%4, %0, 8)   \n\t"
2133
2134                 : "+r" (x)
2135                 : "r"(yp), "r" (up), "r"(vp), "r"(d)
2136                 :"memory");
2137         }
2138         for (; x<w; x++) {
2139             const int x2 = x<<2;
2140             d[8*x+0] = yp[x2];
2141             d[8*x+1] = up[x];
2142             d[8*x+2] = yp[x2+1];
2143             d[8*x+3] = vp[x];
2144             d[8*x+4] = yp[x2+2];
2145             d[8*x+5] = up[x];
2146             d[8*x+6] = yp[x2+3];
2147             d[8*x+7] = vp[x];
2148         }
2149     }
2150     __asm__(
2151             EMMS"       \n\t"
2152             SFENCE"     \n\t"
2153             ::: "memory"
2154         );
2155 }
2156 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
2157
2158 static void RENAME(extract_even)(const uint8_t *src, uint8_t *dst, x86_reg count)
2159 {
2160     dst +=   count;
2161     src += 2*count;
2162     count= - count;
2163
2164     if(count <= -16) {
2165         count += 15;
2166         __asm__ volatile(
2167             "pcmpeqw       %%mm7, %%mm7        \n\t"
2168             "psrlw            $8, %%mm7        \n\t"
2169             "1:                                \n\t"
2170             "movq -30(%1, %0, 2), %%mm0        \n\t"
2171             "movq -22(%1, %0, 2), %%mm1        \n\t"
2172             "movq -14(%1, %0, 2), %%mm2        \n\t"
2173             "movq  -6(%1, %0, 2), %%mm3        \n\t"
2174             "pand          %%mm7, %%mm0        \n\t"
2175             "pand          %%mm7, %%mm1        \n\t"
2176             "pand          %%mm7, %%mm2        \n\t"
2177             "pand          %%mm7, %%mm3        \n\t"
2178             "packuswb      %%mm1, %%mm0        \n\t"
2179             "packuswb      %%mm3, %%mm2        \n\t"
2180             MOVNTQ"        %%mm0,-15(%2, %0)   \n\t"
2181             MOVNTQ"        %%mm2,- 7(%2, %0)   \n\t"
2182             "add             $16, %0           \n\t"
2183             " js 1b                            \n\t"
2184             : "+r"(count)
2185             : "r"(src), "r"(dst)
2186         );
2187         count -= 15;
2188     }
2189     while(count<0) {
2190         dst[count]= src[2*count];
2191         count++;
2192     }
2193 }
2194
2195 static void RENAME(extract_odd)(const uint8_t *src, uint8_t *dst, x86_reg count)
2196 {
2197     src ++;
2198     dst +=   count;
2199     src += 2*count;
2200     count= - count;
2201
2202     if(count < -16) {
2203         count += 16;
2204         __asm__ volatile(
2205             "pcmpeqw       %%mm7, %%mm7        \n\t"
2206             "psrlw            $8, %%mm7        \n\t"
2207             "1:                                \n\t"
2208             "movq -32(%1, %0, 2), %%mm0        \n\t"
2209             "movq -24(%1, %0, 2), %%mm1        \n\t"
2210             "movq -16(%1, %0, 2), %%mm2        \n\t"
2211             "movq  -8(%1, %0, 2), %%mm3        \n\t"
2212             "pand          %%mm7, %%mm0        \n\t"
2213             "pand          %%mm7, %%mm1        \n\t"
2214             "pand          %%mm7, %%mm2        \n\t"
2215             "pand          %%mm7, %%mm3        \n\t"
2216             "packuswb      %%mm1, %%mm0        \n\t"
2217             "packuswb      %%mm3, %%mm2        \n\t"
2218             MOVNTQ"        %%mm0,-16(%2, %0)   \n\t"
2219             MOVNTQ"        %%mm2,- 8(%2, %0)   \n\t"
2220             "add             $16, %0           \n\t"
2221             " js 1b                            \n\t"
2222             : "+r"(count)
2223             : "r"(src), "r"(dst)
2224         );
2225         count -= 16;
2226     }
2227     while(count<0) {
2228         dst[count]= src[2*count];
2229         count++;
2230     }
2231 }
2232
2233 #if !COMPILE_TEMPLATE_AMD3DNOW
2234 static void RENAME(extract_even2)(const uint8_t *src, uint8_t *dst0, uint8_t *dst1, x86_reg count)
2235 {
2236     dst0+=   count;
2237     dst1+=   count;
2238     src += 4*count;
2239     count= - count;
2240     if(count <= -8) {
2241         count += 7;
2242         __asm__ volatile(
2243             "pcmpeqw       %%mm7, %%mm7        \n\t"
2244             "psrlw            $8, %%mm7        \n\t"
2245             "1:                                \n\t"
2246             "movq -28(%1, %0, 4), %%mm0        \n\t"
2247             "movq -20(%1, %0, 4), %%mm1        \n\t"
2248             "movq -12(%1, %0, 4), %%mm2        \n\t"
2249             "movq  -4(%1, %0, 4), %%mm3        \n\t"
2250             "pand          %%mm7, %%mm0        \n\t"
2251             "pand          %%mm7, %%mm1        \n\t"
2252             "pand          %%mm7, %%mm2        \n\t"
2253             "pand          %%mm7, %%mm3        \n\t"
2254             "packuswb      %%mm1, %%mm0        \n\t"
2255             "packuswb      %%mm3, %%mm2        \n\t"
2256             "movq          %%mm0, %%mm1        \n\t"
2257             "movq          %%mm2, %%mm3        \n\t"
2258             "psrlw            $8, %%mm0        \n\t"
2259             "psrlw            $8, %%mm2        \n\t"
2260             "pand          %%mm7, %%mm1        \n\t"
2261             "pand          %%mm7, %%mm3        \n\t"
2262             "packuswb      %%mm2, %%mm0        \n\t"
2263             "packuswb      %%mm3, %%mm1        \n\t"
2264             MOVNTQ"        %%mm0,- 7(%3, %0)   \n\t"
2265             MOVNTQ"        %%mm1,- 7(%2, %0)   \n\t"
2266             "add              $8, %0           \n\t"
2267             " js 1b                            \n\t"
2268             : "+r"(count)
2269             : "r"(src), "r"(dst0), "r"(dst1)
2270         );
2271         count -= 7;
2272     }
2273     while(count<0) {
2274         dst0[count]= src[4*count+0];
2275         dst1[count]= src[4*count+2];
2276         count++;
2277     }
2278 }
2279 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
2280
2281 static void RENAME(extract_even2avg)(const uint8_t *src0, const uint8_t *src1, uint8_t *dst0, uint8_t *dst1, x86_reg count)
2282 {
2283     dst0 +=   count;
2284     dst1 +=   count;
2285     src0 += 4*count;
2286     src1 += 4*count;
2287     count= - count;
2288 #ifdef PAVGB
2289     if(count <= -8) {
2290         count += 7;
2291         __asm__ volatile(
2292             "pcmpeqw        %%mm7, %%mm7        \n\t"
2293             "psrlw             $8, %%mm7        \n\t"
2294             "1:                                \n\t"
2295             "movq  -28(%1, %0, 4), %%mm0        \n\t"
2296             "movq  -20(%1, %0, 4), %%mm1        \n\t"
2297             "movq  -12(%1, %0, 4), %%mm2        \n\t"
2298             "movq   -4(%1, %0, 4), %%mm3        \n\t"
2299             PAVGB" -28(%2, %0, 4), %%mm0        \n\t"
2300             PAVGB" -20(%2, %0, 4), %%mm1        \n\t"
2301             PAVGB" -12(%2, %0, 4), %%mm2        \n\t"
2302             PAVGB" - 4(%2, %0, 4), %%mm3        \n\t"
2303             "pand           %%mm7, %%mm0        \n\t"
2304             "pand           %%mm7, %%mm1        \n\t"
2305             "pand           %%mm7, %%mm2        \n\t"
2306             "pand           %%mm7, %%mm3        \n\t"
2307             "packuswb       %%mm1, %%mm0        \n\t"
2308             "packuswb       %%mm3, %%mm2        \n\t"
2309             "movq           %%mm0, %%mm1        \n\t"
2310             "movq           %%mm2, %%mm3        \n\t"
2311             "psrlw             $8, %%mm0        \n\t"
2312             "psrlw             $8, %%mm2        \n\t"
2313             "pand           %%mm7, %%mm1        \n\t"
2314             "pand           %%mm7, %%mm3        \n\t"
2315             "packuswb       %%mm2, %%mm0        \n\t"
2316             "packuswb       %%mm3, %%mm1        \n\t"
2317             MOVNTQ"         %%mm0,- 7(%4, %0)   \n\t"
2318             MOVNTQ"         %%mm1,- 7(%3, %0)   \n\t"
2319             "add               $8, %0           \n\t"
2320             " js 1b                            \n\t"
2321             : "+r"(count)
2322             : "r"(src0), "r"(src1), "r"(dst0), "r"(dst1)
2323         );
2324         count -= 7;
2325     }
2326 #endif
2327     while(count<0) {
2328         dst0[count]= (src0[4*count+0]+src1[4*count+0])>>1;
2329         dst1[count]= (src0[4*count+2]+src1[4*count+2])>>1;
2330         count++;
2331     }
2332 }
2333
2334 #if !COMPILE_TEMPLATE_AMD3DNOW
2335 static void RENAME(extract_odd2)(const uint8_t *src, uint8_t *dst0, uint8_t *dst1, x86_reg count)
2336 {
2337     dst0+=   count;
2338     dst1+=   count;
2339     src += 4*count;
2340     count= - count;
2341     if(count <= -8) {
2342         count += 7;
2343         __asm__ volatile(
2344             "pcmpeqw       %%mm7, %%mm7        \n\t"
2345             "psrlw            $8, %%mm7        \n\t"
2346             "1:                                \n\t"
2347             "movq -28(%1, %0, 4), %%mm0        \n\t"
2348             "movq -20(%1, %0, 4), %%mm1        \n\t"
2349             "movq -12(%1, %0, 4), %%mm2        \n\t"
2350             "movq  -4(%1, %0, 4), %%mm3        \n\t"
2351             "psrlw            $8, %%mm0        \n\t"
2352             "psrlw            $8, %%mm1        \n\t"
2353             "psrlw            $8, %%mm2        \n\t"
2354             "psrlw            $8, %%mm3        \n\t"
2355             "packuswb      %%mm1, %%mm0        \n\t"
2356             "packuswb      %%mm3, %%mm2        \n\t"
2357             "movq          %%mm0, %%mm1        \n\t"
2358             "movq          %%mm2, %%mm3        \n\t"
2359             "psrlw            $8, %%mm0        \n\t"
2360             "psrlw            $8, %%mm2        \n\t"
2361             "pand          %%mm7, %%mm1        \n\t"
2362             "pand          %%mm7, %%mm3        \n\t"
2363             "packuswb      %%mm2, %%mm0        \n\t"
2364             "packuswb      %%mm3, %%mm1        \n\t"
2365             MOVNTQ"        %%mm0,- 7(%3, %0)   \n\t"
2366             MOVNTQ"        %%mm1,- 7(%2, %0)   \n\t"
2367             "add              $8, %0           \n\t"
2368             " js 1b                            \n\t"
2369             : "+r"(count)
2370             : "r"(src), "r"(dst0), "r"(dst1)
2371         );
2372         count -= 7;
2373     }
2374     src++;
2375     while(count<0) {
2376         dst0[count]= src[4*count+0];
2377         dst1[count]= src[4*count+2];
2378         count++;
2379     }
2380 }
2381 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
2382
2383 static void RENAME(extract_odd2avg)(const uint8_t *src0, const uint8_t *src1, uint8_t *dst0, uint8_t *dst1, x86_reg count)
2384 {
2385     dst0 +=   count;
2386     dst1 +=   count;
2387     src0 += 4*count;
2388     src1 += 4*count;
2389     count= - count;
2390 #ifdef PAVGB
2391     if(count <= -8) {
2392         count += 7;
2393         __asm__ volatile(
2394             "pcmpeqw        %%mm7, %%mm7        \n\t"
2395             "psrlw             $8, %%mm7        \n\t"
2396             "1:                                \n\t"
2397             "movq  -28(%1, %0, 4), %%mm0        \n\t"
2398             "movq  -20(%1, %0, 4), %%mm1        \n\t"
2399             "movq  -12(%1, %0, 4), %%mm2        \n\t"
2400             "movq   -4(%1, %0, 4), %%mm3        \n\t"
2401             PAVGB" -28(%2, %0, 4), %%mm0        \n\t"
2402             PAVGB" -20(%2, %0, 4), %%mm1        \n\t"
2403             PAVGB" -12(%2, %0, 4), %%mm2        \n\t"
2404             PAVGB" - 4(%2, %0, 4), %%mm3        \n\t"
2405             "psrlw             $8, %%mm0        \n\t"
2406             "psrlw             $8, %%mm1        \n\t"
2407             "psrlw             $8, %%mm2        \n\t"
2408             "psrlw             $8, %%mm3        \n\t"
2409             "packuswb       %%mm1, %%mm0        \n\t"
2410             "packuswb       %%mm3, %%mm2        \n\t"
2411             "movq           %%mm0, %%mm1        \n\t"
2412             "movq           %%mm2, %%mm3        \n\t"
2413             "psrlw             $8, %%mm0        \n\t"
2414             "psrlw             $8, %%mm2        \n\t"
2415             "pand           %%mm7, %%mm1        \n\t"
2416             "pand           %%mm7, %%mm3        \n\t"
2417             "packuswb       %%mm2, %%mm0        \n\t"
2418             "packuswb       %%mm3, %%mm1        \n\t"
2419             MOVNTQ"         %%mm0,- 7(%4, %0)   \n\t"
2420             MOVNTQ"         %%mm1,- 7(%3, %0)   \n\t"
2421             "add               $8, %0           \n\t"
2422             " js 1b                            \n\t"
2423             : "+r"(count)
2424             : "r"(src0), "r"(src1), "r"(dst0), "r"(dst1)
2425         );
2426         count -= 7;
2427     }
2428 #endif
2429     src0++;
2430     src1++;
2431     while(count<0) {
2432         dst0[count]= (src0[4*count+0]+src1[4*count+0])>>1;
2433         dst1[count]= (src0[4*count+2]+src1[4*count+2])>>1;
2434         count++;
2435     }
2436 }
2437
2438 static void RENAME(yuyvtoyuv420)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
2439                                  int width, int height,
2440                                  int lumStride, int chromStride, int srcStride)
2441 {
2442     int y;
2443     const int chromWidth = AV_CEIL_RSHIFT(width, 1);
2444
2445     for (y=0; y<height; y++) {
2446         RENAME(extract_even)(src, ydst, width);
2447         if(y&1) {
2448             RENAME(extract_odd2avg)(src-srcStride, src, udst, vdst, chromWidth);
2449             udst+= chromStride;
2450             vdst+= chromStride;
2451         }
2452
2453         src += srcStride;
2454         ydst+= lumStride;
2455     }
2456     __asm__(
2457             EMMS"       \n\t"
2458             SFENCE"     \n\t"
2459             ::: "memory"
2460         );
2461 }
2462
2463 #if !COMPILE_TEMPLATE_AMD3DNOW
2464 static void RENAME(yuyvtoyuv422)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
2465                                  int width, int height,
2466                                  int lumStride, int chromStride, int srcStride)
2467 {
2468     int y;
2469     const int chromWidth = AV_CEIL_RSHIFT(width, 1);
2470
2471     for (y=0; y<height; y++) {
2472         RENAME(extract_even)(src, ydst, width);
2473         RENAME(extract_odd2)(src, udst, vdst, chromWidth);
2474
2475         src += srcStride;
2476         ydst+= lumStride;
2477         udst+= chromStride;
2478         vdst+= chromStride;
2479     }
2480     __asm__(
2481             EMMS"       \n\t"
2482             SFENCE"     \n\t"
2483             ::: "memory"
2484         );
2485 }
2486 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
2487
2488 static void RENAME(uyvytoyuv420)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
2489                                  int width, int height,
2490                                  int lumStride, int chromStride, int srcStride)
2491 {
2492     int y;
2493     const int chromWidth = AV_CEIL_RSHIFT(width, 1);
2494
2495     for (y=0; y<height; y++) {
2496         RENAME(extract_odd)(src, ydst, width);
2497         if(y&1) {
2498             RENAME(extract_even2avg)(src-srcStride, src, udst, vdst, chromWidth);
2499             udst+= chromStride;
2500             vdst+= chromStride;
2501         }
2502
2503         src += srcStride;
2504         ydst+= lumStride;
2505     }
2506     __asm__(
2507             EMMS"       \n\t"
2508             SFENCE"     \n\t"
2509             ::: "memory"
2510         );
2511 }
2512
2513 #if !COMPILE_TEMPLATE_AMD3DNOW
2514 static void RENAME(uyvytoyuv422)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
2515                                  int width, int height,
2516                                  int lumStride, int chromStride, int srcStride)
2517 {
2518     int y;
2519     const int chromWidth = AV_CEIL_RSHIFT(width, 1);
2520
2521     for (y=0; y<height; y++) {
2522         RENAME(extract_odd)(src, ydst, width);
2523         RENAME(extract_even2)(src, udst, vdst, chromWidth);
2524
2525         src += srcStride;
2526         ydst+= lumStride;
2527         udst+= chromStride;
2528         vdst+= chromStride;
2529     }
2530     __asm__(
2531             EMMS"       \n\t"
2532             SFENCE"     \n\t"
2533             ::: "memory"
2534         );
2535 }
2536 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
2537 #endif /* !COMPILE_TEMPLATE_SSE2 */
2538
2539 static av_cold void RENAME(rgb2rgb_init)(void)
2540 {
2541 #if !COMPILE_TEMPLATE_SSE2
2542 #if !COMPILE_TEMPLATE_AMD3DNOW
2543     rgb15to16          = RENAME(rgb15to16);
2544     rgb15tobgr24       = RENAME(rgb15tobgr24);
2545     rgb15to32          = RENAME(rgb15to32);
2546     rgb16tobgr24       = RENAME(rgb16tobgr24);
2547     rgb16to32          = RENAME(rgb16to32);
2548     rgb16to15          = RENAME(rgb16to15);
2549     rgb24tobgr16       = RENAME(rgb24tobgr16);
2550     rgb24tobgr15       = RENAME(rgb24tobgr15);
2551     rgb24tobgr32       = RENAME(rgb24tobgr32);
2552     rgb32to16          = RENAME(rgb32to16);
2553     rgb32to15          = RENAME(rgb32to15);
2554     rgb32tobgr24       = RENAME(rgb32tobgr24);
2555     rgb24to15          = RENAME(rgb24to15);
2556     rgb24to16          = RENAME(rgb24to16);
2557     rgb24tobgr24       = RENAME(rgb24tobgr24);
2558 #if COMPILE_TEMPLATE_MMXEXT
2559     shuffle_bytes_2103 = RENAME(shuffle_bytes_2103);
2560 #endif
2561     rgb32tobgr16       = RENAME(rgb32tobgr16);
2562     rgb32tobgr15       = RENAME(rgb32tobgr15);
2563     yv12toyuy2         = RENAME(yv12toyuy2);
2564     yv12touyvy         = RENAME(yv12touyvy);
2565     yuv422ptoyuy2      = RENAME(yuv422ptoyuy2);
2566     yuv422ptouyvy      = RENAME(yuv422ptouyvy);
2567     yuy2toyv12         = RENAME(yuy2toyv12);
2568     vu9_to_vu12        = RENAME(vu9_to_vu12);
2569     yvu9_to_yuy2       = RENAME(yvu9_to_yuy2);
2570     uyvytoyuv422       = RENAME(uyvytoyuv422);
2571     yuyvtoyuv422       = RENAME(yuyvtoyuv422);
2572 #endif /* !COMPILE_TEMPLATE_AMD3DNOW */
2573
2574 #if COMPILE_TEMPLATE_MMXEXT || COMPILE_TEMPLATE_AMD3DNOW
2575     planar2x           = RENAME(planar2x);
2576 #endif /* COMPILE_TEMPLATE_MMXEXT || COMPILE_TEMPLATE_AMD3DNOW */
2577 #if HAVE_7REGS
2578     ff_rgb24toyv12     = RENAME(rgb24toyv12);
2579 #endif /* HAVE_7REGS */
2580
2581     yuyvtoyuv420       = RENAME(yuyvtoyuv420);
2582     uyvytoyuv420       = RENAME(uyvytoyuv420);
2583 #endif /* !COMPILE_TEMPLATE_SSE2 */
2584
2585 #if !COMPILE_TEMPLATE_AMD3DNOW && !COMPILE_TEMPLATE_AVX
2586     interleaveBytes    = RENAME(interleaveBytes);
2587 #endif /* !COMPILE_TEMPLATE_AMD3DNOW && !COMPILE_TEMPLATE_AVX */
2588 #if !COMPILE_TEMPLATE_AVX || HAVE_AVX_EXTERNAL
2589 #if !COMPILE_TEMPLATE_AMD3DNOW && (ARCH_X86_32 || COMPILE_TEMPLATE_SSE2) && COMPILE_TEMPLATE_MMXEXT == COMPILE_TEMPLATE_SSE2 && HAVE_X86ASM
2590     deinterleaveBytes  = RENAME(deinterleaveBytes);
2591 #endif
2592 #endif
2593 }