swscale: avoid reading prior to the source buffer in planar2x() MMX2
[ffmpeg.git] / libswscale / rgb2rgb.c
1 /*
2  * software RGB to RGB converter
3  * pluralize by software PAL8 to RGB converter
4  *              software YUV to YUV converter
5  *              software YUV to RGB converter
6  * Written by Nick Kurshev.
7  * palette & YUV & runtime CPU stuff by Michael (michaelni@gmx.at)
8  *
9  * This file is part of FFmpeg.
10  *
11  * FFmpeg is free software; you can redistribute it and/or
12  * modify it under the terms of the GNU Lesser General Public
13  * License as published by the Free Software Foundation; either
14  * version 2.1 of the License, or (at your option) any later version.
15  *
16  * FFmpeg is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
19  * Lesser General Public License for more details.
20  *
21  * You should have received a copy of the GNU Lesser General Public
22  * License along with FFmpeg; if not, write to the Free Software
23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
24  */
25 #include <inttypes.h>
26 #include "config.h"
27 #include "libavutil/x86_cpu.h"
28 #include "libavutil/bswap.h"
29 #include "rgb2rgb.h"
30 #include "swscale.h"
31 #include "swscale_internal.h"
32
33 #define FAST_BGR2YV12 // use 7-bit instead of 15-bit coefficients
34
35 void (*rgb24tobgr32)(const uint8_t *src, uint8_t *dst, long src_size);
36 void (*rgb24tobgr16)(const uint8_t *src, uint8_t *dst, long src_size);
37 void (*rgb24tobgr15)(const uint8_t *src, uint8_t *dst, long src_size);
38 void (*rgb32tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
39 void (*rgb32to16)(const uint8_t *src, uint8_t *dst, long src_size);
40 void (*rgb32to15)(const uint8_t *src, uint8_t *dst, long src_size);
41 void (*rgb15to16)(const uint8_t *src, uint8_t *dst, long src_size);
42 void (*rgb15tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
43 void (*rgb15to32)(const uint8_t *src, uint8_t *dst, long src_size);
44 void (*rgb16to15)(const uint8_t *src, uint8_t *dst, long src_size);
45 void (*rgb16tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
46 void (*rgb16to32)(const uint8_t *src, uint8_t *dst, long src_size);
47 void (*rgb24tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
48 void (*rgb24to16)(const uint8_t *src, uint8_t *dst, long src_size);
49 void (*rgb24to15)(const uint8_t *src, uint8_t *dst, long src_size);
50 void (*shuffle_bytes_2103)(const uint8_t *src, uint8_t *dst, long src_size);
51 void (*rgb32tobgr16)(const uint8_t *src, uint8_t *dst, long src_size);
52 void (*rgb32tobgr15)(const uint8_t *src, uint8_t *dst, long src_size);
53
54 void (*yv12toyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
55                    long width, long height,
56                    long lumStride, long chromStride, long dstStride);
57 void (*yv12touyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
58                    long width, long height,
59                    long lumStride, long chromStride, long dstStride);
60 void (*yuv422ptoyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
61                       long width, long height,
62                       long lumStride, long chromStride, long dstStride);
63 void (*yuv422ptouyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
64                       long width, long height,
65                       long lumStride, long chromStride, long dstStride);
66 void (*yuy2toyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
67                    long width, long height,
68                    long lumStride, long chromStride, long srcStride);
69 void (*rgb24toyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
70                     long width, long height,
71                     long lumStride, long chromStride, long srcStride);
72 void (*planar2x)(const uint8_t *src, uint8_t *dst, long width, long height,
73                  long srcStride, long dstStride);
74 void (*interleaveBytes)(const uint8_t *src1, const uint8_t *src2, uint8_t *dst,
75                         long width, long height, long src1Stride,
76                         long src2Stride, long dstStride);
77 void (*vu9_to_vu12)(const uint8_t *src1, const uint8_t *src2,
78                     uint8_t *dst1, uint8_t *dst2,
79                     long width, long height,
80                     long srcStride1, long srcStride2,
81                     long dstStride1, long dstStride2);
82 void (*yvu9_to_yuy2)(const uint8_t *src1, const uint8_t *src2, const uint8_t *src3,
83                      uint8_t *dst,
84                      long width, long height,
85                      long srcStride1, long srcStride2,
86                      long srcStride3, long dstStride);
87 void (*uyvytoyuv420)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
88                      long width, long height,
89                      long lumStride, long chromStride, long srcStride);
90 void (*uyvytoyuv422)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
91                      long width, long height,
92                      long lumStride, long chromStride, long srcStride);
93 void (*yuyvtoyuv420)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
94                      long width, long height,
95                      long lumStride, long chromStride, long srcStride);
96 void (*yuyvtoyuv422)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
97                      long width, long height,
98                      long lumStride, long chromStride, long srcStride);
99
100
101 #if ARCH_X86
102 DECLARE_ASM_CONST(8, uint64_t, mmx_ff)       = 0x00000000000000FFULL;
103 DECLARE_ASM_CONST(8, uint64_t, mmx_null)     = 0x0000000000000000ULL;
104 DECLARE_ASM_CONST(8, uint64_t, mmx_one)      = 0xFFFFFFFFFFFFFFFFULL;
105 DECLARE_ASM_CONST(8, uint64_t, mask32b)      = 0x000000FF000000FFULL;
106 DECLARE_ASM_CONST(8, uint64_t, mask32g)      = 0x0000FF000000FF00ULL;
107 DECLARE_ASM_CONST(8, uint64_t, mask32r)      = 0x00FF000000FF0000ULL;
108 DECLARE_ASM_CONST(8, uint64_t, mask32a)      = 0xFF000000FF000000ULL;
109 DECLARE_ASM_CONST(8, uint64_t, mask32)       = 0x00FFFFFF00FFFFFFULL;
110 DECLARE_ASM_CONST(8, uint64_t, mask3216br)   = 0x00F800F800F800F8ULL;
111 DECLARE_ASM_CONST(8, uint64_t, mask3216g)    = 0x0000FC000000FC00ULL;
112 DECLARE_ASM_CONST(8, uint64_t, mask3215g)    = 0x0000F8000000F800ULL;
113 DECLARE_ASM_CONST(8, uint64_t, mul3216)      = 0x2000000420000004ULL;
114 DECLARE_ASM_CONST(8, uint64_t, mul3215)      = 0x2000000820000008ULL;
115 DECLARE_ASM_CONST(8, uint64_t, mask24b)      = 0x00FF0000FF0000FFULL;
116 DECLARE_ASM_CONST(8, uint64_t, mask24g)      = 0xFF0000FF0000FF00ULL;
117 DECLARE_ASM_CONST(8, uint64_t, mask24r)      = 0x0000FF0000FF0000ULL;
118 DECLARE_ASM_CONST(8, uint64_t, mask24l)      = 0x0000000000FFFFFFULL;
119 DECLARE_ASM_CONST(8, uint64_t, mask24h)      = 0x0000FFFFFF000000ULL;
120 DECLARE_ASM_CONST(8, uint64_t, mask24hh)     = 0xffff000000000000ULL;
121 DECLARE_ASM_CONST(8, uint64_t, mask24hhh)    = 0xffffffff00000000ULL;
122 DECLARE_ASM_CONST(8, uint64_t, mask24hhhh)   = 0xffffffffffff0000ULL;
123 DECLARE_ASM_CONST(8, uint64_t, mask15b)      = 0x001F001F001F001FULL; /* 00000000 00011111  xxB */
124 DECLARE_ASM_CONST(8, uint64_t, mask15rg)     = 0x7FE07FE07FE07FE0ULL; /* 01111111 11100000  RGx */
125 DECLARE_ASM_CONST(8, uint64_t, mask15s)      = 0xFFE0FFE0FFE0FFE0ULL;
126 DECLARE_ASM_CONST(8, uint64_t, mask15g)      = 0x03E003E003E003E0ULL;
127 DECLARE_ASM_CONST(8, uint64_t, mask15r)      = 0x7C007C007C007C00ULL;
128 #define mask16b mask15b
129 DECLARE_ASM_CONST(8, uint64_t, mask16g)      = 0x07E007E007E007E0ULL;
130 DECLARE_ASM_CONST(8, uint64_t, mask16r)      = 0xF800F800F800F800ULL;
131 DECLARE_ASM_CONST(8, uint64_t, red_16mask)   = 0x0000f8000000f800ULL;
132 DECLARE_ASM_CONST(8, uint64_t, green_16mask) = 0x000007e0000007e0ULL;
133 DECLARE_ASM_CONST(8, uint64_t, blue_16mask)  = 0x0000001f0000001fULL;
134 DECLARE_ASM_CONST(8, uint64_t, red_15mask)   = 0x00007c0000007c00ULL;
135 DECLARE_ASM_CONST(8, uint64_t, green_15mask) = 0x000003e0000003e0ULL;
136 DECLARE_ASM_CONST(8, uint64_t, blue_15mask)  = 0x0000001f0000001fULL;
137 #endif /* ARCH_X86 */
138
139 #define RGB2YUV_SHIFT 8
140 #define BY ((int)( 0.098*(1<<RGB2YUV_SHIFT)+0.5))
141 #define BV ((int)(-0.071*(1<<RGB2YUV_SHIFT)+0.5))
142 #define BU ((int)( 0.439*(1<<RGB2YUV_SHIFT)+0.5))
143 #define GY ((int)( 0.504*(1<<RGB2YUV_SHIFT)+0.5))
144 #define GV ((int)(-0.368*(1<<RGB2YUV_SHIFT)+0.5))
145 #define GU ((int)(-0.291*(1<<RGB2YUV_SHIFT)+0.5))
146 #define RY ((int)( 0.257*(1<<RGB2YUV_SHIFT)+0.5))
147 #define RV ((int)( 0.439*(1<<RGB2YUV_SHIFT)+0.5))
148 #define RU ((int)(-0.148*(1<<RGB2YUV_SHIFT)+0.5))
149
150 //Note: We have C, MMX, MMX2, 3DNOW versions, there is no 3DNOW + MMX2 one.
151 //plain C versions
152 #undef HAVE_MMX
153 #undef HAVE_MMX2
154 #undef HAVE_AMD3DNOW
155 #undef HAVE_SSE2
156 #define HAVE_MMX 0
157 #define HAVE_MMX2 0
158 #define HAVE_AMD3DNOW 0
159 #define HAVE_SSE2 0
160 #define RENAME(a) a ## _C
161 #include "rgb2rgb_template.c"
162
163 #if ARCH_X86
164
165 //MMX versions
166 #undef RENAME
167 #undef HAVE_MMX
168 #define HAVE_MMX 1
169 #define RENAME(a) a ## _MMX
170 #include "rgb2rgb_template.c"
171
172 //MMX2 versions
173 #undef RENAME
174 #undef HAVE_MMX2
175 #define HAVE_MMX2 1
176 #define RENAME(a) a ## _MMX2
177 #include "rgb2rgb_template.c"
178
179 //SSE2 versions
180 #undef RENAME
181 #undef HAVE_SSE2
182 #define HAVE_SSE2 1
183 #define RENAME(a) a ## _SSE2
184 #include "rgb2rgb_template.c"
185
186 //3DNOW versions
187 #undef RENAME
188 #undef HAVE_MMX2
189 #undef HAVE_SSE2
190 #undef HAVE_AMD3DNOW
191 #define HAVE_MMX2 0
192 #define HAVE_SSE2 0
193 #define HAVE_AMD3DNOW 1
194 #define RENAME(a) a ## _3DNOW
195 #include "rgb2rgb_template.c"
196
197 #endif //ARCH_X86 || ARCH_X86_64
198
199 /*
200  RGB15->RGB16 original by Strepto/Astral
201  ported to gcc & bugfixed : A'rpi
202  MMX2, 3DNOW optimization by Nick Kurshev
203  32-bit C version, and and&add trick by Michael Niedermayer
204 */
205
206 void sws_rgb2rgb_init(int flags)
207 {
208 #if HAVE_MMX2 || HAVE_AMD3DNOW || HAVE_MMX
209     if (flags & SWS_CPU_CAPS_SSE2)
210         rgb2rgb_init_SSE2();
211     else if (flags & SWS_CPU_CAPS_MMX2)
212         rgb2rgb_init_MMX2();
213     else if (flags & SWS_CPU_CAPS_3DNOW)
214         rgb2rgb_init_3DNOW();
215     else if (flags & SWS_CPU_CAPS_MMX)
216         rgb2rgb_init_MMX();
217     else
218 #endif /* HAVE_MMX2 || HAVE_AMD3DNOW || HAVE_MMX */
219         rgb2rgb_init_C();
220 }
221
222 #if LIBSWSCALE_VERSION_MAJOR < 1
223 void palette8topacked32(const uint8_t *src, uint8_t *dst, long num_pixels, const uint8_t *palette)
224 {
225     sws_convertPalette8ToPacked32(src, dst, num_pixels, palette);
226 }
227
228 void palette8topacked24(const uint8_t *src, uint8_t *dst, long num_pixels, const uint8_t *palette)
229 {
230     sws_convertPalette8ToPacked24(src, dst, num_pixels, palette);
231 }
232
233 /**
234  * Palette is assumed to contain BGR16, see rgb32to16 to convert the palette.
235  */
236 void palette8torgb16(const uint8_t *src, uint8_t *dst, long num_pixels, const uint8_t *palette)
237 {
238     long i;
239     for (i=0; i<num_pixels; i++)
240         ((uint16_t *)dst)[i] = ((const uint16_t *)palette)[src[i]];
241 }
242 void palette8tobgr16(const uint8_t *src, uint8_t *dst, long num_pixels, const uint8_t *palette)
243 {
244     long i;
245     for (i=0; i<num_pixels; i++)
246         ((uint16_t *)dst)[i] = av_bswap16(((const uint16_t *)palette)[src[i]]);
247 }
248 #endif
249
250 void rgb32to24(const uint8_t *src, uint8_t *dst, long src_size)
251 {
252     long i;
253     long num_pixels = src_size >> 2;
254     for (i=0; i<num_pixels; i++) {
255 #if HAVE_BIGENDIAN
256         /* RGB32 (= A,B,G,R) -> BGR24 (= B,G,R) */
257         dst[3*i + 0] = src[4*i + 1];
258         dst[3*i + 1] = src[4*i + 2];
259         dst[3*i + 2] = src[4*i + 3];
260 #else
261         dst[3*i + 0] = src[4*i + 2];
262         dst[3*i + 1] = src[4*i + 1];
263         dst[3*i + 2] = src[4*i + 0];
264 #endif
265     }
266 }
267
268 void rgb24to32(const uint8_t *src, uint8_t *dst, long src_size)
269 {
270     long i;
271     for (i=0; 3*i<src_size; i++) {
272 #if HAVE_BIGENDIAN
273         /* RGB24 (= R,G,B) -> BGR32 (= A,R,G,B) */
274         dst[4*i + 0] = 255;
275         dst[4*i + 1] = src[3*i + 0];
276         dst[4*i + 2] = src[3*i + 1];
277         dst[4*i + 3] = src[3*i + 2];
278 #else
279         dst[4*i + 0] = src[3*i + 2];
280         dst[4*i + 1] = src[3*i + 1];
281         dst[4*i + 2] = src[3*i + 0];
282         dst[4*i + 3] = 255;
283 #endif
284     }
285 }
286
287 void rgb16tobgr32(const uint8_t *src, uint8_t *dst, long src_size)
288 {
289     const uint16_t *end;
290     uint8_t *d = dst;
291     const uint16_t *s = (const uint16_t *)src;
292     end = s + src_size/2;
293     while (s < end) {
294         register uint16_t bgr;
295         bgr = *s++;
296 #if HAVE_BIGENDIAN
297         *d++ = 255;
298         *d++ = (bgr&0x1F)<<3;
299         *d++ = (bgr&0x7E0)>>3;
300         *d++ = (bgr&0xF800)>>8;
301 #else
302         *d++ = (bgr&0xF800)>>8;
303         *d++ = (bgr&0x7E0)>>3;
304         *d++ = (bgr&0x1F)<<3;
305         *d++ = 255;
306 #endif
307     }
308 }
309
310 void rgb16to24(const uint8_t *src, uint8_t *dst, long src_size)
311 {
312     const uint16_t *end;
313     uint8_t *d = dst;
314     const uint16_t *s = (const uint16_t *)src;
315     end = s + src_size/2;
316     while (s < end) {
317         register uint16_t bgr;
318         bgr = *s++;
319         *d++ = (bgr&0xF800)>>8;
320         *d++ = (bgr&0x7E0)>>3;
321         *d++ = (bgr&0x1F)<<3;
322     }
323 }
324
325 void rgb16tobgr16(const uint8_t *src, uint8_t *dst, long src_size)
326 {
327     long i;
328     long num_pixels = src_size >> 1;
329
330     for (i=0; i<num_pixels; i++) {
331         unsigned rgb = ((const uint16_t*)src)[i];
332         ((uint16_t*)dst)[i] = (rgb>>11) | (rgb&0x7E0) | (rgb<<11);
333     }
334 }
335
336 void rgb16tobgr15(const uint8_t *src, uint8_t *dst, long src_size)
337 {
338     long i;
339     long num_pixels = src_size >> 1;
340
341     for (i=0; i<num_pixels; i++) {
342         unsigned rgb = ((const uint16_t*)src)[i];
343         ((uint16_t*)dst)[i] = (rgb>>11) | ((rgb&0x7C0)>>1) | ((rgb&0x1F)<<10);
344     }
345 }
346
347 void rgb15tobgr32(const uint8_t *src, uint8_t *dst, long src_size)
348 {
349     const uint16_t *end;
350     uint8_t *d = dst;
351     const uint16_t *s = (const uint16_t *)src;
352     end = s + src_size/2;
353     while (s < end) {
354         register uint16_t bgr;
355         bgr = *s++;
356 #if HAVE_BIGENDIAN
357         *d++ = 255;
358         *d++ = (bgr&0x1F)<<3;
359         *d++ = (bgr&0x3E0)>>2;
360         *d++ = (bgr&0x7C00)>>7;
361 #else
362         *d++ = (bgr&0x7C00)>>7;
363         *d++ = (bgr&0x3E0)>>2;
364         *d++ = (bgr&0x1F)<<3;
365         *d++ = 255;
366 #endif
367     }
368 }
369
370 void rgb15to24(const uint8_t *src, uint8_t *dst, long src_size)
371 {
372     const uint16_t *end;
373     uint8_t *d = dst;
374     const uint16_t *s = (const uint16_t *)src;
375     end = s + src_size/2;
376     while (s < end) {
377         register uint16_t bgr;
378         bgr = *s++;
379         *d++ = (bgr&0x7C00)>>7;
380         *d++ = (bgr&0x3E0)>>2;
381         *d++ = (bgr&0x1F)<<3;
382     }
383 }
384
385 void rgb15tobgr16(const uint8_t *src, uint8_t *dst, long src_size)
386 {
387     long i;
388     long num_pixels = src_size >> 1;
389
390     for (i=0; i<num_pixels; i++) {
391         unsigned rgb = ((const uint16_t*)src)[i];
392         ((uint16_t*)dst)[i] = ((rgb&0x7C00)>>10) | ((rgb&0x3E0)<<1) | (rgb<<11);
393     }
394 }
395
396 void rgb15tobgr15(const uint8_t *src, uint8_t *dst, long src_size)
397 {
398     long i;
399     long num_pixels = src_size >> 1;
400
401     for (i=0; i<num_pixels; i++) {
402         unsigned br;
403         unsigned rgb = ((const uint16_t*)src)[i];
404         br = rgb&0x7c1F;
405         ((uint16_t*)dst)[i] = (br>>10) | (rgb&0x3E0) | (br<<10);
406     }
407 }
408
409 void bgr8torgb8(const uint8_t *src, uint8_t *dst, long src_size)
410 {
411     long i;
412     long num_pixels = src_size;
413     for (i=0; i<num_pixels; i++) {
414         unsigned b,g,r;
415         register uint8_t rgb;
416         rgb = src[i];
417         r = (rgb&0x07);
418         g = (rgb&0x38)>>3;
419         b = (rgb&0xC0)>>6;
420         dst[i] = ((b<<1)&0x07) | ((g&0x07)<<3) | ((r&0x03)<<6);
421     }
422 }
423
424 #define DEFINE_SHUFFLE_BYTES(a, b, c, d)                                \
425 void shuffle_bytes_##a##b##c##d(const uint8_t *src, uint8_t *dst, long src_size) \
426 {                                                                       \
427     long i;                                                             \
428                                                                         \
429     for (i = 0; i < src_size; i+=4) {                                   \
430         dst[i + 0] = src[i + a];                                        \
431         dst[i + 1] = src[i + b];                                        \
432         dst[i + 2] = src[i + c];                                        \
433         dst[i + 3] = src[i + d];                                        \
434     }                                                                   \
435 }
436
437 DEFINE_SHUFFLE_BYTES(0, 3, 2, 1);
438 DEFINE_SHUFFLE_BYTES(1, 2, 3, 0);
439 DEFINE_SHUFFLE_BYTES(3, 0, 1, 2);
440 DEFINE_SHUFFLE_BYTES(3, 2, 1, 0);
441