swscale: fix clipping of 9/10bit YUV420P.
[ffmpeg.git] / libswscale / rgb2rgb.c
1 /*
2  * software RGB to RGB converter
3  * pluralize by software PAL8 to RGB converter
4  *              software YUV to YUV converter
5  *              software YUV to RGB converter
6  * Written by Nick Kurshev.
7  * palette & YUV & runtime CPU stuff by Michael (michaelni@gmx.at)
8  *
9  * This file is part of Libav.
10  *
11  * Libav is free software; you can redistribute it and/or
12  * modify it under the terms of the GNU Lesser General Public
13  * License as published by the Free Software Foundation; either
14  * version 2.1 of the License, or (at your option) any later version.
15  *
16  * Libav is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
19  * Lesser General Public License for more details.
20  *
21  * You should have received a copy of the GNU Lesser General Public
22  * License along with Libav; if not, write to the Free Software
23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
24  */
25 #include <inttypes.h>
26 #include "config.h"
27 #include "libavutil/bswap.h"
28 #include "rgb2rgb.h"
29 #include "swscale.h"
30 #include "swscale_internal.h"
31
32 void (*rgb24tobgr32)(const uint8_t *src, uint8_t *dst, long src_size);
33 void (*rgb24tobgr16)(const uint8_t *src, uint8_t *dst, long src_size);
34 void (*rgb24tobgr15)(const uint8_t *src, uint8_t *dst, long src_size);
35 void (*rgb32tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
36 void (*rgb32to16)(const uint8_t *src, uint8_t *dst, long src_size);
37 void (*rgb32to15)(const uint8_t *src, uint8_t *dst, long src_size);
38 void (*rgb15to16)(const uint8_t *src, uint8_t *dst, long src_size);
39 void (*rgb15tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
40 void (*rgb15to32)(const uint8_t *src, uint8_t *dst, long src_size);
41 void (*rgb16to15)(const uint8_t *src, uint8_t *dst, long src_size);
42 void (*rgb16tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
43 void (*rgb16to32)(const uint8_t *src, uint8_t *dst, long src_size);
44 void (*rgb24tobgr24)(const uint8_t *src, uint8_t *dst, long src_size);
45 void (*rgb24to16)(const uint8_t *src, uint8_t *dst, long src_size);
46 void (*rgb24to15)(const uint8_t *src, uint8_t *dst, long src_size);
47 void (*shuffle_bytes_2103)(const uint8_t *src, uint8_t *dst, long src_size);
48 void (*rgb32tobgr16)(const uint8_t *src, uint8_t *dst, long src_size);
49 void (*rgb32tobgr15)(const uint8_t *src, uint8_t *dst, long src_size);
50
51 void (*yv12toyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
52                    long width, long height,
53                    long lumStride, long chromStride, long dstStride);
54 void (*yv12touyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
55                    long width, long height,
56                    long lumStride, long chromStride, long dstStride);
57 void (*yuv422ptoyuy2)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
58                       long width, long height,
59                       long lumStride, long chromStride, long dstStride);
60 void (*yuv422ptouyvy)(const uint8_t *ysrc, const uint8_t *usrc, const uint8_t *vsrc, uint8_t *dst,
61                       long width, long height,
62                       long lumStride, long chromStride, long dstStride);
63 void (*yuy2toyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
64                    long width, long height,
65                    long lumStride, long chromStride, long srcStride);
66 void (*rgb24toyv12)(const uint8_t *src, uint8_t *ydst, uint8_t *udst, uint8_t *vdst,
67                     long width, long height,
68                     long lumStride, long chromStride, long srcStride);
69 void (*planar2x)(const uint8_t *src, uint8_t *dst, long width, long height,
70                  long srcStride, long dstStride);
71 void (*interleaveBytes)(const uint8_t *src1, const uint8_t *src2, uint8_t *dst,
72                         long width, long height, long src1Stride,
73                         long src2Stride, long dstStride);
74 void (*vu9_to_vu12)(const uint8_t *src1, const uint8_t *src2,
75                     uint8_t *dst1, uint8_t *dst2,
76                     long width, long height,
77                     long srcStride1, long srcStride2,
78                     long dstStride1, long dstStride2);
79 void (*yvu9_to_yuy2)(const uint8_t *src1, const uint8_t *src2, const uint8_t *src3,
80                      uint8_t *dst,
81                      long width, long height,
82                      long srcStride1, long srcStride2,
83                      long srcStride3, long dstStride);
84 void (*uyvytoyuv420)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
85                      long width, long height,
86                      long lumStride, long chromStride, long srcStride);
87 void (*uyvytoyuv422)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
88                      long width, long height,
89                      long lumStride, long chromStride, long srcStride);
90 void (*yuyvtoyuv420)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
91                      long width, long height,
92                      long lumStride, long chromStride, long srcStride);
93 void (*yuyvtoyuv422)(uint8_t *ydst, uint8_t *udst, uint8_t *vdst, const uint8_t *src,
94                      long width, long height,
95                      long lumStride, long chromStride, long srcStride);
96
97 #define RGB2YUV_SHIFT 8
98 #define BY ((int)( 0.098*(1<<RGB2YUV_SHIFT)+0.5))
99 #define BV ((int)(-0.071*(1<<RGB2YUV_SHIFT)+0.5))
100 #define BU ((int)( 0.439*(1<<RGB2YUV_SHIFT)+0.5))
101 #define GY ((int)( 0.504*(1<<RGB2YUV_SHIFT)+0.5))
102 #define GV ((int)(-0.368*(1<<RGB2YUV_SHIFT)+0.5))
103 #define GU ((int)(-0.291*(1<<RGB2YUV_SHIFT)+0.5))
104 #define RY ((int)( 0.257*(1<<RGB2YUV_SHIFT)+0.5))
105 #define RV ((int)( 0.439*(1<<RGB2YUV_SHIFT)+0.5))
106 #define RU ((int)(-0.148*(1<<RGB2YUV_SHIFT)+0.5))
107
108 //plain C versions
109 #include "rgb2rgb_template.c"
110
111
112 /*
113  RGB15->RGB16 original by Strepto/Astral
114  ported to gcc & bugfixed : A'rpi
115  MMX2, 3DNOW optimization by Nick Kurshev
116  32-bit C version, and and&add trick by Michael Niedermayer
117 */
118
119 void sws_rgb2rgb_init(int flags)
120 {
121     rgb2rgb_init_c();
122 #if HAVE_MMX2 || HAVE_AMD3DNOW || HAVE_MMX
123     rgb2rgb_init_x86(flags);
124 #endif /* HAVE_MMX2 || HAVE_AMD3DNOW || HAVE_MMX */
125 }
126
127 void rgb32to24(const uint8_t *src, uint8_t *dst, long src_size)
128 {
129     long i;
130     long num_pixels = src_size >> 2;
131     for (i=0; i<num_pixels; i++) {
132 #if HAVE_BIGENDIAN
133         /* RGB32 (= A,B,G,R) -> BGR24 (= B,G,R) */
134         dst[3*i + 0] = src[4*i + 1];
135         dst[3*i + 1] = src[4*i + 2];
136         dst[3*i + 2] = src[4*i + 3];
137 #else
138         dst[3*i + 0] = src[4*i + 2];
139         dst[3*i + 1] = src[4*i + 1];
140         dst[3*i + 2] = src[4*i + 0];
141 #endif
142     }
143 }
144
145 void rgb24to32(const uint8_t *src, uint8_t *dst, long src_size)
146 {
147     long i;
148     for (i=0; 3*i<src_size; i++) {
149 #if HAVE_BIGENDIAN
150         /* RGB24 (= R,G,B) -> BGR32 (= A,R,G,B) */
151         dst[4*i + 0] = 255;
152         dst[4*i + 1] = src[3*i + 0];
153         dst[4*i + 2] = src[3*i + 1];
154         dst[4*i + 3] = src[3*i + 2];
155 #else
156         dst[4*i + 0] = src[3*i + 2];
157         dst[4*i + 1] = src[3*i + 1];
158         dst[4*i + 2] = src[3*i + 0];
159         dst[4*i + 3] = 255;
160 #endif
161     }
162 }
163
164 void rgb16tobgr32(const uint8_t *src, uint8_t *dst, long src_size)
165 {
166     const uint16_t *end;
167     uint8_t *d = dst;
168     const uint16_t *s = (const uint16_t *)src;
169     end = s + src_size/2;
170     while (s < end) {
171         register uint16_t bgr;
172         bgr = *s++;
173 #if HAVE_BIGENDIAN
174         *d++ = 255;
175         *d++ = (bgr&0x1F)<<3;
176         *d++ = (bgr&0x7E0)>>3;
177         *d++ = (bgr&0xF800)>>8;
178 #else
179         *d++ = (bgr&0xF800)>>8;
180         *d++ = (bgr&0x7E0)>>3;
181         *d++ = (bgr&0x1F)<<3;
182         *d++ = 255;
183 #endif
184     }
185 }
186
187 void rgb16to24(const uint8_t *src, uint8_t *dst, long src_size)
188 {
189     const uint16_t *end;
190     uint8_t *d = dst;
191     const uint16_t *s = (const uint16_t *)src;
192     end = s + src_size/2;
193     while (s < end) {
194         register uint16_t bgr;
195         bgr = *s++;
196         *d++ = (bgr&0xF800)>>8;
197         *d++ = (bgr&0x7E0)>>3;
198         *d++ = (bgr&0x1F)<<3;
199     }
200 }
201
202 void rgb16tobgr16(const uint8_t *src, uint8_t *dst, long src_size)
203 {
204     long i;
205     long num_pixels = src_size >> 1;
206
207     for (i=0; i<num_pixels; i++) {
208         unsigned rgb = ((const uint16_t*)src)[i];
209         ((uint16_t*)dst)[i] = (rgb>>11) | (rgb&0x7E0) | (rgb<<11);
210     }
211 }
212
213 void rgb16tobgr15(const uint8_t *src, uint8_t *dst, long src_size)
214 {
215     long i;
216     long num_pixels = src_size >> 1;
217
218     for (i=0; i<num_pixels; i++) {
219         unsigned rgb = ((const uint16_t*)src)[i];
220         ((uint16_t*)dst)[i] = (rgb>>11) | ((rgb&0x7C0)>>1) | ((rgb&0x1F)<<10);
221     }
222 }
223
224 void rgb15tobgr32(const uint8_t *src, uint8_t *dst, long src_size)
225 {
226     const uint16_t *end;
227     uint8_t *d = dst;
228     const uint16_t *s = (const uint16_t *)src;
229     end = s + src_size/2;
230     while (s < end) {
231         register uint16_t bgr;
232         bgr = *s++;
233 #if HAVE_BIGENDIAN
234         *d++ = 255;
235         *d++ = (bgr&0x1F)<<3;
236         *d++ = (bgr&0x3E0)>>2;
237         *d++ = (bgr&0x7C00)>>7;
238 #else
239         *d++ = (bgr&0x7C00)>>7;
240         *d++ = (bgr&0x3E0)>>2;
241         *d++ = (bgr&0x1F)<<3;
242         *d++ = 255;
243 #endif
244     }
245 }
246
247 void rgb15to24(const uint8_t *src, uint8_t *dst, long src_size)
248 {
249     const uint16_t *end;
250     uint8_t *d = dst;
251     const uint16_t *s = (const uint16_t *)src;
252     end = s + src_size/2;
253     while (s < end) {
254         register uint16_t bgr;
255         bgr = *s++;
256         *d++ = (bgr&0x7C00)>>7;
257         *d++ = (bgr&0x3E0)>>2;
258         *d++ = (bgr&0x1F)<<3;
259     }
260 }
261
262 void rgb15tobgr16(const uint8_t *src, uint8_t *dst, long src_size)
263 {
264     long i;
265     long num_pixels = src_size >> 1;
266
267     for (i=0; i<num_pixels; i++) {
268         unsigned rgb = ((const uint16_t*)src)[i];
269         ((uint16_t*)dst)[i] = ((rgb&0x7C00)>>10) | ((rgb&0x3E0)<<1) | (rgb<<11);
270     }
271 }
272
273 void rgb15tobgr15(const uint8_t *src, uint8_t *dst, long src_size)
274 {
275     long i;
276     long num_pixels = src_size >> 1;
277
278     for (i=0; i<num_pixels; i++) {
279         unsigned br;
280         unsigned rgb = ((const uint16_t*)src)[i];
281         br = rgb&0x7c1F;
282         ((uint16_t*)dst)[i] = (br>>10) | (rgb&0x3E0) | (br<<10);
283     }
284 }
285
286 void bgr8torgb8(const uint8_t *src, uint8_t *dst, long src_size)
287 {
288     long i;
289     long num_pixels = src_size;
290     for (i=0; i<num_pixels; i++) {
291         unsigned b,g,r;
292         register uint8_t rgb;
293         rgb = src[i];
294         r = (rgb&0x07);
295         g = (rgb&0x38)>>3;
296         b = (rgb&0xC0)>>6;
297         dst[i] = ((b<<1)&0x07) | ((g&0x07)<<3) | ((r&0x03)<<6);
298     }
299 }
300
301 #define DEFINE_SHUFFLE_BYTES(a, b, c, d)                                \
302 void shuffle_bytes_##a##b##c##d(const uint8_t *src, uint8_t *dst, long src_size) \
303 {                                                                       \
304     long i;                                                             \
305                                                                         \
306     for (i = 0; i < src_size; i+=4) {                                   \
307         dst[i + 0] = src[i + a];                                        \
308         dst[i + 1] = src[i + b];                                        \
309         dst[i + 2] = src[i + c];                                        \
310         dst[i + 3] = src[i + d];                                        \
311     }                                                                   \
312 }
313
314 DEFINE_SHUFFLE_BYTES(0, 3, 2, 1);
315 DEFINE_SHUFFLE_BYTES(1, 2, 3, 0);
316 DEFINE_SHUFFLE_BYTES(3, 0, 1, 2);
317 DEFINE_SHUFFLE_BYTES(3, 2, 1, 0);
318