swscale: make monowhite/black RGB-independent.
[ffmpeg.git] / libswscale / output.c
1 /*
2  * Copyright (C) 2001-2003 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include <assert.h>
22 #include <math.h>
23 #include <stdint.h>
24 #include <stdio.h>
25 #include <string.h>
26
27 #include "libavutil/avutil.h"
28 #include "libavutil/bswap.h"
29 #include "libavutil/cpu.h"
30 #include "libavutil/intreadwrite.h"
31 #include "libavutil/mathematics.h"
32 #include "libavutil/pixdesc.h"
33 #include "config.h"
34 #include "rgb2rgb.h"
35 #include "swscale.h"
36 #include "swscale_internal.h"
37
38 DECLARE_ALIGNED(8, static const uint8_t, dither_2x2_4)[2][8]={
39 {  1,   3,   1,   3,   1,   3,   1,   3, },
40 {  2,   0,   2,   0,   2,   0,   2,   0, },
41 };
42
43 DECLARE_ALIGNED(8, static const uint8_t, dither_2x2_8)[2][8]={
44 {  6,   2,   6,   2,   6,   2,   6,   2, },
45 {  0,   4,   0,   4,   0,   4,   0,   4, },
46 };
47
48 DECLARE_ALIGNED(8, const uint8_t, dither_4x4_16)[4][8]={
49 {  8,   4,  11,   7,   8,   4,  11,   7, },
50 {  2,  14,   1,  13,   2,  14,   1,  13, },
51 { 10,   6,   9,   5,  10,   6,   9,   5, },
52 {  0,  12,   3,  15,   0,  12,   3,  15, },
53 };
54
55 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_32)[8][8]={
56 { 17,   9,  23,  15,  16,   8,  22,  14, },
57 {  5,  29,   3,  27,   4,  28,   2,  26, },
58 { 21,  13,  19,  11,  20,  12,  18,  10, },
59 {  0,  24,   6,  30,   1,  25,   7,  31, },
60 { 16,   8,  22,  14,  17,   9,  23,  15, },
61 {  4,  28,   2,  26,   5,  29,   3,  27, },
62 { 20,  12,  18,  10,  21,  13,  19,  11, },
63 {  1,  25,   7,  31,   0,  24,   6,  30, },
64 };
65
66 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_73)[8][8]={
67 {  0,  55,  14,  68,   3,  58,  17,  72, },
68 { 37,  18,  50,  32,  40,  22,  54,  35, },
69 {  9,  64,   5,  59,  13,  67,   8,  63, },
70 { 46,  27,  41,  23,  49,  31,  44,  26, },
71 {  2,  57,  16,  71,   1,  56,  15,  70, },
72 { 39,  21,  52,  34,  38,  19,  51,  33, },
73 { 11,  66,   7,  62,  10,  65,   6,  60, },
74 { 48,  30,  43,  25,  47,  29,  42,  24, },
75 };
76
77 #if 1
78 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[8][8]={
79 {117,  62, 158, 103, 113,  58, 155, 100, },
80 { 34, 199,  21, 186,  31, 196,  17, 182, },
81 {144,  89, 131,  76, 141,  86, 127,  72, },
82 {  0, 165,  41, 206,  10, 175,  52, 217, },
83 {110,  55, 151,  96, 120,  65, 162, 107, },
84 { 28, 193,  14, 179,  38, 203,  24, 189, },
85 {138,  83, 124,  69, 148,  93, 134,  79, },
86 {  7, 172,  48, 213,   3, 168,  45, 210, },
87 };
88 #elif 1
89 // tries to correct a gamma of 1.5
90 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[8][8]={
91 {  0, 143,  18, 200,   2, 156,  25, 215, },
92 { 78,  28, 125,  64,  89,  36, 138,  74, },
93 { 10, 180,   3, 161,  16, 195,   8, 175, },
94 {109,  51,  93,  38, 121,  60, 105,  47, },
95 {  1, 152,  23, 210,   0, 147,  20, 205, },
96 { 85,  33, 134,  71,  81,  30, 130,  67, },
97 { 14, 190,   6, 171,  12, 185,   5, 166, },
98 {117,  57, 101,  44, 113,  54,  97,  41, },
99 };
100 #elif 1
101 // tries to correct a gamma of 2.0
102 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[8][8]={
103 {  0, 124,   8, 193,   0, 140,  12, 213, },
104 { 55,  14, 104,  42,  66,  19, 119,  52, },
105 {  3, 168,   1, 145,   6, 187,   3, 162, },
106 { 86,  31,  70,  21,  99,  39,  82,  28, },
107 {  0, 134,  11, 206,   0, 129,   9, 200, },
108 { 62,  17, 114,  48,  58,  16, 109,  45, },
109 {  5, 181,   2, 157,   4, 175,   1, 151, },
110 { 95,  36,  78,  26,  90,  34,  74,  24, },
111 };
112 #else
113 // tries to correct a gamma of 2.5
114 DECLARE_ALIGNED(8, const uint8_t, dither_8x8_220)[8][8]={
115 {  0, 107,   3, 187,   0, 125,   6, 212, },
116 { 39,   7,  86,  28,  49,  11, 102,  36, },
117 {  1, 158,   0, 131,   3, 180,   1, 151, },
118 { 68,  19,  52,  12,  81,  25,  64,  17, },
119 {  0, 119,   5, 203,   0, 113,   4, 195, },
120 { 45,   9,  96,  33,  42,   8,  91,  30, },
121 {  2, 172,   1, 144,   2, 165,   0, 137, },
122 { 77,  23,  60,  15,  72,  21,  56,  14, },
123 };
124 #endif
125
126 #define output_pixel(pos, val, bias, signedness) \
127     if (big_endian) { \
128         AV_WB16(pos, bias + av_clip_ ## signedness ## 16(val >> shift)); \
129     } else { \
130         AV_WL16(pos, bias + av_clip_ ## signedness ## 16(val >> shift)); \
131     }
132
133 static av_always_inline void
134 yuv2plane1_16_c_template(const int32_t *src, uint16_t *dest, int dstW,
135                          int big_endian, int output_bits)
136 {
137     int i;
138     int shift = 19 - output_bits;
139
140     for (i = 0; i < dstW; i++) {
141         int val = src[i] + (1 << (shift - 1));
142         output_pixel(&dest[i], val, 0, uint);
143     }
144 }
145
146 static av_always_inline void
147 yuv2planeX_16_c_template(const int16_t *filter, int filterSize,
148                          const int32_t **src, uint16_t *dest, int dstW,
149                          int big_endian, int output_bits)
150 {
151     int i;
152     int shift = 15 + 16 - output_bits;
153
154     for (i = 0; i < dstW; i++) {
155         int val = 1 << (30-output_bits);
156         int j;
157
158         /* range of val is [0,0x7FFFFFFF], so 31 bits, but with lanczos/spline
159          * filters (or anything with negative coeffs, the range can be slightly
160          * wider in both directions. To account for this overflow, we subtract
161          * a constant so it always fits in the signed range (assuming a
162          * reasonable filterSize), and re-add that at the end. */
163         val -= 0x40000000;
164         for (j = 0; j < filterSize; j++)
165             val += src[j][i] * filter[j];
166
167         output_pixel(&dest[i], val, 0x8000, int);
168     }
169 }
170
171 #undef output_pixel
172
173 #define output_pixel(pos, val) \
174     if (big_endian) { \
175         AV_WB16(pos, av_clip_uintp2(val >> shift, output_bits)); \
176     } else { \
177         AV_WL16(pos, av_clip_uintp2(val >> shift, output_bits)); \
178     }
179
180 static av_always_inline void
181 yuv2plane1_10_c_template(const int16_t *src, uint16_t *dest, int dstW,
182                          int big_endian, int output_bits)
183 {
184     int i;
185     int shift = 15 - output_bits;
186
187     for (i = 0; i < dstW; i++) {
188         int val = src[i] + (1 << (shift - 1));
189         output_pixel(&dest[i], val);
190     }
191 }
192
193 static av_always_inline void
194 yuv2planeX_10_c_template(const int16_t *filter, int filterSize,
195                          const int16_t **src, uint16_t *dest, int dstW,
196                          int big_endian, int output_bits)
197 {
198     int i;
199     int shift = 11 + 16 - output_bits;
200
201     for (i = 0; i < dstW; i++) {
202         int val = 1 << (26-output_bits);
203         int j;
204
205         for (j = 0; j < filterSize; j++)
206             val += src[j][i] * filter[j];
207
208         output_pixel(&dest[i], val);
209     }
210 }
211
212 #undef output_pixel
213
214 #define yuv2NBPS(bits, BE_LE, is_be, template_size, typeX_t) \
215 static void yuv2plane1_ ## bits ## BE_LE ## _c(const int16_t *src, \
216                               uint8_t *dest, int dstW, \
217                               const uint8_t *dither, int offset)\
218 { \
219     yuv2plane1_ ## template_size ## _c_template((const typeX_t *) src, \
220                          (uint16_t *) dest, dstW, is_be, bits); \
221 }\
222 static void yuv2planeX_ ## bits ## BE_LE ## _c(const int16_t *filter, int filterSize, \
223                               const int16_t **src, uint8_t *dest, int dstW, \
224                               const uint8_t *dither, int offset)\
225 { \
226     yuv2planeX_## template_size ## _c_template(filter, \
227                          filterSize, (const typeX_t **) src, \
228                          (uint16_t *) dest, dstW, is_be, bits); \
229 }
230 yuv2NBPS( 9, BE, 1, 10, int16_t)
231 yuv2NBPS( 9, LE, 0, 10, int16_t)
232 yuv2NBPS(10, BE, 1, 10, int16_t)
233 yuv2NBPS(10, LE, 0, 10, int16_t)
234 yuv2NBPS(16, BE, 1, 16, int32_t)
235 yuv2NBPS(16, LE, 0, 16, int32_t)
236
237 static void yuv2planeX_8_c(const int16_t *filter, int filterSize,
238                            const int16_t **src, uint8_t *dest, int dstW,
239                            const uint8_t *dither, int offset)
240 {
241     int i;
242     for (i=0; i<dstW; i++) {
243         int val = dither[(i + offset) & 7] << 12;
244         int j;
245         for (j=0; j<filterSize; j++)
246             val += src[j][i] * filter[j];
247
248         dest[i]= av_clip_uint8(val>>19);
249     }
250 }
251
252 static void yuv2plane1_8_c(const int16_t *src, uint8_t *dest, int dstW,
253                            const uint8_t *dither, int offset)
254 {
255     int i;
256     for (i=0; i<dstW; i++) {
257         int val = (src[i] + dither[(i + offset) & 7]) >> 7;
258         dest[i]= av_clip_uint8(val);
259     }
260 }
261
262 static void yuv2nv12cX_c(SwsContext *c, const int16_t *chrFilter, int chrFilterSize,
263                         const int16_t **chrUSrc, const int16_t **chrVSrc,
264                         uint8_t *dest, int chrDstW)
265 {
266     enum PixelFormat dstFormat = c->dstFormat;
267     const uint8_t *chrDither = c->chrDither8;
268     int i;
269
270     if (dstFormat == PIX_FMT_NV12)
271         for (i=0; i<chrDstW; i++) {
272             int u = chrDither[i & 7] << 12;
273             int v = chrDither[(i + 3) & 7] << 12;
274             int j;
275             for (j=0; j<chrFilterSize; j++) {
276                 u += chrUSrc[j][i] * chrFilter[j];
277                 v += chrVSrc[j][i] * chrFilter[j];
278             }
279
280             dest[2*i]= av_clip_uint8(u>>19);
281             dest[2*i+1]= av_clip_uint8(v>>19);
282         }
283     else
284         for (i=0; i<chrDstW; i++) {
285             int u = chrDither[i & 7] << 12;
286             int v = chrDither[(i + 3) & 7] << 12;
287             int j;
288             for (j=0; j<chrFilterSize; j++) {
289                 u += chrUSrc[j][i] * chrFilter[j];
290                 v += chrVSrc[j][i] * chrFilter[j];
291             }
292
293             dest[2*i]= av_clip_uint8(v>>19);
294             dest[2*i+1]= av_clip_uint8(u>>19);
295         }
296 }
297
298 #define accumulate_bit(acc, val) \
299     acc <<= 1; \
300     acc |= (val) >= (128 + 110)
301 #define output_pixel(pos, acc) \
302     if (target == PIX_FMT_MONOBLACK) { \
303         pos = acc; \
304     } else { \
305         pos = ~acc; \
306     }
307
308 static av_always_inline void
309 yuv2mono_X_c_template(SwsContext *c, const int16_t *lumFilter,
310                       const int16_t **lumSrc, int lumFilterSize,
311                       const int16_t *chrFilter, const int16_t **chrUSrc,
312                       const int16_t **chrVSrc, int chrFilterSize,
313                       const int16_t **alpSrc, uint8_t *dest, int dstW,
314                       int y, enum PixelFormat target)
315 {
316     const uint8_t * const d128=dither_8x8_220[y&7];
317     int i;
318     unsigned acc = 0;
319
320     for (i = 0; i < dstW - 1; i += 2) {
321         int j;
322         int Y1 = 1 << 18;
323         int Y2 = 1 << 18;
324
325         for (j = 0; j < lumFilterSize; j++) {
326             Y1 += lumSrc[j][i]   * lumFilter[j];
327             Y2 += lumSrc[j][i+1] * lumFilter[j];
328         }
329         Y1 >>= 19;
330         Y2 >>= 19;
331         if ((Y1 | Y2) & 0x100) {
332             Y1 = av_clip_uint8(Y1);
333             Y2 = av_clip_uint8(Y2);
334         }
335         accumulate_bit(acc, Y1 + d128[(i + 0) & 7]);
336         accumulate_bit(acc, Y2 + d128[(i + 1) & 7]);
337         if ((i & 7) == 6) {
338             output_pixel(*dest++, acc);
339         }
340     }
341 }
342
343 static av_always_inline void
344 yuv2mono_2_c_template(SwsContext *c, const int16_t *buf[2],
345                       const int16_t *ubuf[2], const int16_t *vbuf[2],
346                       const int16_t *abuf[2], uint8_t *dest, int dstW,
347                       int yalpha, int uvalpha, int y,
348                       enum PixelFormat target)
349 {
350     const int16_t *buf0  = buf[0],  *buf1  = buf[1];
351     const uint8_t * const d128 = dither_8x8_220[y & 7];
352     int  yalpha1 = 4095 - yalpha;
353     int i;
354
355     for (i = 0; i < dstW - 7; i += 8) {
356         int Y, acc = 0;
357
358         Y = (buf0[i + 0] * yalpha1 + buf1[i + 0] * yalpha) >> 19;
359         accumulate_bit(acc, Y + d128[0]);
360         Y = (buf0[i + 1] * yalpha1 + buf1[i + 1] * yalpha) >> 19;
361         accumulate_bit(acc, Y + d128[1]);
362         Y = (buf0[i + 2] * yalpha1 + buf1[i + 2] * yalpha) >> 19;
363         accumulate_bit(acc, Y + d128[2]);
364         Y = (buf0[i + 3] * yalpha1 + buf1[i + 3] * yalpha) >> 19;
365         accumulate_bit(acc, Y + d128[3]);
366         Y = (buf0[i + 4] * yalpha1 + buf1[i + 4] * yalpha) >> 19;
367         accumulate_bit(acc, Y + d128[4]);
368         Y = (buf0[i + 5] * yalpha1 + buf1[i + 5] * yalpha) >> 19;
369         accumulate_bit(acc, Y + d128[5]);
370         Y = (buf0[i + 6] * yalpha1 + buf1[i + 6] * yalpha) >> 19;
371         accumulate_bit(acc, Y + d128[6]);
372         Y = (buf0[i + 7] * yalpha1 + buf1[i + 7] * yalpha) >> 19;
373         accumulate_bit(acc, Y + d128[7]);
374
375         output_pixel(*dest++, acc);
376     }
377 }
378
379 static av_always_inline void
380 yuv2mono_1_c_template(SwsContext *c, const int16_t *buf0,
381                       const int16_t *ubuf[2], const int16_t *vbuf[2],
382                       const int16_t *abuf0, uint8_t *dest, int dstW,
383                       int uvalpha, int y, enum PixelFormat target)
384 {
385     const uint8_t * const d128 = dither_8x8_220[y & 7];
386     int i;
387
388     for (i = 0; i < dstW - 7; i += 8) {
389         int acc = 0;
390
391         accumulate_bit(acc, (buf0[i + 0] >> 7) + d128[0]);
392         accumulate_bit(acc, (buf0[i + 1] >> 7) + d128[1]);
393         accumulate_bit(acc, (buf0[i + 2] >> 7) + d128[2]);
394         accumulate_bit(acc, (buf0[i + 3] >> 7) + d128[3]);
395         accumulate_bit(acc, (buf0[i + 4] >> 7) + d128[4]);
396         accumulate_bit(acc, (buf0[i + 5] >> 7) + d128[5]);
397         accumulate_bit(acc, (buf0[i + 6] >> 7) + d128[6]);
398         accumulate_bit(acc, (buf0[i + 7] >> 7) + d128[7]);
399
400         output_pixel(*dest++, acc);
401     }
402 }
403
404 #undef output_pixel
405 #undef accumulate_bit
406
407 #define YUV2PACKEDWRAPPER(name, base, ext, fmt) \
408 static void name ## ext ## _X_c(SwsContext *c, const int16_t *lumFilter, \
409                                 const int16_t **lumSrc, int lumFilterSize, \
410                                 const int16_t *chrFilter, const int16_t **chrUSrc, \
411                                 const int16_t **chrVSrc, int chrFilterSize, \
412                                 const int16_t **alpSrc, uint8_t *dest, int dstW, \
413                                 int y) \
414 { \
415     name ## base ## _X_c_template(c, lumFilter, lumSrc, lumFilterSize, \
416                                   chrFilter, chrUSrc, chrVSrc, chrFilterSize, \
417                                   alpSrc, dest, dstW, y, fmt); \
418 } \
419  \
420 static void name ## ext ## _2_c(SwsContext *c, const int16_t *buf[2], \
421                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
422                                 const int16_t *abuf[2], uint8_t *dest, int dstW, \
423                                 int yalpha, int uvalpha, int y) \
424 { \
425     name ## base ## _2_c_template(c, buf, ubuf, vbuf, abuf, \
426                                   dest, dstW, yalpha, uvalpha, y, fmt); \
427 } \
428  \
429 static void name ## ext ## _1_c(SwsContext *c, const int16_t *buf0, \
430                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
431                                 const int16_t *abuf0, uint8_t *dest, int dstW, \
432                                 int uvalpha, int y) \
433 { \
434     name ## base ## _1_c_template(c, buf0, ubuf, vbuf, \
435                                   abuf0, dest, dstW, uvalpha, \
436                                   y, fmt); \
437 }
438
439 YUV2PACKEDWRAPPER(yuv2mono,, white, PIX_FMT_MONOWHITE)
440 YUV2PACKEDWRAPPER(yuv2mono,, black, PIX_FMT_MONOBLACK)
441
442 #define output_pixels(pos, Y1, U, Y2, V) \
443     if (target == PIX_FMT_YUYV422) { \
444         dest[pos + 0] = Y1; \
445         dest[pos + 1] = U;  \
446         dest[pos + 2] = Y2; \
447         dest[pos + 3] = V;  \
448     } else { \
449         dest[pos + 0] = U;  \
450         dest[pos + 1] = Y1; \
451         dest[pos + 2] = V;  \
452         dest[pos + 3] = Y2; \
453     }
454
455 static av_always_inline void
456 yuv2422_X_c_template(SwsContext *c, const int16_t *lumFilter,
457                      const int16_t **lumSrc, int lumFilterSize,
458                      const int16_t *chrFilter, const int16_t **chrUSrc,
459                      const int16_t **chrVSrc, int chrFilterSize,
460                      const int16_t **alpSrc, uint8_t *dest, int dstW,
461                      int y, enum PixelFormat target)
462 {
463     int i;
464
465     for (i = 0; i < (dstW >> 1); i++) {
466         int j;
467         int Y1 = 1 << 18;
468         int Y2 = 1 << 18;
469         int U  = 1 << 18;
470         int V  = 1 << 18;
471
472         for (j = 0; j < lumFilterSize; j++) {
473             Y1 += lumSrc[j][i * 2]     * lumFilter[j];
474             Y2 += lumSrc[j][i * 2 + 1] * lumFilter[j];
475         }
476         for (j = 0; j < chrFilterSize; j++) {
477             U += chrUSrc[j][i] * chrFilter[j];
478             V += chrVSrc[j][i] * chrFilter[j];
479         }
480         Y1 >>= 19;
481         Y2 >>= 19;
482         U  >>= 19;
483         V  >>= 19;
484         if ((Y1 | Y2 | U | V) & 0x100) {
485             Y1 = av_clip_uint8(Y1);
486             Y2 = av_clip_uint8(Y2);
487             U  = av_clip_uint8(U);
488             V  = av_clip_uint8(V);
489         }
490         output_pixels(4*i, Y1, U, Y2, V);
491     }
492 }
493
494 static av_always_inline void
495 yuv2422_2_c_template(SwsContext *c, const int16_t *buf[2],
496                      const int16_t *ubuf[2], const int16_t *vbuf[2],
497                      const int16_t *abuf[2], uint8_t *dest, int dstW,
498                      int yalpha, int uvalpha, int y,
499                      enum PixelFormat target)
500 {
501     const int16_t *buf0  = buf[0],  *buf1  = buf[1],
502                   *ubuf0 = ubuf[0], *ubuf1 = ubuf[1],
503                   *vbuf0 = vbuf[0], *vbuf1 = vbuf[1];
504     int  yalpha1 = 4095 - yalpha;
505     int uvalpha1 = 4095 - uvalpha;
506     int i;
507
508     for (i = 0; i < (dstW >> 1); i++) {
509         int Y1 = (buf0[i * 2]     * yalpha1  + buf1[i * 2]     * yalpha)  >> 19;
510         int Y2 = (buf0[i * 2 + 1] * yalpha1  + buf1[i * 2 + 1] * yalpha)  >> 19;
511         int U  = (ubuf0[i]        * uvalpha1 + ubuf1[i]        * uvalpha) >> 19;
512         int V  = (vbuf0[i]        * uvalpha1 + vbuf1[i]        * uvalpha) >> 19;
513
514         output_pixels(i * 4, Y1, U, Y2, V);
515     }
516 }
517
518 static av_always_inline void
519 yuv2422_1_c_template(SwsContext *c, const int16_t *buf0,
520                      const int16_t *ubuf[2], const int16_t *vbuf[2],
521                      const int16_t *abuf0, uint8_t *dest, int dstW,
522                      int uvalpha, int y, enum PixelFormat target)
523 {
524     const int16_t *ubuf0 = ubuf[0], *vbuf0 = vbuf[0];
525     int i;
526
527     if (uvalpha < 2048) {
528         for (i = 0; i < (dstW >> 1); i++) {
529             int Y1 = buf0[i * 2]     >> 7;
530             int Y2 = buf0[i * 2 + 1] >> 7;
531             int U  = ubuf0[i]        >> 7;
532             int V  = vbuf0[i]        >> 7;
533
534             output_pixels(i * 4, Y1, U, Y2, V);
535         }
536     } else {
537         const int16_t *ubuf1 = ubuf[1], *vbuf1 = vbuf[1];
538         for (i = 0; i < (dstW >> 1); i++) {
539             int Y1 =  buf0[i * 2]          >> 7;
540             int Y2 =  buf0[i * 2 + 1]      >> 7;
541             int U  = (ubuf0[i] + ubuf1[i]) >> 8;
542             int V  = (vbuf0[i] + vbuf1[i]) >> 8;
543
544             output_pixels(i * 4, Y1, U, Y2, V);
545         }
546     }
547 }
548
549 #undef output_pixels
550
551 YUV2PACKEDWRAPPER(yuv2, 422, yuyv422, PIX_FMT_YUYV422)
552 YUV2PACKEDWRAPPER(yuv2, 422, uyvy422, PIX_FMT_UYVY422)
553
554 #define R_B ((target == PIX_FMT_RGB48LE || target == PIX_FMT_RGB48BE) ? R : B)
555 #define B_R ((target == PIX_FMT_RGB48LE || target == PIX_FMT_RGB48BE) ? B : R)
556 #define output_pixel(pos, val) \
557     if (isBE(target)) { \
558         AV_WB16(pos, val); \
559     } else { \
560         AV_WL16(pos, val); \
561     }
562
563 static av_always_inline void
564 yuv2rgb48_X_c_template(SwsContext *c, const int16_t *lumFilter,
565                        const int32_t **lumSrc, int lumFilterSize,
566                        const int16_t *chrFilter, const int32_t **chrUSrc,
567                        const int32_t **chrVSrc, int chrFilterSize,
568                        const int32_t **alpSrc, uint16_t *dest, int dstW,
569                        int y, enum PixelFormat target)
570 {
571     int i;
572
573     for (i = 0; i < (dstW >> 1); i++) {
574         int j;
575         int Y1 = -0x40000000;
576         int Y2 = -0x40000000;
577         int U  = -128 << 23; // 19
578         int V  = -128 << 23;
579         int R, G, B;
580
581         for (j = 0; j < lumFilterSize; j++) {
582             Y1 += lumSrc[j][i * 2]     * lumFilter[j];
583             Y2 += lumSrc[j][i * 2 + 1] * lumFilter[j];
584         }
585         for (j = 0; j < chrFilterSize; j++) {
586             U += chrUSrc[j][i] * chrFilter[j];
587             V += chrVSrc[j][i] * chrFilter[j];
588         }
589
590         // 8bit: 12+15=27; 16-bit: 12+19=31
591         Y1 >>= 14; // 10
592         Y1 += 0x10000;
593         Y2 >>= 14;
594         Y2 += 0x10000;
595         U  >>= 14;
596         V  >>= 14;
597
598         // 8bit: 27 -> 17bit, 16bit: 31 - 14 = 17bit
599         Y1 -= c->yuv2rgb_y_offset;
600         Y2 -= c->yuv2rgb_y_offset;
601         Y1 *= c->yuv2rgb_y_coeff;
602         Y2 *= c->yuv2rgb_y_coeff;
603         Y1 += 1 << 13; // 21
604         Y2 += 1 << 13;
605         // 8bit: 17 + 13bit = 30bit, 16bit: 17 + 13bit = 30bit
606
607         R = V * c->yuv2rgb_v2r_coeff;
608         G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
609         B =                            U * c->yuv2rgb_u2b_coeff;
610
611         // 8bit: 30 - 22 = 8bit, 16bit: 30bit - 14 = 16bit
612         output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
613         output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
614         output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
615         output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
616         output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
617         output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
618         dest += 6;
619     }
620 }
621
622 static av_always_inline void
623 yuv2rgb48_2_c_template(SwsContext *c, const int32_t *buf[2],
624                        const int32_t *ubuf[2], const int32_t *vbuf[2],
625                        const int32_t *abuf[2], uint16_t *dest, int dstW,
626                        int yalpha, int uvalpha, int y,
627                        enum PixelFormat target)
628 {
629     const int32_t *buf0  = buf[0],  *buf1  = buf[1],
630                   *ubuf0 = ubuf[0], *ubuf1 = ubuf[1],
631                   *vbuf0 = vbuf[0], *vbuf1 = vbuf[1];
632     int  yalpha1 = 4095 - yalpha;
633     int uvalpha1 = 4095 - uvalpha;
634     int i;
635
636     for (i = 0; i < (dstW >> 1); i++) {
637         int Y1 = (buf0[i * 2]     * yalpha1  + buf1[i * 2]     * yalpha) >> 14;
638         int Y2 = (buf0[i * 2 + 1] * yalpha1  + buf1[i * 2 + 1] * yalpha) >> 14;
639         int U  = (ubuf0[i]        * uvalpha1 + ubuf1[i]        * uvalpha + (-128 << 23)) >> 14;
640         int V  = (vbuf0[i]        * uvalpha1 + vbuf1[i]        * uvalpha + (-128 << 23)) >> 14;
641         int R, G, B;
642
643         Y1 -= c->yuv2rgb_y_offset;
644         Y2 -= c->yuv2rgb_y_offset;
645         Y1 *= c->yuv2rgb_y_coeff;
646         Y2 *= c->yuv2rgb_y_coeff;
647         Y1 += 1 << 13;
648         Y2 += 1 << 13;
649
650         R = V * c->yuv2rgb_v2r_coeff;
651         G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
652         B =                            U * c->yuv2rgb_u2b_coeff;
653
654         output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
655         output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
656         output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
657         output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
658         output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
659         output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
660         dest += 6;
661     }
662 }
663
664 static av_always_inline void
665 yuv2rgb48_1_c_template(SwsContext *c, const int32_t *buf0,
666                        const int32_t *ubuf[2], const int32_t *vbuf[2],
667                        const int32_t *abuf0, uint16_t *dest, int dstW,
668                        int uvalpha, int y, enum PixelFormat target)
669 {
670     const int32_t *ubuf0 = ubuf[0], *vbuf0 = vbuf[0];
671     int i;
672
673     if (uvalpha < 2048) {
674         for (i = 0; i < (dstW >> 1); i++) {
675             int Y1 = (buf0[i * 2]    ) >> 2;
676             int Y2 = (buf0[i * 2 + 1]) >> 2;
677             int U  = (ubuf0[i] + (-128 << 11)) >> 2;
678             int V  = (vbuf0[i] + (-128 << 11)) >> 2;
679             int R, G, B;
680
681             Y1 -= c->yuv2rgb_y_offset;
682             Y2 -= c->yuv2rgb_y_offset;
683             Y1 *= c->yuv2rgb_y_coeff;
684             Y2 *= c->yuv2rgb_y_coeff;
685             Y1 += 1 << 13;
686             Y2 += 1 << 13;
687
688             R = V * c->yuv2rgb_v2r_coeff;
689             G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
690             B =                            U * c->yuv2rgb_u2b_coeff;
691
692             output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
693             output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
694             output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
695             output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
696             output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
697             output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
698             dest += 6;
699         }
700     } else {
701         const int32_t *ubuf1 = ubuf[1], *vbuf1 = vbuf[1];
702         for (i = 0; i < (dstW >> 1); i++) {
703             int Y1 = (buf0[i * 2]    ) >> 2;
704             int Y2 = (buf0[i * 2 + 1]) >> 2;
705             int U  = (ubuf0[i] + ubuf1[i] + (-128 << 12)) >> 3;
706             int V  = (vbuf0[i] + vbuf1[i] + (-128 << 12)) >> 3;
707             int R, G, B;
708
709             Y1 -= c->yuv2rgb_y_offset;
710             Y2 -= c->yuv2rgb_y_offset;
711             Y1 *= c->yuv2rgb_y_coeff;
712             Y2 *= c->yuv2rgb_y_coeff;
713             Y1 += 1 << 13;
714             Y2 += 1 << 13;
715
716             R = V * c->yuv2rgb_v2r_coeff;
717             G = V * c->yuv2rgb_v2g_coeff + U * c->yuv2rgb_u2g_coeff;
718             B =                            U * c->yuv2rgb_u2b_coeff;
719
720             output_pixel(&dest[0], av_clip_uintp2(R_B + Y1, 30) >> 14);
721             output_pixel(&dest[1], av_clip_uintp2(  G + Y1, 30) >> 14);
722             output_pixel(&dest[2], av_clip_uintp2(B_R + Y1, 30) >> 14);
723             output_pixel(&dest[3], av_clip_uintp2(R_B + Y2, 30) >> 14);
724             output_pixel(&dest[4], av_clip_uintp2(  G + Y2, 30) >> 14);
725             output_pixel(&dest[5], av_clip_uintp2(B_R + Y2, 30) >> 14);
726             dest += 6;
727         }
728     }
729 }
730
731 #undef output_pixel
732 #undef r_b
733 #undef b_r
734
735 #define YUV2PACKED16WRAPPER(name, base, ext, fmt) \
736 static void name ## ext ## _X_c(SwsContext *c, const int16_t *lumFilter, \
737                         const int16_t **_lumSrc, int lumFilterSize, \
738                         const int16_t *chrFilter, const int16_t **_chrUSrc, \
739                         const int16_t **_chrVSrc, int chrFilterSize, \
740                         const int16_t **_alpSrc, uint8_t *_dest, int dstW, \
741                         int y) \
742 { \
743     const int32_t **lumSrc  = (const int32_t **) _lumSrc, \
744                   **chrUSrc = (const int32_t **) _chrUSrc, \
745                   **chrVSrc = (const int32_t **) _chrVSrc, \
746                   **alpSrc  = (const int32_t **) _alpSrc; \
747     uint16_t *dest = (uint16_t *) _dest; \
748     name ## base ## _X_c_template(c, lumFilter, lumSrc, lumFilterSize, \
749                           chrFilter, chrUSrc, chrVSrc, chrFilterSize, \
750                           alpSrc, dest, dstW, y, fmt); \
751 } \
752  \
753 static void name ## ext ## _2_c(SwsContext *c, const int16_t *_buf[2], \
754                         const int16_t *_ubuf[2], const int16_t *_vbuf[2], \
755                         const int16_t *_abuf[2], uint8_t *_dest, int dstW, \
756                         int yalpha, int uvalpha, int y) \
757 { \
758     const int32_t **buf  = (const int32_t **) _buf, \
759                   **ubuf = (const int32_t **) _ubuf, \
760                   **vbuf = (const int32_t **) _vbuf, \
761                   **abuf = (const int32_t **) _abuf; \
762     uint16_t *dest = (uint16_t *) _dest; \
763     name ## base ## _2_c_template(c, buf, ubuf, vbuf, abuf, \
764                           dest, dstW, yalpha, uvalpha, y, fmt); \
765 } \
766  \
767 static void name ## ext ## _1_c(SwsContext *c, const int16_t *_buf0, \
768                         const int16_t *_ubuf[2], const int16_t *_vbuf[2], \
769                         const int16_t *_abuf0, uint8_t *_dest, int dstW, \
770                         int uvalpha, int y) \
771 { \
772     const int32_t *buf0  = (const int32_t *)  _buf0, \
773                  **ubuf  = (const int32_t **) _ubuf, \
774                  **vbuf  = (const int32_t **) _vbuf, \
775                   *abuf0 = (const int32_t *)  _abuf0; \
776     uint16_t *dest = (uint16_t *) _dest; \
777     name ## base ## _1_c_template(c, buf0, ubuf, vbuf, abuf0, dest, \
778                                   dstW, uvalpha, y, fmt); \
779 }
780
781 YUV2PACKED16WRAPPER(yuv2, rgb48, rgb48be, PIX_FMT_RGB48BE)
782 YUV2PACKED16WRAPPER(yuv2, rgb48, rgb48le, PIX_FMT_RGB48LE)
783 YUV2PACKED16WRAPPER(yuv2, rgb48, bgr48be, PIX_FMT_BGR48BE)
784 YUV2PACKED16WRAPPER(yuv2, rgb48, bgr48le, PIX_FMT_BGR48LE)
785
786 /*
787  * Write out 2 RGB pixels in the target pixel format. This function takes a
788  * R/G/B LUT as generated by ff_yuv2rgb_c_init_tables(), which takes care of
789  * things like endianness conversion and shifting. The caller takes care of
790  * setting the correct offset in these tables from the chroma (U/V) values.
791  * This function then uses the luminance (Y1/Y2) values to write out the
792  * correct RGB values into the destination buffer.
793  */
794 static av_always_inline void
795 yuv2rgb_write(uint8_t *_dest, int i, unsigned Y1, unsigned Y2,
796               unsigned A1, unsigned A2,
797               const void *_r, const void *_g, const void *_b, int y,
798               enum PixelFormat target, int hasAlpha)
799 {
800     if (target == PIX_FMT_ARGB || target == PIX_FMT_RGBA ||
801         target == PIX_FMT_ABGR || target == PIX_FMT_BGRA) {
802         uint32_t *dest = (uint32_t *) _dest;
803         const uint32_t *r = (const uint32_t *) _r;
804         const uint32_t *g = (const uint32_t *) _g;
805         const uint32_t *b = (const uint32_t *) _b;
806
807 #if CONFIG_SMALL
808         int sh = hasAlpha ? ((target == PIX_FMT_RGB32_1 || target == PIX_FMT_BGR32_1) ? 0 : 24) : 0;
809
810         dest[i * 2 + 0] = r[Y1] + g[Y1] + b[Y1] + (hasAlpha ? A1 << sh : 0);
811         dest[i * 2 + 1] = r[Y2] + g[Y2] + b[Y2] + (hasAlpha ? A2 << sh : 0);
812 #else
813         if (hasAlpha) {
814             int sh = (target == PIX_FMT_RGB32_1 || target == PIX_FMT_BGR32_1) ? 0 : 24;
815
816             dest[i * 2 + 0] = r[Y1] + g[Y1] + b[Y1] + (A1 << sh);
817             dest[i * 2 + 1] = r[Y2] + g[Y2] + b[Y2] + (A2 << sh);
818         } else {
819             dest[i * 2 + 0] = r[Y1] + g[Y1] + b[Y1];
820             dest[i * 2 + 1] = r[Y2] + g[Y2] + b[Y2];
821         }
822 #endif
823     } else if (target == PIX_FMT_RGB24 || target == PIX_FMT_BGR24) {
824         uint8_t *dest = (uint8_t *) _dest;
825         const uint8_t *r = (const uint8_t *) _r;
826         const uint8_t *g = (const uint8_t *) _g;
827         const uint8_t *b = (const uint8_t *) _b;
828
829 #define r_b ((target == PIX_FMT_RGB24) ? r : b)
830 #define b_r ((target == PIX_FMT_RGB24) ? b : r)
831         dest[i * 6 + 0] = r_b[Y1];
832         dest[i * 6 + 1] =   g[Y1];
833         dest[i * 6 + 2] = b_r[Y1];
834         dest[i * 6 + 3] = r_b[Y2];
835         dest[i * 6 + 4] =   g[Y2];
836         dest[i * 6 + 5] = b_r[Y2];
837 #undef r_b
838 #undef b_r
839     } else if (target == PIX_FMT_RGB565 || target == PIX_FMT_BGR565 ||
840                target == PIX_FMT_RGB555 || target == PIX_FMT_BGR555 ||
841                target == PIX_FMT_RGB444 || target == PIX_FMT_BGR444) {
842         uint16_t *dest = (uint16_t *) _dest;
843         const uint16_t *r = (const uint16_t *) _r;
844         const uint16_t *g = (const uint16_t *) _g;
845         const uint16_t *b = (const uint16_t *) _b;
846         int dr1, dg1, db1, dr2, dg2, db2;
847
848         if (target == PIX_FMT_RGB565 || target == PIX_FMT_BGR565) {
849             dr1 = dither_2x2_8[ y & 1     ][0];
850             dg1 = dither_2x2_4[ y & 1     ][0];
851             db1 = dither_2x2_8[(y & 1) ^ 1][0];
852             dr2 = dither_2x2_8[ y & 1     ][1];
853             dg2 = dither_2x2_4[ y & 1     ][1];
854             db2 = dither_2x2_8[(y & 1) ^ 1][1];
855         } else if (target == PIX_FMT_RGB555 || target == PIX_FMT_BGR555) {
856             dr1 = dither_2x2_8[ y & 1     ][0];
857             dg1 = dither_2x2_8[ y & 1     ][1];
858             db1 = dither_2x2_8[(y & 1) ^ 1][0];
859             dr2 = dither_2x2_8[ y & 1     ][1];
860             dg2 = dither_2x2_8[ y & 1     ][0];
861             db2 = dither_2x2_8[(y & 1) ^ 1][1];
862         } else {
863             dr1 = dither_4x4_16[ y & 3     ][0];
864             dg1 = dither_4x4_16[ y & 3     ][1];
865             db1 = dither_4x4_16[(y & 3) ^ 3][0];
866             dr2 = dither_4x4_16[ y & 3     ][1];
867             dg2 = dither_4x4_16[ y & 3     ][0];
868             db2 = dither_4x4_16[(y & 3) ^ 3][1];
869         }
870
871         dest[i * 2 + 0] = r[Y1 + dr1] + g[Y1 + dg1] + b[Y1 + db1];
872         dest[i * 2 + 1] = r[Y2 + dr2] + g[Y2 + dg2] + b[Y2 + db2];
873     } else /* 8/4-bit */ {
874         uint8_t *dest = (uint8_t *) _dest;
875         const uint8_t *r = (const uint8_t *) _r;
876         const uint8_t *g = (const uint8_t *) _g;
877         const uint8_t *b = (const uint8_t *) _b;
878         int dr1, dg1, db1, dr2, dg2, db2;
879
880         if (target == PIX_FMT_RGB8 || target == PIX_FMT_BGR8) {
881             const uint8_t * const d64 = dither_8x8_73[y & 7];
882             const uint8_t * const d32 = dither_8x8_32[y & 7];
883             dr1 = dg1 = d32[(i * 2 + 0) & 7];
884             db1 =       d64[(i * 2 + 0) & 7];
885             dr2 = dg2 = d32[(i * 2 + 1) & 7];
886             db2 =       d64[(i * 2 + 1) & 7];
887         } else {
888             const uint8_t * const d64  = dither_8x8_73 [y & 7];
889             const uint8_t * const d128 = dither_8x8_220[y & 7];
890             dr1 = db1 = d128[(i * 2 + 0) & 7];
891             dg1 =        d64[(i * 2 + 0) & 7];
892             dr2 = db2 = d128[(i * 2 + 1) & 7];
893             dg2 =        d64[(i * 2 + 1) & 7];
894         }
895
896         if (target == PIX_FMT_RGB4 || target == PIX_FMT_BGR4) {
897             dest[i] = r[Y1 + dr1] + g[Y1 + dg1] + b[Y1 + db1] +
898                     ((r[Y2 + dr2] + g[Y2 + dg2] + b[Y2 + db2]) << 4);
899         } else {
900             dest[i * 2 + 0] = r[Y1 + dr1] + g[Y1 + dg1] + b[Y1 + db1];
901             dest[i * 2 + 1] = r[Y2 + dr2] + g[Y2 + dg2] + b[Y2 + db2];
902         }
903     }
904 }
905
906 static av_always_inline void
907 yuv2rgb_X_c_template(SwsContext *c, const int16_t *lumFilter,
908                      const int16_t **lumSrc, int lumFilterSize,
909                      const int16_t *chrFilter, const int16_t **chrUSrc,
910                      const int16_t **chrVSrc, int chrFilterSize,
911                      const int16_t **alpSrc, uint8_t *dest, int dstW,
912                      int y, enum PixelFormat target, int hasAlpha)
913 {
914     int i;
915
916     for (i = 0; i < (dstW >> 1); i++) {
917         int j, A1, A2;
918         int Y1 = 1 << 18;
919         int Y2 = 1 << 18;
920         int U  = 1 << 18;
921         int V  = 1 << 18;
922         const void *r, *g, *b;
923
924         for (j = 0; j < lumFilterSize; j++) {
925             Y1 += lumSrc[j][i * 2]     * lumFilter[j];
926             Y2 += lumSrc[j][i * 2 + 1] * lumFilter[j];
927         }
928         for (j = 0; j < chrFilterSize; j++) {
929             U += chrUSrc[j][i] * chrFilter[j];
930             V += chrVSrc[j][i] * chrFilter[j];
931         }
932         Y1 >>= 19;
933         Y2 >>= 19;
934         U  >>= 19;
935         V  >>= 19;
936         if ((Y1 | Y2 | U | V) & 0x100) {
937             Y1 = av_clip_uint8(Y1);
938             Y2 = av_clip_uint8(Y2);
939             U  = av_clip_uint8(U);
940             V  = av_clip_uint8(V);
941         }
942         if (hasAlpha) {
943             A1 = 1 << 18;
944             A2 = 1 << 18;
945             for (j = 0; j < lumFilterSize; j++) {
946                 A1 += alpSrc[j][i * 2    ] * lumFilter[j];
947                 A2 += alpSrc[j][i * 2 + 1] * lumFilter[j];
948             }
949             A1 >>= 19;
950             A2 >>= 19;
951             if ((A1 | A2) & 0x100) {
952                 A1 = av_clip_uint8(A1);
953                 A2 = av_clip_uint8(A2);
954             }
955         }
956
957         /* FIXME fix tables so that clipping is not needed and then use _NOCLIP*/
958         r =  c->table_rV[V];
959         g = (c->table_gU[U] + c->table_gV[V]);
960         b =  c->table_bU[U];
961
962         yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
963                       r, g, b, y, target, hasAlpha);
964     }
965 }
966
967 static av_always_inline void
968 yuv2rgb_2_c_template(SwsContext *c, const int16_t *buf[2],
969                      const int16_t *ubuf[2], const int16_t *vbuf[2],
970                      const int16_t *abuf[2], uint8_t *dest, int dstW,
971                      int yalpha, int uvalpha, int y,
972                      enum PixelFormat target, int hasAlpha)
973 {
974     const int16_t *buf0  = buf[0],  *buf1  = buf[1],
975                   *ubuf0 = ubuf[0], *ubuf1 = ubuf[1],
976                   *vbuf0 = vbuf[0], *vbuf1 = vbuf[1],
977                   *abuf0 = hasAlpha ? abuf[0] : NULL,
978                   *abuf1 = hasAlpha ? abuf[1] : NULL;
979     int  yalpha1 = 4095 - yalpha;
980     int uvalpha1 = 4095 - uvalpha;
981     int i;
982
983     for (i = 0; i < (dstW >> 1); i++) {
984         int Y1 = (buf0[i * 2]     * yalpha1  + buf1[i * 2]     * yalpha)  >> 19;
985         int Y2 = (buf0[i * 2 + 1] * yalpha1  + buf1[i * 2 + 1] * yalpha)  >> 19;
986         int U  = (ubuf0[i]        * uvalpha1 + ubuf1[i]        * uvalpha) >> 19;
987         int V  = (vbuf0[i]        * uvalpha1 + vbuf1[i]        * uvalpha) >> 19;
988         int A1, A2;
989         const void *r =  c->table_rV[V],
990                    *g = (c->table_gU[U] + c->table_gV[V]),
991                    *b =  c->table_bU[U];
992
993         if (hasAlpha) {
994             A1 = (abuf0[i * 2    ] * yalpha1 + abuf1[i * 2    ] * yalpha) >> 19;
995             A2 = (abuf0[i * 2 + 1] * yalpha1 + abuf1[i * 2 + 1] * yalpha) >> 19;
996         }
997
998         yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
999                       r, g, b, y, target, hasAlpha);
1000     }
1001 }
1002
1003 static av_always_inline void
1004 yuv2rgb_1_c_template(SwsContext *c, const int16_t *buf0,
1005                      const int16_t *ubuf[2], const int16_t *vbuf[2],
1006                      const int16_t *abuf0, uint8_t *dest, int dstW,
1007                      int uvalpha, int y, enum PixelFormat target,
1008                      int hasAlpha)
1009 {
1010     const int16_t *ubuf0 = ubuf[0], *vbuf0 = vbuf[0];
1011     int i;
1012
1013     if (uvalpha < 2048) {
1014         for (i = 0; i < (dstW >> 1); i++) {
1015             int Y1 = buf0[i * 2]     >> 7;
1016             int Y2 = buf0[i * 2 + 1] >> 7;
1017             int U  = ubuf0[i]        >> 7;
1018             int V  = vbuf0[i]        >> 7;
1019             int A1, A2;
1020             const void *r =  c->table_rV[V],
1021                        *g = (c->table_gU[U] + c->table_gV[V]),
1022                        *b =  c->table_bU[U];
1023
1024             if (hasAlpha) {
1025                 A1 = abuf0[i * 2    ] >> 7;
1026                 A2 = abuf0[i * 2 + 1] >> 7;
1027             }
1028
1029             yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
1030                           r, g, b, y, target, hasAlpha);
1031         }
1032     } else {
1033         const int16_t *ubuf1 = ubuf[1], *vbuf1 = vbuf[1];
1034         for (i = 0; i < (dstW >> 1); i++) {
1035             int Y1 =  buf0[i * 2]          >> 7;
1036             int Y2 =  buf0[i * 2 + 1]      >> 7;
1037             int U  = (ubuf0[i] + ubuf1[i]) >> 8;
1038             int V  = (vbuf0[i] + vbuf1[i]) >> 8;
1039             int A1, A2;
1040             const void *r =  c->table_rV[V],
1041                        *g = (c->table_gU[U] + c->table_gV[V]),
1042                        *b =  c->table_bU[U];
1043
1044             if (hasAlpha) {
1045                 A1 = abuf0[i * 2    ] >> 7;
1046                 A2 = abuf0[i * 2 + 1] >> 7;
1047             }
1048
1049             yuv2rgb_write(dest, i, Y1, Y2, hasAlpha ? A1 : 0, hasAlpha ? A2 : 0,
1050                           r, g, b, y, target, hasAlpha);
1051         }
1052     }
1053 }
1054
1055 #define YUV2RGBWRAPPERX(name, base, ext, fmt, hasAlpha) \
1056 static void name ## ext ## _X_c(SwsContext *c, const int16_t *lumFilter, \
1057                                 const int16_t **lumSrc, int lumFilterSize, \
1058                                 const int16_t *chrFilter, const int16_t **chrUSrc, \
1059                                 const int16_t **chrVSrc, int chrFilterSize, \
1060                                 const int16_t **alpSrc, uint8_t *dest, int dstW, \
1061                                 int y) \
1062 { \
1063     name ## base ## _X_c_template(c, lumFilter, lumSrc, lumFilterSize, \
1064                                   chrFilter, chrUSrc, chrVSrc, chrFilterSize, \
1065                                   alpSrc, dest, dstW, y, fmt, hasAlpha); \
1066 }
1067 #define YUV2RGBWRAPPER(name, base, ext, fmt, hasAlpha) \
1068 YUV2RGBWRAPPERX(name, base, ext, fmt, hasAlpha) \
1069 static void name ## ext ## _2_c(SwsContext *c, const int16_t *buf[2], \
1070                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
1071                                 const int16_t *abuf[2], uint8_t *dest, int dstW, \
1072                                 int yalpha, int uvalpha, int y) \
1073 { \
1074     name ## base ## _2_c_template(c, buf, ubuf, vbuf, abuf, \
1075                                   dest, dstW, yalpha, uvalpha, y, fmt, hasAlpha); \
1076 } \
1077  \
1078 static void name ## ext ## _1_c(SwsContext *c, const int16_t *buf0, \
1079                                 const int16_t *ubuf[2], const int16_t *vbuf[2], \
1080                                 const int16_t *abuf0, uint8_t *dest, int dstW, \
1081                                 int uvalpha, int y) \
1082 { \
1083     name ## base ## _1_c_template(c, buf0, ubuf, vbuf, abuf0, dest, \
1084                                   dstW, uvalpha, y, fmt, hasAlpha); \
1085 }
1086
1087 #if CONFIG_SMALL
1088 YUV2RGBWRAPPER(yuv2rgb,,  32_1,  PIX_FMT_RGB32_1,   CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1089 YUV2RGBWRAPPER(yuv2rgb,,  32,    PIX_FMT_RGB32,     CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1090 #else
1091 #if CONFIG_SWSCALE_ALPHA
1092 YUV2RGBWRAPPER(yuv2rgb,, a32_1,  PIX_FMT_RGB32_1,   1)
1093 YUV2RGBWRAPPER(yuv2rgb,, a32,    PIX_FMT_RGB32,     1)
1094 #endif
1095 YUV2RGBWRAPPER(yuv2rgb,, x32_1,  PIX_FMT_RGB32_1,   0)
1096 YUV2RGBWRAPPER(yuv2rgb,, x32,    PIX_FMT_RGB32,     0)
1097 #endif
1098 YUV2RGBWRAPPER(yuv2, rgb, rgb24, PIX_FMT_RGB24,   0)
1099 YUV2RGBWRAPPER(yuv2, rgb, bgr24, PIX_FMT_BGR24,   0)
1100 YUV2RGBWRAPPER(yuv2rgb,,  16,    PIX_FMT_RGB565,    0)
1101 YUV2RGBWRAPPER(yuv2rgb,,  15,    PIX_FMT_RGB555,    0)
1102 YUV2RGBWRAPPER(yuv2rgb,,  12,    PIX_FMT_RGB444,    0)
1103 YUV2RGBWRAPPER(yuv2rgb,,   8,    PIX_FMT_RGB8,      0)
1104 YUV2RGBWRAPPER(yuv2rgb,,   4,    PIX_FMT_RGB4,      0)
1105 YUV2RGBWRAPPER(yuv2rgb,,   4b,   PIX_FMT_RGB4_BYTE, 0)
1106
1107 static av_always_inline void
1108 yuv2rgb_full_X_c_template(SwsContext *c, const int16_t *lumFilter,
1109                           const int16_t **lumSrc, int lumFilterSize,
1110                           const int16_t *chrFilter, const int16_t **chrUSrc,
1111                           const int16_t **chrVSrc, int chrFilterSize,
1112                           const int16_t **alpSrc, uint8_t *dest,
1113                           int dstW, int y, enum PixelFormat target, int hasAlpha)
1114 {
1115     int i;
1116     int step = (target == PIX_FMT_RGB24 || target == PIX_FMT_BGR24) ? 3 : 4;
1117
1118     for (i = 0; i < dstW; i++) {
1119         int j;
1120         int Y = 0;
1121         int U = -128 << 19;
1122         int V = -128 << 19;
1123         int R, G, B, A;
1124
1125         for (j = 0; j < lumFilterSize; j++) {
1126             Y += lumSrc[j][i] * lumFilter[j];
1127         }
1128         for (j = 0; j < chrFilterSize; j++) {
1129             U += chrUSrc[j][i] * chrFilter[j];
1130             V += chrVSrc[j][i] * chrFilter[j];
1131         }
1132         Y >>= 10;
1133         U >>= 10;
1134         V >>= 10;
1135         if (hasAlpha) {
1136             A = 1 << 21;
1137             for (j = 0; j < lumFilterSize; j++) {
1138                 A += alpSrc[j][i] * lumFilter[j];
1139             }
1140             A >>= 19;
1141             if (A & 0x100)
1142                 A = av_clip_uint8(A);
1143         }
1144         Y -= c->yuv2rgb_y_offset;
1145         Y *= c->yuv2rgb_y_coeff;
1146         Y += 1 << 21;
1147         R = Y + V*c->yuv2rgb_v2r_coeff;
1148         G = Y + V*c->yuv2rgb_v2g_coeff + U*c->yuv2rgb_u2g_coeff;
1149         B = Y +                          U*c->yuv2rgb_u2b_coeff;
1150         if ((R | G | B) & 0xC0000000) {
1151             R = av_clip_uintp2(R, 30);
1152             G = av_clip_uintp2(G, 30);
1153             B = av_clip_uintp2(B, 30);
1154         }
1155
1156         switch(target) {
1157         case PIX_FMT_ARGB:
1158             dest[0] = hasAlpha ? A : 255;
1159             dest[1] = R >> 22;
1160             dest[2] = G >> 22;
1161             dest[3] = B >> 22;
1162             break;
1163         case PIX_FMT_RGB24:
1164             dest[0] = R >> 22;
1165             dest[1] = G >> 22;
1166             dest[2] = B >> 22;
1167             break;
1168         case PIX_FMT_RGBA:
1169             dest[0] = R >> 22;
1170             dest[1] = G >> 22;
1171             dest[2] = B >> 22;
1172             dest[3] = hasAlpha ? A : 255;
1173             break;
1174         case PIX_FMT_ABGR:
1175             dest[0] = hasAlpha ? A : 255;
1176             dest[1] = B >> 22;
1177             dest[2] = G >> 22;
1178             dest[3] = R >> 22;
1179             dest += 4;
1180             break;
1181         case PIX_FMT_BGR24:
1182             dest[0] = B >> 22;
1183             dest[1] = G >> 22;
1184             dest[2] = R >> 22;
1185             break;
1186         case PIX_FMT_BGRA:
1187             dest[0] = B >> 22;
1188             dest[1] = G >> 22;
1189             dest[2] = R >> 22;
1190             dest[3] = hasAlpha ? A : 255;
1191             break;
1192         }
1193         dest += step;
1194     }
1195 }
1196
1197 #if CONFIG_SMALL
1198 YUV2RGBWRAPPERX(yuv2, rgb_full, bgra32_full, PIX_FMT_BGRA,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1199 YUV2RGBWRAPPERX(yuv2, rgb_full, abgr32_full, PIX_FMT_ABGR,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1200 YUV2RGBWRAPPERX(yuv2, rgb_full, rgba32_full, PIX_FMT_RGBA,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1201 YUV2RGBWRAPPERX(yuv2, rgb_full, argb32_full, PIX_FMT_ARGB,  CONFIG_SWSCALE_ALPHA && c->alpPixBuf)
1202 #else
1203 #if CONFIG_SWSCALE_ALPHA
1204 YUV2RGBWRAPPERX(yuv2, rgb_full, bgra32_full, PIX_FMT_BGRA,  1)
1205 YUV2RGBWRAPPERX(yuv2, rgb_full, abgr32_full, PIX_FMT_ABGR,  1)
1206 YUV2RGBWRAPPERX(yuv2, rgb_full, rgba32_full, PIX_FMT_RGBA,  1)
1207 YUV2RGBWRAPPERX(yuv2, rgb_full, argb32_full, PIX_FMT_ARGB,  1)
1208 #endif
1209 YUV2RGBWRAPPERX(yuv2, rgb_full, bgrx32_full, PIX_FMT_BGRA,  0)
1210 YUV2RGBWRAPPERX(yuv2, rgb_full, xbgr32_full, PIX_FMT_ABGR,  0)
1211 YUV2RGBWRAPPERX(yuv2, rgb_full, rgbx32_full, PIX_FMT_RGBA,  0)
1212 YUV2RGBWRAPPERX(yuv2, rgb_full, xrgb32_full, PIX_FMT_ARGB,  0)
1213 #endif
1214 YUV2RGBWRAPPERX(yuv2, rgb_full, bgr24_full,  PIX_FMT_BGR24, 0)
1215 YUV2RGBWRAPPERX(yuv2, rgb_full, rgb24_full,  PIX_FMT_RGB24, 0)
1216
1217 void ff_sws_init_output_funcs(SwsContext *c,
1218                               yuv2planar1_fn *yuv2plane1,
1219                               yuv2planarX_fn *yuv2planeX,
1220                               yuv2interleavedX_fn *yuv2nv12cX,
1221                               yuv2packed1_fn *yuv2packed1,
1222                               yuv2packed2_fn *yuv2packed2,
1223                               yuv2packedX_fn *yuv2packedX)
1224 {
1225     enum PixelFormat dstFormat = c->dstFormat;
1226
1227     if (is16BPS(dstFormat)) {
1228         *yuv2planeX = isBE(dstFormat) ? yuv2planeX_16BE_c  : yuv2planeX_16LE_c;
1229         *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_16BE_c  : yuv2plane1_16LE_c;
1230     } else if (is9_OR_10BPS(dstFormat)) {
1231         if (av_pix_fmt_descriptors[dstFormat].comp[0].depth_minus1 == 8) {
1232             *yuv2planeX = isBE(dstFormat) ? yuv2planeX_9BE_c  : yuv2planeX_9LE_c;
1233             *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_9BE_c  : yuv2plane1_9LE_c;
1234         } else {
1235             *yuv2planeX = isBE(dstFormat) ? yuv2planeX_10BE_c  : yuv2planeX_10LE_c;
1236             *yuv2plane1 = isBE(dstFormat) ? yuv2plane1_10BE_c  : yuv2plane1_10LE_c;
1237         }
1238     } else {
1239         *yuv2plane1 = yuv2plane1_8_c;
1240         *yuv2planeX = yuv2planeX_8_c;
1241         if (dstFormat == PIX_FMT_NV12 || dstFormat == PIX_FMT_NV21)
1242             *yuv2nv12cX = yuv2nv12cX_c;
1243     }
1244
1245     if(c->flags & SWS_FULL_CHR_H_INT) {
1246         switch (dstFormat) {
1247             case PIX_FMT_RGBA:
1248 #if CONFIG_SMALL
1249                 *yuv2packedX = yuv2rgba32_full_X_c;
1250 #else
1251 #if CONFIG_SWSCALE_ALPHA
1252                 if (c->alpPixBuf) {
1253                     *yuv2packedX = yuv2rgba32_full_X_c;
1254                 } else
1255 #endif /* CONFIG_SWSCALE_ALPHA */
1256                 {
1257                     *yuv2packedX = yuv2rgbx32_full_X_c;
1258                 }
1259 #endif /* !CONFIG_SMALL */
1260                 break;
1261             case PIX_FMT_ARGB:
1262 #if CONFIG_SMALL
1263                 *yuv2packedX = yuv2argb32_full_X_c;
1264 #else
1265 #if CONFIG_SWSCALE_ALPHA
1266                 if (c->alpPixBuf) {
1267                     *yuv2packedX = yuv2argb32_full_X_c;
1268                 } else
1269 #endif /* CONFIG_SWSCALE_ALPHA */
1270                 {
1271                     *yuv2packedX = yuv2xrgb32_full_X_c;
1272                 }
1273 #endif /* !CONFIG_SMALL */
1274                 break;
1275             case PIX_FMT_BGRA:
1276 #if CONFIG_SMALL
1277                 *yuv2packedX = yuv2bgra32_full_X_c;
1278 #else
1279 #if CONFIG_SWSCALE_ALPHA
1280                 if (c->alpPixBuf) {
1281                     *yuv2packedX = yuv2bgra32_full_X_c;
1282                 } else
1283 #endif /* CONFIG_SWSCALE_ALPHA */
1284                 {
1285                     *yuv2packedX = yuv2bgrx32_full_X_c;
1286                 }
1287 #endif /* !CONFIG_SMALL */
1288                 break;
1289             case PIX_FMT_ABGR:
1290 #if CONFIG_SMALL
1291                 *yuv2packedX = yuv2abgr32_full_X_c;
1292 #else
1293 #if CONFIG_SWSCALE_ALPHA
1294                 if (c->alpPixBuf) {
1295                     *yuv2packedX = yuv2abgr32_full_X_c;
1296                 } else
1297 #endif /* CONFIG_SWSCALE_ALPHA */
1298                 {
1299                     *yuv2packedX = yuv2xbgr32_full_X_c;
1300                 }
1301 #endif /* !CONFIG_SMALL */
1302                 break;
1303             case PIX_FMT_RGB24:
1304             *yuv2packedX = yuv2rgb24_full_X_c;
1305             break;
1306         case PIX_FMT_BGR24:
1307             *yuv2packedX = yuv2bgr24_full_X_c;
1308             break;
1309         }
1310     } else {
1311         switch (dstFormat) {
1312         case PIX_FMT_RGB48LE:
1313             *yuv2packed1 = yuv2rgb48le_1_c;
1314             *yuv2packed2 = yuv2rgb48le_2_c;
1315             *yuv2packedX = yuv2rgb48le_X_c;
1316             break;
1317         case PIX_FMT_RGB48BE:
1318             *yuv2packed1 = yuv2rgb48be_1_c;
1319             *yuv2packed2 = yuv2rgb48be_2_c;
1320             *yuv2packedX = yuv2rgb48be_X_c;
1321             break;
1322         case PIX_FMT_BGR48LE:
1323             *yuv2packed1 = yuv2bgr48le_1_c;
1324             *yuv2packed2 = yuv2bgr48le_2_c;
1325             *yuv2packedX = yuv2bgr48le_X_c;
1326             break;
1327         case PIX_FMT_BGR48BE:
1328             *yuv2packed1 = yuv2bgr48be_1_c;
1329             *yuv2packed2 = yuv2bgr48be_2_c;
1330             *yuv2packedX = yuv2bgr48be_X_c;
1331             break;
1332         case PIX_FMT_RGB32:
1333         case PIX_FMT_BGR32:
1334 #if CONFIG_SMALL
1335             *yuv2packed1 = yuv2rgb32_1_c;
1336             *yuv2packed2 = yuv2rgb32_2_c;
1337             *yuv2packedX = yuv2rgb32_X_c;
1338 #else
1339 #if CONFIG_SWSCALE_ALPHA
1340                 if (c->alpPixBuf) {
1341                     *yuv2packed1 = yuv2rgba32_1_c;
1342                     *yuv2packed2 = yuv2rgba32_2_c;
1343                     *yuv2packedX = yuv2rgba32_X_c;
1344                 } else
1345 #endif /* CONFIG_SWSCALE_ALPHA */
1346                 {
1347                     *yuv2packed1 = yuv2rgbx32_1_c;
1348                     *yuv2packed2 = yuv2rgbx32_2_c;
1349                     *yuv2packedX = yuv2rgbx32_X_c;
1350                 }
1351 #endif /* !CONFIG_SMALL */
1352             break;
1353         case PIX_FMT_RGB32_1:
1354         case PIX_FMT_BGR32_1:
1355 #if CONFIG_SMALL
1356                 *yuv2packed1 = yuv2rgb32_1_1_c;
1357                 *yuv2packed2 = yuv2rgb32_1_2_c;
1358                 *yuv2packedX = yuv2rgb32_1_X_c;
1359 #else
1360 #if CONFIG_SWSCALE_ALPHA
1361                 if (c->alpPixBuf) {
1362                     *yuv2packed1 = yuv2rgba32_1_1_c;
1363                     *yuv2packed2 = yuv2rgba32_1_2_c;
1364                     *yuv2packedX = yuv2rgba32_1_X_c;
1365                 } else
1366 #endif /* CONFIG_SWSCALE_ALPHA */
1367                 {
1368                     *yuv2packed1 = yuv2rgbx32_1_1_c;
1369                     *yuv2packed2 = yuv2rgbx32_1_2_c;
1370                     *yuv2packedX = yuv2rgbx32_1_X_c;
1371                 }
1372 #endif /* !CONFIG_SMALL */
1373                 break;
1374         case PIX_FMT_RGB24:
1375             *yuv2packed1 = yuv2rgb24_1_c;
1376             *yuv2packed2 = yuv2rgb24_2_c;
1377             *yuv2packedX = yuv2rgb24_X_c;
1378             break;
1379         case PIX_FMT_BGR24:
1380             *yuv2packed1 = yuv2bgr24_1_c;
1381             *yuv2packed2 = yuv2bgr24_2_c;
1382             *yuv2packedX = yuv2bgr24_X_c;
1383             break;
1384         case PIX_FMT_RGB565LE:
1385         case PIX_FMT_RGB565BE:
1386         case PIX_FMT_BGR565LE:
1387         case PIX_FMT_BGR565BE:
1388             *yuv2packed1 = yuv2rgb16_1_c;
1389             *yuv2packed2 = yuv2rgb16_2_c;
1390             *yuv2packedX = yuv2rgb16_X_c;
1391             break;
1392         case PIX_FMT_RGB555LE:
1393         case PIX_FMT_RGB555BE:
1394         case PIX_FMT_BGR555LE:
1395         case PIX_FMT_BGR555BE:
1396             *yuv2packed1 = yuv2rgb15_1_c;
1397             *yuv2packed2 = yuv2rgb15_2_c;
1398             *yuv2packedX = yuv2rgb15_X_c;
1399             break;
1400         case PIX_FMT_RGB444LE:
1401         case PIX_FMT_RGB444BE:
1402         case PIX_FMT_BGR444LE:
1403         case PIX_FMT_BGR444BE:
1404             *yuv2packed1 = yuv2rgb12_1_c;
1405             *yuv2packed2 = yuv2rgb12_2_c;
1406             *yuv2packedX = yuv2rgb12_X_c;
1407             break;
1408         case PIX_FMT_RGB8:
1409         case PIX_FMT_BGR8:
1410             *yuv2packed1 = yuv2rgb8_1_c;
1411             *yuv2packed2 = yuv2rgb8_2_c;
1412             *yuv2packedX = yuv2rgb8_X_c;
1413             break;
1414         case PIX_FMT_RGB4:
1415         case PIX_FMT_BGR4:
1416             *yuv2packed1 = yuv2rgb4_1_c;
1417             *yuv2packed2 = yuv2rgb4_2_c;
1418             *yuv2packedX = yuv2rgb4_X_c;
1419             break;
1420         case PIX_FMT_RGB4_BYTE:
1421         case PIX_FMT_BGR4_BYTE:
1422             *yuv2packed1 = yuv2rgb4b_1_c;
1423             *yuv2packed2 = yuv2rgb4b_2_c;
1424             *yuv2packedX = yuv2rgb4b_X_c;
1425             break;
1426         }
1427     }
1428     switch (dstFormat) {
1429     case PIX_FMT_MONOWHITE:
1430         *yuv2packed1 = yuv2monowhite_1_c;
1431         *yuv2packed2 = yuv2monowhite_2_c;
1432         *yuv2packedX = yuv2monowhite_X_c;
1433         break;
1434     case PIX_FMT_MONOBLACK:
1435         *yuv2packed1 = yuv2monoblack_1_c;
1436         *yuv2packed2 = yuv2monoblack_2_c;
1437         *yuv2packedX = yuv2monoblack_X_c;
1438         break;
1439     case PIX_FMT_YUYV422:
1440         *yuv2packed1 = yuv2yuyv422_1_c;
1441         *yuv2packed2 = yuv2yuyv422_2_c;
1442         *yuv2packedX = yuv2yuyv422_X_c;
1443         break;
1444     case PIX_FMT_UYVY422:
1445         *yuv2packed1 = yuv2uyvy422_1_c;
1446         *yuv2packed2 = yuv2uyvy422_2_c;
1447         *yuv2packedX = yuv2uyvy422_X_c;
1448         break;
1449     }
1450 }