Remove g6Dither from libswscale.
[ffmpeg.git] / libswscale / yuv2rgb.c
1 /*
2  * yuv2rgb.c, Software YUV to RGB converter
3  *
4  *  Copyright (C) 1999, Aaron Holtzman <aholtzma@ess.engr.uvic.ca>
5  *
6  *  Functions broken out from display_x11.c and several new modes
7  *  added by HÃ¥kan Hjort <d95hjort@dtek.chalmers.se>
8  *
9  *  15 & 16 bpp support by Franck Sicard <Franck.Sicard@solsoft.fr>
10  *
11  *  MMX/MMX2 template stuff (needed for fast movntq support),
12  *  1,4,8bpp support and context / deglobalize stuff
13  *  by Michael Niedermayer (michaelni@gmx.at)
14  *
15  *  This file is part of mpeg2dec, a free MPEG-2 video decoder
16  *
17  *  mpeg2dec is free software; you can redistribute it and/or modify
18  *  it under the terms of the GNU General Public License as published by
19  *  the Free Software Foundation; either version 2, or (at your option)
20  *  any later version.
21  *
22  *  mpeg2dec is distributed in the hope that it will be useful,
23  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
24  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
25  *  GNU General Public License for more details.
26  *
27  *  You should have received a copy of the GNU General Public License
28  *  along with mpeg2dec; if not, write to the Free Software
29  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
30  */
31
32 #include <stdio.h>
33 #include <stdlib.h>
34 #include <inttypes.h>
35 #include <assert.h>
36
37 #include "config.h"
38 #include "rgb2rgb.h"
39 #include "swscale.h"
40 #include "swscale_internal.h"
41
42 #define DITHER1XBPP // only for MMX
43
44 extern const uint8_t dither_2x2_4[2][8];
45 extern const uint8_t dither_2x2_8[2][8];
46 extern const uint8_t dither_8x8_32[8][8];
47 extern const uint8_t dither_8x8_73[8][8];
48 extern const uint8_t dither_8x8_220[8][8];
49
50 #ifdef HAVE_MMX
51
52 /* hope these constant values are cache line aligned */
53 DECLARE_ASM_CONST(8, uint64_t, mmx_00ffw)   = 0x00ff00ff00ff00ffULL;
54 DECLARE_ASM_CONST(8, uint64_t, mmx_redmask) = 0xf8f8f8f8f8f8f8f8ULL;
55 DECLARE_ASM_CONST(8, uint64_t, mmx_grnmask) = 0xfcfcfcfcfcfcfcfcULL;
56
57 // The volatile is required because gcc otherwise optimizes some writes away
58 // not knowing that these are read in the ASM block.
59 static volatile uint64_t attribute_used __attribute__((aligned(8))) b5Dither;
60 static volatile uint64_t attribute_used __attribute__((aligned(8))) g5Dither;
61 static volatile uint64_t attribute_used __attribute__((aligned(8))) r5Dither;
62
63 #undef HAVE_MMX
64
65 //MMX versions
66 #undef RENAME
67 #define HAVE_MMX
68 #undef HAVE_MMX2
69 #undef HAVE_3DNOW
70 #define RENAME(a) a ## _MMX
71 #include "yuv2rgb_template.c"
72
73 //MMX2 versions
74 #undef RENAME
75 #define HAVE_MMX
76 #define HAVE_MMX2
77 #undef HAVE_3DNOW
78 #define RENAME(a) a ## _MMX2
79 #include "yuv2rgb_template.c"
80
81 #endif /* HAVE_MMX */
82
83 const int32_t Inverse_Table_6_9[8][4] = {
84     {117504, 138453, 13954, 34903}, /* no sequence_display_extension */
85     {117504, 138453, 13954, 34903}, /* ITU-R Rec. 709 (1990) */
86     {104597, 132201, 25675, 53279}, /* unspecified */
87     {104597, 132201, 25675, 53279}, /* reserved */
88     {104448, 132798, 24759, 53109}, /* FCC */
89     {104597, 132201, 25675, 53279}, /* ITU-R Rec. 624-4 System B, G */
90     {104597, 132201, 25675, 53279}, /* SMPTE 170M */
91     {117579, 136230, 16907, 35559}  /* SMPTE 240M (1987) */
92 };
93
94 #define RGB(i)                                      \
95     U = pu[i];                                      \
96     V = pv[i];                                      \
97     r = (void *)c->table_rV[V];                     \
98     g = (void *)(c->table_gU[U] + c->table_gV[V]);  \
99     b = (void *)c->table_bU[U];
100
101 #define DST1(i)                         \
102     Y = py_1[2*i];                      \
103     dst_1[2*i] = r[Y] + g[Y] + b[Y];    \
104     Y = py_1[2*i+1];                    \
105     dst_1[2*i+1] = r[Y] + g[Y] + b[Y];
106
107 #define DST2(i)                         \
108     Y = py_2[2*i];                      \
109     dst_2[2*i] = r[Y] + g[Y] + b[Y];    \
110     Y = py_2[2*i+1];                    \
111     dst_2[2*i+1] = r[Y] + g[Y] + b[Y];
112
113 #define DST1RGB(i)                                                \
114     Y = py_1[2*i];                                                \
115     dst_1[6*i] = r[Y]; dst_1[6*i+1] = g[Y]; dst_1[6*i+2] = b[Y];  \
116     Y = py_1[2*i+1];                                              \
117     dst_1[6*i+3] = r[Y]; dst_1[6*i+4] = g[Y]; dst_1[6*i+5] = b[Y];
118
119 #define DST2RGB(i)                                                \
120     Y = py_2[2*i];                                                \
121     dst_2[6*i] = r[Y]; dst_2[6*i+1] = g[Y]; dst_2[6*i+2] = b[Y];  \
122     Y = py_2[2*i+1];                                              \
123     dst_2[6*i+3] = r[Y]; dst_2[6*i+4] = g[Y]; dst_2[6*i+5] = b[Y];
124
125 #define DST1BGR(i)                                                \
126     Y = py_1[2*i];                                                \
127     dst_1[6*i] = b[Y]; dst_1[6*i+1] = g[Y]; dst_1[6*i+2] = r[Y];  \
128     Y = py_1[2*i+1];                                              \
129     dst_1[6*i+3] = b[Y]; dst_1[6*i+4] = g[Y]; dst_1[6*i+5] = r[Y];
130
131 #define DST2BGR(i)                                                \
132     Y = py_2[2*i];                                                \
133     dst_2[6*i] = b[Y]; dst_2[6*i+1] = g[Y]; dst_2[6*i+2] = r[Y];  \
134     Y = py_2[2*i+1];                                              \
135     dst_2[6*i+3] = b[Y]; dst_2[6*i+4] = g[Y]; dst_2[6*i+5] = r[Y];
136
137 #define PROLOG(func_name, dst_type) \
138 static int func_name(SwsContext *c, uint8_t* src[], int srcStride[], int srcSliceY, \
139                      int srcSliceH, uint8_t* dst[], int dstStride[]){\
140     int y;\
141 \
142     if (c->srcFormat == PIX_FMT_YUV422P){\
143         srcStride[1] *= 2;\
144         srcStride[2] *= 2;\
145     }\
146     for (y=0; y<srcSliceH; y+=2){\
147         dst_type *dst_1= (dst_type*)(dst[0] + (y+srcSliceY  )*dstStride[0]);\
148         dst_type *dst_2= (dst_type*)(dst[0] + (y+srcSliceY+1)*dstStride[0]);\
149         dst_type av_unused *r, *b;\
150         dst_type *g;\
151         uint8_t *py_1= src[0] + y*srcStride[0];\
152         uint8_t *py_2= py_1 + srcStride[0];\
153         uint8_t *pu= src[1] + (y>>1)*srcStride[1];\
154         uint8_t *pv= src[2] + (y>>1)*srcStride[2];\
155         unsigned int h_size= c->dstW>>3;\
156         while (h_size--) {\
157             int av_unused U, V;\
158             int Y;\
159
160 #define EPILOG1(dst_delta)\
161             pu += 4;\
162             pv += 4;\
163             py_1 += 8;\
164             py_2 += 8;\
165             dst_1 += dst_delta;\
166             dst_2 += dst_delta;\
167         }\
168         if (c->dstW & 4) {\
169             int av_unused Y, U, V;\
170
171 #define EPILOG2()\
172         }\
173     }\
174     return srcSliceH;\
175 }
176
177 #define EPILOG(dst_delta)\
178     EPILOG1(dst_delta)\
179     EPILOG2()
180
181 PROLOG(yuv2rgb_c_32, uint32_t)
182     RGB(0);
183     DST1(0);
184     DST2(0);
185
186     RGB(1);
187     DST2(1);
188     DST1(1);
189
190     RGB(2);
191     DST1(2);
192     DST2(2);
193
194     RGB(3);
195     DST2(3);
196     DST1(3);
197 EPILOG1(8)
198     RGB(0);
199     DST1(0);
200     DST2(0);
201
202     RGB(1);
203     DST2(1);
204     DST1(1);
205 EPILOG2()
206
207 PROLOG(yuv2rgb_c_24_rgb, uint8_t)
208     RGB(0);
209     DST1RGB(0);
210     DST2RGB(0);
211
212     RGB(1);
213     DST2RGB(1);
214     DST1RGB(1);
215
216     RGB(2);
217     DST1RGB(2);
218     DST2RGB(2);
219
220     RGB(3);
221     DST2RGB(3);
222     DST1RGB(3);
223 EPILOG1(24)
224     RGB(0);
225     DST1RGB(0);
226     DST2RGB(0);
227
228     RGB(1);
229     DST2RGB(1);
230     DST1RGB(1);
231 EPILOG2()
232
233 // only trivial mods from yuv2rgb_c_24_rgb
234 PROLOG(yuv2rgb_c_24_bgr, uint8_t)
235     RGB(0);
236     DST1BGR(0);
237     DST2BGR(0);
238
239     RGB(1);
240     DST2BGR(1);
241     DST1BGR(1);
242
243     RGB(2);
244     DST1BGR(2);
245     DST2BGR(2);
246
247     RGB(3);
248     DST2BGR(3);
249     DST1BGR(3);
250 EPILOG1(24)
251     RGB(0);
252     DST1BGR(0);
253     DST2BGR(0);
254
255     RGB(1);
256     DST2BGR(1);
257     DST1BGR(1);
258 EPILOG2()
259
260 // This is exactly the same code as yuv2rgb_c_32 except for the types of
261 // r, g, b, dst_1, dst_2
262 PROLOG(yuv2rgb_c_16, uint16_t)
263     RGB(0);
264     DST1(0);
265     DST2(0);
266
267     RGB(1);
268     DST2(1);
269     DST1(1);
270
271     RGB(2);
272     DST1(2);
273     DST2(2);
274
275     RGB(3);
276     DST2(3);
277     DST1(3);
278 EPILOG(8)
279
280 // This is exactly the same code as yuv2rgb_c_32 except for the types of
281 // r, g, b, dst_1, dst_2
282 PROLOG(yuv2rgb_c_8, uint8_t)
283     RGB(0);
284     DST1(0);
285     DST2(0);
286
287     RGB(1);
288     DST2(1);
289     DST1(1);
290
291     RGB(2);
292     DST1(2);
293     DST2(2);
294
295     RGB(3);
296     DST2(3);
297     DST1(3);
298 EPILOG(8)
299
300 // r, g, b, dst_1, dst_2
301 PROLOG(yuv2rgb_c_8_ordered_dither, uint8_t)
302     const uint8_t *d32= dither_8x8_32[y&7];
303     const uint8_t *d64= dither_8x8_73[y&7];
304 #define DST1bpp8(i,o)                                               \
305     Y = py_1[2*i];                                                  \
306     dst_1[2*i]   = r[Y+d32[0+o]] + g[Y+d32[0+o]] + b[Y+d64[0+o]];   \
307     Y = py_1[2*i+1];                                                \
308     dst_1[2*i+1] = r[Y+d32[1+o]] + g[Y+d32[1+o]] + b[Y+d64[1+o]];
309
310 #define DST2bpp8(i,o)                                               \
311     Y = py_2[2*i];                                                  \
312     dst_2[2*i]   =  r[Y+d32[8+o]] + g[Y+d32[8+o]] + b[Y+d64[8+o]];  \
313     Y = py_2[2*i+1];                                                \
314     dst_2[2*i+1] =  r[Y+d32[9+o]] + g[Y+d32[9+o]] + b[Y+d64[9+o]];
315
316
317     RGB(0);
318     DST1bpp8(0,0);
319     DST2bpp8(0,0);
320
321     RGB(1);
322     DST2bpp8(1,2);
323     DST1bpp8(1,2);
324
325     RGB(2);
326     DST1bpp8(2,4);
327     DST2bpp8(2,4);
328
329     RGB(3);
330     DST2bpp8(3,6);
331     DST1bpp8(3,6);
332 EPILOG(8)
333
334
335 // This is exactly the same code as yuv2rgb_c_32 except for the types of
336 // r, g, b, dst_1, dst_2
337 PROLOG(yuv2rgb_c_4, uint8_t)
338     int acc;
339 #define DST1_4(i)                   \
340     Y = py_1[2*i];                  \
341     acc = r[Y] + g[Y] + b[Y];       \
342     Y = py_1[2*i+1];                \
343     acc |= (r[Y] + g[Y] + b[Y])<<4; \
344     dst_1[i] = acc;
345
346 #define DST2_4(i)                   \
347     Y = py_2[2*i];                  \
348     acc = r[Y] + g[Y] + b[Y];       \
349     Y = py_2[2*i+1];                \
350     acc |= (r[Y] + g[Y] + b[Y])<<4; \
351     dst_2[i] = acc;
352
353     RGB(0);
354     DST1_4(0);
355     DST2_4(0);
356
357     RGB(1);
358     DST2_4(1);
359     DST1_4(1);
360
361     RGB(2);
362     DST1_4(2);
363     DST2_4(2);
364
365     RGB(3);
366     DST2_4(3);
367     DST1_4(3);
368 EPILOG(4)
369
370 PROLOG(yuv2rgb_c_4_ordered_dither, uint8_t)
371     const uint8_t *d64= dither_8x8_73[y&7];
372     const uint8_t *d128=dither_8x8_220[y&7];
373     int acc;
374
375 #define DST1bpp4(i,o)                                             \
376     Y = py_1[2*i];                                                \
377     acc = r[Y+d128[0+o]] + g[Y+d64[0+o]] + b[Y+d128[0+o]];        \
378     Y = py_1[2*i+1];                                              \
379     acc |= (r[Y+d128[1+o]] + g[Y+d64[1+o]] + b[Y+d128[1+o]])<<4;  \
380     dst_1[i]= acc;
381
382 #define DST2bpp4(i,o)                                             \
383     Y = py_2[2*i];                                                \
384     acc =  r[Y+d128[8+o]] + g[Y+d64[8+o]] + b[Y+d128[8+o]];       \
385     Y = py_2[2*i+1];                                              \
386     acc |=  (r[Y+d128[9+o]] + g[Y+d64[9+o]] + b[Y+d128[9+o]])<<4; \
387     dst_2[i]= acc;
388
389
390     RGB(0);
391     DST1bpp4(0,0);
392     DST2bpp4(0,0);
393
394     RGB(1);
395     DST2bpp4(1,2);
396     DST1bpp4(1,2);
397
398     RGB(2);
399     DST1bpp4(2,4);
400     DST2bpp4(2,4);
401
402     RGB(3);
403     DST2bpp4(3,6);
404     DST1bpp4(3,6);
405 EPILOG(4)
406
407 // This is exactly the same code as yuv2rgb_c_32 except for the types of
408 // r, g, b, dst_1, dst_2
409 PROLOG(yuv2rgb_c_4b, uint8_t)
410     RGB(0);
411     DST1(0);
412     DST2(0);
413
414     RGB(1);
415     DST2(1);
416     DST1(1);
417
418     RGB(2);
419     DST1(2);
420     DST2(2);
421
422     RGB(3);
423     DST2(3);
424     DST1(3);
425 EPILOG(8)
426
427 PROLOG(yuv2rgb_c_4b_ordered_dither, uint8_t)
428     const uint8_t *d64= dither_8x8_73[y&7];
429     const uint8_t *d128=dither_8x8_220[y&7];
430
431 #define DST1bpp4b(i,o)                                                \
432     Y = py_1[2*i];                                                    \
433     dst_1[2*i]   = r[Y+d128[0+o]] + g[Y+d64[0+o]] + b[Y+d128[0+o]];   \
434     Y = py_1[2*i+1];                                                  \
435     dst_1[2*i+1] = r[Y+d128[1+o]] + g[Y+d64[1+o]] + b[Y+d128[1+o]];
436
437 #define DST2bpp4b(i,o)                                                \
438     Y = py_2[2*i];                                                    \
439     dst_2[2*i]   =  r[Y+d128[8+o]] + g[Y+d64[8+o]] + b[Y+d128[8+o]];  \
440     Y = py_2[2*i+1];                                                  \
441     dst_2[2*i+1] =  r[Y+d128[9+o]] + g[Y+d64[9+o]] + b[Y+d128[9+o]];
442
443
444     RGB(0);
445     DST1bpp4b(0,0);
446     DST2bpp4b(0,0);
447
448     RGB(1);
449     DST2bpp4b(1,2);
450     DST1bpp4b(1,2);
451
452     RGB(2);
453     DST1bpp4b(2,4);
454     DST2bpp4b(2,4);
455
456     RGB(3);
457     DST2bpp4b(3,6);
458     DST1bpp4b(3,6);
459 EPILOG(8)
460
461 PROLOG(yuv2rgb_c_1_ordered_dither, uint8_t)
462         const uint8_t *d128=dither_8x8_220[y&7];
463         char out_1=0, out_2=0;
464         g= c->table_gU[128] + c->table_gV[128];
465
466 #define DST1bpp1(i,o)               \
467     Y = py_1[2*i];                  \
468     out_1+= out_1 + g[Y+d128[0+o]]; \
469     Y = py_1[2*i+1];                \
470     out_1+= out_1 + g[Y+d128[1+o]];
471
472 #define DST2bpp1(i,o)               \
473     Y = py_2[2*i];                  \
474     out_2+= out_2 + g[Y+d128[8+o]]; \
475     Y = py_2[2*i+1];                \
476     out_2+= out_2 + g[Y+d128[9+o]];
477
478     DST1bpp1(0,0);
479     DST2bpp1(0,0);
480
481     DST2bpp1(1,2);
482     DST1bpp1(1,2);
483
484     DST1bpp1(2,4);
485     DST2bpp1(2,4);
486
487     DST2bpp1(3,6);
488     DST1bpp1(3,6);
489
490     dst_1[0]= out_1;
491     dst_2[0]= out_2;
492 EPILOG(1)
493
494 SwsFunc yuv2rgb_get_func_ptr (SwsContext *c)
495 {
496 #if defined(HAVE_MMX2) || defined(HAVE_MMX)
497     if (c->flags & SWS_CPU_CAPS_MMX2){
498         switch(c->dstFormat){
499         case PIX_FMT_RGB32:  return yuv420_rgb32_MMX2;
500         case PIX_FMT_BGR24:  return yuv420_rgb24_MMX2;
501         case PIX_FMT_RGB565: return yuv420_rgb16_MMX2;
502         case PIX_FMT_RGB555: return yuv420_rgb15_MMX2;
503         }
504     }
505     if (c->flags & SWS_CPU_CAPS_MMX){
506         switch(c->dstFormat){
507         case PIX_FMT_RGB32:  return yuv420_rgb32_MMX;
508         case PIX_FMT_BGR24:  return yuv420_rgb24_MMX;
509         case PIX_FMT_RGB565: return yuv420_rgb16_MMX;
510         case PIX_FMT_RGB555: return yuv420_rgb15_MMX;
511         }
512     }
513 #endif
514 #ifdef HAVE_VIS
515     {
516         SwsFunc t= yuv2rgb_init_vis(c);
517         if (t) return t;
518     }
519 #endif
520 #ifdef CONFIG_MLIB
521     {
522         SwsFunc t= yuv2rgb_init_mlib(c);
523         if (t) return t;
524     }
525 #endif
526 #ifdef HAVE_ALTIVEC
527     if (c->flags & SWS_CPU_CAPS_ALTIVEC)
528     {
529         SwsFunc t = yuv2rgb_init_altivec(c);
530         if (t) return t;
531     }
532 #endif
533
534 #ifdef ARCH_BFIN
535     if (c->flags & SWS_CPU_CAPS_BFIN)
536     {
537         SwsFunc t = ff_bfin_yuv2rgb_get_func_ptr (c);
538         if (t) return t;
539     }
540 #endif
541
542     av_log(c, AV_LOG_WARNING, "No accelerated colorspace conversion found.\n");
543
544     switch(c->dstFormat){
545     case PIX_FMT_BGR32_1:
546     case PIX_FMT_RGB32_1:
547     case PIX_FMT_BGR32:
548     case PIX_FMT_RGB32: return yuv2rgb_c_32;
549     case PIX_FMT_RGB24: return yuv2rgb_c_24_rgb;
550     case PIX_FMT_BGR24: return yuv2rgb_c_24_bgr;
551     case PIX_FMT_RGB565:
552     case PIX_FMT_BGR565:
553     case PIX_FMT_RGB555:
554     case PIX_FMT_BGR555: return yuv2rgb_c_16;
555     case PIX_FMT_RGB8:
556     case PIX_FMT_BGR8:  return yuv2rgb_c_8_ordered_dither;
557     case PIX_FMT_RGB4:
558     case PIX_FMT_BGR4:  return yuv2rgb_c_4_ordered_dither;
559     case PIX_FMT_RGB4_BYTE:
560     case PIX_FMT_BGR4_BYTE:  return yuv2rgb_c_4b_ordered_dither;
561     case PIX_FMT_MONOBLACK:  return yuv2rgb_c_1_ordered_dither;
562     default:
563         assert(0);
564     }
565     return NULL;
566 }
567
568 static int div_round (int dividend, int divisor)
569 {
570     if (dividend > 0)
571         return (dividend + (divisor>>1)) / divisor;
572     else
573         return -((-dividend + (divisor>>1)) / divisor);
574 }
575
576 int yuv2rgb_c_init_tables (SwsContext *c, const int inv_table[4], int fullRange, int brightness, int contrast, int saturation)
577 {
578     const int isRgb =      c->dstFormat==PIX_FMT_RGB32
579                         || c->dstFormat==PIX_FMT_RGB32_1
580                         || c->dstFormat==PIX_FMT_BGR24
581                         || c->dstFormat==PIX_FMT_RGB565
582                         || c->dstFormat==PIX_FMT_RGB555
583                         || c->dstFormat==PIX_FMT_RGB8
584                         || c->dstFormat==PIX_FMT_RGB4
585                         || c->dstFormat==PIX_FMT_RGB4_BYTE
586                         || c->dstFormat==PIX_FMT_MONOBLACK;
587     const int bpp = fmt_depth(c->dstFormat);
588     int i, base;
589     uint8_t table_Y[1024];
590     uint32_t *table_32 = 0;
591     uint16_t *table_16 = 0;
592     uint8_t *table_8 = 0;
593     uint8_t *table_332 = 0;
594     uint8_t *table_121 = 0;
595     uint8_t *table_1 = 0;
596     int entry_size = 0;
597     void *table_r = 0, *table_g = 0, *table_b = 0;
598     void *table_start;
599
600     int64_t crv =  inv_table[0];
601     int64_t cbu =  inv_table[1];
602     int64_t cgu = -inv_table[2];
603     int64_t cgv = -inv_table[3];
604     int64_t cy  = 1<<16;
605     int64_t oy  = 0;
606
607 //printf("%lld %lld %lld %lld %lld\n", cy, crv, cbu, cgu, cgv);
608     if (!fullRange){
609         cy= (cy*255) / 219;
610         oy= 16<<16;
611     }else{
612         crv= (crv*224) / 255;
613         cbu= (cbu*224) / 255;
614         cgu= (cgu*224) / 255;
615         cgv= (cgv*224) / 255;
616     }
617
618     cy = (cy *contrast             )>>16;
619     crv= (crv*contrast * saturation)>>32;
620     cbu= (cbu*contrast * saturation)>>32;
621     cgu= (cgu*contrast * saturation)>>32;
622     cgv= (cgv*contrast * saturation)>>32;
623 //printf("%lld %lld %lld %lld %lld\n", cy, crv, cbu, cgu, cgv);
624     oy -= 256*brightness;
625
626     for (i = 0; i < 1024; i++) {
627         int j;
628
629         j= (cy*(((i - 384)<<16) - oy) + (1<<31))>>32;
630         j = (j < 0) ? 0 : ((j > 255) ? 255 : j);
631         table_Y[i] = j;
632     }
633
634     switch (bpp) {
635     case 32:
636         table_start= table_32 = av_malloc ((197 + 2*682 + 256 + 132) * sizeof (uint32_t));
637         base= (c->dstFormat == PIX_FMT_RGB32_1 || c->dstFormat == PIX_FMT_BGR32_1) ? 8 : 0;
638
639         entry_size = sizeof (uint32_t);
640         table_r = table_32 + 197;
641         table_b = table_32 + 197 + 685;
642         table_g = table_32 + 197 + 2*682;
643
644         for (i = -197; i < 256+197; i++)
645             ((uint32_t *)table_r)[i] = table_Y[i+384] << ((isRgb ? 16 : 0) + base);
646         for (i = -132; i < 256+132; i++)
647             ((uint32_t *)table_g)[i] = table_Y[i+384] << (8                + base);
648         for (i = -232; i < 256+232; i++)
649             ((uint32_t *)table_b)[i] = table_Y[i+384] << ((isRgb ? 0 : 16) + base);
650         break;
651
652     case 24:
653         table_start= table_8 = av_malloc ((256 + 2*232) * sizeof (uint8_t));
654
655         entry_size = sizeof (uint8_t);
656         table_r = table_g = table_b = table_8 + 232;
657
658         for (i = -232; i < 256+232; i++)
659             ((uint8_t * )table_b)[i] = table_Y[i+384];
660         break;
661
662     case 15:
663     case 16:
664         table_start= table_16 = av_malloc ((197 + 2*682 + 256 + 132) * sizeof (uint16_t));
665
666         entry_size = sizeof (uint16_t);
667         table_r = table_16 + 197;
668         table_b = table_16 + 197 + 685;
669         table_g = table_16 + 197 + 2*682;
670
671         for (i = -197; i < 256+197; i++) {
672             int j = table_Y[i+384] >> 3;
673
674             if (isRgb)
675                 j <<= ((bpp==16) ? 11 : 10);
676
677             ((uint16_t *)table_r)[i] = j;
678         }
679         for (i = -132; i < 256+132; i++) {
680             int j = table_Y[i+384] >> ((bpp==16) ? 2 : 3);
681
682             ((uint16_t *)table_g)[i] = j << 5;
683         }
684         for (i = -232; i < 256+232; i++) {
685             int j = table_Y[i+384] >> 3;
686
687             if (!isRgb)
688                 j <<= ((bpp==16) ? 11 : 10);
689
690             ((uint16_t *)table_b)[i] = j;
691         }
692         break;
693
694     case 8:
695         table_start= table_332 = av_malloc ((197 + 2*682 + 256 + 132) * sizeof (uint8_t));
696
697         entry_size = sizeof (uint8_t);
698         table_r = table_332 + 197;
699         table_b = table_332 + 197 + 685;
700         table_g = table_332 + 197 + 2*682;
701
702         for (i = -197; i < 256+197; i++) {
703             int j = (table_Y[i+384 - 16] + 18)/36;
704
705             if (isRgb)
706                 j <<= 5;
707
708             ((uint8_t *)table_r)[i] = j;
709         }
710         for (i = -132; i < 256+132; i++) {
711             int j = (table_Y[i+384 - 16] + 18)/36;
712
713             if (!isRgb)
714                 j <<= 1;
715
716             ((uint8_t *)table_g)[i] = j << 2;
717         }
718         for (i = -232; i < 256+232; i++) {
719             int j = (table_Y[i+384 - 37] + 43)/85;
720
721             if (!isRgb)
722                 j <<= 6;
723
724             ((uint8_t *)table_b)[i] = j;
725         }
726         break;
727     case 4:
728     case 4|128:
729         table_start= table_121 = av_malloc ((197 + 2*682 + 256 + 132) * sizeof (uint8_t));
730
731         entry_size = sizeof (uint8_t);
732         table_r = table_121 + 197;
733         table_b = table_121 + 197 + 685;
734         table_g = table_121 + 197 + 2*682;
735
736         for (i = -197; i < 256+197; i++) {
737             int j = table_Y[i+384 - 110] >> 7;
738
739             if (isRgb)
740                 j <<= 3;
741
742             ((uint8_t *)table_r)[i] = j;
743         }
744         for (i = -132; i < 256+132; i++) {
745             int j = (table_Y[i+384 - 37]+ 43)/85;
746
747             ((uint8_t *)table_g)[i] = j << 1;
748         }
749         for (i = -232; i < 256+232; i++) {
750             int j =table_Y[i+384 - 110] >> 7;
751
752             if (!isRgb)
753                 j <<= 3;
754
755             ((uint8_t *)table_b)[i] = j;
756         }
757         break;
758
759     case 1:
760         table_start= table_1 = av_malloc (256*2 * sizeof (uint8_t));
761
762         entry_size = sizeof (uint8_t);
763         table_g = table_1;
764         table_r = table_b = NULL;
765
766         for (i = 0; i < 256+256; i++) {
767             int j = table_Y[i + 384 - 110]>>7;
768
769             ((uint8_t *)table_g)[i] = j;
770         }
771         break;
772
773     default:
774         table_start= NULL;
775         av_log(c, AV_LOG_ERROR, "%ibpp not supported by yuv2rgb\n", bpp);
776         //free mem?
777         return -1;
778     }
779
780     for (i = 0; i < 256; i++) {
781         c->table_rV[i] = (uint8_t *)table_r + entry_size * div_round (crv * (i-128), cy);
782         c->table_gU[i] = (uint8_t *)table_g + entry_size * div_round (cgu * (i-128), cy);
783         c->table_gV[i] = entry_size * div_round (cgv * (i-128), cy);
784         c->table_bU[i] = (uint8_t *)table_b + entry_size * div_round (cbu * (i-128), cy);
785     }
786
787     av_free(c->yuvTable);
788     c->yuvTable= table_start;
789     return 0;
790 }