use FDEC_STRIDE instead of a parameter in mmx dct
[x262.git] / common / dct.c
1 /*****************************************************************************
2  * dct.c: h264 encoder library
3  *****************************************************************************
4  * Copyright (C) 2003 Laurent Aimar
5  * $Id: dct.c,v 1.1 2004/06/03 19:27:06 fenrir Exp $
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111, USA.
22  *****************************************************************************/
23
24 #include "common.h"
25 #ifdef HAVE_MMXEXT
26 #   include "i386/dct.h"
27 #endif
28 #ifdef ARCH_PPC
29 #   include "ppc/dct.h"
30 #endif
31
32
33 static inline int clip_uint8( int a )
34 {
35     if (a&(~255))
36         return (-a)>>31;
37     else
38         return a;
39 }
40
41 /*
42  * XXX For all dct dc : input could be equal to output so ...
43  */
44
45 static void dct2x2dc( int16_t d[2][2] )
46 {
47     int tmp[2][2];
48
49     tmp[0][0] = d[0][0] + d[0][1];
50     tmp[1][0] = d[0][0] - d[0][1];
51     tmp[0][1] = d[1][0] + d[1][1];
52     tmp[1][1] = d[1][0] - d[1][1];
53
54     d[0][0] = tmp[0][0] + tmp[0][1];
55     d[1][0] = tmp[1][0] + tmp[1][1];
56     d[0][1] = tmp[0][0] - tmp[0][1];
57     d[1][1] = tmp[1][0] - tmp[1][1];
58 }
59
60 static void dct4x4dc( int16_t d[4][4] )
61 {
62     int16_t tmp[4][4];
63     int s01, s23;
64     int d01, d23;
65     int i;
66
67     for( i = 0; i < 4; i++ )
68     {
69         s01 = d[i][0] + d[i][1];
70         d01 = d[i][0] - d[i][1];
71         s23 = d[i][2] + d[i][3];
72         d23 = d[i][2] - d[i][3];
73
74         tmp[0][i] = s01 + s23;
75         tmp[1][i] = s01 - s23;
76         tmp[2][i] = d01 - d23;
77         tmp[3][i] = d01 + d23;
78     }
79
80     for( i = 0; i < 4; i++ )
81     {
82         s01 = tmp[i][0] + tmp[i][1];
83         d01 = tmp[i][0] - tmp[i][1];
84         s23 = tmp[i][2] + tmp[i][3];
85         d23 = tmp[i][2] - tmp[i][3];
86
87         d[i][0] = ( s01 + s23 + 1 ) >> 1;
88         d[i][1] = ( s01 - s23 + 1 ) >> 1;
89         d[i][2] = ( d01 - d23 + 1 ) >> 1;
90         d[i][3] = ( d01 + d23 + 1 ) >> 1;
91     }
92 }
93
94 static void idct4x4dc( int16_t d[4][4] )
95 {
96     int16_t tmp[4][4];
97     int s01, s23;
98     int d01, d23;
99     int i;
100
101     for( i = 0; i < 4; i++ )
102     {
103         s01 = d[i][0] + d[i][1];
104         d01 = d[i][0] - d[i][1];
105         s23 = d[i][2] + d[i][3];
106         d23 = d[i][2] - d[i][3];
107
108         tmp[0][i] = s01 + s23;
109         tmp[1][i] = s01 - s23;
110         tmp[2][i] = d01 - d23;
111         tmp[3][i] = d01 + d23;
112     }
113
114     for( i = 0; i < 4; i++ )
115     {
116         s01 = tmp[i][0] + tmp[i][1];
117         d01 = tmp[i][0] - tmp[i][1];
118         s23 = tmp[i][2] + tmp[i][3];
119         d23 = tmp[i][2] - tmp[i][3];
120
121         d[i][0] = s01 + s23;
122         d[i][1] = s01 - s23;
123         d[i][2] = d01 - d23;
124         d[i][3] = d01 + d23;
125     }
126 }
127
128 static inline void pixel_sub_wxh( int16_t *diff, int i_size,
129                                   uint8_t *pix1, int i_pix1, uint8_t *pix2, int i_pix2 )
130 {
131     int y, x;
132     for( y = 0; y < i_size; y++ )
133     {
134         for( x = 0; x < i_size; x++ )
135         {
136             diff[x + y*i_size] = pix1[x] - pix2[x];
137         }
138         pix1 += i_pix1;
139         pix2 += i_pix2;
140     }
141 }
142
143 static void sub4x4_dct( int16_t dct[4][4], uint8_t *pix1, uint8_t *pix2 )
144 {
145     int16_t d[4][4];
146     int16_t tmp[4][4];
147     int i;
148
149     pixel_sub_wxh( (int16_t*)d, 4, pix1, FENC_STRIDE, pix2, FDEC_STRIDE );
150
151     for( i = 0; i < 4; i++ )
152     {
153         const int s03 = d[i][0] + d[i][3];
154         const int s12 = d[i][1] + d[i][2];
155         const int d03 = d[i][0] - d[i][3];
156         const int d12 = d[i][1] - d[i][2];
157
158         tmp[0][i] =   s03 +   s12;
159         tmp[1][i] = 2*d03 +   d12;
160         tmp[2][i] =   s03 -   s12;
161         tmp[3][i] =   d03 - 2*d12;
162     }
163
164     for( i = 0; i < 4; i++ )
165     {
166         const int s03 = tmp[i][0] + tmp[i][3];
167         const int s12 = tmp[i][1] + tmp[i][2];
168         const int d03 = tmp[i][0] - tmp[i][3];
169         const int d12 = tmp[i][1] - tmp[i][2];
170
171         dct[i][0] =   s03 +   s12;
172         dct[i][1] = 2*d03 +   d12;
173         dct[i][2] =   s03 -   s12;
174         dct[i][3] =   d03 - 2*d12;
175     }
176 }
177
178 static void sub8x8_dct( int16_t dct[4][4][4], uint8_t *pix1, uint8_t *pix2 )
179 {
180     sub4x4_dct( dct[0], &pix1[0], &pix2[0] );
181     sub4x4_dct( dct[1], &pix1[4], &pix2[4] );
182     sub4x4_dct( dct[2], &pix1[4*FENC_STRIDE+0], &pix2[4*FDEC_STRIDE+0] );
183     sub4x4_dct( dct[3], &pix1[4*FENC_STRIDE+4], &pix2[4*FDEC_STRIDE+4] );
184 }
185
186 static void sub16x16_dct( int16_t dct[16][4][4], uint8_t *pix1, uint8_t *pix2 )
187 {
188     sub8x8_dct( &dct[ 0], &pix1[0], &pix2[0] );
189     sub8x8_dct( &dct[ 4], &pix1[8], &pix2[8] );
190     sub8x8_dct( &dct[ 8], &pix1[8*FENC_STRIDE+0], &pix2[8*FDEC_STRIDE+0] );
191     sub8x8_dct( &dct[12], &pix1[8*FENC_STRIDE+8], &pix2[8*FDEC_STRIDE+8] );
192 }
193
194
195 static void add4x4_idct( uint8_t *p_dst, int16_t dct[4][4] )
196 {
197     int16_t d[4][4];
198     int16_t tmp[4][4];
199     int x, y;
200     int i;
201
202     for( i = 0; i < 4; i++ )
203     {
204         const int s02 =  dct[0][i]     +  dct[2][i];
205         const int d02 =  dct[0][i]     -  dct[2][i];
206         const int s13 =  dct[1][i]     + (dct[3][i]>>1);
207         const int d13 = (dct[1][i]>>1) -  dct[3][i];
208
209         tmp[i][0] = s02 + s13;
210         tmp[i][1] = d02 + d13;
211         tmp[i][2] = d02 - d13;
212         tmp[i][3] = s02 - s13;
213     }
214
215     for( i = 0; i < 4; i++ )
216     {
217         const int s02 =  tmp[0][i]     +  tmp[2][i];
218         const int d02 =  tmp[0][i]     -  tmp[2][i];
219         const int s13 =  tmp[1][i]     + (tmp[3][i]>>1);
220         const int d13 = (tmp[1][i]>>1) -  tmp[3][i];
221
222         d[0][i] = ( s02 + s13 + 32 ) >> 6;
223         d[1][i] = ( d02 + d13 + 32 ) >> 6;
224         d[2][i] = ( d02 - d13 + 32 ) >> 6;
225         d[3][i] = ( s02 - s13 + 32 ) >> 6;
226     }
227
228
229     for( y = 0; y < 4; y++ )
230     {
231         for( x = 0; x < 4; x++ )
232         {
233             p_dst[x] = clip_uint8( p_dst[x] + d[y][x] );
234         }
235         p_dst += FDEC_STRIDE;
236     }
237 }
238
239 static void add8x8_idct( uint8_t *p_dst, int16_t dct[4][4][4] )
240 {
241     add4x4_idct( &p_dst[0],               dct[0] );
242     add4x4_idct( &p_dst[4],               dct[1] );
243     add4x4_idct( &p_dst[4*FDEC_STRIDE+0], dct[2] );
244     add4x4_idct( &p_dst[4*FDEC_STRIDE+4], dct[3] );
245 }
246
247 static void add16x16_idct( uint8_t *p_dst, int16_t dct[16][4][4] )
248 {
249     add8x8_idct( &p_dst[0],               &dct[0] );
250     add8x8_idct( &p_dst[8],               &dct[4] );
251     add8x8_idct( &p_dst[8*FDEC_STRIDE+0], &dct[8] );
252     add8x8_idct( &p_dst[8*FDEC_STRIDE+8], &dct[12] );
253 }
254
255 /****************************************************************************
256  * 8x8 transform:
257  ****************************************************************************/
258
259 #define DCT8_1D {\
260     const int s07 = SRC(0) + SRC(7);\
261     const int s16 = SRC(1) + SRC(6);\
262     const int s25 = SRC(2) + SRC(5);\
263     const int s34 = SRC(3) + SRC(4);\
264     const int a0 = s07 + s34;\
265     const int a1 = s16 + s25;\
266     const int a2 = s07 - s34;\
267     const int a3 = s16 - s25;\
268     const int d07 = SRC(0) - SRC(7);\
269     const int d16 = SRC(1) - SRC(6);\
270     const int d25 = SRC(2) - SRC(5);\
271     const int d34 = SRC(3) - SRC(4);\
272     const int a4 = d16 + d25 + (d07 + (d07>>1));\
273     const int a5 = d07 - d34 - (d25 + (d25>>1));\
274     const int a6 = d07 + d34 - (d16 + (d16>>1));\
275     const int a7 = d16 - d25 + (d34 + (d34>>1));\
276     DST(0) =  a0 + a1     ;\
277     DST(1) =  a4 + (a7>>2);\
278     DST(2) =  a2 + (a3>>1);\
279     DST(3) =  a5 + (a6>>2);\
280     DST(4) =  a0 - a1     ;\
281     DST(5) =  a6 - (a5>>2);\
282     DST(6) = (a2>>1) - a3 ;\
283     DST(7) = (a4>>2) - a7 ;\
284 }
285
286 static void sub8x8_dct8( int16_t dct[8][8], uint8_t *pix1, uint8_t *pix2 )
287 {
288     int i;
289     int16_t tmp[8][8];
290
291     pixel_sub_wxh( (int16_t*)tmp, 8, pix1, FENC_STRIDE, pix2, FDEC_STRIDE );
292
293 #define SRC(x) tmp[x][i]
294 #define DST(x) tmp[x][i]
295     for( i = 0; i < 8; i++ )
296         DCT8_1D
297 #undef SRC
298 #undef DST
299
300 #define SRC(x) tmp[i][x]
301 #define DST(x) dct[x][i]
302     for( i = 0; i < 8; i++ )
303         DCT8_1D
304 #undef SRC
305 #undef DST
306 }
307
308 static void sub16x16_dct8( int16_t dct[4][8][8], uint8_t *pix1, uint8_t *pix2 )
309 {
310     sub8x8_dct8( dct[0], &pix1[0],               &pix2[0] );
311     sub8x8_dct8( dct[1], &pix1[8],               &pix2[8] );
312     sub8x8_dct8( dct[2], &pix1[8*FENC_STRIDE+0], &pix2[8*FDEC_STRIDE+0] );
313     sub8x8_dct8( dct[3], &pix1[8*FENC_STRIDE+8], &pix2[8*FDEC_STRIDE+8] );
314 }
315
316 #define IDCT8_1D {\
317     const int a0 =  SRC(0) + SRC(4);\
318     const int a2 =  SRC(0) - SRC(4);\
319     const int a4 = (SRC(2)>>1) - SRC(6);\
320     const int a6 = (SRC(6)>>1) + SRC(2);\
321     const int b0 = a0 + a6;\
322     const int b2 = a2 + a4;\
323     const int b4 = a2 - a4;\
324     const int b6 = a0 - a6;\
325     const int a1 = -SRC(3) + SRC(5) - SRC(7) - (SRC(7)>>1);\
326     const int a3 =  SRC(1) + SRC(7) - SRC(3) - (SRC(3)>>1);\
327     const int a5 = -SRC(1) + SRC(7) + SRC(5) + (SRC(5)>>1);\
328     const int a7 =  SRC(3) + SRC(5) + SRC(1) + (SRC(1)>>1);\
329     const int b1 = (a7>>2) + a1;\
330     const int b3 =  a3 + (a5>>2);\
331     const int b5 = (a3>>2) - a5;\
332     const int b7 =  a7 - (a1>>2);\
333     DST(0, b0 + b7);\
334     DST(1, b2 + b5);\
335     DST(2, b4 + b3);\
336     DST(3, b6 + b1);\
337     DST(4, b6 - b1);\
338     DST(5, b4 - b3);\
339     DST(6, b2 - b5);\
340     DST(7, b0 - b7);\
341 }
342
343 static void add8x8_idct8( uint8_t *dst, int16_t dct[8][8] )
344 {
345     int i;
346
347     dct[0][0] += 32; // rounding for the >>6 at the end
348
349 #define SRC(x)     dct[x][i]
350 #define DST(x,rhs) dct[x][i] = (rhs)
351     for( i = 0; i < 8; i++ )
352         IDCT8_1D
353 #undef SRC
354 #undef DST
355
356 #define SRC(x)     dct[i][x]
357 #define DST(x,rhs) dst[i + x*FDEC_STRIDE] = clip_uint8( dst[i + x*FDEC_STRIDE] + ((rhs) >> 6) );
358     for( i = 0; i < 8; i++ )
359         IDCT8_1D
360 #undef SRC
361 #undef DST
362 }
363
364 static void add16x16_idct8( uint8_t *dst, int16_t dct[4][8][8] )
365 {
366     add8x8_idct8( &dst[0],               dct[0] );
367     add8x8_idct8( &dst[8],               dct[1] );
368     add8x8_idct8( &dst[8*FDEC_STRIDE+0], dct[2] );
369     add8x8_idct8( &dst[8*FDEC_STRIDE+8], dct[3] );
370 }
371
372
373 /****************************************************************************
374  * x264_dct_init:
375  ****************************************************************************/
376 void x264_dct_init( int cpu, x264_dct_function_t *dctf )
377 {
378     dctf->sub4x4_dct    = sub4x4_dct;
379     dctf->add4x4_idct   = add4x4_idct;
380
381     dctf->sub8x8_dct    = sub8x8_dct;
382     dctf->add8x8_idct   = add8x8_idct;
383
384     dctf->sub16x16_dct  = sub16x16_dct;
385     dctf->add16x16_idct = add16x16_idct;
386
387     dctf->sub8x8_dct8   = sub8x8_dct8;
388     dctf->add8x8_idct8  = add8x8_idct8;
389
390     dctf->sub16x16_dct8  = sub16x16_dct8;
391     dctf->add16x16_idct8 = add16x16_idct8;
392
393     dctf->dct4x4dc  = dct4x4dc;
394     dctf->idct4x4dc = idct4x4dc;
395
396     dctf->dct2x2dc  = dct2x2dc;
397     dctf->idct2x2dc = dct2x2dc;
398
399 #ifdef HAVE_MMXEXT
400     if( cpu&X264_CPU_MMX )
401     {
402         dctf->sub4x4_dct    = x264_sub4x4_dct_mmx;
403         dctf->sub8x8_dct    = x264_sub8x8_dct_mmx;
404         dctf->sub16x16_dct  = x264_sub16x16_dct_mmx;
405
406         dctf->add4x4_idct   = x264_add4x4_idct_mmx;
407         dctf->add8x8_idct   = x264_add8x8_idct_mmx;
408         dctf->add16x16_idct = x264_add16x16_idct_mmx;
409
410         dctf->dct4x4dc      = x264_dct4x4dc_mmx;
411         dctf->idct4x4dc     = x264_idct4x4dc_mmx;
412
413 #ifndef ARCH_X86_64
414         dctf->sub8x8_dct8   = x264_sub8x8_dct8_mmx;
415         dctf->sub16x16_dct8 = x264_sub16x16_dct8_mmx;
416
417         dctf->add8x8_idct8  = x264_add8x8_idct8_mmx;
418         dctf->add16x16_idct8= x264_add16x16_idct8_mmx;
419 #endif
420     }
421 #endif
422
423 #if defined(HAVE_SSE2) && defined(ARCH_X86_64)
424     if( cpu&X264_CPU_SSE2 )
425     {
426         dctf->sub8x8_dct8   = x264_sub8x8_dct8_sse2;
427         dctf->sub16x16_dct8 = x264_sub16x16_dct8_sse2;
428
429         dctf->add8x8_idct8  = x264_add8x8_idct8_sse2;
430         dctf->add16x16_idct8= x264_add16x16_idct8_sse2;
431     }
432 #endif
433
434 /* FIXME altivec dct is not transposed yet
435 #ifdef ARCH_PPC
436     if( cpu&X264_CPU_ALTIVEC )
437     {
438         dctf->sub4x4_dct    = x264_sub4x4_dct_altivec;
439         dctf->sub8x8_dct    = x264_sub8x8_dct_altivec;
440         dctf->sub16x16_dct  = x264_sub16x16_dct_altivec;
441     }
442 #endif
443 */
444 }
445