avoid double copying of left border in luma prediction
[ffmpeg.git] / libavcodec / jfdctint.c
1 /*
2  * jfdctint.c
3  *
4  * Copyright (C) 1991-1996, Thomas G. Lane.
5  * This file is part of the Independent JPEG Group's software.
6  * For conditions of distribution and use, see the accompanying README file.
7  *
8  * This file contains a slow-but-accurate integer implementation of the
9  * forward DCT (Discrete Cosine Transform).
10  *
11  * A 2-D DCT can be done by 1-D DCT on each row followed by 1-D DCT
12  * on each column.  Direct algorithms are also available, but they are
13  * much more complex and seem not to be any faster when reduced to code.
14  *
15  * This implementation is based on an algorithm described in
16  *   C. Loeffler, A. Ligtenberg and G. Moschytz, "Practical Fast 1-D DCT
17  *   Algorithms with 11 Multiplications", Proc. Int'l. Conf. on Acoustics,
18  *   Speech, and Signal Processing 1989 (ICASSP '89), pp. 988-991.
19  * The primary algorithm described there uses 11 multiplies and 29 adds.
20  * We use their alternate method with 12 multiplies and 32 adds.
21  * The advantage of this method is that no data path contains more than one
22  * multiplication; this allows a very simple and accurate implementation in
23  * scaled fixed-point arithmetic, with a minimal number of shifts.
24  */
25
26 /**
27  * @file jfdctint.c
28  * Independent JPEG Group's slow & accurate dct.
29  */
30
31 #include <stdlib.h>
32 #include <stdio.h>
33 #include "common.h"
34 #include "dsputil.h"
35
36 #define SHIFT_TEMPS
37 #define DCTSIZE 8
38 #define BITS_IN_JSAMPLE 8
39 #define GLOBAL(x) x
40 #define RIGHT_SHIFT(x, n) ((x) >> (n))
41 #define MULTIPLY16C16(var,const) ((var)*(const))
42
43 #if 1 //def USE_ACCURATE_ROUNDING
44 #define DESCALE(x,n)  RIGHT_SHIFT((x) + (1 << ((n) - 1)), n)
45 #else
46 #define DESCALE(x,n)  RIGHT_SHIFT(x, n)
47 #endif
48
49
50 /*
51  * This module is specialized to the case DCTSIZE = 8.
52  */
53
54 #if DCTSIZE != 8
55   Sorry, this code only copes with 8x8 DCTs. /* deliberate syntax err */
56 #endif
57
58
59 /*
60  * The poop on this scaling stuff is as follows:
61  *
62  * Each 1-D DCT step produces outputs which are a factor of sqrt(N)
63  * larger than the true DCT outputs.  The final outputs are therefore
64  * a factor of N larger than desired; since N=8 this can be cured by
65  * a simple right shift at the end of the algorithm.  The advantage of
66  * this arrangement is that we save two multiplications per 1-D DCT,
67  * because the y0 and y4 outputs need not be divided by sqrt(N).
68  * In the IJG code, this factor of 8 is removed by the quantization step
69  * (in jcdctmgr.c), NOT in this module.
70  *
71  * We have to do addition and subtraction of the integer inputs, which
72  * is no problem, and multiplication by fractional constants, which is
73  * a problem to do in integer arithmetic.  We multiply all the constants
74  * by CONST_SCALE and convert them to integer constants (thus retaining
75  * CONST_BITS bits of precision in the constants).  After doing a
76  * multiplication we have to divide the product by CONST_SCALE, with proper
77  * rounding, to produce the correct output.  This division can be done
78  * cheaply as a right shift of CONST_BITS bits.  We postpone shifting
79  * as long as possible so that partial sums can be added together with
80  * full fractional precision.
81  *
82  * The outputs of the first pass are scaled up by PASS1_BITS bits so that
83  * they are represented to better-than-integral precision.  These outputs
84  * require BITS_IN_JSAMPLE + PASS1_BITS + 3 bits; this fits in a 16-bit word
85  * with the recommended scaling.  (For 12-bit sample data, the intermediate
86  * array is int32_t anyway.)
87  *
88  * To avoid overflow of the 32-bit intermediate results in pass 2, we must
89  * have BITS_IN_JSAMPLE + CONST_BITS + PASS1_BITS <= 26.  Error analysis
90  * shows that the values given below are the most effective.
91  */
92
93 #if BITS_IN_JSAMPLE == 8
94 #define CONST_BITS  13
95 #define PASS1_BITS  4   /* set this to 2 if 16x16 multiplies are faster */
96 #else
97 #define CONST_BITS  13
98 #define PASS1_BITS  1   /* lose a little precision to avoid overflow */
99 #endif
100
101 /* Some C compilers fail to reduce "FIX(constant)" at compile time, thus
102  * causing a lot of useless floating-point operations at run time.
103  * To get around this we use the following pre-calculated constants.
104  * If you change CONST_BITS you may want to add appropriate values.
105  * (With a reasonable C compiler, you can just rely on the FIX() macro...)
106  */
107
108 #if CONST_BITS == 13
109 #define FIX_0_298631336  ((int32_t)  2446)      /* FIX(0.298631336) */
110 #define FIX_0_390180644  ((int32_t)  3196)      /* FIX(0.390180644) */
111 #define FIX_0_541196100  ((int32_t)  4433)      /* FIX(0.541196100) */
112 #define FIX_0_765366865  ((int32_t)  6270)      /* FIX(0.765366865) */
113 #define FIX_0_899976223  ((int32_t)  7373)      /* FIX(0.899976223) */
114 #define FIX_1_175875602  ((int32_t)  9633)      /* FIX(1.175875602) */
115 #define FIX_1_501321110  ((int32_t)  12299)     /* FIX(1.501321110) */
116 #define FIX_1_847759065  ((int32_t)  15137)     /* FIX(1.847759065) */
117 #define FIX_1_961570560  ((int32_t)  16069)     /* FIX(1.961570560) */
118 #define FIX_2_053119869  ((int32_t)  16819)     /* FIX(2.053119869) */
119 #define FIX_2_562915447  ((int32_t)  20995)     /* FIX(2.562915447) */
120 #define FIX_3_072711026  ((int32_t)  25172)     /* FIX(3.072711026) */
121 #else
122 #define FIX_0_298631336  FIX(0.298631336)
123 #define FIX_0_390180644  FIX(0.390180644)
124 #define FIX_0_541196100  FIX(0.541196100)
125 #define FIX_0_765366865  FIX(0.765366865)
126 #define FIX_0_899976223  FIX(0.899976223)
127 #define FIX_1_175875602  FIX(1.175875602)
128 #define FIX_1_501321110  FIX(1.501321110)
129 #define FIX_1_847759065  FIX(1.847759065)
130 #define FIX_1_961570560  FIX(1.961570560)
131 #define FIX_2_053119869  FIX(2.053119869)
132 #define FIX_2_562915447  FIX(2.562915447)
133 #define FIX_3_072711026  FIX(3.072711026)
134 #endif
135
136
137 /* Multiply an int32_t variable by an int32_t constant to yield an int32_t result.
138  * For 8-bit samples with the recommended scaling, all the variable
139  * and constant values involved are no more than 16 bits wide, so a
140  * 16x16->32 bit multiply can be used instead of a full 32x32 multiply.
141  * For 12-bit samples, a full 32-bit multiplication will be needed.
142  */
143
144 #if BITS_IN_JSAMPLE == 8 && CONST_BITS<=13 && PASS1_BITS<=2
145 #define MULTIPLY(var,const)  MULTIPLY16C16(var,const)
146 #else
147 #define MULTIPLY(var,const)  ((var) * (const))
148 #endif
149
150
151 static always_inline void row_fdct(DCTELEM * data){
152   int_fast32_t tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
153   int_fast32_t tmp10, tmp11, tmp12, tmp13;
154   int_fast32_t z1, z2, z3, z4, z5;
155   DCTELEM *dataptr;
156   int ctr;
157   SHIFT_TEMPS
158
159   /* Pass 1: process rows. */
160   /* Note results are scaled up by sqrt(8) compared to a true DCT; */
161   /* furthermore, we scale the results by 2**PASS1_BITS. */
162
163   dataptr = data;
164   for (ctr = DCTSIZE-1; ctr >= 0; ctr--) {
165     tmp0 = dataptr[0] + dataptr[7];
166     tmp7 = dataptr[0] - dataptr[7];
167     tmp1 = dataptr[1] + dataptr[6];
168     tmp6 = dataptr[1] - dataptr[6];
169     tmp2 = dataptr[2] + dataptr[5];
170     tmp5 = dataptr[2] - dataptr[5];
171     tmp3 = dataptr[3] + dataptr[4];
172     tmp4 = dataptr[3] - dataptr[4];
173
174     /* Even part per LL&M figure 1 --- note that published figure is faulty;
175      * rotator "sqrt(2)*c1" should be "sqrt(2)*c6".
176      */
177
178     tmp10 = tmp0 + tmp3;
179     tmp13 = tmp0 - tmp3;
180     tmp11 = tmp1 + tmp2;
181     tmp12 = tmp1 - tmp2;
182
183     dataptr[0] = (DCTELEM) ((tmp10 + tmp11) << PASS1_BITS);
184     dataptr[4] = (DCTELEM) ((tmp10 - tmp11) << PASS1_BITS);
185
186     z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
187     dataptr[2] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
188                                    CONST_BITS-PASS1_BITS);
189     dataptr[6] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
190                                    CONST_BITS-PASS1_BITS);
191
192     /* Odd part per figure 8 --- note paper omits factor of sqrt(2).
193      * cK represents cos(K*pi/16).
194      * i0..i3 in the paper are tmp4..tmp7 here.
195      */
196
197     z1 = tmp4 + tmp7;
198     z2 = tmp5 + tmp6;
199     z3 = tmp4 + tmp6;
200     z4 = tmp5 + tmp7;
201     z5 = MULTIPLY(z3 + z4, FIX_1_175875602); /* sqrt(2) * c3 */
202
203     tmp4 = MULTIPLY(tmp4, FIX_0_298631336); /* sqrt(2) * (-c1+c3+c5-c7) */
204     tmp5 = MULTIPLY(tmp5, FIX_2_053119869); /* sqrt(2) * ( c1+c3-c5+c7) */
205     tmp6 = MULTIPLY(tmp6, FIX_3_072711026); /* sqrt(2) * ( c1+c3+c5-c7) */
206     tmp7 = MULTIPLY(tmp7, FIX_1_501321110); /* sqrt(2) * ( c1+c3-c5-c7) */
207     z1 = MULTIPLY(z1, - FIX_0_899976223); /* sqrt(2) * (c7-c3) */
208     z2 = MULTIPLY(z2, - FIX_2_562915447); /* sqrt(2) * (-c1-c3) */
209     z3 = MULTIPLY(z3, - FIX_1_961570560); /* sqrt(2) * (-c3-c5) */
210     z4 = MULTIPLY(z4, - FIX_0_390180644); /* sqrt(2) * (c5-c3) */
211
212     z3 += z5;
213     z4 += z5;
214
215     dataptr[7] = (DCTELEM) DESCALE(tmp4 + z1 + z3, CONST_BITS-PASS1_BITS);
216     dataptr[5] = (DCTELEM) DESCALE(tmp5 + z2 + z4, CONST_BITS-PASS1_BITS);
217     dataptr[3] = (DCTELEM) DESCALE(tmp6 + z2 + z3, CONST_BITS-PASS1_BITS);
218     dataptr[1] = (DCTELEM) DESCALE(tmp7 + z1 + z4, CONST_BITS-PASS1_BITS);
219
220     dataptr += DCTSIZE;         /* advance pointer to next row */
221   }
222 }
223
224 /*
225  * Perform the forward DCT on one block of samples.
226  */
227
228 GLOBAL(void)
229 ff_jpeg_fdct_islow (DCTELEM * data)
230 {
231   int_fast32_t tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
232   int_fast32_t tmp10, tmp11, tmp12, tmp13;
233   int_fast32_t z1, z2, z3, z4, z5;
234   DCTELEM *dataptr;
235   int ctr;
236   SHIFT_TEMPS
237
238   row_fdct(data);
239
240   /* Pass 2: process columns.
241    * We remove the PASS1_BITS scaling, but leave the results scaled up
242    * by an overall factor of 8.
243    */
244
245   dataptr = data;
246   for (ctr = DCTSIZE-1; ctr >= 0; ctr--) {
247     tmp0 = dataptr[DCTSIZE*0] + dataptr[DCTSIZE*7];
248     tmp7 = dataptr[DCTSIZE*0] - dataptr[DCTSIZE*7];
249     tmp1 = dataptr[DCTSIZE*1] + dataptr[DCTSIZE*6];
250     tmp6 = dataptr[DCTSIZE*1] - dataptr[DCTSIZE*6];
251     tmp2 = dataptr[DCTSIZE*2] + dataptr[DCTSIZE*5];
252     tmp5 = dataptr[DCTSIZE*2] - dataptr[DCTSIZE*5];
253     tmp3 = dataptr[DCTSIZE*3] + dataptr[DCTSIZE*4];
254     tmp4 = dataptr[DCTSIZE*3] - dataptr[DCTSIZE*4];
255
256     /* Even part per LL&M figure 1 --- note that published figure is faulty;
257      * rotator "sqrt(2)*c1" should be "sqrt(2)*c6".
258      */
259
260     tmp10 = tmp0 + tmp3;
261     tmp13 = tmp0 - tmp3;
262     tmp11 = tmp1 + tmp2;
263     tmp12 = tmp1 - tmp2;
264
265     dataptr[DCTSIZE*0] = (DCTELEM) DESCALE(tmp10 + tmp11, PASS1_BITS);
266     dataptr[DCTSIZE*4] = (DCTELEM) DESCALE(tmp10 - tmp11, PASS1_BITS);
267
268     z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
269     dataptr[DCTSIZE*2] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
270                                            CONST_BITS+PASS1_BITS);
271     dataptr[DCTSIZE*6] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
272                                            CONST_BITS+PASS1_BITS);
273
274     /* Odd part per figure 8 --- note paper omits factor of sqrt(2).
275      * cK represents cos(K*pi/16).
276      * i0..i3 in the paper are tmp4..tmp7 here.
277      */
278
279     z1 = tmp4 + tmp7;
280     z2 = tmp5 + tmp6;
281     z3 = tmp4 + tmp6;
282     z4 = tmp5 + tmp7;
283     z5 = MULTIPLY(z3 + z4, FIX_1_175875602); /* sqrt(2) * c3 */
284
285     tmp4 = MULTIPLY(tmp4, FIX_0_298631336); /* sqrt(2) * (-c1+c3+c5-c7) */
286     tmp5 = MULTIPLY(tmp5, FIX_2_053119869); /* sqrt(2) * ( c1+c3-c5+c7) */
287     tmp6 = MULTIPLY(tmp6, FIX_3_072711026); /* sqrt(2) * ( c1+c3+c5-c7) */
288     tmp7 = MULTIPLY(tmp7, FIX_1_501321110); /* sqrt(2) * ( c1+c3-c5-c7) */
289     z1 = MULTIPLY(z1, - FIX_0_899976223); /* sqrt(2) * (c7-c3) */
290     z2 = MULTIPLY(z2, - FIX_2_562915447); /* sqrt(2) * (-c1-c3) */
291     z3 = MULTIPLY(z3, - FIX_1_961570560); /* sqrt(2) * (-c3-c5) */
292     z4 = MULTIPLY(z4, - FIX_0_390180644); /* sqrt(2) * (c5-c3) */
293
294     z3 += z5;
295     z4 += z5;
296
297     dataptr[DCTSIZE*7] = (DCTELEM) DESCALE(tmp4 + z1 + z3,
298                                            CONST_BITS+PASS1_BITS);
299     dataptr[DCTSIZE*5] = (DCTELEM) DESCALE(tmp5 + z2 + z4,
300                                            CONST_BITS+PASS1_BITS);
301     dataptr[DCTSIZE*3] = (DCTELEM) DESCALE(tmp6 + z2 + z3,
302                                            CONST_BITS+PASS1_BITS);
303     dataptr[DCTSIZE*1] = (DCTELEM) DESCALE(tmp7 + z1 + z4,
304                                            CONST_BITS+PASS1_BITS);
305
306     dataptr++;                  /* advance pointer to next column */
307   }
308 }
309
310 /*
311  * The secret of DCT2-4-8 is really simple -- you do the usual 1-DCT
312  * on the rows and then, instead of doing even and odd, part on the colums
313  * you do even part two times.
314  */
315 GLOBAL(void)
316 ff_fdct248_islow (DCTELEM * data)
317 {
318   int_fast32_t tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
319   int_fast32_t tmp10, tmp11, tmp12, tmp13;
320   int_fast32_t z1;
321   DCTELEM *dataptr;
322   int ctr;
323   SHIFT_TEMPS
324
325   row_fdct(data);
326
327   /* Pass 2: process columns.
328    * We remove the PASS1_BITS scaling, but leave the results scaled up
329    * by an overall factor of 8.
330    */
331
332   dataptr = data;
333   for (ctr = DCTSIZE-1; ctr >= 0; ctr--) {
334      tmp0 = dataptr[DCTSIZE*0] + dataptr[DCTSIZE*1];
335      tmp1 = dataptr[DCTSIZE*2] + dataptr[DCTSIZE*3];
336      tmp2 = dataptr[DCTSIZE*4] + dataptr[DCTSIZE*5];
337      tmp3 = dataptr[DCTSIZE*6] + dataptr[DCTSIZE*7];
338      tmp4 = dataptr[DCTSIZE*0] - dataptr[DCTSIZE*1];
339      tmp5 = dataptr[DCTSIZE*2] - dataptr[DCTSIZE*3];
340      tmp6 = dataptr[DCTSIZE*4] - dataptr[DCTSIZE*5];
341      tmp7 = dataptr[DCTSIZE*6] - dataptr[DCTSIZE*7];
342
343      tmp10 = tmp0 + tmp3;
344      tmp11 = tmp1 + tmp2;
345      tmp12 = tmp1 - tmp2;
346      tmp13 = tmp0 - tmp3;
347
348      dataptr[DCTSIZE*0] = (DCTELEM) DESCALE(tmp10 + tmp11, PASS1_BITS);
349      dataptr[DCTSIZE*4] = (DCTELEM) DESCALE(tmp10 - tmp11, PASS1_BITS);
350
351      z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
352      dataptr[DCTSIZE*2] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
353                                             CONST_BITS+PASS1_BITS);
354      dataptr[DCTSIZE*6] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
355                                             CONST_BITS+PASS1_BITS);
356
357      tmp10 = tmp4 + tmp7;
358      tmp11 = tmp5 + tmp6;
359      tmp12 = tmp5 - tmp6;
360      tmp13 = tmp4 - tmp7;
361
362      dataptr[DCTSIZE*1] = (DCTELEM) DESCALE(tmp10 + tmp11, PASS1_BITS);
363      dataptr[DCTSIZE*5] = (DCTELEM) DESCALE(tmp10 - tmp11, PASS1_BITS);
364
365      z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
366      dataptr[DCTSIZE*3] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
367                                             CONST_BITS+PASS1_BITS);
368      dataptr[DCTSIZE*7] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
369                                             CONST_BITS+PASS1_BITS);
370
371      dataptr++;                 /* advance pointer to next column */
372   }
373 }