dsputil: template get_pixels() for different bit depths
[ffmpeg.git] / libavcodec / jfdctint_template.c
1 /*
2  * jfdctint.c
3  *
4  * This file is part of the Independent JPEG Group's software.
5  *
6  * The authors make NO WARRANTY or representation, either express or implied,
7  * with respect to this software, its quality, accuracy, merchantability, or
8  * fitness for a particular purpose.  This software is provided "AS IS", and
9  * you, its user, assume the entire risk as to its quality and accuracy.
10  *
11  * This software is copyright (C) 1991-1996, Thomas G. Lane.
12  * All Rights Reserved except as specified below.
13  *
14  * Permission is hereby granted to use, copy, modify, and distribute this
15  * software (or portions thereof) for any purpose, without fee, subject to
16  * these conditions:
17  * (1) If any part of the source code for this software is distributed, then
18  * this README file must be included, with this copyright and no-warranty
19  * notice unaltered; and any additions, deletions, or changes to the original
20  * files must be clearly indicated in accompanying documentation.
21  * (2) If only executable code is distributed, then the accompanying
22  * documentation must state that "this software is based in part on the work
23  * of the Independent JPEG Group".
24  * (3) Permission for use of this software is granted only if the user accepts
25  * full responsibility for any undesirable consequences; the authors accept
26  * NO LIABILITY for damages of any kind.
27  *
28  * These conditions apply to any software derived from or based on the IJG
29  * code, not just to the unmodified library.  If you use our work, you ought
30  * to acknowledge us.
31  *
32  * Permission is NOT granted for the use of any IJG author's name or company
33  * name in advertising or publicity relating to this software or products
34  * derived from it.  This software may be referred to only as "the Independent
35  * JPEG Group's software".
36  *
37  * We specifically permit and encourage the use of this software as the basis
38  * of commercial products, provided that all warranty or liability claims are
39  * assumed by the product vendor.
40  *
41  * This file contains a slow-but-accurate integer implementation of the
42  * forward DCT (Discrete Cosine Transform).
43  *
44  * A 2-D DCT can be done by 1-D DCT on each row followed by 1-D DCT
45  * on each column.  Direct algorithms are also available, but they are
46  * much more complex and seem not to be any faster when reduced to code.
47  *
48  * This implementation is based on an algorithm described in
49  *   C. Loeffler, A. Ligtenberg and G. Moschytz, "Practical Fast 1-D DCT
50  *   Algorithms with 11 Multiplications", Proc. Int'l. Conf. on Acoustics,
51  *   Speech, and Signal Processing 1989 (ICASSP '89), pp. 988-991.
52  * The primary algorithm described there uses 11 multiplies and 29 adds.
53  * We use their alternate method with 12 multiplies and 32 adds.
54  * The advantage of this method is that no data path contains more than one
55  * multiplication; this allows a very simple and accurate implementation in
56  * scaled fixed-point arithmetic, with a minimal number of shifts.
57  */
58
59 /**
60  * @file
61  * Independent JPEG Group's slow & accurate dct.
62  */
63
64 #include "libavutil/common.h"
65 #include "dsputil.h"
66
67 #include "bit_depth_template.c"
68
69 #define DCTSIZE 8
70 #define BITS_IN_JSAMPLE BIT_DEPTH
71 #define GLOBAL(x) x
72 #define RIGHT_SHIFT(x, n) ((x) >> (n))
73 #define MULTIPLY16C16(var,const) ((var)*(const))
74
75 #if 1 //def USE_ACCURATE_ROUNDING
76 #define DESCALE(x,n)  RIGHT_SHIFT((x) + (1 << ((n) - 1)), n)
77 #else
78 #define DESCALE(x,n)  RIGHT_SHIFT(x, n)
79 #endif
80
81
82 /*
83  * This module is specialized to the case DCTSIZE = 8.
84  */
85
86 #if DCTSIZE != 8
87 #error  "Sorry, this code only copes with 8x8 DCTs."
88 #endif
89
90
91 /*
92  * The poop on this scaling stuff is as follows:
93  *
94  * Each 1-D DCT step produces outputs which are a factor of sqrt(N)
95  * larger than the true DCT outputs.  The final outputs are therefore
96  * a factor of N larger than desired; since N=8 this can be cured by
97  * a simple right shift at the end of the algorithm.  The advantage of
98  * this arrangement is that we save two multiplications per 1-D DCT,
99  * because the y0 and y4 outputs need not be divided by sqrt(N).
100  * In the IJG code, this factor of 8 is removed by the quantization step
101  * (in jcdctmgr.c), NOT in this module.
102  *
103  * We have to do addition and subtraction of the integer inputs, which
104  * is no problem, and multiplication by fractional constants, which is
105  * a problem to do in integer arithmetic.  We multiply all the constants
106  * by CONST_SCALE and convert them to integer constants (thus retaining
107  * CONST_BITS bits of precision in the constants).  After doing a
108  * multiplication we have to divide the product by CONST_SCALE, with proper
109  * rounding, to produce the correct output.  This division can be done
110  * cheaply as a right shift of CONST_BITS bits.  We postpone shifting
111  * as long as possible so that partial sums can be added together with
112  * full fractional precision.
113  *
114  * The outputs of the first pass are scaled up by PASS1_BITS bits so that
115  * they are represented to better-than-integral precision.  These outputs
116  * require BITS_IN_JSAMPLE + PASS1_BITS + 3 bits; this fits in a 16-bit word
117  * with the recommended scaling.  (For 12-bit sample data, the intermediate
118  * array is int32_t anyway.)
119  *
120  * To avoid overflow of the 32-bit intermediate results in pass 2, we must
121  * have BITS_IN_JSAMPLE + CONST_BITS + PASS1_BITS <= 26.  Error analysis
122  * shows that the values given below are the most effective.
123  */
124
125 #undef CONST_BITS
126 #undef PASS1_BITS
127 #undef OUT_SHIFT
128
129 #if BITS_IN_JSAMPLE == 8
130 #define CONST_BITS  13
131 #define PASS1_BITS  4   /* set this to 2 if 16x16 multiplies are faster */
132 #define OUT_SHIFT   PASS1_BITS
133 #else
134 #define CONST_BITS  13
135 #define PASS1_BITS  1   /* lose a little precision to avoid overflow */
136 #define OUT_SHIFT   (PASS1_BITS + 1)
137 #endif
138
139 /* Some C compilers fail to reduce "FIX(constant)" at compile time, thus
140  * causing a lot of useless floating-point operations at run time.
141  * To get around this we use the following pre-calculated constants.
142  * If you change CONST_BITS you may want to add appropriate values.
143  * (With a reasonable C compiler, you can just rely on the FIX() macro...)
144  */
145
146 #if CONST_BITS == 13
147 #define FIX_0_298631336  ((int32_t)  2446)      /* FIX(0.298631336) */
148 #define FIX_0_390180644  ((int32_t)  3196)      /* FIX(0.390180644) */
149 #define FIX_0_541196100  ((int32_t)  4433)      /* FIX(0.541196100) */
150 #define FIX_0_765366865  ((int32_t)  6270)      /* FIX(0.765366865) */
151 #define FIX_0_899976223  ((int32_t)  7373)      /* FIX(0.899976223) */
152 #define FIX_1_175875602  ((int32_t)  9633)      /* FIX(1.175875602) */
153 #define FIX_1_501321110  ((int32_t)  12299)     /* FIX(1.501321110) */
154 #define FIX_1_847759065  ((int32_t)  15137)     /* FIX(1.847759065) */
155 #define FIX_1_961570560  ((int32_t)  16069)     /* FIX(1.961570560) */
156 #define FIX_2_053119869  ((int32_t)  16819)     /* FIX(2.053119869) */
157 #define FIX_2_562915447  ((int32_t)  20995)     /* FIX(2.562915447) */
158 #define FIX_3_072711026  ((int32_t)  25172)     /* FIX(3.072711026) */
159 #else
160 #define FIX_0_298631336  FIX(0.298631336)
161 #define FIX_0_390180644  FIX(0.390180644)
162 #define FIX_0_541196100  FIX(0.541196100)
163 #define FIX_0_765366865  FIX(0.765366865)
164 #define FIX_0_899976223  FIX(0.899976223)
165 #define FIX_1_175875602  FIX(1.175875602)
166 #define FIX_1_501321110  FIX(1.501321110)
167 #define FIX_1_847759065  FIX(1.847759065)
168 #define FIX_1_961570560  FIX(1.961570560)
169 #define FIX_2_053119869  FIX(2.053119869)
170 #define FIX_2_562915447  FIX(2.562915447)
171 #define FIX_3_072711026  FIX(3.072711026)
172 #endif
173
174
175 /* Multiply an int32_t variable by an int32_t constant to yield an int32_t result.
176  * For 8-bit samples with the recommended scaling, all the variable
177  * and constant values involved are no more than 16 bits wide, so a
178  * 16x16->32 bit multiply can be used instead of a full 32x32 multiply.
179  * For 12-bit samples, a full 32-bit multiplication will be needed.
180  */
181
182 #if BITS_IN_JSAMPLE == 8 && CONST_BITS<=13 && PASS1_BITS<=2
183 #define MULTIPLY(var,const)  MULTIPLY16C16(var,const)
184 #else
185 #define MULTIPLY(var,const)  ((var) * (const))
186 #endif
187
188
189 static av_always_inline void FUNC(row_fdct)(DCTELEM *data)
190 {
191   int tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
192   int tmp10, tmp11, tmp12, tmp13;
193   int z1, z2, z3, z4, z5;
194   DCTELEM *dataptr;
195   int ctr;
196
197   /* Pass 1: process rows. */
198   /* Note results are scaled up by sqrt(8) compared to a true DCT; */
199   /* furthermore, we scale the results by 2**PASS1_BITS. */
200
201   dataptr = data;
202   for (ctr = DCTSIZE-1; ctr >= 0; ctr--) {
203     tmp0 = dataptr[0] + dataptr[7];
204     tmp7 = dataptr[0] - dataptr[7];
205     tmp1 = dataptr[1] + dataptr[6];
206     tmp6 = dataptr[1] - dataptr[6];
207     tmp2 = dataptr[2] + dataptr[5];
208     tmp5 = dataptr[2] - dataptr[5];
209     tmp3 = dataptr[3] + dataptr[4];
210     tmp4 = dataptr[3] - dataptr[4];
211
212     /* Even part per LL&M figure 1 --- note that published figure is faulty;
213      * rotator "sqrt(2)*c1" should be "sqrt(2)*c6".
214      */
215
216     tmp10 = tmp0 + tmp3;
217     tmp13 = tmp0 - tmp3;
218     tmp11 = tmp1 + tmp2;
219     tmp12 = tmp1 - tmp2;
220
221     dataptr[0] = (DCTELEM) ((tmp10 + tmp11) << PASS1_BITS);
222     dataptr[4] = (DCTELEM) ((tmp10 - tmp11) << PASS1_BITS);
223
224     z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
225     dataptr[2] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
226                                    CONST_BITS-PASS1_BITS);
227     dataptr[6] = (DCTELEM) DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
228                                    CONST_BITS-PASS1_BITS);
229
230     /* Odd part per figure 8 --- note paper omits factor of sqrt(2).
231      * cK represents cos(K*pi/16).
232      * i0..i3 in the paper are tmp4..tmp7 here.
233      */
234
235     z1 = tmp4 + tmp7;
236     z2 = tmp5 + tmp6;
237     z3 = tmp4 + tmp6;
238     z4 = tmp5 + tmp7;
239     z5 = MULTIPLY(z3 + z4, FIX_1_175875602); /* sqrt(2) * c3 */
240
241     tmp4 = MULTIPLY(tmp4, FIX_0_298631336); /* sqrt(2) * (-c1+c3+c5-c7) */
242     tmp5 = MULTIPLY(tmp5, FIX_2_053119869); /* sqrt(2) * ( c1+c3-c5+c7) */
243     tmp6 = MULTIPLY(tmp6, FIX_3_072711026); /* sqrt(2) * ( c1+c3+c5-c7) */
244     tmp7 = MULTIPLY(tmp7, FIX_1_501321110); /* sqrt(2) * ( c1+c3-c5-c7) */
245     z1 = MULTIPLY(z1, - FIX_0_899976223); /* sqrt(2) * (c7-c3) */
246     z2 = MULTIPLY(z2, - FIX_2_562915447); /* sqrt(2) * (-c1-c3) */
247     z3 = MULTIPLY(z3, - FIX_1_961570560); /* sqrt(2) * (-c3-c5) */
248     z4 = MULTIPLY(z4, - FIX_0_390180644); /* sqrt(2) * (c5-c3) */
249
250     z3 += z5;
251     z4 += z5;
252
253     dataptr[7] = (DCTELEM) DESCALE(tmp4 + z1 + z3, CONST_BITS-PASS1_BITS);
254     dataptr[5] = (DCTELEM) DESCALE(tmp5 + z2 + z4, CONST_BITS-PASS1_BITS);
255     dataptr[3] = (DCTELEM) DESCALE(tmp6 + z2 + z3, CONST_BITS-PASS1_BITS);
256     dataptr[1] = (DCTELEM) DESCALE(tmp7 + z1 + z4, CONST_BITS-PASS1_BITS);
257
258     dataptr += DCTSIZE;         /* advance pointer to next row */
259   }
260 }
261
262 /*
263  * Perform the forward DCT on one block of samples.
264  */
265
266 GLOBAL(void)
267 FUNC(ff_jpeg_fdct_islow)(DCTELEM *data)
268 {
269   int tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
270   int tmp10, tmp11, tmp12, tmp13;
271   int z1, z2, z3, z4, z5;
272   DCTELEM *dataptr;
273   int ctr;
274
275   FUNC(row_fdct)(data);
276
277   /* Pass 2: process columns.
278    * We remove the PASS1_BITS scaling, but leave the results scaled up
279    * by an overall factor of 8.
280    */
281
282   dataptr = data;
283   for (ctr = DCTSIZE-1; ctr >= 0; ctr--) {
284     tmp0 = dataptr[DCTSIZE*0] + dataptr[DCTSIZE*7];
285     tmp7 = dataptr[DCTSIZE*0] - dataptr[DCTSIZE*7];
286     tmp1 = dataptr[DCTSIZE*1] + dataptr[DCTSIZE*6];
287     tmp6 = dataptr[DCTSIZE*1] - dataptr[DCTSIZE*6];
288     tmp2 = dataptr[DCTSIZE*2] + dataptr[DCTSIZE*5];
289     tmp5 = dataptr[DCTSIZE*2] - dataptr[DCTSIZE*5];
290     tmp3 = dataptr[DCTSIZE*3] + dataptr[DCTSIZE*4];
291     tmp4 = dataptr[DCTSIZE*3] - dataptr[DCTSIZE*4];
292
293     /* Even part per LL&M figure 1 --- note that published figure is faulty;
294      * rotator "sqrt(2)*c1" should be "sqrt(2)*c6".
295      */
296
297     tmp10 = tmp0 + tmp3;
298     tmp13 = tmp0 - tmp3;
299     tmp11 = tmp1 + tmp2;
300     tmp12 = tmp1 - tmp2;
301
302     dataptr[DCTSIZE*0] = DESCALE(tmp10 + tmp11, OUT_SHIFT);
303     dataptr[DCTSIZE*4] = DESCALE(tmp10 - tmp11, OUT_SHIFT);
304
305     z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
306     dataptr[DCTSIZE*2] = DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
307                                  CONST_BITS + OUT_SHIFT);
308     dataptr[DCTSIZE*6] = DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
309                                  CONST_BITS + OUT_SHIFT);
310
311     /* Odd part per figure 8 --- note paper omits factor of sqrt(2).
312      * cK represents cos(K*pi/16).
313      * i0..i3 in the paper are tmp4..tmp7 here.
314      */
315
316     z1 = tmp4 + tmp7;
317     z2 = tmp5 + tmp6;
318     z3 = tmp4 + tmp6;
319     z4 = tmp5 + tmp7;
320     z5 = MULTIPLY(z3 + z4, FIX_1_175875602); /* sqrt(2) * c3 */
321
322     tmp4 = MULTIPLY(tmp4, FIX_0_298631336); /* sqrt(2) * (-c1+c3+c5-c7) */
323     tmp5 = MULTIPLY(tmp5, FIX_2_053119869); /* sqrt(2) * ( c1+c3-c5+c7) */
324     tmp6 = MULTIPLY(tmp6, FIX_3_072711026); /* sqrt(2) * ( c1+c3+c5-c7) */
325     tmp7 = MULTIPLY(tmp7, FIX_1_501321110); /* sqrt(2) * ( c1+c3-c5-c7) */
326     z1 = MULTIPLY(z1, - FIX_0_899976223); /* sqrt(2) * (c7-c3) */
327     z2 = MULTIPLY(z2, - FIX_2_562915447); /* sqrt(2) * (-c1-c3) */
328     z3 = MULTIPLY(z3, - FIX_1_961570560); /* sqrt(2) * (-c3-c5) */
329     z4 = MULTIPLY(z4, - FIX_0_390180644); /* sqrt(2) * (c5-c3) */
330
331     z3 += z5;
332     z4 += z5;
333
334     dataptr[DCTSIZE*7] = DESCALE(tmp4 + z1 + z3, CONST_BITS + OUT_SHIFT);
335     dataptr[DCTSIZE*5] = DESCALE(tmp5 + z2 + z4, CONST_BITS + OUT_SHIFT);
336     dataptr[DCTSIZE*3] = DESCALE(tmp6 + z2 + z3, CONST_BITS + OUT_SHIFT);
337     dataptr[DCTSIZE*1] = DESCALE(tmp7 + z1 + z4, CONST_BITS + OUT_SHIFT);
338
339     dataptr++;                  /* advance pointer to next column */
340   }
341 }
342
343 /*
344  * The secret of DCT2-4-8 is really simple -- you do the usual 1-DCT
345  * on the rows and then, instead of doing even and odd, part on the colums
346  * you do even part two times.
347  */
348 GLOBAL(void)
349 FUNC(ff_fdct248_islow)(DCTELEM *data)
350 {
351   int tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
352   int tmp10, tmp11, tmp12, tmp13;
353   int z1;
354   DCTELEM *dataptr;
355   int ctr;
356
357   FUNC(row_fdct)(data);
358
359   /* Pass 2: process columns.
360    * We remove the PASS1_BITS scaling, but leave the results scaled up
361    * by an overall factor of 8.
362    */
363
364   dataptr = data;
365   for (ctr = DCTSIZE-1; ctr >= 0; ctr--) {
366      tmp0 = dataptr[DCTSIZE*0] + dataptr[DCTSIZE*1];
367      tmp1 = dataptr[DCTSIZE*2] + dataptr[DCTSIZE*3];
368      tmp2 = dataptr[DCTSIZE*4] + dataptr[DCTSIZE*5];
369      tmp3 = dataptr[DCTSIZE*6] + dataptr[DCTSIZE*7];
370      tmp4 = dataptr[DCTSIZE*0] - dataptr[DCTSIZE*1];
371      tmp5 = dataptr[DCTSIZE*2] - dataptr[DCTSIZE*3];
372      tmp6 = dataptr[DCTSIZE*4] - dataptr[DCTSIZE*5];
373      tmp7 = dataptr[DCTSIZE*6] - dataptr[DCTSIZE*7];
374
375      tmp10 = tmp0 + tmp3;
376      tmp11 = tmp1 + tmp2;
377      tmp12 = tmp1 - tmp2;
378      tmp13 = tmp0 - tmp3;
379
380      dataptr[DCTSIZE*0] = DESCALE(tmp10 + tmp11, OUT_SHIFT);
381      dataptr[DCTSIZE*4] = DESCALE(tmp10 - tmp11, OUT_SHIFT);
382
383      z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
384      dataptr[DCTSIZE*2] = DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
385                                   CONST_BITS+OUT_SHIFT);
386      dataptr[DCTSIZE*6] = DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
387                                   CONST_BITS+OUT_SHIFT);
388
389      tmp10 = tmp4 + tmp7;
390      tmp11 = tmp5 + tmp6;
391      tmp12 = tmp5 - tmp6;
392      tmp13 = tmp4 - tmp7;
393
394      dataptr[DCTSIZE*1] = DESCALE(tmp10 + tmp11, OUT_SHIFT);
395      dataptr[DCTSIZE*5] = DESCALE(tmp10 - tmp11, OUT_SHIFT);
396
397      z1 = MULTIPLY(tmp12 + tmp13, FIX_0_541196100);
398      dataptr[DCTSIZE*3] = DESCALE(z1 + MULTIPLY(tmp13, FIX_0_765366865),
399                                   CONST_BITS + OUT_SHIFT);
400      dataptr[DCTSIZE*7] = DESCALE(z1 + MULTIPLY(tmp12, - FIX_1_847759065),
401                                   CONST_BITS + OUT_SHIFT);
402
403      dataptr++;                 /* advance pointer to next column */
404   }
405 }