Preparatory patch for high bit depth h264 decoding support.
[ffmpeg.git] / libavcodec / h264dsp_template.c
1 /*
2  * H.26L/H.264/AVC/JVT/14496-10/... encoder/decoder
3  * Copyright (c) 2003-2010 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * H.264 / AVC / MPEG4 part10 DSP functions.
25  * @author Michael Niedermayer <michaelni@gmx.at>
26  */
27
28 #define BIT_DEPTH 8
29 #define pixel uint8_t
30 #define av_clip_pixel av_clip_uint8
31 #define FUNCC(a) a ## _c
32
33 #define op_scale1(x)  block[x] = av_clip_pixel( (block[x]*weight + offset) >> log2_denom )
34 #define op_scale2(x)  dst[x] = av_clip_pixel( (src[x]*weights + dst[x]*weightd + offset) >> (log2_denom+1))
35 #define H264_WEIGHT(W,H) \
36 static void FUNCC(weight_h264_pixels ## W ## x ## H)(uint8_t *_block, int stride, int log2_denom, int weight, int offset){ \
37     int y; \
38     pixel *block = (pixel*)_block; \
39     stride /= sizeof(pixel); \
40     offset <<= (log2_denom + (BIT_DEPTH-8)); \
41     if(log2_denom) offset += 1<<(log2_denom-1); \
42     for(y=0; y<H; y++, block += stride){ \
43         op_scale1(0); \
44         op_scale1(1); \
45         if(W==2) continue; \
46         op_scale1(2); \
47         op_scale1(3); \
48         if(W==4) continue; \
49         op_scale1(4); \
50         op_scale1(5); \
51         op_scale1(6); \
52         op_scale1(7); \
53         if(W==8) continue; \
54         op_scale1(8); \
55         op_scale1(9); \
56         op_scale1(10); \
57         op_scale1(11); \
58         op_scale1(12); \
59         op_scale1(13); \
60         op_scale1(14); \
61         op_scale1(15); \
62     } \
63 } \
64 static void FUNCC(biweight_h264_pixels ## W ## x ## H)(uint8_t *_dst, uint8_t *_src, int stride, int log2_denom, int weightd, int weights, int offset){ \
65     int y; \
66     pixel *dst = (pixel*)_dst; \
67     pixel *src = (pixel*)_src; \
68     stride /= sizeof(pixel); \
69     offset = ((offset + 1) | 1) << log2_denom; \
70     for(y=0; y<H; y++, dst += stride, src += stride){ \
71         op_scale2(0); \
72         op_scale2(1); \
73         if(W==2) continue; \
74         op_scale2(2); \
75         op_scale2(3); \
76         if(W==4) continue; \
77         op_scale2(4); \
78         op_scale2(5); \
79         op_scale2(6); \
80         op_scale2(7); \
81         if(W==8) continue; \
82         op_scale2(8); \
83         op_scale2(9); \
84         op_scale2(10); \
85         op_scale2(11); \
86         op_scale2(12); \
87         op_scale2(13); \
88         op_scale2(14); \
89         op_scale2(15); \
90     } \
91 }
92
93 H264_WEIGHT(16,16)
94 H264_WEIGHT(16,8)
95 H264_WEIGHT(8,16)
96 H264_WEIGHT(8,8)
97 H264_WEIGHT(8,4)
98 H264_WEIGHT(4,8)
99 H264_WEIGHT(4,4)
100 H264_WEIGHT(4,2)
101 H264_WEIGHT(2,4)
102 H264_WEIGHT(2,2)
103
104 #undef op_scale1
105 #undef op_scale2
106 #undef H264_WEIGHT
107
108 static av_always_inline av_flatten void FUNCC(h264_loop_filter_luma)(uint8_t *_pix, int xstride, int ystride, int inner_iters, int alpha, int beta, int8_t *tc0)
109 {
110     pixel *pix = (pixel*)_pix;
111     int i, d;
112     xstride /= sizeof(pixel);
113     ystride /= sizeof(pixel);
114     alpha <<= BIT_DEPTH - 8;
115     beta  <<= BIT_DEPTH - 8;
116     for( i = 0; i < 4; i++ ) {
117         const int tc_orig = tc0[i] << (BIT_DEPTH - 8);
118         if( tc_orig < 0 ) {
119             pix += inner_iters*ystride;
120             continue;
121         }
122         for( d = 0; d < inner_iters; d++ ) {
123             const int p0 = pix[-1*xstride];
124             const int p1 = pix[-2*xstride];
125             const int p2 = pix[-3*xstride];
126             const int q0 = pix[0];
127             const int q1 = pix[1*xstride];
128             const int q2 = pix[2*xstride];
129
130             if( FFABS( p0 - q0 ) < alpha &&
131                 FFABS( p1 - p0 ) < beta &&
132                 FFABS( q1 - q0 ) < beta ) {
133
134                 int tc = tc_orig;
135                 int i_delta;
136
137                 if( FFABS( p2 - p0 ) < beta ) {
138                     if(tc_orig)
139                     pix[-2*xstride] = p1 + av_clip( (( p2 + ( ( p0 + q0 + 1 ) >> 1 ) ) >> 1) - p1, -tc_orig, tc_orig );
140                     tc++;
141                 }
142                 if( FFABS( q2 - q0 ) < beta ) {
143                     if(tc_orig)
144                     pix[   xstride] = q1 + av_clip( (( q2 + ( ( p0 + q0 + 1 ) >> 1 ) ) >> 1) - q1, -tc_orig, tc_orig );
145                     tc++;
146                 }
147
148                 i_delta = av_clip( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
149                 pix[-xstride] = av_clip_pixel( p0 + i_delta );    /* p0' */
150                 pix[0]        = av_clip_pixel( q0 - i_delta );    /* q0' */
151             }
152             pix += ystride;
153         }
154     }
155 }
156 static void FUNCC(h264_v_loop_filter_luma)(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
157 {
158     FUNCC(h264_loop_filter_luma)(pix, stride, sizeof(pixel), 4, alpha, beta, tc0);
159 }
160 static void FUNCC(h264_h_loop_filter_luma)(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
161 {
162     FUNCC(h264_loop_filter_luma)(pix, sizeof(pixel), stride, 4, alpha, beta, tc0);
163 }
164 static void FUNCC(h264_h_loop_filter_luma_mbaff)(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
165 {
166     FUNCC(h264_loop_filter_luma)(pix, sizeof(pixel), stride, 2, alpha, beta, tc0);
167 }
168
169 static av_always_inline av_flatten void FUNCC(h264_loop_filter_luma_intra)(uint8_t *_pix, int xstride, int ystride, int inner_iters, int alpha, int beta)
170 {
171     pixel *pix = (pixel*)_pix;
172     int d;
173     xstride /= sizeof(pixel);
174     ystride /= sizeof(pixel);
175     alpha <<= BIT_DEPTH - 8;
176     beta  <<= BIT_DEPTH - 8;
177     for( d = 0; d < 4 * inner_iters; d++ ) {
178         const int p2 = pix[-3*xstride];
179         const int p1 = pix[-2*xstride];
180         const int p0 = pix[-1*xstride];
181
182         const int q0 = pix[ 0*xstride];
183         const int q1 = pix[ 1*xstride];
184         const int q2 = pix[ 2*xstride];
185
186         if( FFABS( p0 - q0 ) < alpha &&
187             FFABS( p1 - p0 ) < beta &&
188             FFABS( q1 - q0 ) < beta ) {
189
190             if(FFABS( p0 - q0 ) < (( alpha >> 2 ) + 2 )){
191                 if( FFABS( p2 - p0 ) < beta)
192                 {
193                     const int p3 = pix[-4*xstride];
194                     /* p0', p1', p2' */
195                     pix[-1*xstride] = ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3;
196                     pix[-2*xstride] = ( p2 + p1 + p0 + q0 + 2 ) >> 2;
197                     pix[-3*xstride] = ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3;
198                 } else {
199                     /* p0' */
200                     pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
201                 }
202                 if( FFABS( q2 - q0 ) < beta)
203                 {
204                     const int q3 = pix[3*xstride];
205                     /* q0', q1', q2' */
206                     pix[0*xstride] = ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3;
207                     pix[1*xstride] = ( p0 + q0 + q1 + q2 + 2 ) >> 2;
208                     pix[2*xstride] = ( 2*q3 + 3*q2 + q1 + q0 + p0 + 4 ) >> 3;
209                 } else {
210                     /* q0' */
211                     pix[0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
212                 }
213             }else{
214                 /* p0', q0' */
215                 pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
216                 pix[ 0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
217             }
218         }
219         pix += ystride;
220     }
221 }
222 static void FUNCC(h264_v_loop_filter_luma_intra)(uint8_t *pix, int stride, int alpha, int beta)
223 {
224     FUNCC(h264_loop_filter_luma_intra)(pix, stride, sizeof(pixel), 4, alpha, beta);
225 }
226 static void FUNCC(h264_h_loop_filter_luma_intra)(uint8_t *pix, int stride, int alpha, int beta)
227 {
228     FUNCC(h264_loop_filter_luma_intra)(pix, sizeof(pixel), stride, 4, alpha, beta);
229 }
230 static void FUNCC(h264_h_loop_filter_luma_mbaff_intra)(uint8_t *pix, int stride, int alpha, int beta)
231 {
232     FUNCC(h264_loop_filter_luma_intra)(pix, sizeof(pixel), stride, 2, alpha, beta);
233 }
234
235 static av_always_inline av_flatten void FUNCC(h264_loop_filter_chroma)(uint8_t *_pix, int xstride, int ystride, int inner_iters, int alpha, int beta, int8_t *tc0)
236 {
237     pixel *pix = (pixel*)_pix;
238     int i, d;
239     xstride /= sizeof(pixel);
240     ystride /= sizeof(pixel);
241     alpha <<= BIT_DEPTH - 8;
242     beta  <<= BIT_DEPTH - 8;
243     for( i = 0; i < 4; i++ ) {
244         const int tc = ((tc0[i] - 1) << (BIT_DEPTH - 8)) + 1;
245         if( tc <= 0 ) {
246             pix += inner_iters*ystride;
247             continue;
248         }
249         for( d = 0; d < inner_iters; d++ ) {
250             const int p0 = pix[-1*xstride];
251             const int p1 = pix[-2*xstride];
252             const int q0 = pix[0];
253             const int q1 = pix[1*xstride];
254
255             if( FFABS( p0 - q0 ) < alpha &&
256                 FFABS( p1 - p0 ) < beta &&
257                 FFABS( q1 - q0 ) < beta ) {
258
259                 int delta = av_clip( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
260
261                 pix[-xstride] = av_clip_pixel( p0 + delta );    /* p0' */
262                 pix[0]        = av_clip_pixel( q0 - delta );    /* q0' */
263             }
264             pix += ystride;
265         }
266     }
267 }
268 static void FUNCC(h264_v_loop_filter_chroma)(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
269 {
270     FUNCC(h264_loop_filter_chroma)(pix, stride, sizeof(pixel), 2, alpha, beta, tc0);
271 }
272 static void FUNCC(h264_h_loop_filter_chroma)(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
273 {
274     FUNCC(h264_loop_filter_chroma)(pix, sizeof(pixel), stride, 2, alpha, beta, tc0);
275 }
276 static void FUNCC(h264_h_loop_filter_chroma_mbaff)(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
277 {
278     FUNCC(h264_loop_filter_chroma)(pix, sizeof(pixel), stride, 1, alpha, beta, tc0);
279 }
280
281 static av_always_inline av_flatten void FUNCC(h264_loop_filter_chroma_intra)(uint8_t *_pix, int xstride, int ystride, int inner_iters, int alpha, int beta)
282 {
283     pixel *pix = (pixel*)_pix;
284     int d;
285     xstride /= sizeof(pixel);
286     ystride /= sizeof(pixel);
287     alpha <<= BIT_DEPTH - 8;
288     beta  <<= BIT_DEPTH - 8;
289     for( d = 0; d < 4 * inner_iters; d++ ) {
290         const int p0 = pix[-1*xstride];
291         const int p1 = pix[-2*xstride];
292         const int q0 = pix[0];
293         const int q1 = pix[1*xstride];
294
295         if( FFABS( p0 - q0 ) < alpha &&
296             FFABS( p1 - p0 ) < beta &&
297             FFABS( q1 - q0 ) < beta ) {
298
299             pix[-xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;   /* p0' */
300             pix[0]        = ( 2*q1 + q0 + p1 + 2 ) >> 2;   /* q0' */
301         }
302         pix += ystride;
303     }
304 }
305 static void FUNCC(h264_v_loop_filter_chroma_intra)(uint8_t *pix, int stride, int alpha, int beta)
306 {
307     FUNCC(h264_loop_filter_chroma_intra)(pix, stride, sizeof(pixel), 2, alpha, beta);
308 }
309 static void FUNCC(h264_h_loop_filter_chroma_intra)(uint8_t *pix, int stride, int alpha, int beta)
310 {
311     FUNCC(h264_loop_filter_chroma_intra)(pix, sizeof(pixel), stride, 2, alpha, beta);
312 }
313 static void FUNCC(h264_h_loop_filter_chroma_mbaff_intra)(uint8_t *pix, int stride, int alpha, int beta)
314 {
315     FUNCC(h264_loop_filter_chroma_intra)(pix, sizeof(pixel), stride, 1, alpha, beta);
316 }