Preparatory patch for high bit depth h264 decoding support.
[ffmpeg.git] / libavcodec / h264dsp_template.c
1 /*
2  * H.26L/H.264/AVC/JVT/14496-10/... encoder/decoder
3  * Copyright (c) 2003-2010 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * H.264 / AVC / MPEG4 part10 DSP functions.
25  * @author Michael Niedermayer <michaelni@gmx.at>
26  */
27
28 #define op_scale1(x)  block[x] = av_clip_uint8( (block[x]*weight + offset) >> log2_denom )
29 #define op_scale2(x)  dst[x] = av_clip_uint8( (src[x]*weights + dst[x]*weightd + offset) >> (log2_denom+1))
30 #define H264_WEIGHT(W,H) \
31 static void weight_h264_pixels ## W ## x ## H ## _c(uint8_t *block, int stride, int log2_denom, int weight, int offset){ \
32     int y; \
33     offset <<= log2_denom; \
34     if(log2_denom) offset += 1<<(log2_denom-1); \
35     for(y=0; y<H; y++, block += stride){ \
36         op_scale1(0); \
37         op_scale1(1); \
38         if(W==2) continue; \
39         op_scale1(2); \
40         op_scale1(3); \
41         if(W==4) continue; \
42         op_scale1(4); \
43         op_scale1(5); \
44         op_scale1(6); \
45         op_scale1(7); \
46         if(W==8) continue; \
47         op_scale1(8); \
48         op_scale1(9); \
49         op_scale1(10); \
50         op_scale1(11); \
51         op_scale1(12); \
52         op_scale1(13); \
53         op_scale1(14); \
54         op_scale1(15); \
55     } \
56 } \
57 static void biweight_h264_pixels ## W ## x ## H ## _c(uint8_t *dst, uint8_t *src, int stride, int log2_denom, int weightd, int weights, int offset){ \
58     int y; \
59     offset = ((offset + 1) | 1) << log2_denom; \
60     for(y=0; y<H; y++, dst += stride, src += stride){ \
61         op_scale2(0); \
62         op_scale2(1); \
63         if(W==2) continue; \
64         op_scale2(2); \
65         op_scale2(3); \
66         if(W==4) continue; \
67         op_scale2(4); \
68         op_scale2(5); \
69         op_scale2(6); \
70         op_scale2(7); \
71         if(W==8) continue; \
72         op_scale2(8); \
73         op_scale2(9); \
74         op_scale2(10); \
75         op_scale2(11); \
76         op_scale2(12); \
77         op_scale2(13); \
78         op_scale2(14); \
79         op_scale2(15); \
80     } \
81 }
82
83 H264_WEIGHT(16,16)
84 H264_WEIGHT(16,8)
85 H264_WEIGHT(8,16)
86 H264_WEIGHT(8,8)
87 H264_WEIGHT(8,4)
88 H264_WEIGHT(4,8)
89 H264_WEIGHT(4,4)
90 H264_WEIGHT(4,2)
91 H264_WEIGHT(2,4)
92 H264_WEIGHT(2,2)
93
94 #undef op_scale1
95 #undef op_scale2
96 #undef H264_WEIGHT
97
98 static av_always_inline av_flatten void h264_loop_filter_luma_c(uint8_t *pix, int xstride, int ystride, int inner_iters, int alpha, int beta, int8_t *tc0)
99 {
100     int i, d;
101     for( i = 0; i < 4; i++ ) {
102         if( tc0[i] < 0 ) {
103             pix += inner_iters*ystride;
104             continue;
105         }
106         for( d = 0; d < inner_iters; d++ ) {
107             const int p0 = pix[-1*xstride];
108             const int p1 = pix[-2*xstride];
109             const int p2 = pix[-3*xstride];
110             const int q0 = pix[0];
111             const int q1 = pix[1*xstride];
112             const int q2 = pix[2*xstride];
113
114             if( FFABS( p0 - q0 ) < alpha &&
115                 FFABS( p1 - p0 ) < beta &&
116                 FFABS( q1 - q0 ) < beta ) {
117
118                 int tc = tc0[i];
119                 int i_delta;
120
121                 if( FFABS( p2 - p0 ) < beta ) {
122                     if(tc0[i])
123                     pix[-2*xstride] = p1 + av_clip( (( p2 + ( ( p0 + q0 + 1 ) >> 1 ) ) >> 1) - p1, -tc0[i], tc0[i] );
124                     tc++;
125                 }
126                 if( FFABS( q2 - q0 ) < beta ) {
127                     if(tc0[i])
128                     pix[   xstride] = q1 + av_clip( (( q2 + ( ( p0 + q0 + 1 ) >> 1 ) ) >> 1) - q1, -tc0[i], tc0[i] );
129                     tc++;
130                 }
131
132                 i_delta = av_clip( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
133                 pix[-xstride] = av_clip_uint8( p0 + i_delta );    /* p0' */
134                 pix[0]        = av_clip_uint8( q0 - i_delta );    /* q0' */
135             }
136             pix += ystride;
137         }
138     }
139 }
140 static void h264_v_loop_filter_luma_c(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
141 {
142     h264_loop_filter_luma_c(pix, stride, 1, 4, alpha, beta, tc0);
143 }
144 static void h264_h_loop_filter_luma_c(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
145 {
146     h264_loop_filter_luma_c(pix, 1, stride, 4, alpha, beta, tc0);
147 }
148 static void h264_h_loop_filter_luma_mbaff_c(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
149 {
150     h264_loop_filter_luma_c(pix, 1, stride, 2, alpha, beta, tc0);
151 }
152
153 static av_always_inline av_flatten void h264_loop_filter_luma_intra_c(uint8_t *pix, int xstride, int ystride, int inner_iters, int alpha, int beta)
154 {
155     int d;
156     for( d = 0; d < 4 * inner_iters; d++ ) {
157         const int p2 = pix[-3*xstride];
158         const int p1 = pix[-2*xstride];
159         const int p0 = pix[-1*xstride];
160
161         const int q0 = pix[ 0*xstride];
162         const int q1 = pix[ 1*xstride];
163         const int q2 = pix[ 2*xstride];
164
165         if( FFABS( p0 - q0 ) < alpha &&
166             FFABS( p1 - p0 ) < beta &&
167             FFABS( q1 - q0 ) < beta ) {
168
169             if(FFABS( p0 - q0 ) < (( alpha >> 2 ) + 2 )){
170                 if( FFABS( p2 - p0 ) < beta)
171                 {
172                     const int p3 = pix[-4*xstride];
173                     /* p0', p1', p2' */
174                     pix[-1*xstride] = ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3;
175                     pix[-2*xstride] = ( p2 + p1 + p0 + q0 + 2 ) >> 2;
176                     pix[-3*xstride] = ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3;
177                 } else {
178                     /* p0' */
179                     pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
180                 }
181                 if( FFABS( q2 - q0 ) < beta)
182                 {
183                     const int q3 = pix[3*xstride];
184                     /* q0', q1', q2' */
185                     pix[0*xstride] = ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3;
186                     pix[1*xstride] = ( p0 + q0 + q1 + q2 + 2 ) >> 2;
187                     pix[2*xstride] = ( 2*q3 + 3*q2 + q1 + q0 + p0 + 4 ) >> 3;
188                 } else {
189                     /* q0' */
190                     pix[0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
191                 }
192             }else{
193                 /* p0', q0' */
194                 pix[-1*xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;
195                 pix[ 0*xstride] = ( 2*q1 + q0 + p1 + 2 ) >> 2;
196             }
197         }
198         pix += ystride;
199     }
200 }
201 static void h264_v_loop_filter_luma_intra_c(uint8_t *pix, int stride, int alpha, int beta)
202 {
203     h264_loop_filter_luma_intra_c(pix, stride, 1, 4, alpha, beta);
204 }
205 static void h264_h_loop_filter_luma_intra_c(uint8_t *pix, int stride, int alpha, int beta)
206 {
207     h264_loop_filter_luma_intra_c(pix, 1, stride, 4, alpha, beta);
208 }
209 static void h264_h_loop_filter_luma_mbaff_intra_c(uint8_t *pix, int stride, int alpha, int beta)
210 {
211     h264_loop_filter_luma_intra_c(pix, 1, stride, 2, alpha, beta);
212 }
213
214 static av_always_inline av_flatten void h264_loop_filter_chroma_c(uint8_t *pix, int xstride, int ystride, int inner_iters, int alpha, int beta, int8_t *tc0)
215 {
216     int i, d;
217     for( i = 0; i < 4; i++ ) {
218         const int tc = tc0[i];
219         if( tc <= 0 ) {
220             pix += inner_iters*ystride;
221             continue;
222         }
223         for( d = 0; d < inner_iters; d++ ) {
224             const int p0 = pix[-1*xstride];
225             const int p1 = pix[-2*xstride];
226             const int q0 = pix[0];
227             const int q1 = pix[1*xstride];
228
229             if( FFABS( p0 - q0 ) < alpha &&
230                 FFABS( p1 - p0 ) < beta &&
231                 FFABS( q1 - q0 ) < beta ) {
232
233                 int delta = av_clip( (((q0 - p0 ) << 2) + (p1 - q1) + 4) >> 3, -tc, tc );
234
235                 pix[-xstride] = av_clip_uint8( p0 + delta );    /* p0' */
236                 pix[0]        = av_clip_uint8( q0 - delta );    /* q0' */
237             }
238             pix += ystride;
239         }
240     }
241 }
242 static void h264_v_loop_filter_chroma_c(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
243 {
244     h264_loop_filter_chroma_c(pix, stride, 1, 2, alpha, beta, tc0);
245 }
246 static void h264_h_loop_filter_chroma_c(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
247 {
248     h264_loop_filter_chroma_c(pix, 1, stride, 2, alpha, beta, tc0);
249 }
250 static void h264_h_loop_filter_chroma_mbaff_c(uint8_t *pix, int stride, int alpha, int beta, int8_t *tc0)
251 {
252     h264_loop_filter_chroma_c(pix, 1, stride, 1, alpha, beta, tc0);
253 }
254
255 static av_always_inline av_flatten void h264_loop_filter_chroma_intra_c(uint8_t *pix, int xstride, int ystride, int inner_iters, int alpha, int beta)
256 {
257     int d;
258     for( d = 0; d < 4 * inner_iters; d++ ) {
259         const int p0 = pix[-1*xstride];
260         const int p1 = pix[-2*xstride];
261         const int q0 = pix[0];
262         const int q1 = pix[1*xstride];
263
264         if( FFABS( p0 - q0 ) < alpha &&
265             FFABS( p1 - p0 ) < beta &&
266             FFABS( q1 - q0 ) < beta ) {
267
268             pix[-xstride] = ( 2*p1 + p0 + q1 + 2 ) >> 2;   /* p0' */
269             pix[0]        = ( 2*q1 + q0 + p1 + 2 ) >> 2;   /* q0' */
270         }
271         pix += ystride;
272     }
273 }
274 static void h264_v_loop_filter_chroma_intra_c(uint8_t *pix, int stride, int alpha, int beta)
275 {
276     h264_loop_filter_chroma_intra_c(pix, stride, 1, 2, alpha, beta);
277 }
278 static void h264_h_loop_filter_chroma_intra_c(uint8_t *pix, int stride, int alpha, int beta)
279 {
280     h264_loop_filter_chroma_intra_c(pix, 1, stride, 2, alpha, beta);
281 }
282 static void h264_h_loop_filter_chroma_mbaff_intra_c(uint8_t *pix, int stride, int alpha, int beta)
283 {
284     h264_loop_filter_chroma_intra_c(pix, 1, stride, 1, alpha, beta);
285 }