6517d46019ea111d1bb833538e9a2c52b746bd28
[ffmpeg.git] / libavcodec / rv40dsp.c
1 /*
2  * RV40 decoder motion compensation functions
3  * Copyright (c) 2008 Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * RV40 decoder motion compensation functions
25  */
26
27 #include "avcodec.h"
28 #include "h264qpel.h"
29 #include "rv34dsp.h"
30 #include "libavutil/common.h"
31
32 #define RV40_LOWPASS(OPNAME, OP) \
33 static av_unused void OPNAME ## rv40_qpel8_h_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
34                                                      const int h, const int C1, const int C2, const int SHIFT){\
35     const uint8_t *cm = ff_cropTbl + MAX_NEG_CROP;\
36     int i;\
37     for(i = 0; i < h; i++)\
38     {\
39         OP(dst[0], (src[-2] + src[ 3] - 5*(src[-1]+src[2]) + src[0]*C1 + src[1]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
40         OP(dst[1], (src[-1] + src[ 4] - 5*(src[ 0]+src[3]) + src[1]*C1 + src[2]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
41         OP(dst[2], (src[ 0] + src[ 5] - 5*(src[ 1]+src[4]) + src[2]*C1 + src[3]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
42         OP(dst[3], (src[ 1] + src[ 6] - 5*(src[ 2]+src[5]) + src[3]*C1 + src[4]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
43         OP(dst[4], (src[ 2] + src[ 7] - 5*(src[ 3]+src[6]) + src[4]*C1 + src[5]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
44         OP(dst[5], (src[ 3] + src[ 8] - 5*(src[ 4]+src[7]) + src[5]*C1 + src[6]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
45         OP(dst[6], (src[ 4] + src[ 9] - 5*(src[ 5]+src[8]) + src[6]*C1 + src[7]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
46         OP(dst[7], (src[ 5] + src[10] - 5*(src[ 6]+src[9]) + src[7]*C1 + src[8]*C2 + (1<<(SHIFT-1))) >> SHIFT);\
47         dst += dstStride;\
48         src += srcStride;\
49     }\
50 }\
51 \
52 static void OPNAME ## rv40_qpel8_v_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
53                                            const int w, const int C1, const int C2, const int SHIFT){\
54     const uint8_t *cm = ff_cropTbl + MAX_NEG_CROP;\
55     int i;\
56     for(i = 0; i < w; i++)\
57     {\
58         const int srcB  = src[-2*srcStride];\
59         const int srcA  = src[-1*srcStride];\
60         const int src0  = src[0 *srcStride];\
61         const int src1  = src[1 *srcStride];\
62         const int src2  = src[2 *srcStride];\
63         const int src3  = src[3 *srcStride];\
64         const int src4  = src[4 *srcStride];\
65         const int src5  = src[5 *srcStride];\
66         const int src6  = src[6 *srcStride];\
67         const int src7  = src[7 *srcStride];\
68         const int src8  = src[8 *srcStride];\
69         const int src9  = src[9 *srcStride];\
70         const int src10 = src[10*srcStride];\
71         OP(dst[0*dstStride], (srcB + src3  - 5*(srcA+src2) + src0*C1 + src1*C2 + (1<<(SHIFT-1))) >> SHIFT);\
72         OP(dst[1*dstStride], (srcA + src4  - 5*(src0+src3) + src1*C1 + src2*C2 + (1<<(SHIFT-1))) >> SHIFT);\
73         OP(dst[2*dstStride], (src0 + src5  - 5*(src1+src4) + src2*C1 + src3*C2 + (1<<(SHIFT-1))) >> SHIFT);\
74         OP(dst[3*dstStride], (src1 + src6  - 5*(src2+src5) + src3*C1 + src4*C2 + (1<<(SHIFT-1))) >> SHIFT);\
75         OP(dst[4*dstStride], (src2 + src7  - 5*(src3+src6) + src4*C1 + src5*C2 + (1<<(SHIFT-1))) >> SHIFT);\
76         OP(dst[5*dstStride], (src3 + src8  - 5*(src4+src7) + src5*C1 + src6*C2 + (1<<(SHIFT-1))) >> SHIFT);\
77         OP(dst[6*dstStride], (src4 + src9  - 5*(src5+src8) + src6*C1 + src7*C2 + (1<<(SHIFT-1))) >> SHIFT);\
78         OP(dst[7*dstStride], (src5 + src10 - 5*(src6+src9) + src7*C1 + src8*C2 + (1<<(SHIFT-1))) >> SHIFT);\
79         dst++;\
80         src++;\
81     }\
82 }\
83 \
84 static void OPNAME ## rv40_qpel16_v_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
85                                             const int w, const int C1, const int C2, const int SHIFT){\
86     OPNAME ## rv40_qpel8_v_lowpass(dst  , src  , dstStride, srcStride, 8, C1, C2, SHIFT);\
87     OPNAME ## rv40_qpel8_v_lowpass(dst+8, src+8, dstStride, srcStride, 8, C1, C2, SHIFT);\
88     src += 8*srcStride;\
89     dst += 8*dstStride;\
90     OPNAME ## rv40_qpel8_v_lowpass(dst  , src  , dstStride, srcStride, w-8, C1, C2, SHIFT);\
91     OPNAME ## rv40_qpel8_v_lowpass(dst+8, src+8, dstStride, srcStride, w-8, C1, C2, SHIFT);\
92 }\
93 \
94 static void OPNAME ## rv40_qpel16_h_lowpass(uint8_t *dst, uint8_t *src, int dstStride, int srcStride,\
95                                             const int h, const int C1, const int C2, const int SHIFT){\
96     OPNAME ## rv40_qpel8_h_lowpass(dst  , src  , dstStride, srcStride, 8, C1, C2, SHIFT);\
97     OPNAME ## rv40_qpel8_h_lowpass(dst+8, src+8, dstStride, srcStride, 8, C1, C2, SHIFT);\
98     src += 8*srcStride;\
99     dst += 8*dstStride;\
100     OPNAME ## rv40_qpel8_h_lowpass(dst  , src  , dstStride, srcStride, h-8, C1, C2, SHIFT);\
101     OPNAME ## rv40_qpel8_h_lowpass(dst+8, src+8, dstStride, srcStride, h-8, C1, C2, SHIFT);\
102 }\
103 \
104
105 #define RV40_MC(OPNAME, SIZE) \
106 static void OPNAME ## rv40_qpel ## SIZE ## _mc10_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
107 {\
108     OPNAME ## rv40_qpel ## SIZE ## _h_lowpass(dst, src, stride, stride, SIZE, 52, 20, 6);\
109 }\
110 \
111 static void OPNAME ## rv40_qpel ## SIZE ## _mc30_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
112 {\
113     OPNAME ## rv40_qpel ## SIZE ## _h_lowpass(dst, src, stride, stride, SIZE, 20, 52, 6);\
114 }\
115 \
116 static void OPNAME ## rv40_qpel ## SIZE ## _mc01_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
117 {\
118     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, src, stride, stride, SIZE, 52, 20, 6);\
119 }\
120 \
121 static void OPNAME ## rv40_qpel ## SIZE ## _mc11_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
122 {\
123     uint8_t full[SIZE*(SIZE+5)];\
124     uint8_t * const full_mid = full + SIZE*2;\
125     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 52, 20, 6);\
126     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 52, 20, 6);\
127 }\
128 \
129 static void OPNAME ## rv40_qpel ## SIZE ## _mc21_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
130 {\
131     uint8_t full[SIZE*(SIZE+5)];\
132     uint8_t * const full_mid = full + SIZE*2;\
133     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 20, 5);\
134     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 52, 20, 6);\
135 }\
136 \
137 static void OPNAME ## rv40_qpel ## SIZE ## _mc31_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
138 {\
139     uint8_t full[SIZE*(SIZE+5)];\
140     uint8_t * const full_mid = full + SIZE*2;\
141     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 52, 6);\
142     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 52, 20, 6);\
143 }\
144 \
145 static void OPNAME ## rv40_qpel ## SIZE ## _mc12_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
146 {\
147     uint8_t full[SIZE*(SIZE+5)];\
148     uint8_t * const full_mid = full + SIZE*2;\
149     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 52, 20, 6);\
150     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 20, 5);\
151 }\
152 \
153 static void OPNAME ## rv40_qpel ## SIZE ## _mc22_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
154 {\
155     uint8_t full[SIZE*(SIZE+5)];\
156     uint8_t * const full_mid = full + SIZE*2;\
157     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 20, 5);\
158     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 20, 5);\
159 }\
160 \
161 static void OPNAME ## rv40_qpel ## SIZE ## _mc32_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
162 {\
163     uint8_t full[SIZE*(SIZE+5)];\
164     uint8_t * const full_mid = full + SIZE*2;\
165     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 52, 6);\
166     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 20, 5);\
167 }\
168 \
169 static void OPNAME ## rv40_qpel ## SIZE ## _mc03_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
170 {\
171     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, src, stride, stride, SIZE, 20, 52, 6);\
172 }\
173 \
174 static void OPNAME ## rv40_qpel ## SIZE ## _mc13_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
175 {\
176     uint8_t full[SIZE*(SIZE+5)];\
177     uint8_t * const full_mid = full + SIZE*2;\
178     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 52, 20, 6);\
179     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 52, 6);\
180 }\
181 \
182 static void OPNAME ## rv40_qpel ## SIZE ## _mc23_c(uint8_t *dst, uint8_t *src, ptrdiff_t stride)\
183 {\
184     uint8_t full[SIZE*(SIZE+5)];\
185     uint8_t * const full_mid = full + SIZE*2;\
186     put_rv40_qpel ## SIZE ## _h_lowpass(full, src - 2*stride, SIZE, stride, SIZE+5, 20, 20, 5);\
187     OPNAME ## rv40_qpel ## SIZE ## _v_lowpass(dst, full_mid, stride, SIZE, SIZE, 20, 52, 6);\
188 }\
189 \
190
191 #define op_avg(a, b)  a = (((a)+cm[b]+1)>>1)
192 #define op_put(a, b)  a = cm[b]
193
194 RV40_LOWPASS(put_       , op_put)
195 RV40_LOWPASS(avg_       , op_avg)
196
197 #undef op_avg
198 #undef op_put
199
200 RV40_MC(put_, 8)
201 RV40_MC(put_, 16)
202 RV40_MC(avg_, 8)
203 RV40_MC(avg_, 16)
204
205 static const int rv40_bias[4][4] = {
206     {  0, 16, 32, 16 },
207     { 32, 28, 32, 28 },
208     {  0, 32, 16, 32 },
209     { 32, 28, 32, 28 }
210 };
211
212 #define RV40_CHROMA_MC(OPNAME, OP)\
213 static void OPNAME ## rv40_chroma_mc4_c(uint8_t *dst/*align 8*/, uint8_t *src/*align 1*/, int stride, int h, int x, int y){\
214     const int A = (8-x) * (8-y);\
215     const int B = (  x) * (8-y);\
216     const int C = (8-x) * (  y);\
217     const int D = (  x) * (  y);\
218     int i;\
219     int bias = rv40_bias[y>>1][x>>1];\
220     \
221     assert(x<8 && y<8 && x>=0 && y>=0);\
222 \
223     if(D){\
224         for(i = 0; i < h; i++){\
225             OP(dst[0], (A*src[0] + B*src[1] + C*src[stride+0] + D*src[stride+1] + bias));\
226             OP(dst[1], (A*src[1] + B*src[2] + C*src[stride+1] + D*src[stride+2] + bias));\
227             OP(dst[2], (A*src[2] + B*src[3] + C*src[stride+2] + D*src[stride+3] + bias));\
228             OP(dst[3], (A*src[3] + B*src[4] + C*src[stride+3] + D*src[stride+4] + bias));\
229             dst += stride;\
230             src += stride;\
231         }\
232     }else{\
233         const int E = B + C;\
234         const int step = C ? stride : 1;\
235         for(i = 0; i < h; i++){\
236             OP(dst[0], (A*src[0] + E*src[step+0] + bias));\
237             OP(dst[1], (A*src[1] + E*src[step+1] + bias));\
238             OP(dst[2], (A*src[2] + E*src[step+2] + bias));\
239             OP(dst[3], (A*src[3] + E*src[step+3] + bias));\
240             dst += stride;\
241             src += stride;\
242         }\
243     }\
244 }\
245 \
246 static void OPNAME ## rv40_chroma_mc8_c(uint8_t *dst/*align 8*/, uint8_t *src/*align 1*/, int stride, int h, int x, int y){\
247     const int A = (8-x) * (8-y);\
248     const int B = (  x) * (8-y);\
249     const int C = (8-x) * (  y);\
250     const int D = (  x) * (  y);\
251     int i;\
252     int bias = rv40_bias[y>>1][x>>1];\
253     \
254     assert(x<8 && y<8 && x>=0 && y>=0);\
255 \
256     if(D){\
257         for(i = 0; i < h; i++){\
258             OP(dst[0], (A*src[0] + B*src[1] + C*src[stride+0] + D*src[stride+1] + bias));\
259             OP(dst[1], (A*src[1] + B*src[2] + C*src[stride+1] + D*src[stride+2] + bias));\
260             OP(dst[2], (A*src[2] + B*src[3] + C*src[stride+2] + D*src[stride+3] + bias));\
261             OP(dst[3], (A*src[3] + B*src[4] + C*src[stride+3] + D*src[stride+4] + bias));\
262             OP(dst[4], (A*src[4] + B*src[5] + C*src[stride+4] + D*src[stride+5] + bias));\
263             OP(dst[5], (A*src[5] + B*src[6] + C*src[stride+5] + D*src[stride+6] + bias));\
264             OP(dst[6], (A*src[6] + B*src[7] + C*src[stride+6] + D*src[stride+7] + bias));\
265             OP(dst[7], (A*src[7] + B*src[8] + C*src[stride+7] + D*src[stride+8] + bias));\
266             dst += stride;\
267             src += stride;\
268         }\
269     }else{\
270         const int E = B + C;\
271         const int step = C ? stride : 1;\
272         for(i = 0; i < h; i++){\
273             OP(dst[0], (A*src[0] + E*src[step+0] + bias));\
274             OP(dst[1], (A*src[1] + E*src[step+1] + bias));\
275             OP(dst[2], (A*src[2] + E*src[step+2] + bias));\
276             OP(dst[3], (A*src[3] + E*src[step+3] + bias));\
277             OP(dst[4], (A*src[4] + E*src[step+4] + bias));\
278             OP(dst[5], (A*src[5] + E*src[step+5] + bias));\
279             OP(dst[6], (A*src[6] + E*src[step+6] + bias));\
280             OP(dst[7], (A*src[7] + E*src[step+7] + bias));\
281             dst += stride;\
282             src += stride;\
283         }\
284     }\
285 }
286
287 #define op_avg(a, b) a = (((a)+((b)>>6)+1)>>1)
288 #define op_put(a, b) a = ((b)>>6)
289
290 RV40_CHROMA_MC(put_, op_put)
291 RV40_CHROMA_MC(avg_, op_avg)
292
293 #define RV40_WEIGHT_FUNC(size) \
294 static void rv40_weight_func_rnd_ ## size (uint8_t *dst, uint8_t *src1, uint8_t *src2, int w1, int w2, ptrdiff_t stride)\
295 {\
296     int i, j;\
297 \
298     for (j = 0; j < size; j++) {\
299         for (i = 0; i < size; i++)\
300             dst[i] = (((w2 * src1[i]) >> 9) + ((w1 * src2[i]) >> 9) + 0x10) >> 5;\
301         src1 += stride;\
302         src2 += stride;\
303         dst  += stride;\
304     }\
305 }\
306 static void rv40_weight_func_nornd_ ## size (uint8_t *dst, uint8_t *src1, uint8_t *src2, int w1, int w2, ptrdiff_t stride)\
307 {\
308     int i, j;\
309 \
310     for (j = 0; j < size; j++) {\
311         for (i = 0; i < size; i++)\
312             dst[i] = (w2 * src1[i] + w1 * src2[i] + 0x10) >> 5;\
313         src1 += stride;\
314         src2 += stride;\
315         dst  += stride;\
316     }\
317 }
318
319 RV40_WEIGHT_FUNC(16)
320 RV40_WEIGHT_FUNC(8)
321
322 /**
323  * dither values for deblocking filter - left/top values
324  */
325 static const uint8_t rv40_dither_l[16] = {
326     0x40, 0x50, 0x20, 0x60, 0x30, 0x50, 0x40, 0x30,
327     0x50, 0x40, 0x50, 0x30, 0x60, 0x20, 0x50, 0x40
328 };
329
330 /**
331  * dither values for deblocking filter - right/bottom values
332  */
333 static const uint8_t rv40_dither_r[16] = {
334     0x40, 0x30, 0x60, 0x20, 0x50, 0x30, 0x30, 0x40,
335     0x40, 0x40, 0x50, 0x30, 0x20, 0x60, 0x30, 0x40
336 };
337
338 #define CLIP_SYMM(a, b) av_clip(a, -(b), b)
339 /**
340  * weaker deblocking very similar to the one described in 4.4.2 of JVT-A003r1
341  */
342 static av_always_inline void rv40_weak_loop_filter(uint8_t *src,
343                                                    const int step,
344                                                    const ptrdiff_t stride,
345                                                    const int filter_p1,
346                                                    const int filter_q1,
347                                                    const int alpha,
348                                                    const int beta,
349                                                    const int lim_p0q0,
350                                                    const int lim_q1,
351                                                    const int lim_p1)
352 {
353     const uint8_t *cm = ff_cropTbl + MAX_NEG_CROP;
354     int i, t, u, diff;
355
356     for (i = 0; i < 4; i++, src += stride) {
357         int diff_p1p0 = src[-2*step] - src[-1*step];
358         int diff_q1q0 = src[ 1*step] - src[ 0*step];
359         int diff_p1p2 = src[-2*step] - src[-3*step];
360         int diff_q1q2 = src[ 1*step] - src[ 2*step];
361
362         t = src[0*step] - src[-1*step];
363         if (!t)
364             continue;
365
366         u = (alpha * FFABS(t)) >> 7;
367         if (u > 3 - (filter_p1 && filter_q1))
368             continue;
369
370         t <<= 2;
371         if (filter_p1 && filter_q1)
372             t += src[-2*step] - src[1*step];
373
374         diff = CLIP_SYMM((t + 4) >> 3, lim_p0q0);
375         src[-1*step] = cm[src[-1*step] + diff];
376         src[ 0*step] = cm[src[ 0*step] - diff];
377
378         if (filter_p1 && FFABS(diff_p1p2) <= beta) {
379             t = (diff_p1p0 + diff_p1p2 - diff) >> 1;
380             src[-2*step] = cm[src[-2*step] - CLIP_SYMM(t, lim_p1)];
381         }
382
383         if (filter_q1 && FFABS(diff_q1q2) <= beta) {
384             t = (diff_q1q0 + diff_q1q2 + diff) >> 1;
385             src[ 1*step] = cm[src[ 1*step] - CLIP_SYMM(t, lim_q1)];
386         }
387     }
388 }
389
390 static void rv40_h_weak_loop_filter(uint8_t *src, const ptrdiff_t stride,
391                                     const int filter_p1, const int filter_q1,
392                                     const int alpha, const int beta,
393                                     const int lim_p0q0, const int lim_q1,
394                                     const int lim_p1)
395 {
396     rv40_weak_loop_filter(src, stride, 1, filter_p1, filter_q1,
397                           alpha, beta, lim_p0q0, lim_q1, lim_p1);
398 }
399
400 static void rv40_v_weak_loop_filter(uint8_t *src, const ptrdiff_t stride,
401                                     const int filter_p1, const int filter_q1,
402                                     const int alpha, const int beta,
403                                     const int lim_p0q0, const int lim_q1,
404                                     const int lim_p1)
405 {
406     rv40_weak_loop_filter(src, 1, stride, filter_p1, filter_q1,
407                           alpha, beta, lim_p0q0, lim_q1, lim_p1);
408 }
409
410 static av_always_inline void rv40_strong_loop_filter(uint8_t *src,
411                                                      const int step,
412                                                      const ptrdiff_t stride,
413                                                      const int alpha,
414                                                      const int lims,
415                                                      const int dmode,
416                                                      const int chroma)
417 {
418     int i;
419
420     for(i = 0; i < 4; i++, src += stride){
421         int sflag, p0, q0, p1, q1;
422         int t = src[0*step] - src[-1*step];
423
424         if (!t)
425             continue;
426
427         sflag = (alpha * FFABS(t)) >> 7;
428         if (sflag > 1)
429             continue;
430
431         p0 = (25*src[-3*step] + 26*src[-2*step] + 26*src[-1*step] +
432               26*src[ 0*step] + 25*src[ 1*step] +
433               rv40_dither_l[dmode + i]) >> 7;
434
435         q0 = (25*src[-2*step] + 26*src[-1*step] + 26*src[ 0*step] +
436               26*src[ 1*step] + 25*src[ 2*step] +
437               rv40_dither_r[dmode + i]) >> 7;
438
439         if (sflag) {
440             p0 = av_clip(p0, src[-1*step] - lims, src[-1*step] + lims);
441             q0 = av_clip(q0, src[ 0*step] - lims, src[ 0*step] + lims);
442         }
443
444         p1 = (25*src[-4*step] + 26*src[-3*step] + 26*src[-2*step] + 26*p0 +
445               25*src[ 0*step] + rv40_dither_l[dmode + i]) >> 7;
446         q1 = (25*src[-1*step] + 26*q0 + 26*src[ 1*step] + 26*src[ 2*step] +
447               25*src[ 3*step] + rv40_dither_r[dmode + i]) >> 7;
448
449         if (sflag) {
450             p1 = av_clip(p1, src[-2*step] - lims, src[-2*step] + lims);
451             q1 = av_clip(q1, src[ 1*step] - lims, src[ 1*step] + lims);
452         }
453
454         src[-2*step] = p1;
455         src[-1*step] = p0;
456         src[ 0*step] = q0;
457         src[ 1*step] = q1;
458
459         if(!chroma){
460             src[-3*step] = (25*src[-1*step] + 26*src[-2*step] +
461                             51*src[-3*step] + 26*src[-4*step] + 64) >> 7;
462             src[ 2*step] = (25*src[ 0*step] + 26*src[ 1*step] +
463                             51*src[ 2*step] + 26*src[ 3*step] + 64) >> 7;
464         }
465     }
466 }
467
468 static void rv40_h_strong_loop_filter(uint8_t *src, const ptrdiff_t stride,
469                                       const int alpha, const int lims,
470                                       const int dmode, const int chroma)
471 {
472     rv40_strong_loop_filter(src, stride, 1, alpha, lims, dmode, chroma);
473 }
474
475 static void rv40_v_strong_loop_filter(uint8_t *src, const ptrdiff_t stride,
476                                       const int alpha, const int lims,
477                                       const int dmode, const int chroma)
478 {
479     rv40_strong_loop_filter(src, 1, stride, alpha, lims, dmode, chroma);
480 }
481
482 static av_always_inline int rv40_loop_filter_strength(uint8_t *src,
483                                                       int step, ptrdiff_t stride,
484                                                       int beta, int beta2,
485                                                       int edge,
486                                                       int *p1, int *q1)
487 {
488     int sum_p1p0 = 0, sum_q1q0 = 0, sum_p1p2 = 0, sum_q1q2 = 0;
489     int strong0 = 0, strong1 = 0;
490     uint8_t *ptr;
491     int i;
492
493     for (i = 0, ptr = src; i < 4; i++, ptr += stride) {
494         sum_p1p0 += ptr[-2*step] - ptr[-1*step];
495         sum_q1q0 += ptr[ 1*step] - ptr[ 0*step];
496     }
497
498     *p1 = FFABS(sum_p1p0) < (beta << 2);
499     *q1 = FFABS(sum_q1q0) < (beta << 2);
500
501     if(!*p1 && !*q1)
502         return 0;
503
504     if (!edge)
505         return 0;
506
507     for (i = 0, ptr = src; i < 4; i++, ptr += stride) {
508         sum_p1p2 += ptr[-2*step] - ptr[-3*step];
509         sum_q1q2 += ptr[ 1*step] - ptr[ 2*step];
510     }
511
512     strong0 = *p1 && (FFABS(sum_p1p2) < beta2);
513     strong1 = *q1 && (FFABS(sum_q1q2) < beta2);
514
515     return strong0 && strong1;
516 }
517
518 static int rv40_h_loop_filter_strength(uint8_t *src, ptrdiff_t stride,
519                                        int beta, int beta2, int edge,
520                                        int *p1, int *q1)
521 {
522     return rv40_loop_filter_strength(src, stride, 1, beta, beta2, edge, p1, q1);
523 }
524
525 static int rv40_v_loop_filter_strength(uint8_t *src, ptrdiff_t stride,
526                                        int beta, int beta2, int edge,
527                                        int *p1, int *q1)
528 {
529     return rv40_loop_filter_strength(src, 1, stride, beta, beta2, edge, p1, q1);
530 }
531
532 av_cold void ff_rv40dsp_init(RV34DSPContext *c)
533 {
534     H264QpelContext qpel;
535
536     ff_rv34dsp_init(c);
537     ff_h264qpel_init(&qpel, 8);
538
539     c->put_pixels_tab[0][ 0] = qpel.put_h264_qpel_pixels_tab[0][0];
540     c->put_pixels_tab[0][ 1] = put_rv40_qpel16_mc10_c;
541     c->put_pixels_tab[0][ 2] = qpel.put_h264_qpel_pixels_tab[0][2];
542     c->put_pixels_tab[0][ 3] = put_rv40_qpel16_mc30_c;
543     c->put_pixels_tab[0][ 4] = put_rv40_qpel16_mc01_c;
544     c->put_pixels_tab[0][ 5] = put_rv40_qpel16_mc11_c;
545     c->put_pixels_tab[0][ 6] = put_rv40_qpel16_mc21_c;
546     c->put_pixels_tab[0][ 7] = put_rv40_qpel16_mc31_c;
547     c->put_pixels_tab[0][ 8] = qpel.put_h264_qpel_pixels_tab[0][8];
548     c->put_pixels_tab[0][ 9] = put_rv40_qpel16_mc12_c;
549     c->put_pixels_tab[0][10] = put_rv40_qpel16_mc22_c;
550     c->put_pixels_tab[0][11] = put_rv40_qpel16_mc32_c;
551     c->put_pixels_tab[0][12] = put_rv40_qpel16_mc03_c;
552     c->put_pixels_tab[0][13] = put_rv40_qpel16_mc13_c;
553     c->put_pixels_tab[0][14] = put_rv40_qpel16_mc23_c;
554     c->put_pixels_tab[0][15] = ff_put_rv40_qpel16_mc33_c;
555     c->avg_pixels_tab[0][ 0] = qpel.avg_h264_qpel_pixels_tab[0][0];
556     c->avg_pixels_tab[0][ 1] = avg_rv40_qpel16_mc10_c;
557     c->avg_pixels_tab[0][ 2] = qpel.avg_h264_qpel_pixels_tab[0][2];
558     c->avg_pixels_tab[0][ 3] = avg_rv40_qpel16_mc30_c;
559     c->avg_pixels_tab[0][ 4] = avg_rv40_qpel16_mc01_c;
560     c->avg_pixels_tab[0][ 5] = avg_rv40_qpel16_mc11_c;
561     c->avg_pixels_tab[0][ 6] = avg_rv40_qpel16_mc21_c;
562     c->avg_pixels_tab[0][ 7] = avg_rv40_qpel16_mc31_c;
563     c->avg_pixels_tab[0][ 8] = qpel.avg_h264_qpel_pixels_tab[0][8];
564     c->avg_pixels_tab[0][ 9] = avg_rv40_qpel16_mc12_c;
565     c->avg_pixels_tab[0][10] = avg_rv40_qpel16_mc22_c;
566     c->avg_pixels_tab[0][11] = avg_rv40_qpel16_mc32_c;
567     c->avg_pixels_tab[0][12] = avg_rv40_qpel16_mc03_c;
568     c->avg_pixels_tab[0][13] = avg_rv40_qpel16_mc13_c;
569     c->avg_pixels_tab[0][14] = avg_rv40_qpel16_mc23_c;
570     c->avg_pixels_tab[0][15] = ff_avg_rv40_qpel16_mc33_c;
571     c->put_pixels_tab[1][ 0] = qpel.put_h264_qpel_pixels_tab[1][0];
572     c->put_pixels_tab[1][ 1] = put_rv40_qpel8_mc10_c;
573     c->put_pixels_tab[1][ 2] = qpel.put_h264_qpel_pixels_tab[1][2];
574     c->put_pixels_tab[1][ 3] = put_rv40_qpel8_mc30_c;
575     c->put_pixels_tab[1][ 4] = put_rv40_qpel8_mc01_c;
576     c->put_pixels_tab[1][ 5] = put_rv40_qpel8_mc11_c;
577     c->put_pixels_tab[1][ 6] = put_rv40_qpel8_mc21_c;
578     c->put_pixels_tab[1][ 7] = put_rv40_qpel8_mc31_c;
579     c->put_pixels_tab[1][ 8] = qpel.put_h264_qpel_pixels_tab[1][8];
580     c->put_pixels_tab[1][ 9] = put_rv40_qpel8_mc12_c;
581     c->put_pixels_tab[1][10] = put_rv40_qpel8_mc22_c;
582     c->put_pixels_tab[1][11] = put_rv40_qpel8_mc32_c;
583     c->put_pixels_tab[1][12] = put_rv40_qpel8_mc03_c;
584     c->put_pixels_tab[1][13] = put_rv40_qpel8_mc13_c;
585     c->put_pixels_tab[1][14] = put_rv40_qpel8_mc23_c;
586     c->put_pixels_tab[1][15] = ff_put_rv40_qpel8_mc33_c;
587     c->avg_pixels_tab[1][ 0] = qpel.avg_h264_qpel_pixels_tab[1][0];
588     c->avg_pixels_tab[1][ 1] = avg_rv40_qpel8_mc10_c;
589     c->avg_pixels_tab[1][ 2] = qpel.avg_h264_qpel_pixels_tab[1][2];
590     c->avg_pixels_tab[1][ 3] = avg_rv40_qpel8_mc30_c;
591     c->avg_pixels_tab[1][ 4] = avg_rv40_qpel8_mc01_c;
592     c->avg_pixels_tab[1][ 5] = avg_rv40_qpel8_mc11_c;
593     c->avg_pixels_tab[1][ 6] = avg_rv40_qpel8_mc21_c;
594     c->avg_pixels_tab[1][ 7] = avg_rv40_qpel8_mc31_c;
595     c->avg_pixels_tab[1][ 8] = qpel.avg_h264_qpel_pixels_tab[1][8];
596     c->avg_pixels_tab[1][ 9] = avg_rv40_qpel8_mc12_c;
597     c->avg_pixels_tab[1][10] = avg_rv40_qpel8_mc22_c;
598     c->avg_pixels_tab[1][11] = avg_rv40_qpel8_mc32_c;
599     c->avg_pixels_tab[1][12] = avg_rv40_qpel8_mc03_c;
600     c->avg_pixels_tab[1][13] = avg_rv40_qpel8_mc13_c;
601     c->avg_pixels_tab[1][14] = avg_rv40_qpel8_mc23_c;
602     c->avg_pixels_tab[1][15] = ff_avg_rv40_qpel8_mc33_c;
603
604     c->put_chroma_pixels_tab[0] = put_rv40_chroma_mc8_c;
605     c->put_chroma_pixels_tab[1] = put_rv40_chroma_mc4_c;
606     c->avg_chroma_pixels_tab[0] = avg_rv40_chroma_mc8_c;
607     c->avg_chroma_pixels_tab[1] = avg_rv40_chroma_mc4_c;
608
609     c->rv40_weight_pixels_tab[0][0] = rv40_weight_func_rnd_16;
610     c->rv40_weight_pixels_tab[0][1] = rv40_weight_func_rnd_8;
611     c->rv40_weight_pixels_tab[1][0] = rv40_weight_func_nornd_16;
612     c->rv40_weight_pixels_tab[1][1] = rv40_weight_func_nornd_8;
613
614     c->rv40_weak_loop_filter[0]     = rv40_h_weak_loop_filter;
615     c->rv40_weak_loop_filter[1]     = rv40_v_weak_loop_filter;
616     c->rv40_strong_loop_filter[0]   = rv40_h_strong_loop_filter;
617     c->rv40_strong_loop_filter[1]   = rv40_v_strong_loop_filter;
618     c->rv40_loop_filter_strength[0] = rv40_h_loop_filter_strength;
619     c->rv40_loop_filter_strength[1] = rv40_v_loop_filter_strength;
620
621     if (ARCH_AARCH64)
622         ff_rv40dsp_init_aarch64(c);
623     if (ARCH_ARM)
624         ff_rv40dsp_init_arm(c);
625     if (ARCH_X86)
626         ff_rv40dsp_init_x86(c);
627 }