Merge commit 'f9279ee74936b4990fc46287c27816ef828cc06c'
[ffmpeg.git] / libavcodec / vp8dsp.c
1 /*
2  * Copyright (C) 2010 David Conrad
3  * Copyright (C) 2010 Ronald S. Bultje
4  * Copyright (C) 2014 Peter Ross
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * VP8 compatible video decoder
26  */
27
28 #include "mathops.h"
29 #include "vp8dsp.h"
30 #include "libavutil/common.h"
31 #include "libavutil/intreadwrite.h"
32
33 #define MK_IDCT_DC_ADD4_C(name) \
34 static void name ## _idct_dc_add4uv_c(uint8_t *dst, int16_t block[4][16], ptrdiff_t stride)\
35 {\
36     name ## _idct_dc_add_c(dst+stride*0+0, block[0], stride);\
37     name ## _idct_dc_add_c(dst+stride*0+4, block[1], stride);\
38     name ## _idct_dc_add_c(dst+stride*4+0, block[2], stride);\
39     name ## _idct_dc_add_c(dst+stride*4+4, block[3], stride);\
40 }\
41 \
42 static void name ## _idct_dc_add4y_c(uint8_t *dst, int16_t block[4][16], ptrdiff_t stride)\
43 {\
44     name ## _idct_dc_add_c(dst+ 0, block[0], stride);\
45     name ## _idct_dc_add_c(dst+ 4, block[1], stride);\
46     name ## _idct_dc_add_c(dst+ 8, block[2], stride);\
47     name ## _idct_dc_add_c(dst+12, block[3], stride);\
48 }
49
50 #if CONFIG_VP7_DECODER
51 static void vp7_luma_dc_wht_c(int16_t block[4][4][16], int16_t dc[16])
52 {
53     int i, a1, b1, c1, d1;
54     int16_t tmp[16];
55
56     for (i = 0; i < 4; i++) {
57         a1 = (dc[i*4+0] + dc[i*4+2]) * 23170;
58         b1 = (dc[i*4+0] - dc[i*4+2]) * 23170;
59         c1 = dc[i*4+1] * 12540 - dc[i*4+3] * 30274;
60         d1 = dc[i*4+1] * 30274 + dc[i*4+3] * 12540;
61         tmp[i*4+0] = (a1 + d1) >> 14;
62         tmp[i*4+3] = (a1 - d1) >> 14;
63         tmp[i*4+1] = (b1 + c1) >> 14;
64         tmp[i*4+2] = (b1 - c1) >> 14;
65     }
66
67     for (i = 0; i < 4; i++) {
68         a1 = (tmp[i + 0] + tmp[i + 8]) * 23170;
69         b1 = (tmp[i + 0] - tmp[i + 8]) * 23170;
70         c1 = tmp[i + 4] * 12540 - tmp[i + 12] * 30274;
71         d1 = tmp[i + 4] * 30274 + tmp[i + 12] * 12540;
72         AV_ZERO64(dc + i*4);
73         block[0][i][0] = (a1 + d1 + 0x20000) >> 18;
74         block[3][i][0] = (a1 - d1 + 0x20000) >> 18;
75         block[1][i][0] = (b1 + c1 + 0x20000) >> 18;
76         block[2][i][0] = (b1 - c1 + 0x20000) >> 18;
77     }
78 }
79
80 static void vp7_luma_dc_wht_dc_c(int16_t block[4][4][16], int16_t dc[16])
81 {
82     int i, val = (23170 * (23170 * dc[0] >> 14) + 0x20000) >> 18;
83     dc[0] = 0;
84
85     for (i = 0; i < 4; i++) {
86         block[i][0][0] = val;
87         block[i][1][0] = val;
88         block[i][2][0] = val;
89         block[i][3][0] = val;
90     }
91 }
92
93 static void vp7_idct_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
94 {
95     int i, a1, b1, c1, d1;
96     int16_t tmp[16];
97
98     for (i = 0; i < 4; i++) {
99         a1 = (block[i*4+0] + block[i*4+2]) * 23170;
100         b1 = (block[i*4+0] - block[i*4+2]) * 23170;
101         c1 = block[i*4+1] * 12540 - block[i*4+3] * 30274;
102         d1 = block[i*4+1] * 30274 + block[i*4+3] * 12540;
103         AV_ZERO64(block + i*4);
104         tmp[i*4+0] = (a1 + d1) >> 14;
105         tmp[i*4+3] = (a1 - d1) >> 14;
106         tmp[i*4+1] = (b1 + c1) >> 14;
107         tmp[i*4+2] = (b1 - c1) >> 14;
108     }
109
110     for (i = 0; i < 4; i++) {
111         a1 = (tmp[i + 0] + tmp[i + 8]) * 23170;
112         b1 = (tmp[i + 0] - tmp[i + 8]) * 23170;
113         c1 = tmp[i + 4] * 12540 - tmp[i + 12] * 30274;
114         d1 = tmp[i + 4] * 30274 + tmp[i + 12] * 12540;
115         dst[0*stride+i] = av_clip_uint8(dst[0*stride+i] + ((a1 + d1 + 0x20000) >> 18));
116         dst[3*stride+i] = av_clip_uint8(dst[3*stride+i] + ((a1 - d1 + 0x20000) >> 18));
117         dst[1*stride+i] = av_clip_uint8(dst[1*stride+i] + ((b1 + c1 + 0x20000) >> 18));
118         dst[2*stride+i] = av_clip_uint8(dst[2*stride+i] + ((b1 - c1 + 0x20000) >> 18));
119     }
120 }
121
122 static void vp7_idct_dc_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
123 {
124     int i, dc = (23170 * (23170 * block[0] >> 14) + 0x20000) >> 18;
125     block[0] = 0;
126
127     for (i = 0; i < 4; i++) {
128         dst[0] = av_clip_uint8(dst[0] + dc);
129         dst[1] = av_clip_uint8(dst[1] + dc);
130         dst[2] = av_clip_uint8(dst[2] + dc);
131         dst[3] = av_clip_uint8(dst[3] + dc);
132         dst += stride;
133     }
134 }
135
136 MK_IDCT_DC_ADD4_C(vp7)
137 #endif
138
139 // TODO: Maybe add dequant
140 #if CONFIG_VP8_DECODER
141 static void vp8_luma_dc_wht_c(int16_t block[4][4][16], int16_t dc[16])
142 {
143     int i, t0, t1, t2, t3;
144
145     for (i = 0; i < 4; i++) {
146         t0 = dc[0*4+i] + dc[3*4+i];
147         t1 = dc[1*4+i] + dc[2*4+i];
148         t2 = dc[1*4+i] - dc[2*4+i];
149         t3 = dc[0*4+i] - dc[3*4+i];
150
151         dc[0*4+i] = t0 + t1;
152         dc[1*4+i] = t3 + t2;
153         dc[2*4+i] = t0 - t1;
154         dc[3*4+i] = t3 - t2;
155     }
156
157     for (i = 0; i < 4; i++) {
158         t0 = dc[i*4+0] + dc[i*4+3] + 3; // rounding
159         t1 = dc[i*4+1] + dc[i*4+2];
160         t2 = dc[i*4+1] - dc[i*4+2];
161         t3 = dc[i*4+0] - dc[i*4+3] + 3; // rounding
162         AV_ZERO64(dc + i*4);
163
164         block[i][0][0] = (t0 + t1) >> 3;
165         block[i][1][0] = (t3 + t2) >> 3;
166         block[i][2][0] = (t0 - t1) >> 3;
167         block[i][3][0] = (t3 - t2) >> 3;
168     }
169 }
170
171 static void vp8_luma_dc_wht_dc_c(int16_t block[4][4][16], int16_t dc[16])
172 {
173     int i, val = (dc[0] + 3) >> 3;
174     dc[0] = 0;
175
176     for (i = 0; i < 4; i++) {
177         block[i][0][0] = val;
178         block[i][1][0] = val;
179         block[i][2][0] = val;
180         block[i][3][0] = val;
181     }
182 }
183
184 #define MUL_20091(a) ((((a)*20091) >> 16) + (a))
185 #define MUL_35468(a)  (((a)*35468) >> 16)
186
187 static void vp8_idct_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
188 {
189     int i, t0, t1, t2, t3;
190     int16_t tmp[16];
191
192     for (i = 0; i < 4; i++) {
193         t0 = block[0*4+i] + block[2*4+i];
194         t1 = block[0*4+i] - block[2*4+i];
195         t2 = MUL_35468(block[1*4+i]) - MUL_20091(block[3*4+i]);
196         t3 = MUL_20091(block[1*4+i]) + MUL_35468(block[3*4+i]);
197         block[0*4+i] = 0;
198         block[1*4+i] = 0;
199         block[2*4+i] = 0;
200         block[3*4+i] = 0;
201
202         tmp[i*4+0] = t0 + t3;
203         tmp[i*4+1] = t1 + t2;
204         tmp[i*4+2] = t1 - t2;
205         tmp[i*4+3] = t0 - t3;
206     }
207
208     for (i = 0; i < 4; i++) {
209         t0 = tmp[0*4+i] + tmp[2*4+i];
210         t1 = tmp[0*4+i] - tmp[2*4+i];
211         t2 = MUL_35468(tmp[1*4+i]) - MUL_20091(tmp[3*4+i]);
212         t3 = MUL_20091(tmp[1*4+i]) + MUL_35468(tmp[3*4+i]);
213
214         dst[0] = av_clip_uint8(dst[0] + ((t0 + t3 + 4) >> 3));
215         dst[1] = av_clip_uint8(dst[1] + ((t1 + t2 + 4) >> 3));
216         dst[2] = av_clip_uint8(dst[2] + ((t1 - t2 + 4) >> 3));
217         dst[3] = av_clip_uint8(dst[3] + ((t0 - t3 + 4) >> 3));
218         dst += stride;
219     }
220 }
221
222 static void vp8_idct_dc_add_c(uint8_t *dst, int16_t block[16], ptrdiff_t stride)
223 {
224     int i, dc = (block[0] + 4) >> 3;
225     block[0] = 0;
226
227     for (i = 0; i < 4; i++) {
228         dst[0] = av_clip_uint8(dst[0] + dc);
229         dst[1] = av_clip_uint8(dst[1] + dc);
230         dst[2] = av_clip_uint8(dst[2] + dc);
231         dst[3] = av_clip_uint8(dst[3] + dc);
232         dst += stride;
233     }
234 }
235
236 MK_IDCT_DC_ADD4_C(vp8)
237 #endif
238
239 // because I like only having two parameters to pass functions...
240 #define LOAD_PIXELS\
241     int av_unused p3 = p[-4*stride];\
242     int av_unused p2 = p[-3*stride];\
243     int av_unused p1 = p[-2*stride];\
244     int av_unused p0 = p[-1*stride];\
245     int av_unused q0 = p[ 0*stride];\
246     int av_unused q1 = p[ 1*stride];\
247     int av_unused q2 = p[ 2*stride];\
248     int av_unused q3 = p[ 3*stride];
249
250 #define clip_int8(n) (cm[n+0x80]-0x80)
251
252 static av_always_inline void filter_common(uint8_t *p, ptrdiff_t stride, int is4tap, int vpn)
253 {
254     LOAD_PIXELS
255     int a, f1, f2;
256     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;
257
258     a = 3*(q0 - p0);
259
260     if (is4tap)
261         a += clip_int8(p1 - q1);
262
263     a = clip_int8(a);
264
265     // We deviate from the spec here with c(a+3) >> 3
266     // since that's what libvpx does.
267     f1 = FFMIN(a+4, 127) >> 3;
268
269     if (vpn == 7)
270         f2 = f1 - ((a & 7) == 4);
271     else
272         f2 = FFMIN(a+3, 127) >> 3;
273
274     // Despite what the spec says, we do need to clamp here to
275     // be bitexact with libvpx.
276     p[-1*stride] = cm[p0 + f2];
277     p[ 0*stride] = cm[q0 - f1];
278
279     // only used for _inner on blocks without high edge variance
280     if (!is4tap) {
281         a = (f1+1)>>1;
282         p[-2*stride] = cm[p1 + a];
283         p[ 1*stride] = cm[q1 - a];
284     }
285 }
286
287 static av_always_inline int vp7_simple_limit(uint8_t *p, ptrdiff_t stride, int flim)
288 {
289     LOAD_PIXELS
290     return FFABS(p0-q0) <= flim;
291 }
292
293 static av_always_inline int vp8_simple_limit(uint8_t *p, ptrdiff_t stride, int flim)
294 {
295     LOAD_PIXELS
296     return 2*FFABS(p0-q0) + (FFABS(p1-q1) >> 1) <= flim;
297 }
298
299 /**
300  * E - limit at the macroblock edge
301  * I - limit for interior difference
302  */
303 #define NORMAL_LIMIT(vpn) \
304 static av_always_inline int vp ## vpn ## _normal_limit(uint8_t *p, ptrdiff_t stride, int E, int I)\
305 {\
306     LOAD_PIXELS\
307     return vp ## vpn ## _simple_limit(p, stride, E)\
308         && FFABS(p3-p2) <= I && FFABS(p2-p1) <= I && FFABS(p1-p0) <= I\
309         && FFABS(q3-q2) <= I && FFABS(q2-q1) <= I && FFABS(q1-q0) <= I;\
310 }
311
312 NORMAL_LIMIT(7)
313 NORMAL_LIMIT(8)
314
315 // high edge variance
316 static av_always_inline int hev(uint8_t *p, ptrdiff_t stride, int thresh)
317 {
318     LOAD_PIXELS
319     return FFABS(p1-p0) > thresh || FFABS(q1-q0) > thresh;
320 }
321
322 static av_always_inline void filter_mbedge(uint8_t *p, ptrdiff_t stride)
323 {
324     int a0, a1, a2, w;
325     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP;
326
327     LOAD_PIXELS
328
329     w = clip_int8(p1-q1);
330     w = clip_int8(w + 3*(q0-p0));
331
332     a0 = (27*w + 63) >> 7;
333     a1 = (18*w + 63) >> 7;
334     a2 = ( 9*w + 63) >> 7;
335
336     p[-3*stride] = cm[p2 + a2];
337     p[-2*stride] = cm[p1 + a1];
338     p[-1*stride] = cm[p0 + a0];
339     p[ 0*stride] = cm[q0 - a0];
340     p[ 1*stride] = cm[q1 - a1];
341     p[ 2*stride] = cm[q2 - a2];
342 }
343
344 #define LOOP_FILTER(vpn, dir, size, stridea, strideb, maybe_inline) \
345 static maybe_inline void vp ## vpn ## _ ## dir ## _loop_filter ## size ## _c(uint8_t *dst, ptrdiff_t stride,\
346                                      int flim_E, int flim_I, int hev_thresh)\
347 {\
348     int i;\
349 \
350     for (i = 0; i < size; i++)\
351         if (vp ## vpn ## _normal_limit(dst+i*stridea, strideb, flim_E, flim_I)) {\
352             if (hev(dst+i*stridea, strideb, hev_thresh))\
353                 filter_common(dst+i*stridea, strideb, 1, vpn);\
354             else\
355                 filter_mbedge(dst+i*stridea, strideb);\
356         }\
357 }\
358 \
359 static maybe_inline void vp ## vpn ## _ ## dir ## _loop_filter ## size ## _inner_c(uint8_t *dst, ptrdiff_t stride,\
360                                       int flim_E, int flim_I, int hev_thresh)\
361 {\
362     int i;\
363 \
364     for (i = 0; i < size; i++)\
365         if (vp ## vpn ## _normal_limit(dst+i*stridea, strideb, flim_E, flim_I)) {\
366             int hv = hev(dst+i*stridea, strideb, hev_thresh);\
367             if (hv) \
368                 filter_common(dst+i*stridea, strideb, 1, vpn);\
369             else \
370                 filter_common(dst+i*stridea, strideb, 0, vpn);\
371         }\
372 }
373
374 #define UV_LOOP_FILTER(vpn, dir, stridea, strideb) \
375 LOOP_FILTER(vpn, dir, 8, stridea, strideb, av_always_inline) \
376 static void vp ## vpn ## _ ## dir ## _loop_filter8uv_c(uint8_t *dstU, uint8_t *dstV, ptrdiff_t stride,\
377                                       int fE, int fI, int hev_thresh)\
378 {\
379   vp ## vpn ## _ ## dir ## _loop_filter8_c(dstU, stride, fE, fI, hev_thresh);\
380   vp ## vpn ## _ ## dir ## _loop_filter8_c(dstV, stride, fE, fI, hev_thresh);\
381 }\
382 static void vp ## vpn ## _ ## dir ## _loop_filter8uv_inner_c(uint8_t *dstU, uint8_t *dstV, ptrdiff_t stride,\
383                                       int fE, int fI, int hev_thresh)\
384 {\
385   vp ## vpn ## _ ## dir ## _loop_filter8_inner_c(dstU, stride, fE, fI, hev_thresh);\
386   vp ## vpn ## _ ## dir ## _loop_filter8_inner_c(dstV, stride, fE, fI, hev_thresh);\
387 }
388
389 #define LOOP_FILTER_SIMPLE(vpn) \
390 static void vp ## vpn ## _v_loop_filter_simple_c(uint8_t *dst, ptrdiff_t stride, int flim)\
391 {\
392     int i;\
393 \
394     for (i = 0; i < 16; i++)\
395         if (vp ## vpn ## _simple_limit(dst+i, stride, flim))\
396             filter_common(dst+i, stride, 1, vpn);\
397 }\
398 \
399 static void vp ## vpn ## _h_loop_filter_simple_c(uint8_t *dst, ptrdiff_t stride, int flim)\
400 {\
401     int i;\
402 \
403     for (i = 0; i < 16; i++)\
404         if (vp ## vpn ## _simple_limit(dst+i*stride, 1, flim))\
405             filter_common(dst+i*stride, 1, 1, vpn);\
406 }
407
408 #if CONFIG_VP7_DECODER
409 LOOP_FILTER(7, v, 16, 1, stride,)
410 LOOP_FILTER(7, h, 16, stride, 1,)
411 UV_LOOP_FILTER(7, v, 1, stride)
412 UV_LOOP_FILTER(7, h, stride, 1)
413 LOOP_FILTER_SIMPLE(7)
414 #endif
415
416 #if CONFIG_VP8_DECODER
417 LOOP_FILTER(8, v, 16, 1, stride,)
418 LOOP_FILTER(8, h, 16, stride, 1,)
419 UV_LOOP_FILTER(8, v, 1, stride)
420 UV_LOOP_FILTER(8, h, stride, 1)
421 LOOP_FILTER_SIMPLE(8)
422 #endif
423
424 static const uint8_t subpel_filters[7][6] = {
425     { 0,   6, 123,  12,   1,   0 },
426     { 2,  11, 108,  36,   8,   1 },
427     { 0,   9,  93,  50,   6,   0 },
428     { 3,  16,  77,  77,  16,   3 },
429     { 0,   6,  50,  93,   9,   0 },
430     { 1,   8,  36, 108,  11,   2 },
431     { 0,   1,  12, 123,   6,   0 },
432 };
433
434 #define PUT_PIXELS(WIDTH) \
435 static void put_vp8_pixels ## WIDTH ##_c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int x, int y) { \
436     int i; \
437     for (i = 0; i < h; i++, dst+= dststride, src+= srcstride) { \
438         memcpy(dst, src, WIDTH); \
439     } \
440 }
441
442 PUT_PIXELS(16)
443 PUT_PIXELS(8)
444 PUT_PIXELS(4)
445
446 #define FILTER_6TAP(src, F, stride) \
447     cm[(F[2]*src[x+0*stride] - F[1]*src[x-1*stride] + F[0]*src[x-2*stride] + \
448         F[3]*src[x+1*stride] - F[4]*src[x+2*stride] + F[5]*src[x+3*stride] + 64) >> 7]
449
450 #define FILTER_4TAP(src, F, stride) \
451     cm[(F[2]*src[x+0*stride] - F[1]*src[x-1*stride] + \
452         F[3]*src[x+1*stride] - F[4]*src[x+2*stride] + 64) >> 7]
453
454 #define VP8_EPEL_H(SIZE, TAPS) \
455 static void put_vp8_epel ## SIZE ## _h ## TAPS ## _c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int mx, int my) \
456 { \
457     const uint8_t *filter = subpel_filters[mx-1]; \
458     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP; \
459     int x, y; \
460 \
461     for (y = 0; y < h; y++) { \
462         for (x = 0; x < SIZE; x++) \
463             dst[x] = FILTER_ ## TAPS ## TAP(src, filter, 1); \
464         dst += dststride; \
465         src += srcstride; \
466     } \
467 }
468 #define VP8_EPEL_V(SIZE, TAPS) \
469 static void put_vp8_epel ## SIZE ## _v ## TAPS ## _c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int mx, int my) \
470 { \
471     const uint8_t *filter = subpel_filters[my-1]; \
472     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP; \
473     int x, y; \
474 \
475     for (y = 0; y < h; y++) { \
476         for (x = 0; x < SIZE; x++) \
477             dst[x] = FILTER_ ## TAPS ## TAP(src, filter, srcstride); \
478         dst += dststride; \
479         src += srcstride; \
480     } \
481 }
482 #define VP8_EPEL_HV(SIZE, HTAPS, VTAPS) \
483 static void put_vp8_epel ## SIZE ## _h ## HTAPS ## v ## VTAPS ## _c(uint8_t *dst, ptrdiff_t dststride, uint8_t *src, ptrdiff_t srcstride, int h, int mx, int my) \
484 { \
485     const uint8_t *filter = subpel_filters[mx-1]; \
486     const uint8_t *cm = ff_crop_tab + MAX_NEG_CROP; \
487     int x, y; \
488     uint8_t tmp_array[(2*SIZE+VTAPS-1)*SIZE]; \
489     uint8_t *tmp = tmp_array; \
490     src -= (2-(VTAPS==4))*srcstride; \
491 \
492     for (y = 0; y < h+VTAPS-1; y++) { \
493         for (x = 0; x < SIZE; x++) \
494             tmp[x] = FILTER_ ## HTAPS ## TAP(src, filter, 1); \
495         tmp += SIZE; \
496         src += srcstride; \
497     } \
498 \
499     tmp = tmp_array + (2-(VTAPS==4))*SIZE; \
500     filter = subpel_filters[my-1]; \
501 \
502     for (y = 0; y < h; y++) { \
503         for (x = 0; x < SIZE; x++) \
504             dst[x] = FILTER_ ## VTAPS ## TAP(tmp, filter, SIZE); \
505         dst += dststride; \
506         tmp += SIZE; \
507     } \
508 }
509
510 VP8_EPEL_H(16, 4)
511 VP8_EPEL_H(8,  4)
512 VP8_EPEL_H(4,  4)
513 VP8_EPEL_H(16, 6)
514 VP8_EPEL_H(8,  6)
515 VP8_EPEL_H(4,  6)
516 VP8_EPEL_V(16, 4)
517 VP8_EPEL_V(8,  4)
518 VP8_EPEL_V(4,  4)
519 VP8_EPEL_V(16, 6)
520 VP8_EPEL_V(8,  6)
521 VP8_EPEL_V(4,  6)
522 VP8_EPEL_HV(16, 4, 4)
523 VP8_EPEL_HV(8,  4, 4)
524 VP8_EPEL_HV(4,  4, 4)
525 VP8_EPEL_HV(16, 4, 6)
526 VP8_EPEL_HV(8,  4, 6)
527 VP8_EPEL_HV(4,  4, 6)
528 VP8_EPEL_HV(16, 6, 4)
529 VP8_EPEL_HV(8,  6, 4)
530 VP8_EPEL_HV(4,  6, 4)
531 VP8_EPEL_HV(16, 6, 6)
532 VP8_EPEL_HV(8,  6, 6)
533 VP8_EPEL_HV(4,  6, 6)
534
535 #define VP8_BILINEAR(SIZE) \
536 static void put_vp8_bilinear ## SIZE ## _h_c(uint8_t *dst, ptrdiff_t dstride, uint8_t *src, ptrdiff_t sstride, int h, int mx, int my) \
537 { \
538     int a = 8-mx, b = mx; \
539     int x, y; \
540 \
541     for (y = 0; y < h; y++) { \
542         for (x = 0; x < SIZE; x++) \
543             dst[x] = (a*src[x] + b*src[x+1] + 4) >> 3; \
544         dst += dstride; \
545         src += sstride; \
546     } \
547 } \
548 static void put_vp8_bilinear ## SIZE ## _v_c(uint8_t *dst, ptrdiff_t dstride, uint8_t *src, ptrdiff_t sstride, int h, int mx, int my) \
549 { \
550     int c = 8-my, d = my; \
551     int x, y; \
552 \
553     for (y = 0; y < h; y++) { \
554         for (x = 0; x < SIZE; x++) \
555             dst[x] = (c*src[x] + d*src[x+sstride] + 4) >> 3; \
556         dst += dstride; \
557         src += sstride; \
558     } \
559 } \
560 \
561 static void put_vp8_bilinear ## SIZE ## _hv_c(uint8_t *dst, ptrdiff_t dstride, uint8_t *src, ptrdiff_t sstride, int h, int mx, int my) \
562 { \
563     int a = 8-mx, b = mx; \
564     int c = 8-my, d = my; \
565     int x, y; \
566     uint8_t tmp_array[(2*SIZE+1)*SIZE]; \
567     uint8_t *tmp = tmp_array; \
568 \
569     for (y = 0; y < h+1; y++) { \
570         for (x = 0; x < SIZE; x++) \
571             tmp[x] = (a*src[x] + b*src[x+1] + 4) >> 3; \
572         tmp += SIZE; \
573         src += sstride; \
574     } \
575 \
576     tmp = tmp_array; \
577 \
578     for (y = 0; y < h; y++) { \
579         for (x = 0; x < SIZE; x++) \
580             dst[x] = (c*tmp[x] + d*tmp[x+SIZE] + 4) >> 3; \
581         dst += dstride; \
582         tmp += SIZE; \
583     } \
584 }
585
586 VP8_BILINEAR(16)
587 VP8_BILINEAR(8)
588 VP8_BILINEAR(4)
589
590 #define VP8_MC_FUNC(IDX, SIZE) \
591     dsp->put_vp8_epel_pixels_tab[IDX][0][0] = put_vp8_pixels ## SIZE ## _c; \
592     dsp->put_vp8_epel_pixels_tab[IDX][0][1] = put_vp8_epel ## SIZE ## _h4_c; \
593     dsp->put_vp8_epel_pixels_tab[IDX][0][2] = put_vp8_epel ## SIZE ## _h6_c; \
594     dsp->put_vp8_epel_pixels_tab[IDX][1][0] = put_vp8_epel ## SIZE ## _v4_c; \
595     dsp->put_vp8_epel_pixels_tab[IDX][1][1] = put_vp8_epel ## SIZE ## _h4v4_c; \
596     dsp->put_vp8_epel_pixels_tab[IDX][1][2] = put_vp8_epel ## SIZE ## _h6v4_c; \
597     dsp->put_vp8_epel_pixels_tab[IDX][2][0] = put_vp8_epel ## SIZE ## _v6_c; \
598     dsp->put_vp8_epel_pixels_tab[IDX][2][1] = put_vp8_epel ## SIZE ## _h4v6_c; \
599     dsp->put_vp8_epel_pixels_tab[IDX][2][2] = put_vp8_epel ## SIZE ## _h6v6_c
600
601 #define VP8_BILINEAR_MC_FUNC(IDX, SIZE) \
602     dsp->put_vp8_bilinear_pixels_tab[IDX][0][0] = put_vp8_pixels ## SIZE ## _c; \
603     dsp->put_vp8_bilinear_pixels_tab[IDX][0][1] = put_vp8_bilinear ## SIZE ## _h_c; \
604     dsp->put_vp8_bilinear_pixels_tab[IDX][0][2] = put_vp8_bilinear ## SIZE ## _h_c; \
605     dsp->put_vp8_bilinear_pixels_tab[IDX][1][0] = put_vp8_bilinear ## SIZE ## _v_c; \
606     dsp->put_vp8_bilinear_pixels_tab[IDX][1][1] = put_vp8_bilinear ## SIZE ## _hv_c; \
607     dsp->put_vp8_bilinear_pixels_tab[IDX][1][2] = put_vp8_bilinear ## SIZE ## _hv_c; \
608     dsp->put_vp8_bilinear_pixels_tab[IDX][2][0] = put_vp8_bilinear ## SIZE ## _v_c; \
609     dsp->put_vp8_bilinear_pixels_tab[IDX][2][1] = put_vp8_bilinear ## SIZE ## _hv_c; \
610     dsp->put_vp8_bilinear_pixels_tab[IDX][2][2] = put_vp8_bilinear ## SIZE ## _hv_c
611
612 av_cold void ff_vp8dsp_init(VP8DSPContext *dsp, int vp7)
613 {
614 #if CONFIG_VP7_DECODER && CONFIG_VP8_DECODER
615 #define VPX(f) vp7 ? vp7_ ## f : vp8_ ## f
616 #elif CONFIG_VP7_DECODER
617 #define VPX(f) vp7_ ## f
618 #else // CONFIG_VP8_DECODER
619 #define VPX(f) vp8_ ## f
620 #endif
621
622     dsp->vp8_luma_dc_wht    = VPX(luma_dc_wht_c);
623     dsp->vp8_luma_dc_wht_dc = VPX(luma_dc_wht_dc_c);
624     dsp->vp8_idct_add       = VPX(idct_add_c);
625     dsp->vp8_idct_dc_add    = VPX(idct_dc_add_c);
626     dsp->vp8_idct_dc_add4y  = VPX(idct_dc_add4y_c);
627     dsp->vp8_idct_dc_add4uv = VPX(idct_dc_add4uv_c);
628
629     dsp->vp8_v_loop_filter16y = VPX(v_loop_filter16_c);
630     dsp->vp8_h_loop_filter16y = VPX(h_loop_filter16_c);
631     dsp->vp8_v_loop_filter8uv = VPX(v_loop_filter8uv_c);
632     dsp->vp8_h_loop_filter8uv = VPX(h_loop_filter8uv_c);
633
634     dsp->vp8_v_loop_filter16y_inner = VPX(v_loop_filter16_inner_c);
635     dsp->vp8_h_loop_filter16y_inner = VPX(h_loop_filter16_inner_c);
636     dsp->vp8_v_loop_filter8uv_inner = VPX(v_loop_filter8uv_inner_c);
637     dsp->vp8_h_loop_filter8uv_inner = VPX(h_loop_filter8uv_inner_c);
638
639     dsp->vp8_v_loop_filter_simple = VPX(v_loop_filter_simple_c);
640     dsp->vp8_h_loop_filter_simple = VPX(h_loop_filter_simple_c);
641
642     VP8_MC_FUNC(0, 16);
643     VP8_MC_FUNC(1, 8);
644     VP8_MC_FUNC(2, 4);
645
646     VP8_BILINEAR_MC_FUNC(0, 16);
647     VP8_BILINEAR_MC_FUNC(1, 8);
648     VP8_BILINEAR_MC_FUNC(2, 4);
649
650     if (ARCH_ARM)
651         ff_vp8dsp_init_arm(dsp, vp7);
652     if (ARCH_PPC)
653         ff_vp8dsp_init_ppc(dsp);
654     if (ARCH_X86)
655         ff_vp8dsp_init_x86(dsp, vp7);
656 }