lavc/vp9: split into vp9{block,data,mvs}
[ffmpeg.git] / libavcodec / mips / vp9_intra_msa.c
1 /*
2  * Copyright (c) 2015 Shivraj Patil (Shivraj.Patil@imgtec.com)
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavcodec/vp9.h"
22 #include "libavutil/mips/generic_macros_msa.h"
23 #include "vp9dsp_mips.h"
24
25 #define IPRED_SUBS_UH2_UH(in0, in1, out0, out1)  \
26 {                                                \
27     out0 = __msa_subs_u_h(out0, in0);            \
28     out1 = __msa_subs_u_h(out1, in1);            \
29 }
30
31 void ff_vert_16x16_msa(uint8_t *dst, ptrdiff_t dst_stride, const uint8_t *left,
32                        const uint8_t *src)
33 {
34     uint32_t row;
35     v16u8 src0;
36
37     src0 = LD_UB(src);
38
39     for (row = 16; row--;) {
40         ST_UB(src0, dst);
41         dst += dst_stride;
42     }
43 }
44
45 void ff_vert_32x32_msa(uint8_t *dst, ptrdiff_t dst_stride, const uint8_t *left,
46                        const uint8_t *src)
47 {
48     uint32_t row;
49     v16u8 src1, src2;
50
51     src1 = LD_UB(src);
52     src2 = LD_UB(src + 16);
53
54     for (row = 32; row--;) {
55         ST_UB2(src1, src2, dst, 16);
56         dst += dst_stride;
57     }
58 }
59
60 void ff_hor_16x16_msa(uint8_t *dst, ptrdiff_t dst_stride, const uint8_t *src,
61                       const uint8_t *top)
62 {
63     uint32_t row, inp;
64     v16u8 src0, src1, src2, src3;
65
66     src += 12;
67     for (row = 4; row--;) {
68         inp = LW(src);
69         src -= 4;
70
71         src0 = (v16u8) __msa_fill_b(inp >> 24);
72         src1 = (v16u8) __msa_fill_b(inp >> 16);
73         src2 = (v16u8) __msa_fill_b(inp >> 8);
74         src3 = (v16u8) __msa_fill_b(inp);
75
76         ST_UB4(src0, src1, src2, src3, dst, dst_stride);
77         dst += (4 * dst_stride);
78     }
79 }
80
81 void ff_hor_32x32_msa(uint8_t *dst, ptrdiff_t dst_stride, const uint8_t *src,
82                       const uint8_t *top)
83 {
84     uint32_t row, inp;
85     v16u8 src0, src1, src2, src3;
86
87     src += 28;
88     for (row = 8; row--;) {
89         inp = LW(src);
90         src -= 4;
91
92         src0 = (v16u8) __msa_fill_b(inp >> 24);
93         src1 = (v16u8) __msa_fill_b(inp >> 16);
94         src2 = (v16u8) __msa_fill_b(inp >> 8);
95         src3 = (v16u8) __msa_fill_b(inp);
96
97         ST_UB2(src0, src0, dst, 16);
98         dst += dst_stride;
99         ST_UB2(src1, src1, dst, 16);
100         dst += dst_stride;
101         ST_UB2(src2, src2, dst, 16);
102         dst += dst_stride;
103         ST_UB2(src3, src3, dst, 16);
104         dst += dst_stride;
105     }
106 }
107
108 void ff_dc_4x4_msa(uint8_t *dst, ptrdiff_t dst_stride, const uint8_t *src_left,
109                    const uint8_t *src_top)
110 {
111     uint32_t val0, val1;
112     v16i8 store, src = { 0 };
113     v8u16 sum_h;
114     v4u32 sum_w;
115     v2u64 sum_d;
116
117     val0 = LW(src_top);
118     val1 = LW(src_left);
119     INSERT_W2_SB(val0, val1, src);
120     sum_h = __msa_hadd_u_h((v16u8) src, (v16u8) src);
121     sum_w = __msa_hadd_u_w(sum_h, sum_h);
122     sum_d = __msa_hadd_u_d(sum_w, sum_w);
123     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 3);
124     store = __msa_splati_b((v16i8) sum_w, 0);
125     val0 = __msa_copy_u_w((v4i32) store, 0);
126
127     SW4(val0, val0, val0, val0, dst, dst_stride);
128 }
129
130 #define INTRA_DC_TL_4x4(dir)                                    \
131 void ff_dc_##dir##_4x4_msa(uint8_t *dst, ptrdiff_t dst_stride,  \
132                            const uint8_t *left,                 \
133                            const uint8_t *top)                  \
134 {                                                               \
135     uint32_t val0;                                              \
136     v16i8 store, data = { 0 };                                  \
137     v8u16 sum_h;                                                \
138     v4u32 sum_w;                                                \
139                                                                 \
140     val0 = LW(dir);                                             \
141     data = (v16i8) __msa_insert_w((v4i32) data, 0, val0);       \
142     sum_h = __msa_hadd_u_h((v16u8) data, (v16u8) data);         \
143     sum_w = __msa_hadd_u_w(sum_h, sum_h);                       \
144     sum_w = (v4u32) __msa_srari_w((v4i32) sum_w, 2);            \
145     store = __msa_splati_b((v16i8) sum_w, 0);                   \
146     val0 = __msa_copy_u_w((v4i32) store, 0);                    \
147                                                                 \
148     SW4(val0, val0, val0, val0, dst, dst_stride);               \
149 }
150 INTRA_DC_TL_4x4(top);
151 INTRA_DC_TL_4x4(left);
152
153 void ff_dc_8x8_msa(uint8_t *dst, ptrdiff_t dst_stride, const uint8_t *src_left,
154                    const uint8_t *src_top)
155 {
156     uint64_t val0, val1;
157     v16i8 store;
158     v16u8 src = { 0 };
159     v8u16 sum_h;
160     v4u32 sum_w;
161     v2u64 sum_d;
162
163     val0 = LD(src_top);
164     val1 = LD(src_left);
165     INSERT_D2_UB(val0, val1, src);
166     sum_h = __msa_hadd_u_h(src, src);
167     sum_w = __msa_hadd_u_w(sum_h, sum_h);
168     sum_d = __msa_hadd_u_d(sum_w, sum_w);
169     sum_w = (v4u32) __msa_pckev_w((v4i32) sum_d, (v4i32) sum_d);
170     sum_d = __msa_hadd_u_d(sum_w, sum_w);
171     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 4);
172     store = __msa_splati_b((v16i8) sum_w, 0);
173     val0 = __msa_copy_u_d((v2i64) store, 0);
174
175     SD4(val0, val0, val0, val0, dst, dst_stride);
176     dst += (4 * dst_stride);
177     SD4(val0, val0, val0, val0, dst, dst_stride);
178 }
179
180 #define INTRA_DC_TL_8x8(dir)                                    \
181 void ff_dc_##dir##_8x8_msa(uint8_t *dst, ptrdiff_t dst_stride,  \
182                            const uint8_t *left,                 \
183                            const uint8_t *top)                  \
184 {                                                               \
185     uint64_t val0;                                              \
186     v16i8 store;                                                \
187     v16u8 data = { 0 };                                         \
188     v8u16 sum_h;                                                \
189     v4u32 sum_w;                                                \
190     v2u64 sum_d;                                                \
191                                                                 \
192     val0 = LD(dir);                                             \
193     data = (v16u8) __msa_insert_d((v2i64) data, 0, val0);       \
194     sum_h = __msa_hadd_u_h(data, data);                         \
195     sum_w = __msa_hadd_u_w(sum_h, sum_h);                       \
196     sum_d = __msa_hadd_u_d(sum_w, sum_w);                       \
197     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 3);            \
198     store = __msa_splati_b((v16i8) sum_w, 0);                   \
199     val0 = __msa_copy_u_d((v2i64) store, 0);                    \
200                                                                 \
201     SD4(val0, val0, val0, val0, dst, dst_stride);               \
202     dst += (4 * dst_stride);                                    \
203     SD4(val0, val0, val0, val0, dst, dst_stride);               \
204 }
205
206 INTRA_DC_TL_8x8(top);
207 INTRA_DC_TL_8x8(left);
208
209 void ff_dc_16x16_msa(uint8_t *dst, ptrdiff_t dst_stride,
210                      const uint8_t *src_left, const uint8_t *src_top)
211 {
212     v16u8 top, left, out;
213     v8u16 sum_h, sum_top, sum_left;
214     v4u32 sum_w;
215     v2u64 sum_d;
216
217     top = LD_UB(src_top);
218     left = LD_UB(src_left);
219     HADD_UB2_UH(top, left, sum_top, sum_left);
220     sum_h = sum_top + sum_left;
221     sum_w = __msa_hadd_u_w(sum_h, sum_h);
222     sum_d = __msa_hadd_u_d(sum_w, sum_w);
223     sum_w = (v4u32) __msa_pckev_w((v4i32) sum_d, (v4i32) sum_d);
224     sum_d = __msa_hadd_u_d(sum_w, sum_w);
225     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 5);
226     out = (v16u8) __msa_splati_b((v16i8) sum_w, 0);
227
228     ST_UB8(out, out, out, out, out, out, out, out, dst, dst_stride);
229     dst += (8 * dst_stride);
230     ST_UB8(out, out, out, out, out, out, out, out, dst, dst_stride);
231 }
232
233 #define INTRA_DC_TL_16x16(dir)                                        \
234 void ff_dc_##dir##_16x16_msa(uint8_t *dst, ptrdiff_t dst_stride,      \
235                              const uint8_t *left,                     \
236                              const uint8_t *top)                      \
237 {                                                                     \
238     v16u8 data, out;                                                  \
239     v8u16 sum_h;                                                      \
240     v4u32 sum_w;                                                      \
241     v2u64 sum_d;                                                      \
242                                                                       \
243     data = LD_UB(dir);                                                \
244     sum_h = __msa_hadd_u_h(data, data);                               \
245     sum_w = __msa_hadd_u_w(sum_h, sum_h);                             \
246     sum_d = __msa_hadd_u_d(sum_w, sum_w);                             \
247     sum_w = (v4u32) __msa_pckev_w((v4i32) sum_d, (v4i32) sum_d);      \
248     sum_d = __msa_hadd_u_d(sum_w, sum_w);                             \
249     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 4);                  \
250     out = (v16u8) __msa_splati_b((v16i8) sum_w, 0);                   \
251                                                                       \
252     ST_UB8(out, out, out, out, out, out, out, out, dst, dst_stride);  \
253     dst += (8 * dst_stride);                                          \
254     ST_UB8(out, out, out, out, out, out, out, out, dst, dst_stride);  \
255 }
256 INTRA_DC_TL_16x16(top);
257 INTRA_DC_TL_16x16(left);
258
259 void ff_dc_32x32_msa(uint8_t *dst, ptrdiff_t dst_stride,
260                      const uint8_t *src_left, const uint8_t *src_top)
261 {
262     uint32_t row;
263     v16u8 top0, top1, left0, left1, out;
264     v8u16 sum_h, sum_top0, sum_top1, sum_left0, sum_left1;
265     v4u32 sum_w;
266     v2u64 sum_d;
267
268     LD_UB2(src_top, 16, top0, top1);
269     LD_UB2(src_left, 16, left0, left1);
270     HADD_UB2_UH(top0, top1, sum_top0, sum_top1);
271     HADD_UB2_UH(left0, left1, sum_left0, sum_left1);
272     sum_h = sum_top0 + sum_top1;
273     sum_h += sum_left0 + sum_left1;
274     sum_w = __msa_hadd_u_w(sum_h, sum_h);
275     sum_d = __msa_hadd_u_d(sum_w, sum_w);
276     sum_w = (v4u32) __msa_pckev_w((v4i32) sum_d, (v4i32) sum_d);
277     sum_d = __msa_hadd_u_d(sum_w, sum_w);
278     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 6);
279     out = (v16u8) __msa_splati_b((v16i8) sum_w, 0);
280
281     for (row = 16; row--;)
282     {
283         ST_UB2(out, out, dst, 16);
284         dst += dst_stride;
285         ST_UB2(out, out, dst, 16);
286         dst += dst_stride;
287     }
288 }
289
290 #define INTRA_DC_TL_32x32(dir)                                    \
291 void ff_dc_##dir##_32x32_msa(uint8_t *dst, ptrdiff_t dst_stride,  \
292                              const uint8_t *left,                 \
293                              const uint8_t *top)                  \
294 {                                                                 \
295     uint32_t row;                                                 \
296     v16u8 data0, data1, out;                                      \
297     v8u16 sum_h, sum_data0, sum_data1;                            \
298     v4u32 sum_w;                                                  \
299     v2u64 sum_d;                                                  \
300                                                                   \
301     LD_UB2(dir, 16, data0, data1);                                \
302     HADD_UB2_UH(data0, data1, sum_data0, sum_data1);              \
303     sum_h = sum_data0 + sum_data1;                                \
304     sum_w = __msa_hadd_u_w(sum_h, sum_h);                         \
305     sum_d = __msa_hadd_u_d(sum_w, sum_w);                         \
306     sum_w = (v4u32) __msa_pckev_w((v4i32) sum_d, (v4i32) sum_d);  \
307     sum_d = __msa_hadd_u_d(sum_w, sum_w);                         \
308     sum_w = (v4u32) __msa_srari_w((v4i32) sum_d, 5);              \
309     out = (v16u8) __msa_splati_b((v16i8) sum_w, 0);               \
310                                                                   \
311     for (row = 16; row--;)                                        \
312     {                                                             \
313         ST_UB2(out, out, dst, 16);                                \
314         dst += dst_stride;                                        \
315         ST_UB2(out, out, dst, 16);                                \
316         dst += dst_stride;                                        \
317     }                                                             \
318 }
319 INTRA_DC_TL_32x32(top);
320 INTRA_DC_TL_32x32(left);
321
322 #define INTRA_PREDICT_VALDC_16X16_MSA(val)                             \
323 void ff_dc_##val##_16x16_msa(uint8_t *dst, ptrdiff_t dst_stride,       \
324                              const uint8_t *left, const uint8_t *top)  \
325 {                                                                      \
326     v16u8 out = (v16u8) __msa_ldi_b(val);                              \
327                                                                        \
328     ST_UB8(out, out, out, out, out, out, out, out, dst, dst_stride);   \
329     dst += (8 * dst_stride);                                           \
330     ST_UB8(out, out, out, out, out, out, out, out, dst, dst_stride);   \
331 }
332
333 INTRA_PREDICT_VALDC_16X16_MSA(127);
334 INTRA_PREDICT_VALDC_16X16_MSA(128);
335 INTRA_PREDICT_VALDC_16X16_MSA(129);
336
337 #define INTRA_PREDICT_VALDC_32X32_MSA(val)                             \
338 void ff_dc_##val##_32x32_msa(uint8_t *dst, ptrdiff_t dst_stride,       \
339                              const uint8_t *left, const uint8_t *top)  \
340 {                                                                      \
341     uint32_t row;                                                      \
342     v16u8 out = (v16u8) __msa_ldi_b(val);                              \
343                                                                        \
344     for (row = 16; row--;)                                             \
345     {                                                                  \
346         ST_UB2(out, out, dst, 16);                                     \
347         dst += dst_stride;                                             \
348         ST_UB2(out, out, dst, 16);                                     \
349         dst += dst_stride;                                             \
350     }                                                                  \
351 }
352
353 INTRA_PREDICT_VALDC_32X32_MSA(127);
354 INTRA_PREDICT_VALDC_32X32_MSA(128);
355 INTRA_PREDICT_VALDC_32X32_MSA(129);
356
357 void ff_tm_4x4_msa(uint8_t *dst, ptrdiff_t dst_stride,
358                    const uint8_t *src_left, const uint8_t *src_top_ptr)
359 {
360     uint32_t left;
361     uint8_t top_left = src_top_ptr[-1];
362     v16i8 src_top, src_left0, src_left1, src_left2, src_left3, tmp0, tmp1;
363     v16u8 src0, src1, src2, src3;
364     v8u16 src_top_left, vec0, vec1, vec2, vec3;
365
366     src_top_left = (v8u16) __msa_fill_h(top_left);
367     src_top = LD_SB(src_top_ptr);
368     left = LW(src_left);
369     src_left0 = __msa_fill_b(left >> 24);
370     src_left1 = __msa_fill_b(left >> 16);
371     src_left2 = __msa_fill_b(left >> 8);
372     src_left3 = __msa_fill_b(left);
373
374     ILVR_B4_UB(src_left0, src_top, src_left1, src_top, src_left2, src_top,
375                src_left3, src_top, src0, src1, src2, src3);
376     HADD_UB4_UH(src0, src1, src2, src3, vec0, vec1, vec2, vec3);
377     IPRED_SUBS_UH2_UH(src_top_left, src_top_left, vec0, vec1);
378     IPRED_SUBS_UH2_UH(src_top_left, src_top_left, vec2, vec3);
379     SAT_UH4_UH(vec0, vec1, vec2, vec3, 7);
380     PCKEV_B2_SB(vec1, vec0, vec3, vec2, tmp0, tmp1);
381     ST4x4_UB(tmp0, tmp1, 0, 2, 0, 2, dst, dst_stride);
382 }
383
384 void ff_tm_8x8_msa(uint8_t *dst, ptrdiff_t dst_stride,
385                    const uint8_t *src_left, const uint8_t *src_top_ptr)
386 {
387     uint8_t top_left = src_top_ptr[-1];
388     uint32_t loop_cnt, left;
389     v16i8 src_top, src_left0, src_left1, src_left2, src_left3, tmp0, tmp1;
390     v8u16 src_top_left, vec0, vec1, vec2, vec3;
391     v16u8 src0, src1, src2, src3;
392
393     src_top = LD_SB(src_top_ptr);
394     src_top_left = (v8u16) __msa_fill_h(top_left);
395
396     src_left += 4;
397     for (loop_cnt = 2; loop_cnt--;) {
398         left = LW(src_left);
399         src_left0 = __msa_fill_b(left >> 24);
400         src_left1 = __msa_fill_b(left >> 16);
401         src_left2 = __msa_fill_b(left >> 8);
402         src_left3 = __msa_fill_b(left);
403         src_left -= 4;
404
405         ILVR_B4_UB(src_left0, src_top, src_left1, src_top, src_left2, src_top,
406                    src_left3, src_top, src0, src1, src2, src3);
407         HADD_UB4_UH(src0, src1, src2, src3, vec0, vec1, vec2, vec3);
408         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, vec0, vec1);
409         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, vec2, vec3);
410         SAT_UH4_UH(vec0, vec1, vec2, vec3, 7);
411         PCKEV_B2_SB(vec1, vec0, vec3, vec2, tmp0, tmp1);
412         ST8x4_UB(tmp0, tmp1, dst, dst_stride);
413         dst += (4 * dst_stride);
414     }
415 }
416
417 void ff_tm_16x16_msa(uint8_t *dst, ptrdiff_t dst_stride,
418                      const uint8_t *src_left, const uint8_t *src_top_ptr)
419 {
420     uint8_t top_left = src_top_ptr[-1];
421     uint32_t loop_cnt, left;
422     v16i8 src_top, src_left0, src_left1, src_left2, src_left3;
423     v8u16 src_top_left, res_r, res_l;
424
425     src_top = LD_SB(src_top_ptr);
426     src_top_left = (v8u16) __msa_fill_h(top_left);
427
428     src_left += 12;
429     for (loop_cnt = 4; loop_cnt--;) {
430         left = LW(src_left);
431         src_left0 = __msa_fill_b(left >> 24);
432         src_left1 = __msa_fill_b(left >> 16);
433         src_left2 = __msa_fill_b(left >> 8);
434         src_left3 = __msa_fill_b(left);
435         src_left -= 4;
436
437         ILVRL_B2_UH(src_left0, src_top, res_r, res_l);
438         HADD_UB2_UH(res_r, res_l, res_r, res_l);
439         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r, res_l);
440
441         SAT_UH2_UH(res_r, res_l, 7);
442         PCKEV_ST_SB(res_r, res_l, dst);
443         dst += dst_stride;
444
445         ILVRL_B2_UH(src_left1, src_top, res_r, res_l);
446         HADD_UB2_UH(res_r, res_l, res_r, res_l);
447         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r, res_l);
448         SAT_UH2_UH(res_r, res_l, 7);
449         PCKEV_ST_SB(res_r, res_l, dst);
450         dst += dst_stride;
451
452         ILVRL_B2_UH(src_left2, src_top, res_r, res_l);
453         HADD_UB2_UH(res_r, res_l, res_r, res_l);
454         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r, res_l);
455         SAT_UH2_UH(res_r, res_l, 7);
456         PCKEV_ST_SB(res_r, res_l, dst);
457         dst += dst_stride;
458
459         ILVRL_B2_UH(src_left3, src_top, res_r, res_l);
460         HADD_UB2_UH(res_r, res_l, res_r, res_l);
461         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r, res_l);
462         SAT_UH2_UH(res_r, res_l, 7);
463         PCKEV_ST_SB(res_r, res_l, dst);
464         dst += dst_stride;
465     }
466 }
467
468 void ff_tm_32x32_msa(uint8_t *dst, ptrdiff_t dst_stride,
469                      const uint8_t *src_left, const uint8_t *src_top_ptr)
470 {
471     uint8_t top_left = src_top_ptr[-1];
472     uint32_t loop_cnt, left;
473     v16i8 src_top0, src_top1, src_left0, src_left1, src_left2, src_left3;
474     v8u16 src_top_left, res_r0, res_r1, res_l0, res_l1;
475
476     src_top0 = LD_SB(src_top_ptr);
477     src_top1 = LD_SB(src_top_ptr + 16);
478     src_top_left = (v8u16) __msa_fill_h(top_left);
479
480     src_left += 28;
481     for (loop_cnt = 8; loop_cnt--;) {
482         left = LW(src_left);
483         src_left0 = __msa_fill_b(left >> 24);
484         src_left1 = __msa_fill_b(left >> 16);
485         src_left2 = __msa_fill_b(left >> 8);
486         src_left3 = __msa_fill_b(left);
487         src_left -= 4;
488
489         ILVR_B2_UH(src_left0, src_top0, src_left0, src_top1, res_r0, res_r1);
490         ILVL_B2_UH(src_left0, src_top0, src_left0, src_top1, res_l0, res_l1);
491         HADD_UB4_UH(res_r0, res_l0, res_r1, res_l1, res_r0, res_l0, res_r1,
492                     res_l1);
493         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r0, res_l0);
494         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r1, res_l1);
495         SAT_UH4_UH(res_r0, res_l0, res_r1, res_l1, 7);
496         PCKEV_ST_SB(res_r0, res_l0, dst);
497         PCKEV_ST_SB(res_r1, res_l1, dst + 16);
498         dst += dst_stride;
499
500         ILVR_B2_UH(src_left1, src_top0, src_left1, src_top1, res_r0, res_r1);
501         ILVL_B2_UH(src_left1, src_top0, src_left1, src_top1, res_l0, res_l1);
502         HADD_UB4_UH(res_r0, res_l0, res_r1, res_l1, res_r0, res_l0, res_r1,
503                     res_l1);
504         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r0, res_l0);
505         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r1, res_l1);
506         SAT_UH4_UH(res_r0, res_l0, res_r1, res_l1, 7);
507         PCKEV_ST_SB(res_r0, res_l0, dst);
508         PCKEV_ST_SB(res_r1, res_l1, dst + 16);
509         dst += dst_stride;
510
511         ILVR_B2_UH(src_left2, src_top0, src_left2, src_top1, res_r0, res_r1);
512         ILVL_B2_UH(src_left2, src_top0, src_left2, src_top1, res_l0, res_l1);
513         HADD_UB4_UH(res_r0, res_l0, res_r1, res_l1, res_r0, res_l0, res_r1,
514                     res_l1);
515         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r0, res_l0);
516         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r1, res_l1);
517         SAT_UH4_UH(res_r0, res_l0, res_r1, res_l1, 7);
518         PCKEV_ST_SB(res_r0, res_l0, dst);
519         PCKEV_ST_SB(res_r1, res_l1, dst + 16);
520         dst += dst_stride;
521
522         ILVR_B2_UH(src_left3, src_top0, src_left3, src_top1, res_r0, res_r1);
523         ILVL_B2_UH(src_left3, src_top0, src_left3, src_top1, res_l0, res_l1);
524         HADD_UB4_UH(res_r0, res_l0, res_r1, res_l1, res_r0, res_l0, res_r1,
525                     res_l1);
526         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r0, res_l0);
527         IPRED_SUBS_UH2_UH(src_top_left, src_top_left, res_r1, res_l1);
528         SAT_UH4_UH(res_r0, res_l0, res_r1, res_l1, 7);
529         PCKEV_ST_SB(res_r0, res_l0, dst);
530         PCKEV_ST_SB(res_r1, res_l1, dst + 16);
531         dst += dst_stride;
532     }
533 }