Bump dates to 2014
[x262.git] / common / arm / mc-a.S
1 /*****************************************************************************
2  * mc.S: arm motion compensation
3  *****************************************************************************
4  * Copyright (C) 2009-2014 x264 project
5  *
6  * Authors: David Conrad <lessen42@gmail.com>
7  *          Mans Rullgard <mans@mansr.com>
8  *          Stefan Groenroos <stefan.gronroos@gmail.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #include "asm.S"
29
30 .fpu neon
31 .text
32
33 // note: prefetch stuff assumes 64-byte cacheline, true for the Cortex-A8
34 // They also use nothing above armv5te, but we don't care about pre-armv6
35
36 // void prefetch_ref( uint8_t *pix, intptr_t stride, int parity )
37 function x264_prefetch_ref_arm
38     sub         r2, r2, #1
39     add         r0, r0, #64
40     and         r2, r2, r1
41     add         r0, r0, r2, lsl #3
42     add         r2, r1, r1, lsl #1
43     pld         [r0]
44     pld         [r0, r1]
45     pld         [r0, r1, lsl #1]
46     add         r3, r0, r1, lsl #2
47     pld         [r0, r2]
48     pld         [r3]
49     pld         [r3, r1]
50     pld         [r3, r1, lsl #1]
51     pld         [r3, r2]
52     bx          lr
53 .endfunc
54
55 // void prefetch_fenc( uint8_t *pix_y,  intptr_t stride_y,
56 //                     uint8_t *pix_uv, intptr_t stride_uv, int mb_x )
57 function x264_prefetch_fenc_arm
58     ldr         ip, [sp]
59     push        {lr}
60     and         lr, ip, #3
61     smulbb      lr, lr, r1      // note: this assumes stride_y is <= 16 bits signed
62     and         ip, ip, #6
63     smulbb      ip, ip, r3
64     add         r0, r0, #64
65     add         r2, r2, #64
66     add         r0, r0, lr, lsl #2
67     pld         [r0]
68     add         lr, r0, r1, lsl #1
69     pld         [r0, r1]
70     pld         [lr]
71     add         r2, r2, ip, lsl #2
72     pld         [lr, r1]
73     pld         [r2]
74     add         ip, r2, r3, lsl #1
75     pld         [r2, r3]
76     pld         [ip]
77     pld         [ip, r3]
78     pop         {pc}
79 .endfunc
80
81
82 // void *x264_memcpy_aligned( void *dst, const void *src, size_t n )
83 function x264_memcpy_aligned_neon
84     orr         r3,  r0,  r1,  lsr #1
85     movrel      ip,  memcpy_table
86     and         r3,  r3,  #0xc
87     ldr         pc,  [ip, r3]
88 .endfunc
89
90 .macro MEMCPY_ALIGNED srcalign dstalign
91 function memcpy_aligned_\dstalign\()_\srcalign\()_neon
92     mov         r3, r0
93 .if \srcalign == 8 && \dstalign == 8
94     sub         r2, #16
95     vld1.64     {d0}, [r1,:64]!
96     vst1.64     {d0}, [r3,:64]!
97     .set r1align, 128
98     .set r3align, 128
99 .else
100     .set r1align, \srcalign * 8
101     .set r3align, \dstalign * 8
102 .endif
103     tst         r2, #16
104     beq         32f
105     sub         r2, #16
106     vld1.64     {d0-d1}, [r1,:r1align]!
107     vst1.64     {d0-d1}, [r3,:r3align]!
108 32: // n is a multiple of 32
109     tst         r2, #32
110     beq         640f
111     sub         r2, #32
112     vld1.64     {d0-d3}, [r1,:r1align]!
113     vst1.64     {d0-d3}, [r3,:r3align]!
114 640: // n is a multiple of 64
115     cmp         r2, #0
116     beq         1f
117 64:
118     subs        r2, #64
119     vld1.64     {d0-d3}, [r1,:r1align]!
120     vld1.64     {d4-d7}, [r1,:r1align]!
121     vst1.64     {d0-d3}, [r3,:r3align]!
122     vst1.64     {d4-d7}, [r3,:r3align]!
123     bgt         64b
124 1:   // end
125 .if \srcalign == 8 && \dstalign == 8
126     vld1.64     {d0}, [r1,:64]!
127     vst1.64     {d0}, [r3,:64]!
128 .endif
129     bx          lr
130 .endfunc
131 .endm
132
133 MEMCPY_ALIGNED 16, 16
134 MEMCPY_ALIGNED 16, 8
135 MEMCPY_ALIGNED  8, 16
136 MEMCPY_ALIGNED  8, 8
137
138 .section .rodata
139 memcpy_table:
140 .word memcpy_aligned_16_16_neon
141 .word memcpy_aligned_16_8_neon
142 .word memcpy_aligned_8_16_neon
143 .word memcpy_aligned_8_8_neon
144 .text
145
146 .ltorg
147
148 // void x264_memzero_aligned( void *dst, size_t n )
149 function x264_memzero_aligned_neon
150     vmov.i8     q0, #0
151     vmov.i8     q1, #0
152 memzero_loop:
153     subs        r1, #128
154 .rept 4
155     vst1.64     {d0-d3}, [r0,:128]!
156 .endr
157     bgt         memzero_loop
158     bx          lr
159 .endfunc
160
161
162 // void pixel_avg( uint8_t *dst,  intptr_t dst_stride,
163 //                 uint8_t *src1, intptr_t src1_stride,
164 //                 uint8_t *src2, intptr_t src2_stride, int weight );
165 .macro AVGH w h
166 function x264_pixel_avg_\w\()x\h\()_neon
167     ldr         ip, [sp, #8]
168     push        {r4-r6,lr}
169     cmp         ip, #32
170     ldrd        r4, r5, [sp, #16]
171     mov         lr, #\h
172     beq         x264_pixel_avg_w\w\()_neon
173     rsbs        r6,  ip,  #64
174     blt         x264_pixel_avg_weight_w\w\()_add_sub_neon     // weight > 64
175     cmp         ip,  #0
176     bge         x264_pixel_avg_weight_w\w\()_add_add_neon
177     b           x264_pixel_avg_weight_w\w\()_sub_add_neon     // weight < 0
178 .endfunc
179 .endm
180
181 AVGH  4, 2
182 AVGH  4, 4
183 AVGH  4, 8
184 AVGH  8, 4
185 AVGH  8, 8
186 AVGH  8, 16
187 AVGH 16, 8
188 AVGH 16, 16
189
190 // 0 < weight < 64
191 .macro load_weights_add_add
192     vdup.8      d30, ip
193     vdup.8      d31, r6
194 .endm
195
196 .macro load_add_add d1 d2
197     vld1.32     {\d1}, [r2], r3
198     vld1.32     {\d2}, [r4], r5
199 .endm
200
201 .macro weight_add_add dst s1 s2
202     vmull.u8    \dst, \s1, d30
203     vmlal.u8    \dst, \s2, d31
204 .endm
205
206 // weight > 64
207 .macro load_weights_add_sub
208     rsb         r6,  #0
209     vdup.8      d30, ip
210     vdup.8      d31, r6
211 .endm
212
213 .macro load_add_sub d1 d2
214     vld1.32     {\d1}, [r2], r3
215     vld1.32     {\d2}, [r4], r5
216 .endm
217
218 .macro weight_add_sub dst s1 s2
219     vmull.u8    \dst, \s1, d30
220     vmlsl.u8    \dst, \s2, d31
221 .endm
222
223 // weight < 0
224 .macro load_weights_sub_add
225     rsb         ip,  #0
226     vdup.8      d31, r6
227     vdup.8      d30, ip
228 .endm
229
230 .macro load_sub_add d1 d2
231     vld1.32     {\d2}, [r4], r5
232     vld1.32     {\d1}, [r2], r3
233 .endm
234
235 .macro weight_sub_add dst s1 s2
236     vmull.u8    \dst, \s2, d31
237     vmlsl.u8    \dst, \s1, d30
238 .endm
239
240 .macro AVG_WEIGHT ext
241 function x264_pixel_avg_weight_w4_\ext\()_neon
242     load_weights_\ext
243 1:  // height loop
244     subs            lr,  lr,  #2
245     load_\ext       d0[], d1[]
246     weight_\ext     q8,  d0,  d1
247     load_\ext       d2[], d3[]
248     vqrshrun.s16    d0,  q8,  #6
249     weight_\ext     q9,  d2,  d3
250     vst1.32         {d0[0]}, [r0,:32], r1
251     vqrshrun.s16    d1,  q9,  #6
252     vst1.32         {d1[0]}, [r0,:32], r1
253     bgt             1b
254     pop             {r4-r6,pc}
255 .endfunc
256
257 function x264_pixel_avg_weight_w8_\ext\()_neon
258     load_weights_\ext
259 1:  // height loop
260     subs            lr,  lr,  #4
261     load_\ext       d0,  d1
262     weight_\ext     q8,  d0,  d1
263     load_\ext       d2,  d3
264     weight_\ext     q9,  d2,  d3
265     load_\ext       d4,  d5
266     weight_\ext     q10, d4,  d5
267     load_\ext       d6,  d7
268     weight_\ext     q11, d6,  d7
269     vqrshrun.s16    d0,  q8,  #6
270     vqrshrun.s16    d1,  q9,  #6
271     vqrshrun.s16    d2,  q10, #6
272     vqrshrun.s16    d3,  q11, #6
273     vst1.64         {d0}, [r0,:64], r1
274     vst1.64         {d1}, [r0,:64], r1
275     vst1.64         {d2}, [r0,:64], r1
276     vst1.64         {d3}, [r0,:64], r1
277     bgt             1b
278     pop             {r4-r6,pc}
279 .endfunc
280
281 function x264_pixel_avg_weight_w16_\ext\()_neon
282     load_weights_\ext
283 1:  // height loop
284     subs            lr,  lr,  #2
285     load_\ext       d0-d1, d2-d3
286     weight_\ext     q8,  d0,  d2
287     weight_\ext     q9,  d1,  d3
288     load_\ext       d4-d5, d6-d7
289     weight_\ext     q10, d4,  d6
290     weight_\ext     q11, d5,  d7
291     vqrshrun.s16    d0,  q8,  #6
292     vqrshrun.s16    d1,  q9,  #6
293     vqrshrun.s16    d2,  q10, #6
294     vqrshrun.s16    d3,  q11, #6
295     vst1.64         {d0-d1}, [r0,:128], r1
296     vst1.64         {d2-d3}, [r0,:128], r1
297     bgt             1b
298     pop             {r4-r6,pc}
299 .endfunc
300 .endm
301
302 AVG_WEIGHT add_add
303 AVG_WEIGHT add_sub
304 AVG_WEIGHT sub_add
305
306 function x264_pixel_avg_w4_neon
307     subs        lr,  lr,  #2
308     vld1.32     {d0[]}, [r2], r3
309     vld1.32     {d2[]}, [r4], r5
310     vrhadd.u8   d0,  d0,  d2
311     vld1.32     {d1[]}, [r2], r3
312     vld1.32     {d3[]}, [r4], r5
313     vrhadd.u8   d1,  d1,  d3
314     vst1.32     {d0[0]}, [r0,:32], r1
315     vst1.32     {d1[0]}, [r0,:32], r1
316     bgt         x264_pixel_avg_w4_neon
317     pop         {r4-r6,pc}
318 .endfunc
319
320 function x264_pixel_avg_w8_neon
321     subs        lr,  lr,  #4
322     vld1.64     {d0}, [r2], r3
323     vld1.64     {d2}, [r4], r5
324     vrhadd.u8   d0,  d0,  d2
325     vld1.64     {d1}, [r2], r3
326     vld1.64     {d3}, [r4], r5
327     vrhadd.u8   d1,  d1,  d3
328     vst1.64     {d0}, [r0,:64], r1
329     vld1.64     {d2}, [r2], r3
330     vld1.64     {d4}, [r4], r5
331     vrhadd.u8   d2,  d2,  d4
332     vst1.64     {d1}, [r0,:64], r1
333     vld1.64     {d3}, [r2], r3
334     vld1.64     {d5}, [r4], r5
335     vrhadd.u8   d3,  d3,  d5
336     vst1.64     {d2}, [r0,:64], r1
337     vst1.64     {d3}, [r0,:64], r1
338     bgt         x264_pixel_avg_w8_neon
339     pop         {r4-r6,pc}
340 .endfunc
341
342 function x264_pixel_avg_w16_neon
343     subs        lr,  lr,  #4
344     vld1.64     {d0-d1}, [r2], r3
345     vld1.64     {d2-d3}, [r4], r5
346     vrhadd.u8   q0,  q0,  q1
347     vld1.64     {d2-d3}, [r2], r3
348     vld1.64     {d4-d5}, [r4], r5
349     vrhadd.u8   q1,  q1,  q2
350     vst1.64     {d0-d1}, [r0,:128], r1
351     vld1.64     {d4-d5}, [r2], r3
352     vld1.64     {d6-d7}, [r4], r5
353     vrhadd.u8   q2,  q2,  q3
354     vst1.64     {d2-d3}, [r0,:128], r1
355     vld1.64     {d6-d7}, [r2], r3
356     vld1.64     {d0-d1}, [r4], r5
357     vrhadd.u8   q3,  q3,  q0
358     vst1.64     {d4-d5}, [r0,:128], r1
359     vst1.64     {d6-d7}, [r0,:128], r1
360     bgt         x264_pixel_avg_w16_neon
361     pop         {r4-r6,pc}
362 .endfunc
363
364
365 function x264_pixel_avg2_w4_neon
366     ldr         ip,  [sp, #4]
367     push        {lr}
368     ldr         lr,  [sp, #4]
369 avg2_w4_loop:
370     subs        ip,  ip,  #2
371     vld1.32     {d0[]},  [r2], r3
372     vld1.32     {d2[]},  [lr], r3
373     vrhadd.u8   d0,  d0,  d2
374     vld1.32     {d1[]},  [r2], r3
375     vld1.32     {d3[]},  [lr], r3
376     vrhadd.u8   d1,  d1,  d3
377     vst1.32     {d0[0]}, [r0,:32], r1
378     vst1.32     {d1[0]}, [r0,:32], r1
379     bgt         avg2_w4_loop
380     pop         {pc}
381 .endfunc
382
383 function x264_pixel_avg2_w8_neon
384     ldr         ip,  [sp, #4]
385     push        {lr}
386     ldr         lr,  [sp, #4]
387 avg2_w8_loop:
388     subs        ip,  ip,  #2
389     vld1.64     {d0}, [r2], r3
390     vld1.64     {d2}, [lr], r3
391     vrhadd.u8   d0,  d0,  d2
392     vld1.64     {d1}, [r2], r3
393     vld1.64     {d3}, [lr], r3
394     vrhadd.u8   d1,  d1,  d3
395     vst1.64     {d0}, [r0,:64], r1
396     vst1.64     {d1}, [r0,:64], r1
397     bgt         avg2_w8_loop
398     pop         {pc}
399 .endfunc
400
401 function x264_pixel_avg2_w16_neon
402     ldr         ip,  [sp, #4]
403     push        {lr}
404     ldr         lr,  [sp, #4]
405 avg2_w16_loop:
406     subs        ip,  ip,  #2
407     vld1.64     {d0-d1}, [r2], r3
408     vld1.64     {d2-d3}, [lr], r3
409     vrhadd.u8   q0,  q0,  q1
410     vld1.64     {d4-d5}, [r2], r3
411     vld1.64     {d6-d7}, [lr], r3
412     vrhadd.u8   q2,  q2,  q3
413     vst1.64     {d0-d1}, [r0,:128], r1
414     vst1.64     {d4-d5}, [r0,:128], r1
415     bgt         avg2_w16_loop
416     pop         {pc}
417 .endfunc
418
419 function x264_pixel_avg2_w20_neon
420     ldr         ip,  [sp, #4]
421     push        {lr}
422     sub         r1,  r1,  #16
423     ldr         lr,  [sp, #4]
424 avg2_w20_loop:
425     subs        ip,  ip,  #2
426     vld1.64     {d0-d2},  [r2], r3
427     vld1.64     {d4-d6},  [lr], r3
428     vrhadd.u8   q0,  q0,  q2
429     vrhadd.u8   d2,  d2,  d6
430     vld1.64     {d4-d6},  [r2], r3
431     vld1.64     {d16-d18},[lr], r3
432     vrhadd.u8   q2,  q2,  q8
433     vst1.64     {d0-d1},  [r0,:128]!
434     vrhadd.u8   d6,  d6,  d18
435     vst1.32     {d2[0]},  [r0,:32], r1
436     vst1.64     {d4-d5},  [r0,:128]!
437     vst1.32     {d6[0]},  [r0,:32], r1
438     bgt         avg2_w20_loop
439     pop         {pc}
440 .endfunc
441
442
443 .macro weight_prologue type
444     push        {r4-r5,lr}
445     ldr         r4,  [sp, #4*3]     // weight_t
446     ldr         ip,  [sp, #4*3+4]   // h
447 .ifc \type, full
448     ldr         lr,  [r4, #32]      // denom
449 .endif
450     ldrd        r4,  r5,  [r4, #32+4]    // scale, offset
451     vdup.16     q0,  r4
452     vdup.16     q1,  r5
453 .ifc \type, full
454     rsb         lr,  lr,  #0
455     vdup.16     q2,  lr
456 .endif
457 .endm
458
459 // void mc_weight( uint8_t *src, intptr_t src_stride, uint8_t *dst, intptr_t dst_stride,
460 //                 const x264_weight_t *weight, int height )
461 function x264_mc_weight_w20_neon
462     weight_prologue full
463     sub         r1, #16
464 weight20_loop:
465     subs        ip,  #2
466     vld1.8      {d17-d19}, [r2], r3
467     vmovl.u8    q10, d17
468     vmovl.u8    q11, d18
469     vmovl.u8    q14, d19
470     vld1.8      {d16-d18}, [r2], r3
471     vmovl.u8    q12, d16
472     vmovl.u8    q13, d17
473     vmovl.u8    q15, d18
474     vmul.s16    q10, q10, q0
475     vmul.s16    q11, q11, q0
476     vmul.s16    q12, q12, q0
477     vmul.s16    q13, q13, q0
478     vmul.s16    d28, d28, d0
479     vmul.s16    d29, d30, d0
480     vrshl.s16   q10, q10, q2
481     vrshl.s16   q11, q11, q2
482     vrshl.s16   q12, q12, q2
483     vrshl.s16   q13, q13, q2
484     vrshl.s16   q14, q14, q2
485     vadd.s16    q10, q10, q1
486     vadd.s16    q11, q11, q1
487     vadd.s16    q12, q12, q1
488     vadd.s16    q13, q13, q1
489     vadd.s16    q14, q14, q1
490     vqmovun.s16 d16, q10
491     vqmovun.s16 d17, q11
492     vqmovun.s16 d18, q12
493     vqmovun.s16 d19, q13
494     vqmovun.s16 d20, q14
495     vst1.8      {d16-d17}, [r0,:128]!
496     vst1.32     {d20[0]},  [r0,:32], r1
497     vst1.8      {d18-d19}, [r0,:128]!
498     vst1.32     {d20[1]},  [r0,:32], r1
499     bgt         weight20_loop
500     pop         {r4-r5,pc}
501 .endfunc
502
503 function x264_mc_weight_w16_neon
504     weight_prologue full
505 weight16_loop:
506     subs        ip,  #2
507     vld1.8      {d16-d17}, [r2], r3
508     vld1.8      {d18-d19}, [r2], r3
509     vmovl.u8    q10, d16
510     vmovl.u8    q11, d17
511     vmovl.u8    q12, d18
512     vmovl.u8    q13, d19
513     vmul.s16    q10, q10, q0
514     vmul.s16    q11, q11, q0
515     vmul.s16    q12, q12, q0
516     vmul.s16    q13, q13, q0
517     vrshl.s16   q10, q10, q2
518     vrshl.s16   q11, q11, q2
519     vrshl.s16   q12, q12, q2
520     vrshl.s16   q13, q13, q2
521     vadd.s16    q10, q10, q1
522     vadd.s16    q11, q11, q1
523     vadd.s16    q12, q12, q1
524     vadd.s16    q13, q13, q1
525     vqmovun.s16 d16, q10
526     vqmovun.s16 d17, q11
527     vqmovun.s16 d18, q12
528     vqmovun.s16 d19, q13
529     vst1.8      {d16-d17}, [r0,:128], r1
530     vst1.8      {d18-d19}, [r0,:128], r1
531     bgt         weight16_loop
532     pop         {r4-r5,pc}
533 .endfunc
534
535 function x264_mc_weight_w8_neon
536     weight_prologue full
537 weight8_loop:
538     subs        ip,  #2
539     vld1.8      {d16}, [r2], r3
540     vld1.8      {d18}, [r2], r3
541     vmovl.u8    q8,  d16
542     vmovl.u8    q9,  d18
543     vmul.s16    q8,  q8,  q0
544     vmul.s16    q9,  q9,  q0
545     vrshl.s16   q8,  q8,  q2
546     vrshl.s16   q9,  q9,  q2
547     vadd.s16    q8,  q8,  q1
548     vadd.s16    q9,  q9,  q1
549     vqmovun.s16 d16, q8
550     vqmovun.s16 d18, q9
551     vst1.8      {d16}, [r0,:64], r1
552     vst1.8      {d18}, [r0,:64], r1
553     bgt         weight8_loop
554     pop         {r4-r5,pc}
555 .endfunc
556
557 function x264_mc_weight_w4_neon
558     weight_prologue full
559 weight4_loop:
560     subs        ip,  #2
561     vld1.32     {d16[]}, [r2], r3
562     vld1.32     {d18[]}, [r2], r3
563     vmovl.u8    q8,  d16
564     vmovl.u8    q9,  d18
565     vmul.s16    d16, d16, d0
566     vmul.s16    d17, d18, d0
567     vrshl.s16   q8,  q8,  q2
568     vadd.s16    q8,  q8,  q1
569     vqmovun.s16 d16, q8
570     vst1.32     {d16[0]}, [r0,:32], r1
571     vst1.32     {d16[1]}, [r0,:32], r1
572     bgt         weight4_loop
573     pop         {r4-r5,pc}
574 .endfunc
575
576 function x264_mc_weight_w20_nodenom_neon
577     weight_prologue nodenom
578     sub         r1, #16
579 weight20_nodenom_loop:
580     subs        ip,  #2
581     vld1.8      {d17-d19}, [r2], r3
582     vmovl.u8    q10, d17
583     vmovl.u8    q11, d18
584     vmovl.u8    q14, d19
585     vld1.8      {d16-d18}, [r2], r3
586     vmovl.u8    q12, d16
587     vmovl.u8    q13, d17
588     vmovl.u8    q15, d18
589     vmov        q8,  q1
590     vmov        q9,  q1
591     vmla.s16    q8,  q10, q0
592     vmla.s16    q9,  q11, q0
593     vmov        q10, q1
594     vmov        q11, q1
595     vmla.s16    q10, q12, q0
596     vmla.s16    q11, q13, q0
597     vmov        q12, q1
598     vmla.s16    d24, d28, d0
599     vmla.s16    d25, d30, d0
600     vqmovun.s16 d16, q8
601     vqmovun.s16 d17, q9
602     vqmovun.s16 d18, q10
603     vqmovun.s16 d19, q11
604     vqmovun.s16 d20, q12
605     vst1.8      {d16-d17}, [r0,:128]!
606     vst1.32     {d20[0]},  [r0,:32], r1
607     vst1.8      {d18-d19}, [r0,:128]!
608     vst1.32     {d20[1]},  [r0,:32], r1
609     bgt         weight20_nodenom_loop
610     pop         {r4-r5,pc}
611 .endfunc
612
613 function x264_mc_weight_w16_nodenom_neon
614     weight_prologue nodenom
615 weight16_nodenom_loop:
616     subs        ip,  #2
617     vld1.8      {d16-d17}, [r2], r3
618     vld1.8      {d18-d19}, [r2], r3
619     vmovl.u8    q12, d16
620     vmovl.u8    q13, d17
621     vmovl.u8    q14, d18
622     vmovl.u8    q15, d19
623     vmov        q8,  q1
624     vmov        q9,  q1
625     vmov        q10, q1
626     vmov        q11, q1
627     vmla.s16    q8,  q12, q0
628     vmla.s16    q9,  q13, q0
629     vmla.s16    q10, q14, q0
630     vmla.s16    q11, q15, q0
631     vqmovun.s16 d16, q8
632     vqmovun.s16 d17, q9
633     vqmovun.s16 d18, q10
634     vqmovun.s16 d19, q11
635     vst1.8      {d16-d17}, [r0,:128], r1
636     vst1.8      {d18-d19}, [r0,:128], r1
637     bgt         weight16_nodenom_loop
638     pop         {r4-r5,pc}
639 .endfunc
640
641 function x264_mc_weight_w8_nodenom_neon
642     weight_prologue nodenom
643 weight8_nodenom_loop:
644     subs        ip,  #2
645     vld1.8      {d16}, [r2], r3
646     vld1.8      {d18}, [r2], r3
647     vmovl.u8    q8,  d16
648     vmovl.u8    q9,  d18
649     vmov        q10, q1
650     vmov        q11, q1
651     vmla.s16    q10, q8,  q0
652     vmla.s16    q11, q9,  q0
653     vqmovun.s16 d16, q10
654     vqmovun.s16 d17, q11
655     vst1.8      {d16}, [r0,:64], r1
656     vst1.8      {d17}, [r0,:64], r1
657     bgt         weight8_nodenom_loop
658     pop         {r4-r5,pc}
659 .endfunc
660
661 function x264_mc_weight_w4_nodenom_neon
662     weight_prologue nodenom
663 weight4_nodenom_loop:
664     subs        ip,  #2
665     vld1.32     {d16[]}, [r2], r3
666     vld1.32     {d18[]}, [r2], r3
667     vmovl.u8    q8,  d16
668     vmovl.u8    q9,  d18
669     vmov        q10, q1
670     vmla.s16    d20, d16, d0
671     vmla.s16    d21, d18, d0
672     vqmovun.s16 d16, q10
673     vst1.32     {d16[0]}, [r0,:32], r1
674     vst1.32     {d16[1]}, [r0,:32], r1
675     bgt         weight4_nodenom_loop
676     pop         {r4-r5,pc}
677 .endfunc
678
679 .macro weight_simple_prologue
680     push        {lr}
681     ldr         lr,  [sp, #4]       // weight_t
682     ldr         ip,  [sp, #8]       // h
683     ldr         lr,  [lr]           // offset
684     vdup.8      q1,  lr
685 .endm
686
687 .macro weight_simple name op
688 function x264_mc_weight_w20_\name\()_neon
689     weight_simple_prologue
690 weight20_\name\()_loop:
691     subs        ip,  #2
692     vld1.8      {d16-d18}, [r2], r3
693     vld1.8      {d19-d21}, [r2], r3
694     \op         q8,  q8,  q1
695     \op         q9,  q9,  q1
696     \op         q10, q10, q1
697     vst1.8      {d16-d18}, [r0,:64], r1
698     vst1.8      {d19-d21}, [r0,:64], r1
699     bgt         weight20_\name\()_loop
700     pop         {pc}
701 .endfunc
702
703 function x264_mc_weight_w16_\name\()_neon
704     weight_simple_prologue
705 weight16_\name\()_loop:
706     subs        ip,  #2
707     vld1.8      {d16-d17}, [r2], r3
708     vld1.8      {d18-d19}, [r2], r3
709     \op         q8,  q8,  q1
710     \op         q9,  q9,  q1
711     vst1.8      {d16-d17}, [r0,:128], r1
712     vst1.8      {d18-d19}, [r0,:128], r1
713     bgt         weight16_\name\()_loop
714     pop         {pc}
715 .endfunc
716
717 function x264_mc_weight_w8_\name\()_neon
718     weight_simple_prologue
719 weight8_\name\()_loop:
720     subs        ip,  #2
721     vld1.8      {d16}, [r2], r3
722     vld1.8      {d17}, [r2], r3
723     \op         q8,  q8,  q1
724     vst1.8      {d16}, [r0,:64], r1
725     vst1.8      {d17}, [r0,:64], r1
726     bgt         weight8_\name\()_loop
727     pop         {pc}
728 .endfunc
729
730 function x264_mc_weight_w4_\name\()_neon
731     weight_simple_prologue
732 weight4_\name\()_loop:
733     subs        ip,  #2
734     vld1.32     {d16[]}, [r2], r3
735     vld1.32     {d17[]}, [r2], r3
736     \op         q8,  q8,  q1
737     vst1.32     {d16[0]}, [r0,:32], r1
738     vst1.32     {d17[0]}, [r0,:32], r1
739     bgt         weight4_\name\()_loop
740     pop         {pc}
741 .endfunc
742 .endm
743
744 weight_simple offsetadd, vqadd.u8
745 weight_simple offsetsub, vqsub.u8
746
747
748 // void mc_copy( uint8_t *dst, intptr_t dst_stride, uint8_t *src, intptr_t src_stride, int height )
749 function x264_mc_copy_w4_neon
750     ldr         ip,  [sp]
751 copy_w4_loop:
752     subs        ip,  ip,  #4
753     vld1.32     {d0[]},  [r2], r3
754     vld1.32     {d1[]},  [r2], r3
755     vld1.32     {d2[]},  [r2], r3
756     vld1.32     {d3[]},  [r2], r3
757     vst1.32     {d0[0]}, [r0,:32], r1
758     vst1.32     {d1[0]}, [r0,:32], r1
759     vst1.32     {d2[0]}, [r0,:32], r1
760     vst1.32     {d3[0]}, [r0,:32], r1
761     bgt         copy_w4_loop
762     bx          lr
763 .endfunc
764
765 function x264_mc_copy_w8_neon
766     ldr         ip,  [sp]
767 copy_w8_loop:
768     subs        ip,  ip,  #4
769     vld1.32     {d0}, [r2], r3
770     vld1.32     {d1}, [r2], r3
771     vld1.32     {d2}, [r2], r3
772     vld1.32     {d3}, [r2], r3
773     vst1.32     {d0}, [r0,:64], r1
774     vst1.32     {d1}, [r0,:64], r1
775     vst1.32     {d2}, [r0,:64], r1
776     vst1.32     {d3}, [r0,:64], r1
777     bgt         copy_w8_loop
778     bx          lr
779 .endfunc
780
781 function x264_mc_copy_w16_neon
782     ldr         ip,  [sp]
783 copy_w16_loop:
784     subs        ip,  ip,  #4
785     vld1.32     {d0-d1}, [r2], r3
786     vld1.32     {d2-d3}, [r2], r3
787     vld1.32     {d4-d5}, [r2], r3
788     vld1.32     {d6-d7}, [r2], r3
789     vst1.32     {d0-d1}, [r0,:128], r1
790     vst1.32     {d2-d3}, [r0,:128], r1
791     vst1.32     {d4-d5}, [r0,:128], r1
792     vst1.32     {d6-d7}, [r0,:128], r1
793     bgt         copy_w16_loop
794     bx          lr
795 .endfunc
796
797 function x264_mc_copy_w16_aligned_neon
798     ldr         ip,  [sp]
799 copy_w16_aligned_loop:
800     subs        ip,  ip,  #4
801     vld1.32     {d0-d1}, [r2,:128], r3
802     vld1.32     {d2-d3}, [r2,:128], r3
803     vld1.32     {d4-d5}, [r2,:128], r3
804     vld1.32     {d6-d7}, [r2,:128], r3
805     vst1.32     {d0-d1}, [r0,:128], r1
806     vst1.32     {d2-d3}, [r0,:128], r1
807     vst1.32     {d4-d5}, [r0,:128], r1
808     vst1.32     {d6-d7}, [r0,:128], r1
809     bgt         copy_w16_aligned_loop
810     bx          lr
811 .endfunc
812
813
814 // void x264_mc_chroma_neon( uint8_t *dst, intptr_t i_dst_stride,
815 //                           uint8_t *src, intptr_t i_src_stride,
816 //                           int dx, int dy, int i_width, int i_height );
817
818 function x264_mc_chroma_neon
819     push            {r4-r8, lr}
820     vpush           {d8-d11}
821     ldrd            r4, r5, [sp, #56]
822     ldrd            r6, r7, [sp, #64]
823
824     asr             lr, r6, #3
825     mul             lr, r4, lr
826     add             r3, r3, r5, asr #2
827     cmp             r7, #4
828
829     and             r5, r5, #7
830     and             r6, r6, #7
831
832     add             r3, r3, lr
833     bic             r3, r3, #0x1
834
835     pld             [r3]
836     pld             [r3, r4]
837
838     bgt             mc_chroma_w8
839     beq             mc_chroma_w4
840
841 .macro CHROMA_MC_START r00, r01, r10, r11
842     muls            lr, r5, r6
843     rsb             r7, lr, r6, lsl #3
844     rsb             ip, lr, r5, lsl #3
845     sub             r5, lr, r5, lsl #3
846     sub             r5, r5, r6, lsl #3
847     add             r5, r5, #64
848
849     beq             2f
850     vld2.8          {\r00-\r01}, [r3], r4
851
852     vdup.8          d0,    r5
853     vdup.8          d1,    ip
854
855     vdup.8          d2,    r7
856     vld2.8          {\r10-\r11}, [r3], r4
857     vdup.8          d3,    lr
858     ldr             r5,    [sp, #72]
859 .endm
860
861 .macro CHROMA_MC width, align
862 mc_chroma_w\width:
863     CHROMA_MC_START d4, d5,  d8, d9
864     vext.8          d6,  d4,  d6,  #1
865     vext.8          d7,  d5,  d7,  #1
866     vext.8          d10, d8,  d10, #1
867     vext.8          d11, d9,  d11, #1
868 // since the element size varies, there's a different index for the 2nd store
869 .if \width == 4
870     .set st2, 1
871 .else
872     .set st2, 2
873 .endif
874
875     vtrn.32         d4, d6
876     vtrn.32         d5, d7
877     vtrn.32         d8, d10
878     vtrn.32         d9, d11
879
880     vtrn.32         d0, d1
881     vtrn.32         d2, d3
882
883 1:  // height loop, interpolate xy
884
885     vmull.u8        q8,  d4,  d0
886     vmlal.u8        q8,  d8,  d2
887     vmull.u8        q9,  d5,  d0
888     vmlal.u8        q9,  d9,  d2
889
890     vld2.8          {d4-d5},  [r3], r4
891
892     vext.8          d6,  d4,  d6,  #1
893     vext.8          d7,  d5,  d7,  #1
894
895     vadd.i16        d16, d16, d17
896     vadd.i16        d17, d18, d19
897
898     vtrn.32         d4,  d6
899     vtrn.32         d5,  d7
900
901     vmull.u8        q10, d8,  d0
902     vmlal.u8        q10, d4,  d2
903     vmull.u8        q11, d9,  d0
904     vmlal.u8        q11, d5,  d2
905
906     vld2.8          {d8-d9},  [r3], r4
907
908     vrshrn.u16      d16, q8,  #6
909
910     vext.8          d10, d8,  d10,  #1
911     vext.8          d11, d9,  d11,  #1
912
913     vadd.i16        d18, d20, d21
914     vadd.i16        d19, d22, d23
915
916     vtrn.32         d8, d10
917     vtrn.32         d9, d11
918
919     vrshrn.u16      d18, q9,  #6
920
921     subs            r5,  r5,  #2
922
923     pld             [r3]
924     pld             [r3, r4]
925
926     vst1.\align     {d16[0]},   [r0,:\align], r2
927     vst1.\align     {d16[st2]}, [r1,:\align], r2
928     vst1.\align     {d18[0]},   [r0,:\align], r2
929     vst1.\align     {d18[st2]}, [r1,:\align], r2
930     bgt             1b
931
932     vpop            {d8-d11}
933     pop             {r4-r8, pc}
934
935 2:  // dx or dy are 0
936     tst             r7,  r7
937     add             ip,  ip,  r7
938     vdup.8          d0,  r5
939     ldr             r5,  [sp, #72]
940     vdup.8          d1,  ip
941
942     beq             4f
943
944     vld1.64          {d4}, [r3], r4
945     vld1.64          {d6}, [r3], r4
946
947 3:  // vertical interpolation loop
948
949     vmull.u8        q8,  d4,  d0
950     vmlal.u8        q8,  d6,  d1
951     vmull.u8        q9,  d6,  d0
952     vld1.64         {d4}, [r3], r4
953     vmlal.u8        q9,  d4,  d1
954     vld1.64         {d6}, [r3], r4
955
956     vrshrn.u16      d16, q8,  #6 // uvuvuvuv
957     vrshrn.u16      d17, q9,  #6 // uvuvuvuv
958     subs            r5,  r5,  #2
959     vuzp.8          d16, d17 // d16=uuuu|uuuu, d17=vvvv|vvvv
960
961     pld             [r3]
962     pld             [r3, r4]
963
964     vst1.\align     {d16[0]},   [r0,:\align], r2
965     vst1.\align     {d16[st2]}, [r0,:\align], r2
966     vst1.\align     {d17[0]},   [r1,:\align], r2
967     vst1.\align     {d17[st2]}, [r1,:\align], r2
968     bgt             3b
969
970     vpop            {d8-d11}
971     pop             {r4-r8, pc}
972
973 4:  // dy is 0
974
975     vld1.64         {d4-d5},  [r3], r4
976     vld1.64         {d6-d7},  [r3], r4
977
978     vext.8          d5,  d4,  d5,  #2
979     vext.8          d7,  d6,  d7,  #2
980
981 5:  // horizontal interpolation loop
982
983     vmull.u8        q8,  d4,  d0
984     vmlal.u8        q8,  d5,  d1
985     vmull.u8        q9,  d6,  d0
986     vmlal.u8        q9,  d7,  d1
987
988     subs            r5,  r5,  #2
989     vld1.64         {d4-d5},  [r3], r4
990     vld1.64         {d6-d7},  [r3], r4
991     vext.8          d5,  d4,  d5,  #2
992     vrshrn.u16      d16, q8,  #6
993     vrshrn.u16      d17, q9,  #6
994     vext.8          d7,  d6,  d7,  #2
995     vuzp.8          d16, d17
996
997     pld             [r3]
998     pld             [r3, r4]
999
1000     vst1.\align     {d16[0]},   [r0,:\align], r2
1001     vst1.\align     {d16[st2]}, [r0,:\align], r2
1002     vst1.\align     {d17[0]},   [r1,:\align], r2
1003     vst1.\align     {d17[st2]}, [r1,:\align], r2
1004     bgt             5b
1005
1006     vpop            {d8-d11}
1007     pop             {r4-r8, pc}
1008 .endm
1009
1010    CHROMA_MC 2, 16
1011    CHROMA_MC 4, 32
1012
1013 mc_chroma_w8:
1014     CHROMA_MC_START d4, d7, d8, d11
1015     vext.8          d5,  d4,  d5,  #1
1016     vext.8          d9,  d8,  d9,  #1
1017     vext.8          d7,  d6,  d7,  #1
1018     vext.8          d11, d10, d11,  #1
1019
1020 1:  // height loop, interpolate xy
1021     vmull.u8        q8,  d4,  d0
1022     vmlal.u8        q8,  d5,  d1
1023     vmlal.u8        q8,  d8,  d2
1024     vmlal.u8        q8,  d9,  d3
1025
1026     vmull.u8        q9,  d6,  d0
1027     vmlal.u8        q9,  d7,  d1
1028     vmlal.u8        q9,  d10,  d2
1029     vmlal.u8        q9,  d11,  d3
1030
1031     vld2.8          {d4-d7}, [r3], r4
1032
1033     vext.8          d5,  d4,  d5,  #1
1034     vext.8          d7,  d6,  d7,  #1
1035
1036     vmull.u8        q10, d8,   d0
1037     vmlal.u8        q10, d9,   d1
1038     vmlal.u8        q10, d4,   d2
1039     vmlal.u8        q10, d5,   d3
1040
1041     vmull.u8        q11, d10,  d0
1042     vmlal.u8        q11, d11,  d1
1043     vmlal.u8        q11, d6,   d2
1044     vmlal.u8        q11, d7,   d3
1045
1046     subs            r5,  r5,   #2
1047     vld2.8          {d8-d11}, [r3], r4
1048
1049     vrshrn.u16      d16, q8,  #6
1050     vrshrn.u16      d17, q9,  #6
1051     vrshrn.u16      d18, q10, #6
1052     vext.8          d9,  d8,  d9,  #1
1053     vrshrn.u16      d19, q11, #6
1054     vext.8          d11, d10, d11,  #1
1055
1056     pld             [r3]
1057     pld             [r3, r4]
1058
1059     vst1.64         {d16}, [r0,:64], r2
1060     vst1.64         {d17}, [r1,:64], r2
1061     vst1.64         {d18}, [r0,:64], r2
1062     vst1.64         {d19}, [r1,:64], r2
1063
1064     bgt             1b
1065
1066     vpop            {d8-d11}
1067     pop             {r4-r8, pc}
1068
1069 2:  // dx or dy are 0
1070     tst             r7,  r7
1071     add             ip,  ip,  r7
1072     vdup.8          d0,  r5
1073     ldr             r5,  [sp, #72]
1074     vdup.8          d1,  ip
1075
1076     beq             4f
1077
1078     vld2.8          {d4-d5}, [r3], r4
1079     vld2.8          {d6-d7}, [r3], r4
1080
1081 3:  // vertical interpolation loop
1082     vmull.u8        q8,  d4,  d0 //U
1083     vmlal.u8        q8,  d6,  d1
1084     vmull.u8        q9,  d5,  d0 //V
1085     vmlal.u8        q9,  d7,  d1
1086
1087     vld2.8          {d4-d5}, [r3], r4
1088
1089     vmull.u8        q10, d6,  d0
1090     vmlal.u8        q10, d4,  d1
1091     vmull.u8        q11, d7,  d0
1092     vmlal.u8        q11, d5,  d1
1093
1094     vld2.8          {d6-d7}, [r3], r4
1095
1096     vrshrn.u16      d16, q8,  #6
1097     vrshrn.u16      d17, q9,  #6
1098     vrshrn.u16      d18, q10, #6
1099     vrshrn.u16      d19, q11, #6
1100     subs            r5,  r5,  #2
1101
1102     pld             [r3]
1103     pld             [r3, r4]
1104
1105     vst1.64         {d16}, [r0,:64], r2
1106     vst1.64         {d17}, [r1,:64], r2
1107     vst1.64         {d18}, [r0,:64], r2
1108     vst1.64         {d19}, [r1,:64], r2
1109
1110     bgt             3b
1111
1112     vpop            {d8-d11}
1113     pop             {r4-r8, pc}
1114
1115 4:  // dy is 0
1116
1117     vld2.8          {d4-d7},  [r3], r4
1118     vld2.8          {d8-d11}, [r3], r4
1119     vext.8          d5,  d4,  d5,  #1
1120     vext.8          d7,  d6,  d7,  #1
1121     vext.8          d9,  d8,  d9,  #1
1122     vext.8          d11, d10, d11, #1
1123
1124 5:  // horizontal interpolation loop
1125     subs            r5,  r5,  #2
1126     vmull.u8        q8,  d4,  d0 //U
1127     vmlal.u8        q8,  d5,  d1
1128     vmull.u8        q9,  d6,  d0 //V
1129     vmlal.u8        q9,  d7,  d1
1130
1131     vld2.8          {d4-d7}, [r3], r4
1132
1133     vmull.u8        q10, d8,  d0
1134     vmlal.u8        q10, d9,  d1
1135     vmull.u8        q11, d10, d0
1136     vmlal.u8        q11, d11, d1
1137
1138     vld2.8          {d8-d11}, [r3], r4
1139
1140     vext.8          d5,  d4,  d5,  #1
1141     vrshrn.u16      d16, q8,  #6
1142     vext.8          d7,  d6,  d7,  #1
1143     vrshrn.u16      d17, q9,  #6
1144     vext.8          d9,  d8,  d9,  #1
1145     vrshrn.u16      d18, q10, #6
1146     vext.8          d11, d10, d11, #1
1147     vrshrn.u16      d19, q11, #6
1148
1149     pld             [r3]
1150     pld             [r3, r4]
1151
1152     vst1.64         {d16}, [r0,:64], r2
1153     vst1.64         {d17}, [r1,:64], r2
1154     vst1.64         {d18}, [r0,:64], r2
1155     vst1.64         {d19}, [r1,:64], r2
1156     bgt             5b
1157
1158     vpop            {d8-d11}
1159     pop             {r4-r8, pc}
1160
1161 .endfunc
1162
1163
1164 // hpel_filter_v( uint8_t *dst, uint8_t *src, int16_t *buf, intptr_t stride, int width )
1165 function x264_hpel_filter_v_neon
1166     ldr             ip,  [sp]
1167     sub             r1,  r1,  r3,  lsl #1
1168     push            {lr}
1169     add             lr,  r1,  ip
1170     vmov.u8         d30, #5
1171     vmov.u8         d31, #20
1172
1173 filter_v_loop:
1174     subs            ip,  ip,  #16
1175     vld1.64         {d0-d1},   [r1,:128], r3
1176     vld1.64         {d2-d3},   [r1,:128], r3
1177     vld1.64         {d4-d5},   [r1,:128], r3
1178     vld1.64         {d6-d7},   [r1,:128], r3
1179     vld1.64         {d16-d17}, [r1,:128], r3
1180     vld1.64         {d18-d19}, [r1,:128], r3
1181     sub             r1,  lr,  ip
1182
1183     vaddl.u8        q10, d0,  d18
1184     vmlsl.u8        q10, d2,  d30
1185     vmlal.u8        q10, d4,  d31
1186     vmlal.u8        q10, d6,  d31
1187     vmlsl.u8        q10, d16, d30
1188
1189     vaddl.u8        q11, d1,  d19
1190     vmlsl.u8        q11, d3,  d30
1191     vmlal.u8        q11, d5,  d31
1192     vmlal.u8        q11, d7,  d31
1193     vmlsl.u8        q11, d17, d30
1194
1195     vqrshrun.s16    d0,  q10, #5
1196     vst1.64         {d20-d21}, [r2,:128]!
1197     vqrshrun.s16    d1,  q11, #5
1198     vst1.64         {d22-d23}, [r2,:128]!
1199     vst1.64         {d0-d1},   [r0,:128]!
1200     bgt             filter_v_loop
1201     pop             {pc}
1202 .endfunc
1203
1204 // hpel_filter_c( uint8_t *dst, int16_t *buf, int width );
1205 function x264_hpel_filter_c_neon
1206     sub             r1,  #16
1207     vld1.64         {d0-d3}, [r1,:128]!
1208
1209     // unrolled 2x: 4% faster
1210 filter_c_loop:
1211     subs            r2,  r2,  #16
1212     vld1.64         {d4-d7}, [r1,:128]!
1213     vext.16         q8,  q0,  q1,  #6
1214     vext.16         q12, q1,  q2,  #3
1215     vadd.s16        q8,  q8,  q12
1216     vext.16         q9,  q0,  q1,  #7
1217     vext.16         q11, q1,  q2,  #2
1218     vadd.s16        q9,  q9,  q11
1219     vext.16         q10, q1,  q2,  #1
1220     vext.16         q11, q1,  q2,  #6
1221     vadd.s16        q10, q1,  q10
1222     vsub.s16        q8,  q8,  q9    // a-b
1223     vext.16         q15, q2,  q3,  #3
1224     vsub.s16        q9,  q9,  q10   // b-c
1225
1226     vext.16         q12, q1,  q2,  #7
1227     vshr.s16        q8,  q8,  #2    // (a-b)/4
1228     vadd.s16        q11, q11, q15
1229     vext.16         q14, q2,  q3,  #2
1230     vsub.s16        q8,  q8,  q9    // (a-b)/4-b+c
1231     vadd.s16        q12, q12, q14
1232     vext.16         q13, q2,  q3,  #1
1233
1234     vshr.s16        q8,  q8,  #2    // ((a-b)/4-b+c)/4
1235     vadd.s16        q13, q2,  q13
1236     vadd.s16        q8,  q8,  q10   // ((a-b)/4-b+c)/4+c = (a-5*b+20*c)/16
1237     vsub.s16        q11, q11, q12   // a-b
1238     vsub.s16        q12, q12, q13   // b-c
1239     vshr.s16        q11, q11, #2    // (a-b)/4
1240     vqrshrun.s16    d30, q8,  #6
1241     vsub.s16        q11, q11, q12   // (a-b)/4-b+c
1242     vshr.s16        q11, q11, #2    // ((a-b)/4-b+c)/4
1243     vld1.64         {d0-d3}, [r1,:128]!
1244     vadd.s16        q11, q11, q13   // ((a-b)/4-b+c)/4+c = (a-5*b+20*c)/16
1245
1246     vext.16         q8,  q2,  q3,  #6
1247     vqrshrun.s16    d31, q11,  #6
1248     vext.16         q12, q3,  q0,  #3
1249     vadd.s16        q8,  q8,  q12
1250     vext.16         q9,  q2,  q3,  #7
1251     vst1.64         {d30-d31}, [r0,:128]!
1252     bxle            lr
1253     subs            r2,  r2,  #16
1254
1255     vext.16         q11, q3,  q0,  #2
1256     vadd.s16        q9,  q9,  q11
1257     vext.16         q10, q3,  q0,  #1
1258     vext.16         q11, q3,  q0,  #6
1259     vadd.s16        q10, q3,  q10
1260     vsub.s16        q8,  q8,  q9    // a-b
1261     vext.16         q15, q0,  q1,  #3
1262     vsub.s16        q9,  q9,  q10   // b-c
1263
1264     vext.16         q12, q3,  q0,  #7
1265     vshr.s16        q8,  q8,  #2    // (a-b)/4
1266     vadd.s16        q11, q11, q15
1267     vext.16         q14, q0,  q1,  #2
1268     vsub.s16        q8,  q8,  q9    // (a-b)/4-b+c
1269     vadd.s16        q12, q12, q14
1270     vext.16         q13, q0,  q1,  #1
1271
1272     vshr.s16        q8,  q8,  #2    // ((a-b)/4-b+c)/4
1273     vadd.s16        q13, q0,  q13
1274     vadd.s16        q8,  q8,  q10   // ((a-b)/4-b+c)/4+c = (a-5*b+20*c)/16
1275     vsub.s16        q11, q11, q12   // a-b
1276     vsub.s16        q12, q12, q13   // b-c
1277     vshr.s16        q11, q11, #2    // (a-b)/4
1278     vqrshrun.s16    d30, q8,  #6
1279     vsub.s16        q11, q11, q12   // (a-b)/4-b+c
1280     vshr.s16        q11, q11, #2    // ((a-b)/4-b+c)/4
1281     vadd.s16        q11, q11, q13   // ((a-b)/4-b+c)/4+c = (a-5*b+20*c)/16
1282
1283     vqrshrun.s16    d31, q11,  #6
1284     vst1.64         {d30-d31}, [r0,:128]!
1285     bgt             filter_c_loop
1286     bx              lr
1287 .endfunc
1288
1289 // hpel_filter_h( uint8_t *dst, uint8_t *src, int width );
1290 function x264_hpel_filter_h_neon
1291     sub             r1,  #16
1292     vmov.u8         d30, #5
1293     vld1.64         {d0-d3}, [r1,:128]!
1294     vmov.u8         d31, #20
1295
1296     // unrolled 3x because it's 5% faster, due to mitigating
1297     // the high latency of multiplication and vqrshrun
1298 filter_h_loop:
1299     subs            r2,  r2,  #16
1300     vld1.64         {d4-d5}, [r1,:128]!
1301     vext.8          q8,  q0,  q1,  #14
1302     vext.8          q12, q1,  q2,  #3
1303     vaddl.u8        q13, d16, d24
1304     vext.8          q9,  q0,  q1,  #15
1305     vaddl.u8        q14, d17, d25
1306
1307     vext.8          q10, q1,  q2,  #1
1308     vmlal.u8        q13, d2,  d31
1309     vmlsl.u8        q13, d18, d30
1310     vext.8          q11, q1,  q2,  #2
1311     vmlal.u8        q13, d20, d31
1312     vmlsl.u8        q13, d22, d30
1313
1314     vmlsl.u8        q14, d19, d30
1315     vmlal.u8        q14, d3,  d31
1316     vmlal.u8        q14, d21, d31
1317     vmlsl.u8        q14, d23, d30
1318     vqrshrun.s16    d6,  q13, #5
1319
1320     vld1.64         {d0-d1}, [r1,:128]!
1321     vext.8          q8,  q1,  q2,  #14
1322     vext.8          q12, q2,  q0,  #3
1323     vaddl.u8        q13, d16, d24
1324     vqrshrun.s16    d7,  q14, #5
1325     vext.8          q9,  q1,  q2,  #15
1326     vaddl.u8        q14, d17, d25
1327
1328     vst1.64         {d6-d7}, [r0,:128]!
1329     bxle            lr
1330     subs            r2,  r2,  #16
1331
1332     vext.8          q10, q2,  q0,  #1
1333     vmlal.u8        q13, d4,  d31
1334     vmlsl.u8        q13, d18, d30
1335     vext.8          q11, q2,  q0,  #2
1336     vmlal.u8        q13, d20, d31
1337     vmlsl.u8        q13, d22, d30
1338
1339     vmlsl.u8        q14, d19, d30
1340     vmlal.u8        q14, d5,  d31
1341     vmlal.u8        q14, d21, d31
1342     vmlsl.u8        q14, d23, d30
1343     vqrshrun.s16    d6,  q13, #5
1344
1345     vld1.64         {d2-d3}, [r1,:128]!
1346     vext.8          q8,  q2,  q0,  #14
1347     vext.8          q12, q0,  q1,  #3
1348     vaddl.u8        q13, d16, d24
1349     vqrshrun.s16    d7,  q14, #5
1350     vext.8          q9,  q2,  q0,  #15
1351     vaddl.u8        q14, d17, d25
1352
1353     vst1.64         {d6-d7}, [r0,:128]!
1354     bxle            lr
1355     subs            r2,  r2,  #16
1356
1357     vext.8          q10, q0,  q1,  #1
1358     vmlal.u8        q13, d0,  d31
1359     vmlsl.u8        q13, d18, d30
1360     vext.8          q11, q0,  q1,  #2
1361     vmlal.u8        q13, d20, d31
1362     vmlsl.u8        q13, d22, d30
1363
1364     vmlsl.u8        q14, d19, d30
1365     vmlal.u8        q14, d1,  d31
1366     vmlal.u8        q14, d21, d31
1367     vmlsl.u8        q14, d23, d30
1368
1369     vqrshrun.s16    d6, q13, #5
1370     vqrshrun.s16    d7, q14, #5
1371     vst1.64         {d6-d7}, [r0,:128]!
1372     bgt             filter_h_loop
1373     bx              lr
1374 .endfunc
1375
1376
1377 // frame_init_lowres_core( uint8_t *src0, uint8_t *dst0, uint8_t *dsth, uint8_t *dstv,
1378 //                         uint8_t *dstc, intptr_t src_stride, intptr_t dst_stride, int width,
1379 //                         int height )
1380 function x264_frame_init_lowres_core_neon
1381     push            {r4-r10,lr}
1382     vpush           {d8-d15}
1383     ldrd            r4,  r5,  [sp, #96]
1384     ldrd            r6,  r7,  [sp, #104]
1385     ldr             lr,  [sp, #112]
1386     sub             r10, r6,  r7            // dst_stride - width
1387     and             r10, r10, #~15
1388
1389 lowres_yloop:
1390     mov             ip,  r7                 // width
1391     mov             r6,  r0                 // src0
1392     add             r8,  r0,  r5            // src1 = src0 + src_stride
1393     add             r9,  r0,  r5,  lsl #1   // src2 = src1 + src_stride
1394
1395     vld2.8          {d8, d10}, [r6,:128]!
1396     vld2.8          {d12,d14}, [r8,:128]!
1397     vld2.8          {d16,d18}, [r9,:128]!
1398
1399 lowres_xloop:
1400     subs            ip,  ip,  #16
1401
1402     vld2.8          {d9, d11}, [r6,:128]!
1403     vld2.8          {d13,d15}, [r8,:128]!
1404     vrhadd.u8       q0,  q4,  q6
1405     vld2.8          {d17,d19}, [r9,:128]!
1406     vrhadd.u8       q5,  q5,  q7
1407     vld2.8          {d20,d22}, [r6,:128]!
1408     vrhadd.u8       q1,  q6,  q8
1409     vld2.8          {d24,d26}, [r8,:128]!
1410     vrhadd.u8       q7,  q7,  q9
1411     vext.8          q4,  q4,  q10, #1
1412     vrhadd.u8       q0,  q0,  q5
1413     vext.8          q6,  q6,  q12, #1
1414     vrhadd.u8       q1,  q1,  q7
1415     vld2.8          {d28,d30}, [r9,:128]!
1416     vrhadd.u8       q4,  q4,  q6
1417     vext.8          q8,  q8,  q14, #1
1418     vrhadd.u8       q6,  q6,  q8
1419     vst1.64         {d0-d1},   [r1,:128]!
1420     vrhadd.u8       q2,  q4,  q5
1421     vst1.64         {d2-d3},   [r3,:128]!
1422     vrhadd.u8       q3,  q6,  q7
1423     vst1.64         {d4-d5},   [r2,:128]!
1424     vst1.64         {d6-d7},   [r4,:128]!
1425
1426     ble             lowres_xloop_end
1427     subs            ip,  ip,  #16
1428
1429     vld2.8          {d21,d23}, [r6,:128]!
1430     vld2.8          {d25,d27}, [r8,:128]!
1431     vrhadd.u8       q0,  q10, q12
1432     vld2.8          {d29,d31}, [r9,:128]!
1433     vrhadd.u8       q11, q11, q13
1434     vld2.8          {d8, d10}, [r6,:128]!
1435     vrhadd.u8       q1,  q12, q14
1436     vld2.8          {d12,d14}, [r8,:128]!
1437     vrhadd.u8       q13, q13, q15
1438     vext.8          q10, q10, q4,  #1
1439     vrhadd.u8       q0,  q0,  q11
1440     vext.8          q12, q12, q6,  #1
1441     vrhadd.u8       q1,  q1,  q13
1442     vld2.8          {d16,d18}, [r9,:128]!
1443     vrhadd.u8       q10, q10, q12
1444     vext.8          q14, q14, q8,  #1
1445     vrhadd.u8       q12, q12, q14
1446     vst1.64         {d0-d1},   [r1,:128]!
1447     vrhadd.u8       q2,  q10, q11
1448     vst1.64         {d2-d3},   [r3,:128]!
1449     vrhadd.u8       q3,  q12, q13
1450     vst1.64         {d4-d5},   [r2,:128]!
1451     vst1.64         {d6-d7},   [r4,:128]!
1452
1453     bgt             lowres_xloop
1454
1455 lowres_xloop_end:
1456     subs            lr,  lr,  #1
1457     add             r0,  r0,  r5,  lsl #1
1458     add             r1,  r1,  r10
1459     add             r2,  r2,  r10
1460     add             r3,  r3,  r10
1461     add             r4,  r4,  r10
1462     bgt             lowres_yloop
1463
1464     vpop            {d8-d15}
1465     pop             {r4-r10,pc}
1466 .endfunc