avcodec/filter: Remove extra '; ' outside of functions
[ffmpeg.git] / libavfilter / x86 / vf_blend.asm
1 ;*****************************************************************************
2 ;* x86-optimized functions for blend filter
3 ;*
4 ;* Copyright (C) 2015 Paul B Mahol
5 ;* Copyright (C) 2018 Henrik Gramner
6 ;* Copyright (C) 2018 Jokyo Images
7 ;*
8 ;* This file is part of FFmpeg.
9 ;*
10 ;* FFmpeg is free software; you can redistribute it and/or
11 ;* modify it under the terms of the GNU Lesser General Public
12 ;* License as published by the Free Software Foundation; either
13 ;* version 2.1 of the License, or (at your option) any later version.
14 ;*
15 ;* FFmpeg is distributed in the hope that it will be useful,
16 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18 ;* Lesser General Public License for more details.
19 ;*
20 ;* You should have received a copy of the GNU Lesser General Public
21 ;* License along with FFmpeg; if not, write to the Free Software
22 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23 ;******************************************************************************
24
25 %include "libavutil/x86/x86util.asm"
26
27 SECTION_RODATA
28
29 ps_255: times 4 dd 255.0
30 pd_32768 : times 4 dd 32768
31 pd_65535 : times 4 dd 65535
32 pw_1:   times 8 dw 1
33 pw_128: times 8 dw 128
34 pw_255: times 8 dw 255
35 pb_127: times 16 db 127
36 pb_128: times 16 db 128
37 pb_255: times 16 db 255
38
39 SECTION .text
40
41 %macro BLEND_INIT 2-3
42 %if ARCH_X86_64
43 cglobal blend_%1, 6, 9, %2, top, top_linesize, bottom, bottom_linesize, dst, dst_linesize, width, end, x
44     mov    widthd, dword widthm
45     %if %0 == 3; is 16 bit
46         add    widthq, widthq ; doesn't compile on x86_32
47     %endif
48 %else
49 cglobal blend_%1, 5, 7, %2, top, top_linesize, bottom, bottom_linesize, dst, end, x
50 %define dst_linesizeq r5mp
51 %define widthq r6mp
52 %endif
53     mov      endd, dword r7m
54     add      topq, widthq
55     add   bottomq, widthq
56     add      dstq, widthq
57     neg    widthq
58 %endmacro
59
60 %macro BLEND_END 0
61     add          topq, top_linesizeq
62     add       bottomq, bottom_linesizeq
63     add          dstq, dst_linesizeq
64     sub          endd, 1
65     jg .nextrow
66 REP_RET
67 %endmacro
68
69 %macro BLEND_SIMPLE 2-3
70 BLEND_INIT %1, 2, %3
71 .nextrow:
72     mov        xq, widthq
73
74     .loop:
75         movu            m0, [topq + xq]
76         movu            m1, [bottomq + xq]
77         p%2             m0, m1
78         mova   [dstq + xq], m0
79         add             xq, mmsize
80     jl .loop
81 BLEND_END
82 %endmacro
83
84 ; %1 name , %2 src (b or w), %3 inter (w or d), %4 (1 if 16bit, not set if 8 bit)
85 %macro GRAINEXTRACT 3-4
86 BLEND_INIT %1, 6, %4
87     pxor           m4, m4
88 %if %0 == 4 ; 16 bit
89     VBROADCASTI128 m5, [pd_32768]
90 %else
91     VBROADCASTI128 m5, [pw_128]
92 %endif
93 .nextrow:
94     mov        xq, widthq
95     .loop:
96         movu           m1, [topq + xq]
97         movu           m3, [bottomq + xq]
98
99         punpckl%2%3      m0, m1, m4
100         punpckh%2%3      m1, m4
101         punpckl%2%3      m2, m3, m4
102         punpckh%2%3      m3, m4
103
104         padd%3          m0, m5
105         padd%3          m1, m5
106         psub%3          m0, m2
107         psub%3          m1, m3
108
109         packus%3%2       m0, m1
110
111         mova  [dstq + xq], m0
112         add            xq, mmsize
113     jl .loop
114 BLEND_END
115 %endmacro
116
117 %macro MULTIPLY 3 ; a, b, pw_1
118     pmullw          %1, %2               ; xxxxxxxx  a * b
119     paddw           %1, %3
120     psrlw           %2, %1, 8
121     paddw           %1, %2
122     psrlw           %1, 8                ; 00xx00xx  a * b / 255
123 %endmacro
124
125 %macro SCREEN 4   ; a, b, pw_1, pw_255
126     pxor            %1, %4               ; 00xx00xx  255 - a
127     pxor            %2, %4
128     MULTIPLY        %1, %2, %3
129     pxor            %1, %4               ; 00xx00xx  255 - x / 255
130 %endmacro
131
132 %macro BLEND_MULTIPLY 0
133 BLEND_INIT multiply, 6
134     pxor       m4, m4
135     VBROADCASTI128       m5, [pw_1]
136 .nextrow:
137     mov        xq, widthq
138
139     .loop:
140         movu           m1, [topq + xq]
141         movu           m3, [bottomq + xq]
142         punpcklbw      m0, m1, m4
143         punpckhbw      m1, m4
144         punpcklbw      m2, m3, m4
145         punpckhbw      m3, m4
146
147         MULTIPLY        m0, m2, m5
148         MULTIPLY        m1, m3, m5
149
150         packuswb       m0, m1
151         mova  [dstq + xq], m0
152         add            xq, mmsize
153     jl .loop
154 BLEND_END
155 %endmacro
156
157 %macro BLEND_SCREEN 0
158 BLEND_INIT screen, 7
159     pxor       m4, m4
160
161     VBROADCASTI128       m5, [pw_1]
162     VBROADCASTI128       m6, [pw_255]
163 .nextrow:
164     mov        xq, widthq
165
166     .loop:
167         movu           m1, [topq + xq]
168         movu           m3, [bottomq + xq]
169         punpcklbw      m0, m1, m4
170         punpckhbw      m1, m4
171         punpcklbw      m2, m3, m4
172         punpckhbw      m3, m4
173
174         SCREEN          m0, m2, m5, m6
175         SCREEN          m1, m3, m5, m6
176
177         packuswb       m0, m1
178         mova  [dstq + xq], m0
179         add            xq, mmsize
180     jl .loop
181 BLEND_END
182 %endmacro
183
184 ;%1 name, %2 (b or w), %3 (set if 16 bit)
185 %macro AVERAGE 2-3
186 BLEND_INIT %1, 3, %3
187     pcmpeqb        m2, m2
188
189 .nextrow:
190     mov        xq, widthq
191
192 .loop:
193     movu           m0, [topq + xq]
194     movu           m1, [bottomq + xq]
195     pxor           m0, m2
196     pxor           m1, m2
197     pavg%2         m0, m1
198     pxor           m0, m2
199     mova  [dstq + xq], m0
200     add            xq, mmsize
201     jl .loop
202 BLEND_END
203 %endmacro
204
205 ; %1 name , %2 src (b or w), %3 inter (w or d), %4 (1 if 16bit, not set if 8 bit)
206 %macro GRAINMERGE 3-4
207 BLEND_INIT %1, 6, %4
208     pxor       m4, m4
209 %if %0 == 4 ; 16 bit
210     VBROADCASTI128       m5, [pd_32768]
211 %else
212     VBROADCASTI128       m5, [pw_128]
213 %endif
214 .nextrow:
215     mov        xq, widthq
216
217     .loop:
218         movu           m1, [topq + xq]
219         movu           m3, [bottomq + xq]
220
221         punpckl%2%3    m0, m1, m4
222         punpckh%2%3    m1, m4
223         punpckl%2%3    m2, m3, m4
224         punpckh%2%3    m3, m4
225
226         padd%3         m0, m2
227         padd%3         m1, m3
228         psub%3         m0, m5
229         psub%3         m1, m5
230
231         packus%3%2     m0, m1
232
233         mova  [dstq + xq], m0
234         add            xq, mmsize
235     jl .loop
236 BLEND_END
237 %endmacro
238
239 %macro HARDMIX 0
240 BLEND_INIT hardmix, 5
241     VBROADCASTI128       m2, [pb_255]
242     VBROADCASTI128       m3, [pb_128]
243     VBROADCASTI128       m4, [pb_127]
244 .nextrow:
245     mov        xq, widthq
246
247     .loop:
248         movu            m0, [topq + xq]
249         movu            m1, [bottomq + xq]
250         pxor            m1, m4
251         pxor            m0, m3
252         pcmpgtb         m1, m0
253         pxor            m1, m2
254         mova   [dstq + xq], m1
255         add             xq, mmsize
256     jl .loop
257 BLEND_END
258 %endmacro
259
260 %macro DIVIDE 0
261 BLEND_INIT divide, 4
262     pxor       m2, m2
263     mova       m3, [ps_255]
264 .nextrow:
265     mov        xq, widthq
266
267     .loop:
268         movd            m0, [topq + xq]      ; 000000xx
269         movd            m1, [bottomq + xq]
270         punpcklbw       m0, m2               ; 00000x0x
271         punpcklbw       m1, m2
272         punpcklwd       m0, m2               ; 000x000x
273         punpcklwd       m1, m2
274
275         cvtdq2ps        m0, m0
276         cvtdq2ps        m1, m1
277         divps           m0, m1               ; a / b
278         mulps           m0, m3               ; a / b * 255
279         minps           m0, m3
280         cvttps2dq       m0, m0
281
282         packssdw        m0, m0               ; 00000x0x
283         packuswb        m0, m0               ; 000000xx
284         movd   [dstq + xq], m0
285         add             xq, mmsize / 4
286
287     jl .loop
288 BLEND_END
289 %endmacro
290
291 %macro PHOENIX 2-3
292 ; %1 name, %2 b or w, %3 (opt) 1 if 16 bit
293 BLEND_INIT %1, 4, %3
294     VBROADCASTI128       m3, [pb_255]
295 .nextrow:
296     mov        xq, widthq
297
298     .loop:
299         movu            m0, [topq + xq]
300         movu            m1, [bottomq + xq]
301         mova            m2, m0
302         pminu%2         m0, m1
303         pmaxu%2         m1, m2
304         mova            m2, m3
305         psubus%2        m2, m1
306         paddus%2        m2, m0
307         mova   [dstq + xq], m2
308         add             xq, mmsize
309     jl .loop
310 BLEND_END
311 %endmacro
312
313 ; %1 name , %2 src (b or w), %3 inter (w or d), %4 (1 if 16bit, not set if 8 bit)
314 %macro DIFFERENCE 3-4
315 BLEND_INIT %1, 5, %4
316     pxor       m2, m2
317 .nextrow:
318     mov        xq, widthq
319
320     .loop:
321         movu            m0, [topq + xq]
322         movu            m1, [bottomq + xq]
323         punpckh%2%3     m3, m0, m2
324         punpckl%2%3     m0, m2
325         punpckh%2%3     m4, m1, m2
326         punpckl%2%3     m1, m2
327         psub%3          m0, m1
328         psub%3          m3, m4
329 %if %0 == 4; 16 bit
330         pabsd           m0, m0
331         pabsd           m3, m3
332 %else
333         ABS2            m0, m3, m1, m4
334 %endif
335         packus%3%2      m0, m3
336         mova   [dstq + xq], m0
337         add             xq, mmsize
338     jl .loop
339 BLEND_END
340 %endmacro
341
342 ; %1 name , %2 src (b or w), %3 inter (w or d), %4 (1 if 16bit, not set if 8 bit)
343 %macro EXTREMITY 3-4
344 BLEND_INIT %1, 8, %4
345     pxor       m2, m2
346 %if %0 == 4; 16 bit
347     VBROADCASTI128       m4, [pd_65535]
348 %else
349     VBROADCASTI128       m4, [pw_255]
350 %endif
351 .nextrow:
352     mov        xq, widthq
353
354     .loop:
355         movu            m0, [topq + xq]
356         movu            m1, [bottomq + xq]
357         punpckh%2%3     m5, m0, m2
358         punpckl%2%3     m0, m2
359         punpckh%2%3     m6, m1, m2
360         punpckl%2%3     m1, m2
361         psub%3          m3, m4, m0
362         psub%3          m7, m4, m5
363         psub%3          m3, m1
364         psub%3          m7, m6
365 %if %0 == 4; 16 bit
366         pabsd           m3, m3
367         pabsd           m7, m7
368 %else
369         ABS2            m3, m7, m1, m6
370 %endif
371         packus%3%2      m3, m7
372         mova   [dstq + xq], m3
373         add             xq, mmsize
374     jl .loop
375 BLEND_END
376 %endmacro
377
378 %macro NEGATION 3-4
379 BLEND_INIT %1, 8, %4
380     pxor       m2, m2
381 %if %0 == 4; 16 bit
382     VBROADCASTI128       m4, [pd_65535]
383 %else
384     VBROADCASTI128       m4, [pw_255]
385 %endif
386 .nextrow:
387     mov        xq, widthq
388
389     .loop:
390         movu            m0, [topq + xq]
391         movu            m1, [bottomq + xq]
392         punpckh%2%3     m5, m0, m2
393         punpckl%2%3     m0, m2
394         punpckh%2%3     m6, m1, m2
395         punpckl%2%3     m1, m2
396         psub%3          m3, m4, m0
397         psub%3          m7, m4, m5
398         psub%3          m3, m1
399         psub%3          m7, m6
400 %if %0 == 4; 16 bit
401         pabsd           m3, m3
402         pabsd           m7, m7
403 %else
404         ABS2            m3, m7, m1, m6
405 %endif
406         psub%3          m0, m4, m3
407         psub%3          m1, m4, m7
408         packus%3%2      m0, m1
409         mova   [dstq + xq], m0
410         add             xq, mmsize
411     jl .loop
412 BLEND_END
413 %endmacro
414
415 INIT_XMM sse2
416 BLEND_SIMPLE xor,      xor
417 BLEND_SIMPLE or,       or
418 BLEND_SIMPLE and,      and
419 BLEND_SIMPLE addition, addusb
420 BLEND_SIMPLE subtract, subusb
421 BLEND_SIMPLE darken,   minub
422 BLEND_SIMPLE lighten,  maxub
423 GRAINEXTRACT grainextract, b, w
424 BLEND_MULTIPLY
425 BLEND_SCREEN
426 AVERAGE       average,    b
427 GRAINMERGE    grainmerge, b, w
428 HARDMIX
429 PHOENIX phoenix, b
430 DIFFERENCE difference, b, w
431 DIVIDE
432 EXTREMITY extremity, b, w
433 NEGATION negation, b, w
434
435 %if ARCH_X86_64
436 BLEND_SIMPLE addition_16, addusw, 1
437 BLEND_SIMPLE and_16,      and,    1
438 BLEND_SIMPLE or_16,       or,     1
439 BLEND_SIMPLE subtract_16, subusw, 1
440 BLEND_SIMPLE xor_16,      xor,    1
441 AVERAGE      average_16,  w,      1
442 %endif
443
444 INIT_XMM ssse3
445 DIFFERENCE difference, b, w
446 EXTREMITY extremity, b, w
447 NEGATION negation, b, w
448
449 INIT_XMM sse4
450 %if ARCH_X86_64
451 BLEND_SIMPLE darken_16,   minuw, 1
452 BLEND_SIMPLE lighten_16,  maxuw, 1
453 GRAINEXTRACT grainextract_16, w, d, 1
454 GRAINMERGE   grainmerge_16, w, d, 1
455 PHOENIX      phoenix_16,      w, 1
456 DIFFERENCE   difference_16, w, d, 1
457 EXTREMITY    extremity_16, w, d, 1
458 NEGATION     negation_16, w, d, 1
459 %endif
460
461 %if HAVE_AVX2_EXTERNAL
462 INIT_YMM avx2
463 BLEND_SIMPLE xor,      xor
464 BLEND_SIMPLE or,       or
465 BLEND_SIMPLE and,      and
466 BLEND_SIMPLE addition, addusb
467 BLEND_SIMPLE subtract, subusb
468 BLEND_SIMPLE darken,   minub
469 BLEND_SIMPLE lighten,  maxub
470 GRAINEXTRACT grainextract, b, w
471 BLEND_MULTIPLY
472 BLEND_SCREEN
473 AVERAGE    average,    b
474 GRAINMERGE grainmerge, b, w
475 HARDMIX
476 PHOENIX phoenix, b
477
478 DIFFERENCE difference, b, w
479 EXTREMITY extremity, b, w
480 NEGATION negation, b, w
481
482 %if ARCH_X86_64
483 BLEND_SIMPLE addition_16, addusw, 1
484 BLEND_SIMPLE and_16,      and,    1
485 BLEND_SIMPLE darken_16,   minuw,  1
486 BLEND_SIMPLE lighten_16,  maxuw,  1
487 BLEND_SIMPLE or_16,       or,     1
488 BLEND_SIMPLE subtract_16, subusw, 1
489 BLEND_SIMPLE xor_16,      xor,    1
490 GRAINEXTRACT grainextract_16, w, d, 1
491 AVERAGE      average_16,  w,      1
492 GRAINMERGE   grainmerge_16, w, d, 1
493 PHOENIX      phoenix_16,       w, 1
494 DIFFERENCE   difference_16, w, d, 1
495 EXTREMITY    extremity_16, w, d, 1
496 NEGATION     negation_16, w, d, 1
497 %endif
498 %endif