x86inc: Drop SECTION_TEXT macro
[ffmpeg.git] / libavresample / x86 / audio_convert.asm
index 9f8a13c..28f05a2 100644 (file)
 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 ;******************************************************************************
 
-%include "x86inc.asm"
-%include "x86util.asm"
+%include "libavutil/x86/x86util.asm"
 %include "util.asm"
 
 SECTION_RODATA 32
 
 pf_s32_inv_scale: times 8 dd 0x30000000
 pf_s32_scale:     times 8 dd 0x4f000000
+pf_s32_clip:      times 8 dd 0x4effffff
 pf_s16_inv_scale: times 4 dd 0x38000000
 pf_s16_scale:     times 4 dd 0x47000000
 pb_shuf_unpack_even:      db -1, -1,  0,  1, -1, -1,  2,  3, -1, -1,  8,  9, -1, -1, 10, 11
@@ -36,7 +36,7 @@ pb_interleave_words: SHUFFLE_MASK_W  0,  4,  1,  5,  2,  6,  3,  7
 pb_deinterleave_words: SHUFFLE_MASK_W  0,  2,  4,  6,  1,  3,  5,  7
 pw_zero_even:     times 4 dw 0x0000, 0xffff
 
-SECTION_TEXT
+SECTION .text
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16_to_s32(int32_t *dst, const int16_t *src, int len);
@@ -155,10 +155,8 @@ cglobal conv_s32_to_flt, 3,3,3, dst, src, len
 
 INIT_XMM sse2
 CONV_S32_TO_FLT
-%if HAVE_AVX
 INIT_YMM avx
 CONV_S32_TO_FLT
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_flt_to_s16(int16_t *dst, const float *src, int len);
@@ -197,17 +195,22 @@ cglobal conv_flt_to_s16, 3,3,5, dst, src, len
 ;------------------------------------------------------------------------------
 
 %macro CONV_FLT_TO_S32 0
-cglobal conv_flt_to_s32, 3,3,5, dst, src, len
+cglobal conv_flt_to_s32, 3,3,6, dst, src, len
     lea     lenq, [lend*4]
     add     srcq, lenq
     add     dstq, lenq
     neg     lenq
     mova      m4, [pf_s32_scale]
+    mova      m5, [pf_s32_clip]
 .loop:
     mulps     m0, m4, [srcq+lenq         ]
     mulps     m1, m4, [srcq+lenq+1*mmsize]
     mulps     m2, m4, [srcq+lenq+2*mmsize]
     mulps     m3, m4, [srcq+lenq+3*mmsize]
+    minps     m0, m0, m5
+    minps     m1, m1, m5
+    minps     m2, m2, m5
+    minps     m3, m3, m5
     cvtps2dq  m0, m0
     cvtps2dq  m1, m1
     cvtps2dq  m2, m2
@@ -223,10 +226,8 @@ cglobal conv_flt_to_s32, 3,3,5, dst, src, len
 
 INIT_XMM sse2
 CONV_FLT_TO_S32
-%if HAVE_AVX
 INIT_YMM avx
 CONV_FLT_TO_S32
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16p_to_s16_2ch(int16_t *dst, int16_t *const *src, int len,
@@ -242,7 +243,7 @@ cglobal conv_s16p_to_s16_2ch, 3,4,5, dst, src0, len, src1
     add       src1q, lenq
     lea        dstq, [dstq+2*lenq]
     neg        lenq
-.loop
+.loop:
     mova         m0, [src0q+lenq       ]
     mova         m1, [src1q+lenq       ]
     mova         m2, [src0q+lenq+mmsize]
@@ -260,10 +261,8 @@ cglobal conv_s16p_to_s16_2ch, 3,4,5, dst, src0, len, src1
 
 INIT_XMM sse2
 CONV_S16P_TO_S16_2CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16P_TO_S16_2CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16p_to_s16_6ch(int16_t *dst, int16_t *const *src, int len,
@@ -383,10 +382,8 @@ INIT_XMM sse2
 CONV_S16P_TO_S16_6CH
 INIT_XMM sse2slow
 CONV_S16P_TO_S16_6CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16P_TO_S16_6CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16p_to_flt_2ch(float *dst, int16_t *const *src, int len,
@@ -432,10 +429,8 @@ cglobal conv_s16p_to_flt_2ch, 3,4,6, dst, src0, len, src1
 
 INIT_XMM sse2
 CONV_S16P_TO_FLT_2CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16P_TO_FLT_2CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16p_to_flt_6ch(float *dst, int16_t *const *src, int len,
@@ -536,10 +531,8 @@ INIT_XMM sse2
 CONV_S16P_TO_FLT_6CH
 INIT_XMM ssse3
 CONV_S16P_TO_FLT_6CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16P_TO_FLT_6CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_fltp_to_s16_2ch(int16_t *dst, float *const *src, int len,
@@ -692,10 +685,8 @@ INIT_MMX sse
 CONV_FLTP_TO_S16_6CH
 INIT_XMM sse2
 CONV_FLTP_TO_S16_6CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_FLTP_TO_S16_6CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_fltp_to_flt_2ch(float *dst, float *const *src, int len,
@@ -711,7 +702,7 @@ cglobal conv_fltp_to_flt_2ch, 3,4,5, dst, src0, len, src1
     add  src1q, lenq
     lea   dstq, [dstq+2*lenq]
     neg   lenq
-.loop
+.loop:
     mova    m0, [src0q+lenq       ]
     mova    m1, [src1q+lenq       ]
     mova    m2, [src0q+lenq+mmsize]
@@ -729,10 +720,8 @@ cglobal conv_fltp_to_flt_2ch, 3,4,5, dst, src0, len, src1
 
 INIT_XMM sse
 CONV_FLTP_TO_FLT_2CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_FLTP_TO_FLT_2CH
-%endif
 
 ;-----------------------------------------------------------------------------
 ; void ff_conv_fltp_to_flt_6ch(float *dst, float *const *src, int len,
@@ -810,10 +799,8 @@ INIT_MMX mmx
 CONV_FLTP_TO_FLT_6CH
 INIT_XMM sse4
 CONV_FLTP_TO_FLT_6CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_FLTP_TO_FLT_6CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16_to_s16p_2ch(int16_t *const *dst, int16_t *src, int len,
@@ -859,10 +846,8 @@ INIT_XMM sse2
 CONV_S16_TO_S16P_2CH
 INIT_XMM ssse3
 CONV_S16_TO_S16P_2CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16_TO_S16P_2CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16_to_s16p_6ch(int16_t *const *dst, int16_t *src, int len,
@@ -914,16 +899,12 @@ cglobal conv_s16_to_s16p_6ch, 2,7,5, dst, src, dst1, dst2, dst3, dst4, dst5
     REP_RET
 %endmacro
 
-%define PALIGNR PALIGNR_MMX
 INIT_XMM sse2
 CONV_S16_TO_S16P_6CH
-%define PALIGNR PALIGNR_SSSE3
 INIT_XMM ssse3
 CONV_S16_TO_S16P_6CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16_TO_S16P_6CH
-%endif
 
 ;------------------------------------------------------------------------------
 ; void ff_conv_s16_to_fltp_2ch(float *const *dst, int16_t *src, int len,
@@ -958,7 +939,289 @@ cglobal conv_s16_to_fltp_2ch, 3,4,5, dst0, src, len, dst1
 
 INIT_XMM sse2
 CONV_S16_TO_FLTP_2CH
-%if HAVE_AVX
 INIT_XMM avx
 CONV_S16_TO_FLTP_2CH
+
+;------------------------------------------------------------------------------
+; void ff_conv_s16_to_fltp_6ch(float *const *dst, int16_t *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_S16_TO_FLTP_6CH 0
+%if ARCH_X86_64
+cglobal conv_s16_to_fltp_6ch, 3,8,7, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_s16_to_fltp_6ch, 2,7,7, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
 %endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+    mova       m6, [pf_s16_inv_scale]
+.loop:
+    mova       m0, [srcq+0*mmsize]  ; m0 =  0,  1,  2,  3,  4,  5,  6,  7
+    mova       m3, [srcq+1*mmsize]  ; m3 =  8,  9, 10, 11, 12, 13, 14, 15
+    mova       m2, [srcq+2*mmsize]  ; m2 = 16, 17, 18, 19, 20, 21, 22, 23
+    PALIGNR    m1, m3, m0, 12, m4   ; m1 =  6,  7,  8,  9, 10, 11,  x,  x
+    shufps     m3, m2, q1032        ; m3 = 12, 13, 14, 15, 16, 17, 18, 19
+    psrldq     m2, 4                ; m2 = 18, 19, 20, 21, 22, 23,  x,  x
+    SBUTTERFLY2 wd, 0, 1, 4         ; m0 =  0,  6,  1,  7,  2,  8,  3,  9
+                                    ; m1 =  4, 10,  5, 11,  x,  x,  x,  x
+    SBUTTERFLY2 wd, 3, 2, 4         ; m3 = 12, 18, 13, 19, 14, 20, 15, 21
+                                    ; m2 = 16, 22, 17, 23,  x,  x,  x,  x
+    SBUTTERFLY2 dq, 0, 3, 4         ; m0 =  0,  6, 12, 18,  1,  7, 13, 19
+                                    ; m3 =  2,  8, 14, 20,  3,  9, 15, 21
+    punpckldq  m1, m2               ; m1 =  4, 10, 16, 22,  5, 11, 17, 23
+    S16_TO_S32_SX 0, 2              ; m0 =      0,      6,     12,     18
+                                    ; m2 =      1,      7,     13,     19
+    S16_TO_S32_SX 3, 4              ; m3 =      2,      8,     14,     20
+                                    ; m4 =      3,      9,     15,     21
+    S16_TO_S32_SX 1, 5              ; m1 =      4,     10,     16,     22
+                                    ; m5 =      5,     11,     17,     23
+    SWAP 1,2,3,4
+    cvtdq2ps   m0, m0
+    cvtdq2ps   m1, m1
+    cvtdq2ps   m2, m2
+    cvtdq2ps   m3, m3
+    cvtdq2ps   m4, m4
+    cvtdq2ps   m5, m5
+    mulps      m0, m6
+    mulps      m1, m6
+    mulps      m2, m6
+    mulps      m3, m6
+    mulps      m4, m6
+    mulps      m5, m6
+    mova  [dstq      ], m0
+    mova  [dstq+dst1q], m1
+    mova  [dstq+dst2q], m2
+    mova  [dstq+dst3q], m3
+    mova  [dstq+dst4q], m4
+    mova  [dstq+dst5q], m5
+    add      srcq, mmsize*3
+    add      dstq, mmsize
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_S16_TO_FLTP_6CH
+INIT_XMM ssse3
+CONV_S16_TO_FLTP_6CH
+INIT_XMM sse4
+CONV_S16_TO_FLTP_6CH
+INIT_XMM avx
+CONV_S16_TO_FLTP_6CH
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_s16p_2ch(int16_t *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_S16P_2CH 0
+cglobal conv_flt_to_s16p_2ch, 3,4,6, dst0, src, len, dst1
+    lea       lenq, [2*lend]
+    mov      dst1q, [dst0q+gprsize]
+    mov      dst0q, [dst0q        ]
+    lea       srcq, [srcq+4*lenq]
+    add      dst0q, lenq
+    add      dst1q, lenq
+    neg       lenq
+    mova        m5, [pf_s16_scale]
+.loop:
+    mova       m0, [srcq+4*lenq         ]
+    mova       m1, [srcq+4*lenq+  mmsize]
+    mova       m2, [srcq+4*lenq+2*mmsize]
+    mova       m3, [srcq+4*lenq+3*mmsize]
+    DEINT2_PS   0, 1, 4
+    DEINT2_PS   2, 3, 4
+    mulps      m0, m0, m5
+    mulps      m1, m1, m5
+    mulps      m2, m2, m5
+    mulps      m3, m3, m5
+    cvtps2dq   m0, m0
+    cvtps2dq   m1, m1
+    cvtps2dq   m2, m2
+    cvtps2dq   m3, m3
+    packssdw   m0, m2
+    packssdw   m1, m3
+    mova  [dst0q+lenq], m0
+    mova  [dst1q+lenq], m1
+    add      lenq, mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_FLT_TO_S16P_2CH
+INIT_XMM avx
+CONV_FLT_TO_S16P_2CH
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_s16p_6ch(int16_t *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_S16P_6CH 0
+%if ARCH_X86_64
+cglobal conv_flt_to_s16p_6ch, 3,8,7, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_flt_to_s16p_6ch, 2,7,7, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
+%endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+    mova       m6, [pf_s16_scale]
+.loop:
+    mulps      m0, m6, [srcq+0*mmsize]
+    mulps      m3, m6, [srcq+1*mmsize]
+    mulps      m1, m6, [srcq+2*mmsize]
+    mulps      m4, m6, [srcq+3*mmsize]
+    mulps      m2, m6, [srcq+4*mmsize]
+    mulps      m5, m6, [srcq+5*mmsize]
+    cvtps2dq   m0, m0
+    cvtps2dq   m1, m1
+    cvtps2dq   m2, m2
+    cvtps2dq   m3, m3
+    cvtps2dq   m4, m4
+    cvtps2dq   m5, m5
+    packssdw   m0, m3               ; m0 =  0,  1,  2,  3,  4,  5,  6,  7
+    packssdw   m1, m4               ; m1 =  8,  9, 10, 11, 12, 13, 14, 15
+    packssdw   m2, m5               ; m2 = 16, 17, 18, 19, 20, 21, 22, 23
+    PALIGNR    m3, m1, m0, 12, m4   ; m3 =  6,  7,  8,  9, 10, 11,  x,  x
+    shufps     m1, m2, q1032        ; m1 = 12, 13, 14, 15, 16, 17, 18, 19
+    psrldq     m2, 4                ; m2 = 18, 19, 20, 21, 22, 23,  x,  x
+    SBUTTERFLY2 wd, 0, 3, 4         ; m0 =  0,  6,  1,  7,  2,  8,  3,  9
+                                    ; m3 =  4, 10,  5, 11,  x,  x,  x,  x
+    SBUTTERFLY2 wd, 1, 2, 4         ; m1 = 12, 18, 13, 19, 14, 20, 15, 21
+                                    ; m2 = 16, 22, 17, 23,  x,  x,  x,  x
+    SBUTTERFLY2 dq, 0, 1, 4         ; m0 =  0,  6, 12, 18,  1,  7, 13, 19
+                                    ; m1 =  2,  8, 14, 20,  3,  9, 15, 21
+    punpckldq  m3, m2               ; m3 =  4, 10, 16, 22,  5, 11, 17, 23
+    movq    [dstq      ], m0
+    movhps  [dstq+dst1q], m0
+    movq    [dstq+dst2q], m1
+    movhps  [dstq+dst3q], m1
+    movq    [dstq+dst4q], m3
+    movhps  [dstq+dst5q], m3
+    add      srcq, mmsize*6
+    add      dstq, mmsize/2
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_FLT_TO_S16P_6CH
+INIT_XMM ssse3
+CONV_FLT_TO_S16P_6CH
+INIT_XMM avx
+CONV_FLT_TO_S16P_6CH
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_fltp_2ch(float *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_FLTP_2CH 0
+cglobal conv_flt_to_fltp_2ch, 3,4,3, dst0, src, len, dst1
+    lea    lenq, [4*lend]
+    mov   dst1q, [dst0q+gprsize]
+    mov   dst0q, [dst0q        ]
+    lea    srcq, [srcq+2*lenq]
+    add   dst0q, lenq
+    add   dst1q, lenq
+    neg    lenq
+.loop:
+    mova     m0, [srcq+2*lenq       ]
+    mova     m1, [srcq+2*lenq+mmsize]
+    DEINT2_PS 0, 1, 2
+    mova  [dst0q+lenq], m0
+    mova  [dst1q+lenq], m1
+    add    lenq, mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse
+CONV_FLT_TO_FLTP_2CH
+INIT_XMM avx
+CONV_FLT_TO_FLTP_2CH
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_fltp_6ch(float *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_FLTP_6CH 0
+%if ARCH_X86_64
+cglobal conv_flt_to_fltp_6ch, 3,8,7, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_flt_to_fltp_6ch, 2,7,7, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
+%endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+.loop:
+    mova       m0, [srcq+0*mmsize]  ; m0 =  0,  1,  2,  3
+    mova       m1, [srcq+1*mmsize]  ; m1 =  4,  5,  6,  7
+    mova       m2, [srcq+2*mmsize]  ; m2 =  8,  9, 10, 11
+    mova       m3, [srcq+3*mmsize]  ; m3 = 12, 13, 14, 15
+    mova       m4, [srcq+4*mmsize]  ; m4 = 16, 17, 18, 19
+    mova       m5, [srcq+5*mmsize]  ; m5 = 20, 21, 22, 23
+
+    SBUTTERFLY2 dq, 0, 3, 6         ; m0 =  0, 12,  1, 13
+                                    ; m3 =  2, 14,  3, 15
+    SBUTTERFLY2 dq, 1, 4, 6         ; m1 =  4, 16,  5, 17
+                                    ; m4 =  6, 18,  7, 19
+    SBUTTERFLY2 dq, 2, 5, 6         ; m2 =  8, 20,  9, 21
+                                    ; m5 = 10, 22, 11, 23
+    SBUTTERFLY2 dq, 0, 4, 6         ; m0 =  0,  6, 12, 18
+                                    ; m4 =  1,  7, 13, 19
+    SBUTTERFLY2 dq, 3, 2, 6         ; m3 =  2,  8, 14, 20
+                                    ; m2 =  3,  9, 15, 21
+    SBUTTERFLY2 dq, 1, 5, 6         ; m1 =  4, 10, 16, 22
+                                    ; m5 =  5, 11, 17, 23
+    mova [dstq      ], m0
+    mova [dstq+dst1q], m4
+    mova [dstq+dst2q], m3
+    mova [dstq+dst3q], m2
+    mova [dstq+dst4q], m1
+    mova [dstq+dst5q], m5
+    add      srcq, mmsize*6
+    add      dstq, mmsize
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_FLT_TO_FLTP_6CH
+INIT_XMM avx
+CONV_FLT_TO_FLTP_6CH