swr/x86: 16bit integer mix functions need SSE2 not SSE
[ffmpeg.git] / libswresample / x86 / swresample_x86.c
1 /*
2  * Copyright (C) 2012 Michael Niedermayer (michaelni@gmx.at)
3  *
4  * This file is part of libswresample
5  *
6  * libswresample is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * libswresample is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with libswresample; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libswresample/swresample_internal.h"
22 #include "libswresample/audioconvert.h"
23
24 #define PROTO(pre, in, out, cap) void ff ## pre ## _ ##in## _to_ ##out## _a_ ##cap(uint8_t **dst, const uint8_t **src, int len);
25 #define PROTO2(pre, out, cap) PROTO(pre, int16, out, cap) PROTO(pre, int32, out, cap) PROTO(pre, float, out, cap)
26 #define PROTO3(pre, cap) PROTO2(pre, int16, cap) PROTO2(pre, int32, cap) PROTO2(pre, float, cap)
27 #define PROTO4(pre) PROTO3(pre, mmx) PROTO3(pre, sse) PROTO3(pre, sse2) PROTO3(pre, ssse3) PROTO3(pre, sse4) PROTO3(pre, avx)
28 PROTO4()
29 PROTO4(_pack_2ch)
30 PROTO4(_pack_6ch)
31 PROTO4(_unpack_2ch)
32
33 void swri_audio_convert_init_x86(struct AudioConvert *ac,
34                                  enum AVSampleFormat out_fmt,
35                                  enum AVSampleFormat in_fmt,
36                                  int channels){
37     int mm_flags = av_get_cpu_flags();
38
39     ac->simd_f= NULL;
40
41 //FIXME add memcpy case
42
43 #define MULTI_CAPS_FUNC(flag, cap) \
44     if (mm_flags & flag) {\
45         if(   out_fmt == AV_SAMPLE_FMT_S32  && in_fmt == AV_SAMPLE_FMT_S16 || out_fmt == AV_SAMPLE_FMT_S32P && in_fmt == AV_SAMPLE_FMT_S16P)\
46             ac->simd_f =  ff_int16_to_int32_a_ ## cap;\
47         if(   out_fmt == AV_SAMPLE_FMT_S16  && in_fmt == AV_SAMPLE_FMT_S32 || out_fmt == AV_SAMPLE_FMT_S16P && in_fmt == AV_SAMPLE_FMT_S32P)\
48             ac->simd_f =  ff_int32_to_int16_a_ ## cap;\
49     }
50
51 MULTI_CAPS_FUNC(AV_CPU_FLAG_MMX, mmx)
52 MULTI_CAPS_FUNC(AV_CPU_FLAG_SSE2, sse2)
53
54     if(mm_flags & AV_CPU_FLAG_MMX) {
55         if(channels == 6) {
56             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_FLTP || out_fmt == AV_SAMPLE_FMT_S32 && in_fmt == AV_SAMPLE_FMT_S32P)
57                 ac->simd_f =  ff_pack_6ch_float_to_float_a_mmx;
58         }
59     }
60
61     if(mm_flags & AV_CPU_FLAG_SSE2) {
62         if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S32 || out_fmt == AV_SAMPLE_FMT_FLTP && in_fmt == AV_SAMPLE_FMT_S32P)
63             ac->simd_f =  ff_int32_to_float_a_sse2;
64         if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S16 || out_fmt == AV_SAMPLE_FMT_FLTP && in_fmt == AV_SAMPLE_FMT_S16P)
65             ac->simd_f =  ff_int16_to_float_a_sse2;
66         if(   out_fmt == AV_SAMPLE_FMT_S32  && in_fmt == AV_SAMPLE_FMT_FLT || out_fmt == AV_SAMPLE_FMT_S32P && in_fmt == AV_SAMPLE_FMT_FLTP)
67             ac->simd_f =  ff_float_to_int32_a_sse2;
68         if(   out_fmt == AV_SAMPLE_FMT_S16  && in_fmt == AV_SAMPLE_FMT_FLT || out_fmt == AV_SAMPLE_FMT_S16P && in_fmt == AV_SAMPLE_FMT_FLTP)
69             ac->simd_f =  ff_float_to_int16_a_sse2;
70
71         if(channels == 2) {
72             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_FLTP || out_fmt == AV_SAMPLE_FMT_S32 && in_fmt == AV_SAMPLE_FMT_S32P)
73                 ac->simd_f =  ff_pack_2ch_int32_to_int32_a_sse2;
74             if(   out_fmt == AV_SAMPLE_FMT_S16  && in_fmt == AV_SAMPLE_FMT_S16P)
75                 ac->simd_f =  ff_pack_2ch_int16_to_int16_a_sse2;
76             if(   out_fmt == AV_SAMPLE_FMT_S32  && in_fmt == AV_SAMPLE_FMT_S16P)
77                 ac->simd_f =  ff_pack_2ch_int16_to_int32_a_sse2;
78             if(   out_fmt == AV_SAMPLE_FMT_S16  && in_fmt == AV_SAMPLE_FMT_S32P)
79                 ac->simd_f =  ff_pack_2ch_int32_to_int16_a_sse2;
80
81             if(   out_fmt == AV_SAMPLE_FMT_FLTP  && in_fmt == AV_SAMPLE_FMT_FLT || out_fmt == AV_SAMPLE_FMT_S32P && in_fmt == AV_SAMPLE_FMT_S32)
82                 ac->simd_f =  ff_unpack_2ch_int32_to_int32_a_sse2;
83             if(   out_fmt == AV_SAMPLE_FMT_S16P  && in_fmt == AV_SAMPLE_FMT_S16)
84                 ac->simd_f =  ff_unpack_2ch_int16_to_int16_a_sse2;
85             if(   out_fmt == AV_SAMPLE_FMT_S32P  && in_fmt == AV_SAMPLE_FMT_S16)
86                 ac->simd_f =  ff_unpack_2ch_int16_to_int32_a_sse2;
87             if(   out_fmt == AV_SAMPLE_FMT_S16P  && in_fmt == AV_SAMPLE_FMT_S32)
88                 ac->simd_f =  ff_unpack_2ch_int32_to_int16_a_sse2;
89
90             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S32P)
91                 ac->simd_f =  ff_pack_2ch_int32_to_float_a_sse2;
92             if(   out_fmt == AV_SAMPLE_FMT_S32  && in_fmt == AV_SAMPLE_FMT_FLTP)
93                 ac->simd_f =  ff_pack_2ch_float_to_int32_a_sse2;
94             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S16P)
95                 ac->simd_f =  ff_pack_2ch_int16_to_float_a_sse2;
96             if(   out_fmt == AV_SAMPLE_FMT_S16  && in_fmt == AV_SAMPLE_FMT_FLTP)
97                 ac->simd_f =  ff_pack_2ch_float_to_int16_a_sse2;
98             if(   out_fmt == AV_SAMPLE_FMT_FLTP  && in_fmt == AV_SAMPLE_FMT_S32)
99                 ac->simd_f =  ff_unpack_2ch_int32_to_float_a_sse2;
100             if(   out_fmt == AV_SAMPLE_FMT_S32P  && in_fmt == AV_SAMPLE_FMT_FLT)
101                 ac->simd_f =  ff_unpack_2ch_float_to_int32_a_sse2;
102             if(   out_fmt == AV_SAMPLE_FMT_FLTP  && in_fmt == AV_SAMPLE_FMT_S16)
103                 ac->simd_f =  ff_unpack_2ch_int16_to_float_a_sse2;
104             if(   out_fmt == AV_SAMPLE_FMT_S16P  && in_fmt == AV_SAMPLE_FMT_FLT)
105                 ac->simd_f =  ff_unpack_2ch_float_to_int16_a_sse2;
106         }
107     }
108     if(mm_flags & AV_CPU_FLAG_SSSE3) {
109         if(channels == 2) {
110             if(   out_fmt == AV_SAMPLE_FMT_S16P  && in_fmt == AV_SAMPLE_FMT_S16)
111                 ac->simd_f =  ff_unpack_2ch_int16_to_int16_a_ssse3;
112             if(   out_fmt == AV_SAMPLE_FMT_S32P  && in_fmt == AV_SAMPLE_FMT_S16)
113                 ac->simd_f =  ff_unpack_2ch_int16_to_int32_a_ssse3;
114             if(   out_fmt == AV_SAMPLE_FMT_FLTP  && in_fmt == AV_SAMPLE_FMT_S16)
115                 ac->simd_f =  ff_unpack_2ch_int16_to_float_a_ssse3;
116         }
117     }
118     if(mm_flags & AV_CPU_FLAG_SSE4) {
119         if(channels == 6) {
120             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_FLTP || out_fmt == AV_SAMPLE_FMT_S32 && in_fmt == AV_SAMPLE_FMT_S32P)
121                 ac->simd_f =  ff_pack_6ch_float_to_float_a_sse4;
122             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S32P)
123                 ac->simd_f =  ff_pack_6ch_int32_to_float_a_sse4;
124             if(   out_fmt == AV_SAMPLE_FMT_S32  && in_fmt == AV_SAMPLE_FMT_FLTP)
125                 ac->simd_f =  ff_pack_6ch_float_to_int32_a_sse4;
126         }
127     }
128     if(HAVE_AVX && mm_flags & AV_CPU_FLAG_AVX) {
129         if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S32 || out_fmt == AV_SAMPLE_FMT_FLTP && in_fmt == AV_SAMPLE_FMT_S32P)
130             ac->simd_f =  ff_int32_to_float_a_avx;
131         if(channels == 6) {
132             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_FLTP || out_fmt == AV_SAMPLE_FMT_S32 && in_fmt == AV_SAMPLE_FMT_S32P)
133                 ac->simd_f =  ff_pack_6ch_float_to_float_a_avx;
134             if(   out_fmt == AV_SAMPLE_FMT_FLT  && in_fmt == AV_SAMPLE_FMT_S32P)
135                 ac->simd_f =  ff_pack_6ch_int32_to_float_a_avx;
136             if(   out_fmt == AV_SAMPLE_FMT_S32  && in_fmt == AV_SAMPLE_FMT_FLTP)
137                 ac->simd_f =  ff_pack_6ch_float_to_int32_a_avx;
138         }
139     }
140 }
141
142 #define D(type, simd) \
143 mix_1_1_func_type ff_mix_1_1_a_## type ## _ ## simd;\
144 mix_2_1_func_type ff_mix_2_1_a_## type ## _ ## simd;
145
146 D(float, sse)
147 D(float, avx)
148 D(int16, mmx)
149 D(int16, sse2)
150
151
152 void swri_rematrix_init_x86(struct SwrContext *s){
153     int mm_flags = av_get_cpu_flags();
154     int nb_in  = av_get_channel_layout_nb_channels(s->in_ch_layout);
155     int nb_out = av_get_channel_layout_nb_channels(s->out_ch_layout);
156     int num    = nb_in * nb_out;
157     int i,j;
158
159     s->mix_1_1_simd = NULL;
160     s->mix_2_1_simd = NULL;
161
162     if (s->midbuf.fmt == AV_SAMPLE_FMT_S16P){
163         if(mm_flags & AV_CPU_FLAG_MMX) {
164             s->mix_1_1_simd = ff_mix_1_1_a_int16_mmx;
165             s->mix_2_1_simd = ff_mix_2_1_a_int16_mmx;
166         }
167         if(mm_flags & AV_CPU_FLAG_SSE2) {
168             s->mix_1_1_simd = ff_mix_1_1_a_int16_sse2;
169             s->mix_2_1_simd = ff_mix_2_1_a_int16_sse2;
170         }
171         s->native_simd_matrix = av_mallocz(2 * num * sizeof(int16_t));
172         for(i=0; i<nb_out; i++){
173             int sh = 0;
174             for(j=0; j<nb_in; j++)
175                 sh = FFMAX(sh, FFABS(((int*)s->native_matrix)[i * nb_in + j]));
176             sh = FFMAX(av_log2(sh) - 14, 0);
177             for(j=0; j<nb_in; j++) {
178                 ((int16_t*)s->native_simd_matrix)[2*(i * nb_in + j)+1] = 15 - sh;
179                 ((int16_t*)s->native_simd_matrix)[2*(i * nb_in + j)] =
180                     ((((int*)s->native_matrix)[i * nb_in + j]) + (1<<sh>>1)) >> sh;
181             }
182         }
183     } else if(s->midbuf.fmt == AV_SAMPLE_FMT_FLTP){
184         if(mm_flags & AV_CPU_FLAG_SSE) {
185             s->mix_1_1_simd = ff_mix_1_1_a_float_sse;
186             s->mix_2_1_simd = ff_mix_2_1_a_float_sse;
187         }
188         if(HAVE_AVX && mm_flags & AV_CPU_FLAG_AVX) {
189             s->mix_1_1_simd = ff_mix_1_1_a_float_avx;
190             s->mix_2_1_simd = ff_mix_2_1_a_float_avx;
191         }
192         s->native_simd_matrix = av_mallocz(num * sizeof(float));
193         memcpy(s->native_simd_matrix, s->native_matrix, num * sizeof(float));
194     }
195 }