Merge remote-tracking branch 'qatar/master'
[ffmpeg.git] / libavfilter / audio.c
1 /*
2  * Copyright (c) Stefano Sabatini | stefasab at gmail.com
3  * Copyright (c) S.N. Hemanth Meenakshisundaram | smeenaks at ucsd.edu
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/avassert.h"
23 #include "libavutil/audioconvert.h"
24
25 #include "audio.h"
26 #include "avfilter.h"
27 #include "internal.h"
28
29 AVFilterBufferRef *ff_null_get_audio_buffer(AVFilterLink *link, int perms,
30                                             int nb_samples)
31 {
32     return ff_get_audio_buffer(link->dst->outputs[0], perms, nb_samples);
33 }
34
35 AVFilterBufferRef *ff_default_get_audio_buffer(AVFilterLink *link, int perms,
36                                                      int nb_samples)
37 {
38     AVFilterBufferRef *samplesref = NULL;
39     int linesize[8] = {0};
40     uint8_t *data[8] = {0};
41     int ch, nb_channels = av_get_channel_layout_nb_channels(link->channel_layout);
42
43     /* right now we don't support more than 8 channels */
44     av_assert0(nb_channels <= 8);
45
46     /* Calculate total buffer size, round to multiple of 16 to be SIMD friendly */
47     if (av_samples_alloc(data, linesize,
48                          nb_channels, nb_samples,
49                          av_get_alt_sample_fmt(link->format, link->planar),
50                          16) < 0)
51         return NULL;
52
53     for (ch = 1; link->planar && ch < nb_channels; ch++)
54         linesize[ch] = linesize[0];
55     samplesref =
56         avfilter_get_audio_buffer_ref_from_arrays(data, linesize, perms,
57                                                   nb_samples, link->format,
58                                                   link->channel_layout, link->planar);
59     if (!samplesref) {
60         av_free(data[0]);
61         return NULL;
62     }
63
64     return samplesref;
65 }
66
67 static AVFilterBufferRef *ff_default_get_audio_buffer_alt(AVFilterLink *link, int perms,
68                                                int nb_samples)
69 {
70     AVFilterBufferRef *samplesref = NULL;
71     uint8_t **data;
72     int planar      = av_sample_fmt_is_planar(link->format);
73     int nb_channels = av_get_channel_layout_nb_channels(link->channel_layout);
74     int planes      = planar ? nb_channels : 1;
75     int linesize;
76
77     if (!(data = av_mallocz(sizeof(*data) * planes)))
78         goto fail;
79
80     if (av_samples_alloc(data, &linesize, nb_channels, nb_samples, link->format, 0) < 0)
81         goto fail;
82
83     samplesref = avfilter_get_audio_buffer_ref_from_arrays_alt(data, linesize, perms,
84                                                            nb_samples, link->format,
85                                                            link->channel_layout);
86     if (!samplesref)
87         goto fail;
88
89     av_freep(&data);
90
91 fail:
92     if (data)
93         av_freep(&data[0]);
94     av_freep(&data);
95     return samplesref;
96 }
97
98 AVFilterBufferRef *ff_get_audio_buffer(AVFilterLink *link, int perms,
99                                        int nb_samples)
100 {
101     AVFilterBufferRef *ret = NULL;
102
103     if (link->dstpad->get_audio_buffer)
104         ret = link->dstpad->get_audio_buffer(link, perms, nb_samples);
105
106     if (!ret)
107         ret = ff_default_get_audio_buffer(link, perms, nb_samples);
108
109     if (ret)
110         ret->type = AVMEDIA_TYPE_AUDIO;
111
112     return ret;
113 }
114
115 AVFilterBufferRef *
116 avfilter_get_audio_buffer_ref_from_arrays(uint8_t *data[8], int linesize[8], int perms,
117                                           int nb_samples, enum AVSampleFormat sample_fmt,
118                                           uint64_t channel_layout, int planar)
119 {
120     AVFilterBuffer *samples = av_mallocz(sizeof(AVFilterBuffer));
121     AVFilterBufferRef *samplesref = av_mallocz(sizeof(AVFilterBufferRef));
122
123     if (!samples || !samplesref)
124         goto fail;
125
126     samplesref->buf = samples;
127     samplesref->buf->free = ff_avfilter_default_free_buffer;
128     if (!(samplesref->audio = av_mallocz(sizeof(AVFilterBufferRefAudioProps))))
129         goto fail;
130
131     samplesref->audio->nb_samples     = nb_samples;
132     samplesref->audio->channel_layout = channel_layout;
133     samplesref->audio->planar         = planar;
134
135     /* make sure the buffer gets read permission or it's useless for output */
136     samplesref->perms = perms | AV_PERM_READ;
137
138     samples->refcount = 1;
139     samplesref->type = AVMEDIA_TYPE_AUDIO;
140     samplesref->format = sample_fmt;
141
142     memcpy(samples->data,        data,     sizeof(samples->data));
143     memcpy(samples->linesize,    linesize, sizeof(samples->linesize));
144     memcpy(samplesref->data,     data,     sizeof(samplesref->data));
145     memcpy(samplesref->linesize, linesize, sizeof(samplesref->linesize));
146
147     return samplesref;
148
149 fail:
150     if (samplesref && samplesref->audio)
151         av_freep(&samplesref->audio);
152     av_freep(&samplesref);
153     av_freep(&samples);
154     return NULL;
155 }
156
157 AVFilterBufferRef* avfilter_get_audio_buffer_ref_from_arrays_alt(uint8_t **data,
158                                                              int linesize,int perms,
159                                                              int nb_samples,
160                                                              enum AVSampleFormat sample_fmt,
161                                                              uint64_t channel_layout)
162 {
163     int planes;
164     AVFilterBuffer    *samples    = av_mallocz(sizeof(*samples));
165     AVFilterBufferRef *samplesref = av_mallocz(sizeof(*samplesref));
166
167     if (!samples || !samplesref)
168         goto fail;
169
170     samplesref->buf         = samples;
171     samplesref->buf->free   = ff_avfilter_default_free_buffer;
172     if (!(samplesref->audio = av_mallocz(sizeof(*samplesref->audio))))
173         goto fail;
174
175     samplesref->audio->nb_samples     = nb_samples;
176     samplesref->audio->channel_layout = channel_layout;
177     samplesref->audio->planar         = av_sample_fmt_is_planar(sample_fmt);
178
179     planes = samplesref->audio->planar ? av_get_channel_layout_nb_channels(channel_layout) : 1;
180
181     /* make sure the buffer gets read permission or it's useless for output */
182     samplesref->perms = perms | AV_PERM_READ;
183
184     samples->refcount  = 1;
185     samplesref->type   = AVMEDIA_TYPE_AUDIO;
186     samplesref->format = sample_fmt;
187
188     memcpy(samples->data, data,
189            FFMIN(FF_ARRAY_ELEMS(samples->data), planes)*sizeof(samples->data[0]));
190     memcpy(samplesref->data, samples->data, sizeof(samples->data));
191
192     samples->linesize[0] = samplesref->linesize[0] = linesize;
193
194     if (planes > FF_ARRAY_ELEMS(samples->data)) {
195         samples->   extended_data = av_mallocz(sizeof(*samples->extended_data) *
196                                                planes);
197         samplesref->extended_data = av_mallocz(sizeof(*samplesref->extended_data) *
198                                                planes);
199
200         if (!samples->extended_data || !samplesref->extended_data)
201             goto fail;
202
203         memcpy(samples->   extended_data, data, sizeof(*data)*planes);
204         memcpy(samplesref->extended_data, data, sizeof(*data)*planes);
205     } else {
206         samples->extended_data    = samples->data;
207         samplesref->extended_data = samplesref->data;
208     }
209
210     return samplesref;
211
212 fail:
213     if (samples && samples->extended_data != samples->data)
214         av_freep(&samples->extended_data);
215     if (samplesref) {
216         av_freep(&samplesref->audio);
217         if (samplesref->extended_data != samplesref->data)
218             av_freep(&samplesref->extended_data);
219     }
220     av_freep(&samplesref);
221     av_freep(&samples);
222     return NULL;
223 }
224
225 void ff_null_filter_samples(AVFilterLink *link, AVFilterBufferRef *samplesref)
226 {
227     ff_filter_samples(link->dst->outputs[0], samplesref);
228 }
229
230 /* FIXME: samplesref is same as link->cur_buf. Need to consider removing the redundant parameter. */
231 void ff_default_filter_samples(AVFilterLink *inlink, AVFilterBufferRef *samplesref)
232 {
233     AVFilterLink *outlink = NULL;
234
235     if (inlink->dst->output_count)
236         outlink = inlink->dst->outputs[0];
237
238     if (outlink) {
239         outlink->out_buf = ff_default_get_audio_buffer(inlink, AV_PERM_WRITE,
240                                                        samplesref->audio->nb_samples);
241         outlink->out_buf->pts                = samplesref->pts;
242         outlink->out_buf->audio->sample_rate = samplesref->audio->sample_rate;
243         ff_filter_samples(outlink, avfilter_ref_buffer(outlink->out_buf, ~0));
244         avfilter_unref_buffer(outlink->out_buf);
245         outlink->out_buf = NULL;
246     }
247     avfilter_unref_buffer(samplesref);
248     inlink->cur_buf = NULL;
249 }
250
251 void ff_filter_samples(AVFilterLink *link, AVFilterBufferRef *samplesref)
252 {
253     void (*filter_samples)(AVFilterLink *, AVFilterBufferRef *);
254     AVFilterPad *dst = link->dstpad;
255     int64_t pts;
256
257     FF_DPRINTF_START(NULL, filter_samples); ff_dlog_link(NULL, link, 1);
258
259     if (!(filter_samples = dst->filter_samples))
260         filter_samples = ff_default_filter_samples;
261
262     /* prepare to copy the samples if the buffer has insufficient permissions */
263     if ((dst->min_perms & samplesref->perms) != dst->min_perms ||
264         dst->rej_perms & samplesref->perms) {
265         int  i, planar = av_sample_fmt_is_planar(samplesref->format);
266         int planes = !planar ? 1:
267                      av_get_channel_layout_nb_channels(samplesref->audio->channel_layout);
268
269         av_log(link->dst, AV_LOG_DEBUG,
270                "Copying audio data in avfilter (have perms %x, need %x, reject %x)\n",
271                samplesref->perms, link->dstpad->min_perms, link->dstpad->rej_perms);
272
273         link->cur_buf = ff_default_get_audio_buffer(link, dst->min_perms,
274                                                     samplesref->audio->nb_samples);
275         link->cur_buf->pts                = samplesref->pts;
276         link->cur_buf->audio->sample_rate = samplesref->audio->sample_rate;
277
278         /* Copy actual data into new samples buffer */
279         for (i = 0; samplesref->data[i] && i < 8; i++)
280             memcpy(link->cur_buf->data[i], samplesref->data[i], samplesref->linesize[0]);
281         for (i = 0; i < planes; i++)
282             memcpy(link->cur_buf->extended_data[i], samplesref->extended_data[i], samplesref->linesize[0]);
283
284         avfilter_unref_buffer(samplesref);
285     } else
286         link->cur_buf = samplesref;
287
288     pts = link->cur_buf->pts;
289     filter_samples(link, link->cur_buf);
290     ff_update_link_current_pts(link, pts);
291 }