audiounit: fix crash
[vlc.git] / modules / audio_output / audiounit_ios.c
1 /*****************************************************************************
2  * audiounit_ios.c: AudioUnit output plugin for iOS
3  *****************************************************************************
4  * Copyright (C) 2012 - 2013 VLC authors and VideoLAN
5  * $Id$
6  *
7  * Authors: Felix Paul K├╝hne <fkuehne at videolan dot org>
8  *
9  * This program is free software; you can redistribute it and/or modify it
10  * under the terms of the GNU Lesser General Public License as published by
11  * the Free Software Foundation; either version 2.1 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
17  * GNU Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public License
20  * along with this program; if not, write to the Free Software Foundation,
21  * Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
22  *****************************************************************************/
23
24 #pragma mark includes
25
26 #ifdef HAVE_CONFIG_H
27 # import "config.h"
28 #endif
29
30 #import <vlc_common.h>
31 #import <vlc_plugin.h>
32 #import <vlc_aout.h>
33
34 #import <AudioUnit/AudioUnit.h>
35 #import <CoreAudio/CoreAudioTypes.h>
36 #import <AudioToolbox/AudioToolbox.h>
37 #import <mach/mach_time.h>
38
39 #import "TPCircularBuffer.h"
40
41 #pragma mark -
42 #pragma mark private declarations
43
44 #define STREAM_FORMAT_MSG(pre, sfm) \
45     pre "[%f][%4.4s][%u][%u][%u][%u][%u][%u]", \
46     sfm.mSampleRate, (char *)&sfm.mFormatID, \
47     (unsigned int)sfm.mFormatFlags, (unsigned int)sfm.mBytesPerPacket, \
48     (unsigned int)sfm.mFramesPerPacket, (unsigned int)sfm.mBytesPerFrame, \
49     (unsigned int)sfm.mChannelsPerFrame, (unsigned int)sfm.mBitsPerChannel
50
51 #define AUDIO_BUFFER_SIZE_IN_SECONDS (AOUT_MAX_ADVANCE_TIME / CLOCK_FREQ)
52
53 /*****************************************************************************
54  * aout_sys_t: private audio output method descriptor
55  *****************************************************************************
56  * This structure is part of the audio output thread descriptor.
57  * It describes the CoreAudio specific properties of an output thread.
58  *****************************************************************************/
59 struct aout_sys_t
60 {
61     TPCircularBuffer            circular_buffer;    /* circular buffer to swap the audio data */
62
63     /* AUHAL specific */
64     AudioComponent              au_component;       /* The AudioComponent we use */
65     AudioUnit                   au_unit;            /* The AudioUnit we use */
66
67     int                         i_rate;             /* media sample rate */
68     int                         i_bytes_per_sample;
69
70     bool                        b_paused;
71
72     vlc_mutex_t                 lock;
73     vlc_cond_t                  cond;
74 };
75
76 #pragma mark -
77 #pragma mark local prototypes & module descriptor
78
79 static int      Open                    (vlc_object_t *);
80 static void     Close                   (vlc_object_t *);
81 static int      Start                   (audio_output_t *, audio_sample_format_t *);
82 static int      StartAnalog             (audio_output_t *, audio_sample_format_t *);
83 static void     Stop                    (audio_output_t *);
84
85 static void     Play                    (audio_output_t *, block_t *);
86 static void     Pause                   (audio_output_t *, bool, mtime_t);
87 static void     Flush                   (audio_output_t *, bool);
88 static int      TimeGet                 (audio_output_t *, mtime_t *);
89 static OSStatus RenderCallback    (vlc_object_t *, AudioUnitRenderActionFlags *, const AudioTimeStamp *,
90                                          UInt32 , UInt32, AudioBufferList *);
91 vlc_module_begin ()
92     set_shortname("audiounit_ios")
93     set_description(N_("AudioUnit output for iOS"))
94     set_capability("audio output", 101)
95     set_category(CAT_AUDIO)
96     set_subcategory(SUBCAT_AUDIO_AOUT)
97     set_callbacks(Open, Close)
98 vlc_module_end ()
99
100 #pragma mark -
101 #pragma mark initialization
102
103 static int Open(vlc_object_t *obj)
104 {
105     audio_output_t *aout = (audio_output_t *)obj;
106     aout_sys_t *sys = malloc(sizeof (*sys));
107
108     if (unlikely(sys == NULL))
109         return VLC_ENOMEM;
110
111     vlc_mutex_init(&sys->lock);
112     vlc_cond_init(&sys->cond);
113     sys->b_paused = false;
114
115     aout->sys = sys;
116     aout->start = Start;
117     aout->stop = Stop;
118
119     return VLC_SUCCESS;
120 }
121
122 static void Close(vlc_object_t *obj)
123 {
124     audio_output_t *aout = (audio_output_t *)obj;
125     aout_sys_t *sys = aout->sys;
126
127     vlc_mutex_destroy(&sys->lock);
128     vlc_cond_destroy(&sys->cond);
129
130     free(sys);
131 }
132
133 static int Start(audio_output_t *p_aout, audio_sample_format_t *restrict fmt)
134 {
135     struct aout_sys_t *p_sys = NULL;
136
137     p_sys = p_aout->sys;
138     p_sys->au_component = NULL;
139     p_sys->au_unit = NULL;
140     p_sys->i_bytes_per_sample = 0;
141
142     aout_FormatPrint(p_aout, "VLC is looking for:", fmt);
143
144     if (StartAnalog(p_aout, fmt)) {
145         msg_Dbg(p_aout, "analog AudioUnit output successfully opened");
146         p_aout->play = Play;
147         p_aout->flush = Flush;
148         p_aout->time_get = TimeGet;
149         p_aout->pause = Pause;
150         return VLC_SUCCESS;
151     }
152
153     /* If we reach this, this aout has failed */
154     msg_Err(p_aout, "opening AudioUnit output failed");
155     return VLC_EGENERIC;
156 }
157
158 /*
159  * StartAnalog: open and setup a HAL AudioUnit to do PCM audio output
160  */
161 static int StartAnalog(audio_output_t *p_aout, audio_sample_format_t *fmt)
162 {
163     struct aout_sys_t           *p_sys = p_aout->sys;
164     UInt32                      i_param_size = 0;
165     AudioComponentDescription   desc;
166     AURenderCallbackStruct      callback;
167     OSStatus status;
168
169     /* Lets go find our Component */
170     desc.componentType = kAudioUnitType_Output;
171     desc.componentSubType = kAudioUnitSubType_RemoteIO;
172     desc.componentManufacturer = kAudioUnitManufacturer_Apple;
173     desc.componentFlags = 0;
174     desc.componentFlagsMask = 0;
175
176     p_sys->au_component = AudioComponentFindNext(NULL, &desc);
177     if (p_sys->au_component == NULL) {
178         msg_Warn(p_aout, "we cannot find our audio component");
179         return false;
180     }
181
182     status = AudioComponentInstanceNew(p_sys->au_component, &p_sys->au_unit);
183     if (status != noErr) {
184         msg_Warn(p_aout, "we cannot open our audio component (%li)", status);
185         return false;
186     }
187
188     UInt32 flag = 1;
189     status = AudioUnitSetProperty(p_sys->au_unit,
190                                   kAudioOutputUnitProperty_EnableIO,
191                                   kAudioUnitScope_Output,
192                                   0,
193                                   &flag,
194                                   sizeof(flag));
195     if (status != noErr)
196         msg_Warn(p_aout, "failed to set IO mode (%li)", status);
197
198     /* Get the current format */
199     AudioStreamBasicDescription streamDescription;
200     streamDescription.mSampleRate = fmt->i_rate;
201     fmt->i_format = VLC_CODEC_FL32;
202     fmt->i_physical_channels = AOUT_CHANS_STEREO;
203     streamDescription.mFormatID = kAudioFormatLinearPCM;
204     streamDescription.mFormatFlags = kAudioFormatFlagsNativeFloatPacked; // FL32
205     streamDescription.mChannelsPerFrame = aout_FormatNbChannels(fmt);
206     streamDescription.mFramesPerPacket = 1;
207     streamDescription.mBitsPerChannel = 32;
208     streamDescription.mBytesPerFrame = streamDescription.mBitsPerChannel * streamDescription.mChannelsPerFrame / 8;
209     streamDescription.mBytesPerPacket = streamDescription.mBytesPerFrame * streamDescription.mFramesPerPacket;
210     i_param_size = sizeof(streamDescription);
211     p_sys->i_rate = fmt->i_rate;
212
213     /* Set the desired format */
214     i_param_size = sizeof(AudioStreamBasicDescription);
215     status = AudioUnitSetProperty(p_sys->au_unit,
216                                   kAudioUnitProperty_StreamFormat,
217                                   kAudioUnitScope_Input,
218                                   0,
219                                   &streamDescription,
220                                   i_param_size);
221     if (status != noErr) {
222         msg_Err(p_aout, "failed to set stream format (%li)", status);
223         return false;
224     }
225     msg_Dbg(p_aout, STREAM_FORMAT_MSG("we set the AU format: " , streamDescription));
226
227     /* Retrieve actual format */
228     status = AudioUnitGetProperty(p_sys->au_unit,
229                                   kAudioUnitProperty_StreamFormat,
230                                   kAudioUnitScope_Input,
231                                   0,
232                                   &streamDescription,
233                                   &i_param_size);
234     if (status != noErr)
235         msg_Warn(p_aout, "failed to verify stream format (%li)", status);
236     msg_Dbg(p_aout, STREAM_FORMAT_MSG("the actual set AU format is " , streamDescription));
237
238     /* Do the last VLC aout setups */
239     aout_FormatPrepare(fmt);
240
241     /* set the IOproc callback */
242     callback.inputProc = (AURenderCallback) RenderCallback;
243     callback.inputProcRefCon = p_aout;
244
245     status = AudioUnitSetProperty(p_sys->au_unit,
246                             kAudioUnitProperty_SetRenderCallback,
247                             kAudioUnitScope_Input,
248                             0, &callback, sizeof(callback));
249     if (status != noErr) {
250         msg_Err(p_aout, "render callback setup failed (%li)", status);
251         return false;
252     }
253
254     /* AU initiliaze */
255     status = AudioUnitInitialize(p_sys->au_unit);
256     if (status != noErr) {
257         msg_Err(p_aout, "failed to init AudioUnit (%li)", status);
258         return false;
259     }
260
261     status = AudioOutputUnitStart(p_sys->au_unit);
262     msg_Dbg(p_aout, "audio output unit started: %li", status);
263
264     /* start audio session so playback continues if mute switch is on */
265     AudioSessionInitialize (NULL,
266                             kCFRunLoopCommonModes,
267                             NULL,
268                             NULL);
269
270         /* Set audio session to mediaplayback */
271         UInt32 sessionCategory = kAudioSessionCategory_MediaPlayback;
272         AudioSessionSetProperty(kAudioSessionProperty_AudioCategory, sizeof(sessionCategory),&sessionCategory);
273         AudioSessionSetActive(true);
274
275     /* setup circular buffer */
276     TPCircularBufferInit(&p_sys->circular_buffer, AUDIO_BUFFER_SIZE_IN_SECONDS * fmt->i_rate * fmt->i_bytes_per_frame);
277
278     return true;
279 }
280
281 static void Stop(audio_output_t *p_aout)
282 {
283     struct aout_sys_t   *p_sys = p_aout->sys;
284     OSStatus status;
285
286     AudioSessionSetActive(false);
287
288     if (p_sys->au_unit) {
289         status = AudioOutputUnitStop(p_sys->au_unit);
290         if (status != noErr)
291             msg_Warn(p_aout, "failed to stop AudioUnit (%li)", status);
292
293         status = AudioComponentInstanceDispose(p_sys->au_unit);
294         if (status != noErr)
295             msg_Warn(p_aout, "failed to dispose Audio Component instance (%li)", status);
296     }
297     p_sys->i_bytes_per_sample = 0;
298
299     /* clean-up circular buffer */
300     TPCircularBufferCleanup(&p_sys->circular_buffer);
301 }
302
303 #pragma mark -
304 #pragma mark actual playback
305
306 static void Play (audio_output_t * p_aout, block_t * p_block)
307 {
308     struct aout_sys_t *p_sys = p_aout->sys;
309
310     if (p_block->i_nb_samples > 0) {
311         /* move data to buffer */
312         if (unlikely(!TPCircularBufferProduceBytes(&p_sys->circular_buffer, p_block->p_buffer, p_block->i_buffer)))
313             msg_Warn(p_aout, "Audio buffer was dropped");
314
315         if (!p_sys->i_bytes_per_sample)
316             p_sys->i_bytes_per_sample = p_block->i_buffer / p_block->i_nb_samples;
317     }
318
319     block_Release(p_block);
320 }
321
322 static void Pause (audio_output_t *p_aout, bool pause, mtime_t date)
323 {
324     struct aout_sys_t * p_sys = p_aout->sys;
325     VLC_UNUSED(date);
326
327     vlc_mutex_lock(&p_sys->lock);
328     p_sys->b_paused = pause;
329     vlc_mutex_unlock(&p_sys->lock);
330
331     if (pause)
332         AudioSessionSetActive(false);
333     else
334         AudioSessionSetActive(true);
335 }
336
337 static void Flush(audio_output_t *p_aout, bool wait)
338 {
339     struct aout_sys_t * p_sys = p_aout->sys;
340
341     if (wait) {
342         int32_t availableBytes;
343         vlc_mutex_lock(&p_sys->lock);
344         TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
345         while (availableBytes > 0) {
346             vlc_cond_wait(&p_sys->cond, &p_sys->lock);
347             TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
348         }
349         vlc_mutex_unlock(&p_sys->lock);
350     } else
351         /* flush circular buffer */
352         TPCircularBufferClear(&p_aout->sys->circular_buffer);
353 }
354
355 static int TimeGet(audio_output_t *p_aout, mtime_t *delay)
356 {
357     struct aout_sys_t * p_sys = p_aout->sys;
358
359     if (!p_sys->i_bytes_per_sample)
360         return -1;
361
362     int32_t availableBytes;
363     TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
364
365     *delay = (availableBytes / p_sys->i_bytes_per_sample) * CLOCK_FREQ / p_sys->i_rate;
366
367     return 0;
368 }
369
370 /*****************************************************************************
371  * RenderCallback: This function is called everytime the AudioUnit wants
372  * us to provide some more audio data.
373  * Don't print anything during normal playback, calling blocking function from
374  * this callback is not allowed.
375  *****************************************************************************/
376 static OSStatus RenderCallback(vlc_object_t *p_obj,
377                                AudioUnitRenderActionFlags *ioActionFlags,
378                                const AudioTimeStamp *inTimeStamp,
379                                UInt32 inBusNumber,
380                                UInt32 inNumberFrames,
381                                AudioBufferList *ioData) {
382     VLC_UNUSED(ioActionFlags);
383     VLC_UNUSED(inTimeStamp);
384     VLC_UNUSED(inBusNumber);
385     VLC_UNUSED(inNumberFrames);
386
387     audio_output_t * p_aout = (audio_output_t *)p_obj;
388     struct aout_sys_t * p_sys = p_aout->sys;
389
390     int bytesRequested = ioData->mBuffers[0].mDataByteSize;
391     Float32 *targetBuffer = (Float32*)ioData->mBuffers[0].mData;
392
393     vlc_mutex_lock(&p_sys->lock);
394     /* Pull audio from buffer */
395     int32_t availableBytes;
396     Float32 *buffer = TPCircularBufferTail(&p_sys->circular_buffer, &availableBytes);
397
398     /* check if we have enough data */
399     if (!availableBytes || p_sys->b_paused ||!buffer) {
400         /* return an empty buffer so silence is played until we have data */
401         memset(targetBuffer, 0, ioData->mBuffers[0].mDataByteSize);
402     } else {
403         int32_t bytesToCopy = __MIN(bytesRequested, availableBytes);
404
405         memcpy(targetBuffer, buffer, bytesToCopy);
406         TPCircularBufferConsume(&p_sys->circular_buffer, bytesToCopy);
407         ioData->mBuffers[0].mDataByteSize = bytesToCopy;
408     }
409
410     vlc_cond_signal(&p_sys->cond);
411     vlc_mutex_unlock(&p_sys->lock);
412
413     return noErr;
414 }
415