Fixed invalid locking order when activating visualization.
[vlc.git] / src / audio_output / input.c
1 /*****************************************************************************
2  * input.c : internal management of input streams for the audio output
3  *****************************************************************************
4  * Copyright (C) 2002-2007 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Christophe Massiot <massiot@via.ecp.fr>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
22  *****************************************************************************/
23
24 /*****************************************************************************
25  * Preamble
26  *****************************************************************************/
27
28 #ifdef HAVE_CONFIG_H
29 # include "config.h"
30 #endif
31
32 #include <assert.h>
33
34 #include <vlc_common.h>
35
36 #include <stdio.h>
37 #include <string.h>
38 #include <math.h>
39 #include <assert.h>
40
41 #include <vlc_input.h>
42 #include <vlc_vout.h>                  /* for vout_Request */
43
44 #include <vlc_aout.h>
45 #include <vlc_filter.h>
46 #include <libvlc.h>
47
48 #include "aout_internal.h"
49
50 #define AOUT_ASSERT_MIXER_LOCKED vlc_assert_locked( &p_aout->mixer_lock )
51 #define AOUT_ASSERT_INPUT_LOCKED vlc_assert_locked( &p_input->lock )
52
53 static void inputFailure( aout_instance_t *, aout_input_t *, const char * );
54 static void inputDrop( aout_input_t *, aout_buffer_t * );
55 static void inputResamplingStop( aout_input_t *p_input );
56
57 static int VisualizationCallback( vlc_object_t *, char const *,
58                                   vlc_value_t, vlc_value_t, void * );
59 static int EqualizerCallback( vlc_object_t *, char const *,
60                               vlc_value_t, vlc_value_t, void * );
61 static int ReplayGainCallback( vlc_object_t *, char const *,
62                                vlc_value_t, vlc_value_t, void * );
63 static void ReplayGainSelect( aout_instance_t *, aout_input_t * );
64
65 static vout_thread_t *RequestVout( void *,
66                                    vout_thread_t *, video_format_t *, bool );
67
68 /*****************************************************************************
69  * aout_InputNew : allocate a new input and rework the filter pipeline
70  *****************************************************************************/
71 int aout_InputNew( aout_instance_t * p_aout, aout_input_t * p_input, const aout_request_vout_t *p_request_vout )
72 {
73     audio_sample_format_t chain_input_format;
74     audio_sample_format_t chain_output_format;
75     vlc_value_t val, text;
76     char *psz_filters, *psz_visual, *psz_scaletempo;
77     int i_visual;
78
79     aout_FormatPrint( p_aout, "input", &p_input->input );
80
81     p_input->i_nb_resamplers = p_input->i_nb_filters = 0;
82
83     /* Prepare FIFO. */
84     aout_FifoInit( p_aout, &p_input->mixer.fifo, p_aout->mixer_format.i_rate );
85     p_input->mixer.begin = NULL;
86
87     /* */
88     if( p_request_vout )
89     {
90         p_input->request_vout = *p_request_vout;
91     }
92     else
93     {
94         p_input->request_vout.pf_request_vout = RequestVout;
95         p_input->request_vout.p_private = p_aout;
96     }
97
98     /* Prepare format structure */
99     chain_input_format  = p_input->input;
100     chain_output_format = p_aout->mixer_format;
101     chain_output_format.i_rate = p_input->input.i_rate;
102     aout_FormatPrepare( &chain_output_format );
103
104     /* Now add user filters */
105     if( var_Type( p_aout, "visual" ) == 0 )
106     {
107         var_Create( p_aout, "visual", VLC_VAR_STRING | VLC_VAR_HASCHOICE );
108         text.psz_string = _("Visualizations");
109         var_Change( p_aout, "visual", VLC_VAR_SETTEXT, &text, NULL );
110         val.psz_string = (char*)""; text.psz_string = _("Disable");
111         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
112         val.psz_string = (char*)"spectrometer"; text.psz_string = _("Spectrometer");
113         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
114         val.psz_string = (char*)"scope"; text.psz_string = _("Scope");
115         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
116         val.psz_string = (char*)"spectrum"; text.psz_string = _("Spectrum");
117         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
118         val.psz_string = (char*)"vuMeter"; text.psz_string = _("Vu meter");
119         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
120
121         /* Look for goom plugin */
122         if( module_exists( "goom" ) )
123         {
124             val.psz_string = (char*)"goom"; text.psz_string = (char*)"Goom";
125             var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
126         }
127
128         /* Look for libprojectM plugin */
129         if( module_exists( "projectm" ) )
130         {
131             val.psz_string = (char*)"projectm"; text.psz_string = (char*)"projectM";
132             var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
133         }
134
135         if( var_Get( p_aout, "effect-list", &val ) == VLC_SUCCESS )
136         {
137             var_SetString( p_aout, "visual", val.psz_string );
138             free( val.psz_string );
139         }
140         var_AddCallback( p_aout, "visual", VisualizationCallback, NULL );
141     }
142
143     if( var_Type( p_aout, "equalizer" ) == 0 )
144     {
145         module_config_t *p_config;
146         int i;
147
148         p_config = config_FindConfig( VLC_OBJECT(p_aout), "equalizer-preset" );
149         if( p_config && p_config->i_list )
150         {
151                var_Create( p_aout, "equalizer",
152                            VLC_VAR_STRING | VLC_VAR_HASCHOICE );
153             text.psz_string = _("Equalizer");
154             var_Change( p_aout, "equalizer", VLC_VAR_SETTEXT, &text, NULL );
155
156             val.psz_string = (char*)""; text.psz_string = _("Disable");
157             var_Change( p_aout, "equalizer", VLC_VAR_ADDCHOICE, &val, &text );
158
159             for( i = 0; i < p_config->i_list; i++ )
160             {
161                 val.psz_string = (char *)p_config->ppsz_list[i];
162                 text.psz_string = (char *)p_config->ppsz_list_text[i];
163                 var_Change( p_aout, "equalizer", VLC_VAR_ADDCHOICE,
164                             &val, &text );
165             }
166
167             var_AddCallback( p_aout, "equalizer", EqualizerCallback, NULL );
168         }
169     }
170
171     if( var_Type( p_aout, "audio-filter" ) == 0 )
172     {
173         var_Create( p_aout, "audio-filter",
174                     VLC_VAR_STRING | VLC_VAR_DOINHERIT );
175         text.psz_string = _("Audio filters");
176         var_Change( p_aout, "audio-filter", VLC_VAR_SETTEXT, &text, NULL );
177     }
178     if( var_Type( p_aout, "audio-visual" ) == 0 )
179     {
180         var_Create( p_aout, "audio-visual",
181                     VLC_VAR_STRING | VLC_VAR_DOINHERIT );
182         text.psz_string = _("Audio visualizations");
183         var_Change( p_aout, "audio-visual", VLC_VAR_SETTEXT, &text, NULL );
184     }
185
186     if( var_Type( p_aout, "audio-replay-gain-mode" ) == 0 )
187     {
188         module_config_t *p_config;
189         int i;
190
191         p_config = config_FindConfig( VLC_OBJECT(p_aout), "audio-replay-gain-mode" );
192         if( p_config && p_config->i_list )
193         {
194             var_Create( p_aout, "audio-replay-gain-mode",
195                         VLC_VAR_STRING | VLC_VAR_DOINHERIT );
196
197             text.psz_string = _("Replay gain");
198             var_Change( p_aout, "audio-replay-gain-mode", VLC_VAR_SETTEXT, &text, NULL );
199
200             for( i = 0; i < p_config->i_list; i++ )
201             {
202                 val.psz_string = (char *)p_config->ppsz_list[i];
203                 text.psz_string = (char *)p_config->ppsz_list_text[i];
204                 var_Change( p_aout, "audio-replay-gain-mode", VLC_VAR_ADDCHOICE,
205                             &val, &text );
206             }
207
208             var_AddCallback( p_aout, "audio-replay-gain-mode", ReplayGainCallback, NULL );
209         }
210     }
211     if( var_Type( p_aout, "audio-replay-gain-preamp" ) == 0 )
212     {
213         var_Create( p_aout, "audio-replay-gain-preamp",
214                     VLC_VAR_FLOAT | VLC_VAR_DOINHERIT );
215     }
216     if( var_Type( p_aout, "audio-replay-gain-default" ) == 0 )
217     {
218         var_Create( p_aout, "audio-replay-gain-default",
219                     VLC_VAR_FLOAT | VLC_VAR_DOINHERIT );
220     }
221     if( var_Type( p_aout, "audio-replay-gain-peak-protection" ) == 0 )
222     {
223         var_Create( p_aout, "audio-replay-gain-peak-protection",
224                     VLC_VAR_BOOL | VLC_VAR_DOINHERIT );
225     }
226     if( var_Type( p_aout, "audio-time-stretch" ) == 0 )
227     {
228         var_Create( p_aout, "audio-time-stretch",
229                     VLC_VAR_BOOL | VLC_VAR_DOINHERIT );
230     }
231
232     psz_filters = var_GetString( p_aout, "audio-filter" );
233     psz_visual = var_GetString( p_aout, "audio-visual");
234     psz_scaletempo = var_GetBool( p_aout, "audio-time-stretch" ) ? strdup( "scaletempo" ) : NULL;
235
236     p_input->b_recycle_vout = psz_visual && *psz_visual;
237
238     /* parse user filter lists */
239     char *const ppsz_array[] = { psz_scaletempo, psz_filters, psz_visual };
240     p_input->p_playback_rate_filter = NULL;
241
242     for( i_visual = 0; i_visual < 3 && !AOUT_FMT_NON_LINEAR(&chain_output_format); i_visual++ )
243     {
244         char *psz_next = NULL;
245         char *psz_parser = ppsz_array[i_visual];
246
247         if( psz_parser == NULL || !*psz_parser )
248             continue;
249
250         while( psz_parser && *psz_parser )
251         {
252             filter_t * p_filter = NULL;
253
254             if( p_input->i_nb_filters >= AOUT_MAX_FILTERS )
255             {
256                 msg_Dbg( p_aout, "max filters reached (%d)", AOUT_MAX_FILTERS );
257                 break;
258             }
259
260             while( *psz_parser == ' ' && *psz_parser == ':' )
261             {
262                 psz_parser++;
263             }
264             if( ( psz_next = strchr( psz_parser , ':'  ) ) )
265             {
266                 *psz_next++ = '\0';
267             }
268             if( *psz_parser =='\0' )
269             {
270                 break;
271             }
272
273             /* Create a VLC object */
274             static const char typename[] = "audio filter";
275             p_filter = vlc_custom_create( p_aout, sizeof(*p_filter),
276                                           VLC_OBJECT_GENERIC, typename );
277             if( p_filter == NULL )
278             {
279                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
280                          psz_parser );
281                 psz_parser = psz_next;
282                 continue;
283             }
284
285             vlc_object_attach( p_filter , p_aout );
286
287             p_filter->p_owner = malloc( sizeof(*p_filter->p_owner) );
288             p_filter->p_owner->p_aout  = p_aout;
289             p_filter->p_owner->p_input = p_input;
290
291             /* request format */
292             memcpy( &p_filter->fmt_in.audio, &chain_output_format,
293                     sizeof(audio_sample_format_t) );
294             p_filter->fmt_in.i_codec = chain_output_format.i_format;
295             memcpy( &p_filter->fmt_out.audio, &chain_output_format,
296                     sizeof(audio_sample_format_t) );
297             p_filter->fmt_out.i_codec = chain_output_format.i_format;
298             p_filter->pf_audio_buffer_new = aout_FilterBufferNew;
299
300             /* try to find the requested filter */
301             if( i_visual == 2 ) /* this can only be a visualization module */
302             {
303                 p_filter->p_module = module_need( p_filter, "visualization2",
304                                                   psz_parser, true );
305             }
306             else /* this can be a audio filter module as well as a visualization module */
307             {
308                 p_filter->p_module = module_need( p_filter, "audio filter",
309                                               psz_parser, true );
310
311                 if ( p_filter->p_module == NULL )
312                 {
313                     /* if the filter requested a special format, retry */
314                     if ( !( AOUT_FMTS_IDENTICAL( &p_filter->fmt_in.audio,
315                                                  &chain_input_format )
316                             && AOUT_FMTS_IDENTICAL( &p_filter->fmt_out.audio,
317                                                     &chain_output_format ) ) )
318                     {
319                         aout_FormatPrepare( &p_filter->fmt_in.audio );
320                         aout_FormatPrepare( &p_filter->fmt_out.audio );
321                         p_filter->p_module = module_need( p_filter,
322                                                           "audio filter",
323                                                           psz_parser, true );
324                     }
325                     /* try visual filters */
326                     else
327                     {
328                         memcpy( &p_filter->fmt_in.audio, &chain_output_format,
329                                 sizeof(audio_sample_format_t) );
330                         memcpy( &p_filter->fmt_out.audio, &chain_output_format,
331                                 sizeof(audio_sample_format_t) );
332                         p_filter->p_module = module_need( p_filter,
333                                                           "visualization2",
334                                                           psz_parser, true );
335                     }
336                 }
337             }
338
339             /* failure */
340             if ( p_filter->p_module == NULL )
341             {
342                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
343                          psz_parser );
344
345                 free( p_filter->p_owner );
346                 vlc_object_detach( p_filter );
347                 vlc_object_release( p_filter );
348
349                 psz_parser = psz_next;
350                 continue;
351             }
352
353             /* complete the filter chain if necessary */
354             if ( !AOUT_FMTS_IDENTICAL( &chain_input_format,
355                                        &p_filter->fmt_in.audio ) )
356             {
357                 if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_filters,
358                                                  &p_input->i_nb_filters,
359                                                  &chain_input_format,
360                                                  &p_filter->fmt_in.audio ) < 0 )
361                 {
362                     msg_Err( p_aout, "cannot add user filter %s (skipped)",
363                              psz_parser );
364
365                     module_unneed( p_filter, p_filter->p_module );
366                     free( p_filter->p_owner );
367                     vlc_object_detach( p_filter );
368                     vlc_object_release( p_filter );
369
370                     psz_parser = psz_next;
371                     continue;
372                 }
373             }
374
375             /* success */
376             p_input->pp_filters[p_input->i_nb_filters++] = p_filter;
377             memcpy( &chain_input_format, &p_filter->fmt_out.audio,
378                     sizeof( audio_sample_format_t ) );
379
380             if( i_visual == 0 ) /* scaletempo */
381                 p_input->p_playback_rate_filter = p_filter;
382
383             /* next filter if any */
384             psz_parser = psz_next;
385         }
386     }
387     free( psz_visual );
388     free( psz_filters );
389     free( psz_scaletempo );
390
391     /* complete the filter chain if necessary */
392     if ( !AOUT_FMTS_IDENTICAL( &chain_input_format, &chain_output_format ) )
393     {
394         if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_filters,
395                                          &p_input->i_nb_filters,
396                                          &chain_input_format,
397                                          &chain_output_format ) < 0 )
398         {
399             inputFailure( p_aout, p_input, "couldn't set an input pipeline" );
400             return -1;
401         }
402     }
403
404     /* Prepare hints for the buffer allocator. */
405     p_input->input_alloc.b_alloc = true;
406     p_input->input_alloc.i_bytes_per_sec = -1;
407
408     /* Create resamplers. */
409     if ( !AOUT_FMT_NON_LINEAR( &p_aout->mixer_format ) )
410     {
411         chain_output_format.i_rate = (__MAX(p_input->input.i_rate,
412                                             p_aout->mixer_format.i_rate)
413                                  * (100 + AOUT_MAX_RESAMPLING)) / 100;
414         if ( chain_output_format.i_rate == p_aout->mixer_format.i_rate )
415         {
416             /* Just in case... */
417             chain_output_format.i_rate++;
418         }
419         if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_resamplers,
420                                          &p_input->i_nb_resamplers,
421                                          &chain_output_format,
422                                          &p_aout->mixer_format ) < 0 )
423         {
424             inputFailure( p_aout, p_input, "couldn't set a resampler pipeline");
425             return -1;
426         }
427
428         aout_FiltersHintBuffers( p_aout, p_input->pp_resamplers,
429                                  p_input->i_nb_resamplers,
430                                  &p_input->input_alloc );
431         p_input->input_alloc.b_alloc = true;
432
433         /* Setup the initial rate of the resampler */
434         p_input->pp_resamplers[0]->fmt_in.audio.i_rate = p_input->input.i_rate;
435     }
436     p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
437
438     if( ! p_input->p_playback_rate_filter && p_input->i_nb_resamplers > 0 )
439     {
440         p_input->p_playback_rate_filter = p_input->pp_resamplers[0];
441     }
442
443     aout_FiltersHintBuffers( p_aout, p_input->pp_filters,
444                              p_input->i_nb_filters,
445                              &p_input->input_alloc );
446     p_input->input_alloc.b_alloc = true;
447
448     /* i_bytes_per_sec is still == -1 if no filters */
449     p_input->input_alloc.i_bytes_per_sec = __MAX(
450                                     p_input->input_alloc.i_bytes_per_sec,
451                                     (int)(p_input->input.i_bytes_per_frame
452                                      * p_input->input.i_rate
453                                      / p_input->input.i_frame_length) );
454
455     ReplayGainSelect( p_aout, p_input );
456
457     /* Success */
458     p_input->b_error = false;
459     p_input->i_last_input_rate = INPUT_RATE_DEFAULT;
460
461     return 0;
462 }
463
464 /*****************************************************************************
465  * aout_InputDelete : delete an input
466  *****************************************************************************
467  * This function must be entered with the mixer lock.
468  *****************************************************************************/
469 int aout_InputDelete( aout_instance_t * p_aout, aout_input_t * p_input )
470 {
471     AOUT_ASSERT_MIXER_LOCKED;
472     if ( p_input->b_error )
473         return 0;
474
475     /* XXX We need to update b_recycle_vout before calling aout_FiltersDestroyPipeline.
476      * FIXME They can be a race condition if audio-visual is updated between
477      * aout_InputDelete and aout_InputNew.
478      */
479     char *psz_visual = var_GetString( p_aout, "audio-visual");
480     p_input->b_recycle_vout = psz_visual && *psz_visual;
481     free( psz_visual );
482
483     aout_FiltersDestroyPipeline( p_aout, p_input->pp_filters,
484                                  p_input->i_nb_filters );
485     p_input->i_nb_filters = 0;
486     aout_FiltersDestroyPipeline( p_aout, p_input->pp_resamplers,
487                                  p_input->i_nb_resamplers );
488     p_input->i_nb_resamplers = 0;
489     aout_FifoDestroy( p_aout, &p_input->mixer.fifo );
490
491     return 0;
492 }
493
494 /*****************************************************************************
495  * aout_InputCheckAndRestart : restart an input
496  *****************************************************************************
497  * This function must be entered with the input and mixer lock.
498  *****************************************************************************/
499 void aout_InputCheckAndRestart( aout_instance_t * p_aout, aout_input_t * p_input )
500 {
501     AOUT_ASSERT_MIXER_LOCKED;
502     AOUT_ASSERT_INPUT_LOCKED;
503
504     if( !p_input->b_restart )
505         return;
506
507     aout_lock_input_fifos( p_aout );
508
509     /* A little trick to avoid loosing our input fifo and properties */
510
511     uint8_t *p_first_byte_to_mix = p_input->mixer.begin;
512     aout_fifo_t fifo = p_input->mixer.fifo;
513     bool b_paused = p_input->b_paused;
514     mtime_t i_pause_date = p_input->i_pause_date;
515
516     aout_FifoInit( p_aout, &p_input->mixer.fifo, p_aout->mixer_format.i_rate );
517
518     aout_InputDelete( p_aout, p_input );
519
520     aout_InputNew( p_aout, p_input, &p_input->request_vout );
521     p_input->mixer.begin = p_first_byte_to_mix;
522     p_input->mixer.fifo = fifo;
523     p_input->b_paused = b_paused;
524     p_input->i_pause_date = i_pause_date;
525
526     p_input->b_restart = false;
527
528     aout_unlock_input_fifos( p_aout );
529 }
530 /*****************************************************************************
531  * aout_InputPlay : play a buffer
532  *****************************************************************************
533  * This function must be entered with the input lock.
534  *****************************************************************************/
535 /* XXX Do not activate it !! */
536 //#define AOUT_PROCESS_BEFORE_CHEKS
537 int aout_InputPlay( aout_instance_t * p_aout, aout_input_t * p_input,
538                     aout_buffer_t * p_buffer, int i_input_rate )
539 {
540     mtime_t start_date;
541     AOUT_ASSERT_INPUT_LOCKED;
542
543     if( i_input_rate != INPUT_RATE_DEFAULT && p_input->p_playback_rate_filter == NULL )
544     {
545         inputDrop( p_input, p_buffer );
546         return 0;
547     }
548
549 #ifdef AOUT_PROCESS_BEFORE_CHEKS
550     /* Run pre-filters. */
551     aout_FiltersPlay( p_aout, p_input->pp_filters, p_input->i_nb_filters,
552                       &p_buffer );
553     if( !p_buffer )
554         return 0;
555
556     /* Actually run the resampler now. */
557     if ( p_input->i_nb_resamplers > 0 )
558     {
559         const mtime_t i_date = p_buffer->i_pts;
560         aout_FiltersPlay( p_aout, p_input->pp_resamplers,
561                           p_input->i_nb_resamplers,
562                           &p_buffer );
563     }
564
565     if( !p_buffer )
566         return 0;
567     if( p_buffer->i_nb_samples <= 0 )
568     {
569         block_Release( p_buffer );
570         return 0;
571     }
572 #endif
573
574     /* Handle input rate change, but keep drift correction */
575     if( i_input_rate != p_input->i_last_input_rate )
576     {
577         unsigned int * const pi_rate = &p_input->p_playback_rate_filter->fmt_in.audio.i_rate;
578 #define F(r,ir) ( INPUT_RATE_DEFAULT * (r) / (ir) )
579         const int i_delta = *pi_rate - F(p_input->input.i_rate,p_input->i_last_input_rate);
580         *pi_rate = F(p_input->input.i_rate + i_delta, i_input_rate);
581 #undef F
582         p_input->i_last_input_rate = i_input_rate;
583     }
584
585     /* We don't care if someone changes the start date behind our back after
586      * this. We'll deal with that when pushing the buffer, and compensate
587      * with the next incoming buffer. */
588     aout_lock_input_fifos( p_aout );
589     start_date = aout_FifoNextStart( p_aout, &p_input->mixer.fifo );
590     aout_unlock_input_fifos( p_aout );
591
592     if ( start_date != 0 && start_date < mdate() )
593     {
594         /* The decoder is _very_ late. This can only happen if the user
595          * pauses the stream (or if the decoder is buggy, which cannot
596          * happen :). */
597         msg_Warn( p_aout, "computed PTS is out of range (%"PRId64"), "
598                   "clearing out", mdate() - start_date );
599         aout_lock_input_fifos( p_aout );
600         aout_FifoSet( p_aout, &p_input->mixer.fifo, 0 );
601         p_input->mixer.begin = NULL;
602         aout_unlock_input_fifos( p_aout );
603         if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
604             msg_Warn( p_aout, "timing screwed, stopping resampling" );
605         inputResamplingStop( p_input );
606         p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
607         start_date = 0;
608     }
609
610     if ( p_buffer->i_pts < mdate() + AOUT_MIN_PREPARE_TIME )
611     {
612         /* The decoder gives us f*cked up PTS. It's its business, but we
613          * can't present it anyway, so drop the buffer. */
614         msg_Warn( p_aout, "PTS is out of range (%"PRId64"), dropping buffer",
615                   mdate() - p_buffer->i_pts );
616
617         inputDrop( p_input, p_buffer );
618         inputResamplingStop( p_input );
619         return 0;
620     }
621
622     /* If the audio drift is too big then it's not worth trying to resample
623      * the audio. */
624     mtime_t i_pts_tolerance = 3 * AOUT_PTS_TOLERANCE * i_input_rate / INPUT_RATE_DEFAULT;
625     if ( start_date != 0 &&
626          ( start_date < p_buffer->i_pts - i_pts_tolerance ) )
627     {
628         msg_Warn( p_aout, "audio drift is too big (%"PRId64"), clearing out",
629                   start_date - p_buffer->i_pts );
630         aout_lock_input_fifos( p_aout );
631         aout_FifoSet( p_aout, &p_input->mixer.fifo, 0 );
632         p_input->mixer.begin = NULL;
633         aout_unlock_input_fifos( p_aout );
634         if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
635             msg_Warn( p_aout, "timing screwed, stopping resampling" );
636         inputResamplingStop( p_input );
637         p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
638         start_date = 0;
639     }
640     else if ( start_date != 0 &&
641               ( start_date > p_buffer->i_pts + i_pts_tolerance) )
642     {
643         msg_Warn( p_aout, "audio drift is too big (%"PRId64"), dropping buffer",
644                   start_date - p_buffer->i_pts );
645         inputDrop( p_input, p_buffer );
646         return 0;
647     }
648
649     if ( start_date == 0 ) start_date = p_buffer->i_pts;
650
651 #ifndef AOUT_PROCESS_BEFORE_CHEKS
652     /* Run pre-filters. */
653     aout_FiltersPlay( p_input->pp_filters, p_input->i_nb_filters, &p_buffer );
654     if( !p_buffer )
655         return 0;
656 #endif
657
658     /* Run the resampler if needed.
659      * We first need to calculate the output rate of this resampler. */
660     if ( ( p_input->i_resampling_type == AOUT_RESAMPLING_NONE ) &&
661          ( start_date < p_buffer->i_pts - AOUT_PTS_TOLERANCE
662            || start_date > p_buffer->i_pts + AOUT_PTS_TOLERANCE ) &&
663          p_input->i_nb_resamplers > 0 )
664     {
665         /* Can happen in several circumstances :
666          * 1. A problem at the input (clock drift)
667          * 2. A small pause triggered by the user
668          * 3. Some delay in the output stage, causing a loss of lip
669          *    synchronization
670          * Solution : resample the buffer to avoid a scratch.
671          */
672         mtime_t drift = p_buffer->i_pts - start_date;
673
674         p_input->i_resamp_start_date = mdate();
675         p_input->i_resamp_start_drift = (int)drift;
676
677         if ( drift > 0 )
678             p_input->i_resampling_type = AOUT_RESAMPLING_DOWN;
679         else
680             p_input->i_resampling_type = AOUT_RESAMPLING_UP;
681
682         msg_Warn( p_aout, "buffer is %"PRId64" %s, triggering %ssampling",
683                           drift > 0 ? drift : -drift,
684                           drift > 0 ? "in advance" : "late",
685                           drift > 0 ? "down" : "up");
686     }
687
688     if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
689     {
690         /* Resampling has been triggered previously (because of dates
691          * mismatch). We want the resampling to happen progressively so
692          * it isn't too audible to the listener. */
693
694         if( p_input->i_resampling_type == AOUT_RESAMPLING_UP )
695         {
696             p_input->pp_resamplers[0]->fmt_in.audio.i_rate += 2; /* Hz */
697         }
698         else
699         {
700             p_input->pp_resamplers[0]->fmt_in.audio.i_rate -= 2; /* Hz */
701         }
702
703         /* Check if everything is back to normal, in which case we can stop the
704          * resampling */
705         unsigned int i_nominal_rate =
706           (p_input->pp_resamplers[0] == p_input->p_playback_rate_filter)
707           ? INPUT_RATE_DEFAULT * p_input->input.i_rate / i_input_rate
708           : p_input->input.i_rate;
709         if( p_input->pp_resamplers[0]->fmt_in.audio.i_rate == i_nominal_rate )
710         {
711             p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
712             msg_Warn( p_aout, "resampling stopped after %"PRIi64" usec "
713                       "(drift: %"PRIi64")",
714                       mdate() - p_input->i_resamp_start_date,
715                       p_buffer->i_pts - start_date);
716         }
717         else if( abs( (int)(p_buffer->i_pts - start_date) ) <
718                  abs( p_input->i_resamp_start_drift ) / 2 )
719         {
720             /* if we reduced the drift from half, then it is time to switch
721              * back the resampling direction. */
722             if( p_input->i_resampling_type == AOUT_RESAMPLING_UP )
723                 p_input->i_resampling_type = AOUT_RESAMPLING_DOWN;
724             else
725                 p_input->i_resampling_type = AOUT_RESAMPLING_UP;
726             p_input->i_resamp_start_drift = 0;
727         }
728         else if( p_input->i_resamp_start_drift &&
729                  ( abs( (int)(p_buffer->i_pts - start_date) ) >
730                    abs( p_input->i_resamp_start_drift ) * 3 / 2 ) )
731         {
732             /* If the drift is increasing and not decreasing, than something
733              * is bad. We'd better stop the resampling right now. */
734             msg_Warn( p_aout, "timing screwed, stopping resampling" );
735             inputResamplingStop( p_input );
736             p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
737         }
738     }
739
740 #ifndef AOUT_PROCESS_BEFORE_CHEKS
741     /* Actually run the resampler now. */
742     if ( p_input->i_nb_resamplers > 0 )
743     {
744         aout_FiltersPlay( p_input->pp_resamplers, p_input->i_nb_resamplers,
745                           &p_buffer );
746     }
747
748     if( !p_buffer )
749         return 0;
750     if( p_buffer->i_nb_samples <= 0 )
751     {
752         block_Release( p_buffer );
753         return 0;
754     }
755 #endif
756
757     /* Adding the start date will be managed by aout_FifoPush(). */
758     p_buffer->i_pts = start_date;
759
760     aout_lock_input_fifos( p_aout );
761     aout_FifoPush( p_aout, &p_input->mixer.fifo, p_buffer );
762     aout_unlock_input_fifos( p_aout );
763     return 0;
764 }
765
766 /*****************************************************************************
767  * static functions
768  *****************************************************************************/
769
770 static void inputFailure( aout_instance_t * p_aout, aout_input_t * p_input,
771                           const char * psz_error_message )
772 {
773     /* error message */
774     msg_Err( p_aout, "%s", psz_error_message );
775
776     /* clean up */
777     aout_FiltersDestroyPipeline( p_aout, p_input->pp_filters,
778                                  p_input->i_nb_filters );
779     aout_FiltersDestroyPipeline( p_aout, p_input->pp_resamplers,
780                                  p_input->i_nb_resamplers );
781     aout_FifoDestroy( p_aout, &p_input->mixer.fifo );
782     var_Destroy( p_aout, "visual" );
783     var_Destroy( p_aout, "equalizer" );
784     var_Destroy( p_aout, "audio-filter" );
785     var_Destroy( p_aout, "audio-visual" );
786
787     var_Destroy( p_aout, "audio-replay-gain-mode" );
788     var_Destroy( p_aout, "audio-replay-gain-default" );
789     var_Destroy( p_aout, "audio-replay-gain-preamp" );
790     var_Destroy( p_aout, "audio-replay-gain-peak-protection" );
791
792     /* error flag */
793     p_input->b_error = 1;
794 }
795
796 static void inputDrop( aout_input_t *p_input, aout_buffer_t *p_buffer )
797 {
798     aout_BufferFree( p_buffer );
799
800     p_input->i_buffer_lost++;
801 }
802
803 static void inputResamplingStop( aout_input_t *p_input )
804 {
805     p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
806     if( p_input->i_nb_resamplers != 0 )
807     {
808         p_input->pp_resamplers[0]->fmt_in.audio.i_rate =
809             ( p_input->pp_resamplers[0] == p_input->p_playback_rate_filter )
810             ? INPUT_RATE_DEFAULT * p_input->input.i_rate / p_input->i_last_input_rate
811             : p_input->input.i_rate;
812     }
813 }
814
815 static vout_thread_t *RequestVout( void *p_private,
816                                    vout_thread_t *p_vout, video_format_t *p_fmt, bool b_recycle )
817 {
818     aout_instance_t *p_aout = p_private;
819     VLC_UNUSED(b_recycle);
820     return vout_Request( p_aout, p_vout, p_fmt );
821 }
822
823 vout_thread_t *aout_filter_RequestVout( filter_t *p_filter,
824                                         vout_thread_t *p_vout, video_format_t *p_fmt )
825 {
826     aout_input_t *p_input = p_filter->p_owner->p_input;
827     aout_request_vout_t *p_request = &p_input->request_vout;
828
829     /* XXX: this only works from audio input */
830     /* If you want to use visualization filters from another place, you will
831      * need to add a new pf_aout_request_vout callback or store a pointer
832      * to aout_request_vout_t inside filter_t (i.e. a level of indirection). */
833
834     return p_request->pf_request_vout( p_request->p_private,
835                                        p_vout, p_fmt, p_input->b_recycle_vout );
836 }
837
838 static int ChangeFiltersString( aout_instance_t * p_aout, const char* psz_variable,
839                                  const char *psz_name, bool b_add )
840 {
841     return AoutChangeFilterString( VLC_OBJECT(p_aout), p_aout,
842                                    psz_variable, psz_name, b_add ) ? 1 : 0;
843 }
844
845 static int VisualizationCallback( vlc_object_t *p_this, char const *psz_cmd,
846                        vlc_value_t oldval, vlc_value_t newval, void *p_data )
847 {
848     aout_instance_t *p_aout = (aout_instance_t *)p_this;
849     char *psz_mode = newval.psz_string;
850     (void)psz_cmd; (void)oldval; (void)p_data;
851
852     if( !psz_mode || !*psz_mode )
853     {
854         ChangeFiltersString( p_aout, "audio-visual", "goom", false );
855         ChangeFiltersString( p_aout, "audio-visual", "visual", false );
856         ChangeFiltersString( p_aout, "audio-visual", "projectm", false );
857     }
858     else
859     {
860         if( !strcmp( "goom", psz_mode ) )
861         {
862             ChangeFiltersString( p_aout, "audio-visual", "visual", false );
863             ChangeFiltersString( p_aout, "audio-visual", "goom", true );
864             ChangeFiltersString( p_aout, "audio-visual", "projectm", false );
865         }
866         else if( !strcmp( "projectm", psz_mode ) )
867         {
868             ChangeFiltersString( p_aout, "audio-visual", "visual", false );
869             ChangeFiltersString( p_aout, "audio-visual", "goom", false );
870             ChangeFiltersString( p_aout, "audio-visual", "projectm", true );
871         }
872         else
873         {
874             var_Create( p_aout, "effect-list", VLC_VAR_STRING );
875             var_SetString( p_aout, "effect-list", psz_mode );
876
877             ChangeFiltersString( p_aout, "audio-visual", "goom", false );
878             ChangeFiltersString( p_aout, "audio-visual", "visual", true );
879             ChangeFiltersString( p_aout, "audio-visual", "projectm", false );
880         }
881     }
882
883     /* That sucks */
884     AoutInputsMarkToRestart( p_aout );
885
886     return VLC_SUCCESS;
887 }
888
889 static int EqualizerCallback( vlc_object_t *p_this, char const *psz_cmd,
890                        vlc_value_t oldval, vlc_value_t newval, void *p_data )
891 {
892     aout_instance_t *p_aout = (aout_instance_t *)p_this;
893     char *psz_mode = newval.psz_string;
894     int i_ret;
895     (void)psz_cmd; (void)oldval; (void)p_data;
896
897     if( !psz_mode || !*psz_mode )
898     {
899         i_ret = ChangeFiltersString( p_aout, "audio-filter", "equalizer",
900                                      false );
901     }
902     else
903     {
904         var_Create( p_aout, "equalizer-preset", VLC_VAR_STRING );
905         var_SetString( p_aout, "equalizer-preset", psz_mode );
906         i_ret = ChangeFiltersString( p_aout, "audio-filter", "equalizer",
907                                      true );
908     }
909
910     /* That sucks */
911     if( i_ret == 1 )
912         AoutInputsMarkToRestart( p_aout );
913     return VLC_SUCCESS;
914 }
915
916 static int ReplayGainCallback( vlc_object_t *p_this, char const *psz_cmd,
917                                vlc_value_t oldval, vlc_value_t newval, void *p_data )
918 {
919     VLC_UNUSED(psz_cmd); VLC_UNUSED(oldval);
920     VLC_UNUSED(newval); VLC_UNUSED(p_data);
921     aout_instance_t *p_aout = (aout_instance_t *)p_this;
922     int i;
923
924     aout_lock_mixer( p_aout );
925     for( i = 0; i < p_aout->i_nb_inputs; i++ )
926         ReplayGainSelect( p_aout, p_aout->pp_inputs[i] );
927
928     /* Restart the mixer (a trivial mixer may be in use) */
929     if( p_aout->p_mixer )
930         aout_MixerMultiplierSet( p_aout, p_aout->mixer_multiplier );
931     aout_unlock_mixer( p_aout );
932
933     return VLC_SUCCESS;
934 }
935
936 static void ReplayGainSelect( aout_instance_t *p_aout, aout_input_t *p_input )
937 {
938     char *psz_replay_gain = var_GetNonEmptyString( p_aout,
939                                                    "audio-replay-gain-mode" );
940     int i_mode;
941     int i_use;
942     float f_gain;
943
944     p_input->mixer.multiplier = 1.0;
945
946     if( !psz_replay_gain )
947         return;
948
949     /* Find select mode */
950     if( !strcmp( psz_replay_gain, "track" ) )
951         i_mode = AUDIO_REPLAY_GAIN_TRACK;
952     else if( !strcmp( psz_replay_gain, "album" ) )
953         i_mode = AUDIO_REPLAY_GAIN_ALBUM;
954     else
955         i_mode = AUDIO_REPLAY_GAIN_MAX;
956
957     /* If the select mode is not available, prefer the other one */
958     i_use = i_mode;
959     if( i_use != AUDIO_REPLAY_GAIN_MAX && !p_input->replay_gain.pb_gain[i_use] )
960     {
961         for( i_use = 0; i_use < AUDIO_REPLAY_GAIN_MAX; i_use++ )
962         {
963             if( p_input->replay_gain.pb_gain[i_use] )
964                 break;
965         }
966     }
967
968     /* */
969     if( i_use != AUDIO_REPLAY_GAIN_MAX )
970         f_gain = p_input->replay_gain.pf_gain[i_use] + var_GetFloat( p_aout, "audio-replay-gain-preamp" );
971     else if( i_mode != AUDIO_REPLAY_GAIN_MAX )
972         f_gain = var_GetFloat( p_aout, "audio-replay-gain-default" );
973     else
974         f_gain = 0.0;
975     p_input->mixer.multiplier = pow( 10.0, f_gain / 20.0 );
976
977     /* */
978     if( p_input->replay_gain.pb_peak[i_use] &&
979         var_GetBool( p_aout, "audio-replay-gain-peak-protection" ) &&
980         p_input->replay_gain.pf_peak[i_use] * p_input->mixer.multiplier > 1.0 )
981     {
982         p_input->mixer.multiplier = 1.0f / p_input->replay_gain.pf_peak[i_use];
983     }
984
985     free( psz_replay_gain );
986 }
987