aout_Filters*Pipeline: remove useless parameter, constify
[vlc.git] / src / audio_output / input.c
1 /*****************************************************************************
2  * input.c : internal management of input streams for the audio output
3  *****************************************************************************
4  * Copyright (C) 2002-2007 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Christophe Massiot <massiot@via.ecp.fr>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
22  *****************************************************************************/
23
24 /*****************************************************************************
25  * Preamble
26  *****************************************************************************/
27
28 #ifdef HAVE_CONFIG_H
29 # include "config.h"
30 #endif
31
32 #include <assert.h>
33
34 #include <vlc_common.h>
35
36 #include <stdio.h>
37 #include <string.h>
38 #include <math.h>
39 #include <assert.h>
40
41 #include <vlc_input.h>
42 #include <vlc_vout.h>                  /* for vout_Request */
43 #include <vlc_modules.h>
44
45 #include <vlc_aout.h>
46 #include <vlc_filter.h>
47 #include <libvlc.h>
48
49 #include "aout_internal.h"
50
51 #define AOUT_ASSERT_MIXER_LOCKED vlc_assert_locked( &p_aout->mixer_lock )
52 #define AOUT_ASSERT_INPUT_LOCKED vlc_assert_locked( &p_input->lock )
53
54 static void inputFailure( aout_instance_t *, aout_input_t *, const char * );
55 static void inputDrop( aout_input_t *, aout_buffer_t * );
56 static void inputResamplingStop( aout_input_t *p_input );
57
58 static int VisualizationCallback( vlc_object_t *, char const *,
59                                   vlc_value_t, vlc_value_t, void * );
60 static int EqualizerCallback( vlc_object_t *, char const *,
61                               vlc_value_t, vlc_value_t, void * );
62 static int ReplayGainCallback( vlc_object_t *, char const *,
63                                vlc_value_t, vlc_value_t, void * );
64 static void ReplayGainSelect( aout_instance_t *, aout_input_t * );
65
66 static vout_thread_t *RequestVout( void *,
67                                    vout_thread_t *, video_format_t *, bool );
68
69 /*****************************************************************************
70  * aout_InputNew : allocate a new input and rework the filter pipeline
71  *****************************************************************************/
72 int aout_InputNew( aout_instance_t * p_aout, aout_input_t * p_input, const aout_request_vout_t *p_request_vout )
73 {
74     audio_sample_format_t chain_input_format;
75     audio_sample_format_t chain_output_format;
76     vlc_value_t val, text;
77     char *psz_filters, *psz_visual, *psz_scaletempo;
78     int i_visual;
79
80     aout_FormatPrint( p_aout, "input", &p_input->input );
81
82     p_input->i_nb_resamplers = p_input->i_nb_filters = 0;
83
84     /* Prepare FIFO. */
85     aout_FifoInit( p_aout, &p_input->mixer.fifo, p_aout->mixer_format.i_rate );
86     p_input->mixer.begin = NULL;
87
88     /* */
89     if( p_request_vout )
90     {
91         p_input->request_vout = *p_request_vout;
92     }
93     else
94     {
95         p_input->request_vout.pf_request_vout = RequestVout;
96         p_input->request_vout.p_private = p_aout;
97     }
98
99     /* Prepare format structure */
100     chain_input_format  = p_input->input;
101     chain_output_format = p_aout->mixer_format;
102     chain_output_format.i_rate = p_input->input.i_rate;
103     aout_FormatPrepare( &chain_output_format );
104
105     /* Now add user filters */
106     if( var_Type( p_aout, "visual" ) == 0 )
107     {
108         var_Create( p_aout, "visual", VLC_VAR_STRING | VLC_VAR_HASCHOICE );
109         text.psz_string = _("Visualizations");
110         var_Change( p_aout, "visual", VLC_VAR_SETTEXT, &text, NULL );
111         val.psz_string = (char*)""; text.psz_string = _("Disable");
112         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
113         val.psz_string = (char*)"spectrometer"; text.psz_string = _("Spectrometer");
114         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
115         val.psz_string = (char*)"scope"; text.psz_string = _("Scope");
116         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
117         val.psz_string = (char*)"spectrum"; text.psz_string = _("Spectrum");
118         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
119         val.psz_string = (char*)"vuMeter"; text.psz_string = _("Vu meter");
120         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
121
122         /* Look for goom plugin */
123         if( module_exists( "goom" ) )
124         {
125             val.psz_string = (char*)"goom"; text.psz_string = (char*)"Goom";
126             var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
127         }
128
129         /* Look for libprojectM plugin */
130         if( module_exists( "projectm" ) )
131         {
132             val.psz_string = (char*)"projectm"; text.psz_string = (char*)"projectM";
133             var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
134         }
135
136         if( var_Get( p_aout, "effect-list", &val ) == VLC_SUCCESS )
137         {
138             var_SetString( p_aout, "visual", val.psz_string );
139             free( val.psz_string );
140         }
141         var_AddCallback( p_aout, "visual", VisualizationCallback, NULL );
142     }
143
144     if( var_Type( p_aout, "equalizer" ) == 0 )
145     {
146         module_config_t *p_config;
147         int i;
148
149         p_config = config_FindConfig( VLC_OBJECT(p_aout), "equalizer-preset" );
150         if( p_config && p_config->i_list )
151         {
152                var_Create( p_aout, "equalizer",
153                            VLC_VAR_STRING | VLC_VAR_HASCHOICE );
154             text.psz_string = _("Equalizer");
155             var_Change( p_aout, "equalizer", VLC_VAR_SETTEXT, &text, NULL );
156
157             val.psz_string = (char*)""; text.psz_string = _("Disable");
158             var_Change( p_aout, "equalizer", VLC_VAR_ADDCHOICE, &val, &text );
159
160             for( i = 0; i < p_config->i_list; i++ )
161             {
162                 val.psz_string = (char *)p_config->ppsz_list[i];
163                 text.psz_string = (char *)p_config->ppsz_list_text[i];
164                 var_Change( p_aout, "equalizer", VLC_VAR_ADDCHOICE,
165                             &val, &text );
166             }
167
168             var_AddCallback( p_aout, "equalizer", EqualizerCallback, NULL );
169         }
170     }
171
172     if( var_Type( p_aout, "audio-filter" ) == 0 )
173     {
174         var_Create( p_aout, "audio-filter",
175                     VLC_VAR_STRING | VLC_VAR_DOINHERIT );
176         text.psz_string = _("Audio filters");
177         var_Change( p_aout, "audio-filter", VLC_VAR_SETTEXT, &text, NULL );
178     }
179     if( var_Type( p_aout, "audio-visual" ) == 0 )
180     {
181         var_Create( p_aout, "audio-visual",
182                     VLC_VAR_STRING | VLC_VAR_DOINHERIT );
183         text.psz_string = _("Audio visualizations");
184         var_Change( p_aout, "audio-visual", VLC_VAR_SETTEXT, &text, NULL );
185     }
186
187     if( var_Type( p_aout, "audio-replay-gain-mode" ) == 0 )
188     {
189         module_config_t *p_config;
190         int i;
191
192         p_config = config_FindConfig( VLC_OBJECT(p_aout), "audio-replay-gain-mode" );
193         if( p_config && p_config->i_list )
194         {
195             var_Create( p_aout, "audio-replay-gain-mode",
196                         VLC_VAR_STRING | VLC_VAR_DOINHERIT );
197
198             text.psz_string = _("Replay gain");
199             var_Change( p_aout, "audio-replay-gain-mode", VLC_VAR_SETTEXT, &text, NULL );
200
201             for( i = 0; i < p_config->i_list; i++ )
202             {
203                 val.psz_string = (char *)p_config->ppsz_list[i];
204                 text.psz_string = (char *)p_config->ppsz_list_text[i];
205                 var_Change( p_aout, "audio-replay-gain-mode", VLC_VAR_ADDCHOICE,
206                             &val, &text );
207             }
208
209             var_AddCallback( p_aout, "audio-replay-gain-mode", ReplayGainCallback, NULL );
210         }
211     }
212     if( var_Type( p_aout, "audio-replay-gain-preamp" ) == 0 )
213     {
214         var_Create( p_aout, "audio-replay-gain-preamp",
215                     VLC_VAR_FLOAT | VLC_VAR_DOINHERIT );
216     }
217     if( var_Type( p_aout, "audio-replay-gain-default" ) == 0 )
218     {
219         var_Create( p_aout, "audio-replay-gain-default",
220                     VLC_VAR_FLOAT | VLC_VAR_DOINHERIT );
221     }
222     if( var_Type( p_aout, "audio-replay-gain-peak-protection" ) == 0 )
223     {
224         var_Create( p_aout, "audio-replay-gain-peak-protection",
225                     VLC_VAR_BOOL | VLC_VAR_DOINHERIT );
226     }
227
228     psz_filters = var_GetString( p_aout, "audio-filter" );
229     psz_visual = var_GetString( p_aout, "audio-visual");
230     psz_scaletempo = var_InheritBool( p_aout, "audio-time-stretch" ) ? strdup( "scaletempo" ) : NULL;
231
232     p_input->b_recycle_vout = psz_visual && *psz_visual;
233
234     /* parse user filter lists */
235     char *const ppsz_array[] = { psz_scaletempo, psz_filters, psz_visual };
236     p_input->p_playback_rate_filter = NULL;
237
238     for( i_visual = 0; i_visual < 3 && !AOUT_FMT_NON_LINEAR(&chain_output_format); i_visual++ )
239     {
240         char *psz_next = NULL;
241         char *psz_parser = ppsz_array[i_visual];
242
243         if( psz_parser == NULL || !*psz_parser )
244             continue;
245
246         while( psz_parser && *psz_parser )
247         {
248             filter_t * p_filter = NULL;
249
250             if( p_input->i_nb_filters >= AOUT_MAX_FILTERS )
251             {
252                 msg_Dbg( p_aout, "max filters reached (%d)", AOUT_MAX_FILTERS );
253                 break;
254             }
255
256             while( *psz_parser == ' ' && *psz_parser == ':' )
257             {
258                 psz_parser++;
259             }
260             if( ( psz_next = strchr( psz_parser , ':'  ) ) )
261             {
262                 *psz_next++ = '\0';
263             }
264             if( *psz_parser =='\0' )
265             {
266                 break;
267             }
268
269             /* Create a VLC object */
270             static const char typename[] = "audio filter";
271             p_filter = vlc_custom_create( p_aout, sizeof(*p_filter),
272                                           VLC_OBJECT_GENERIC, typename );
273             if( p_filter == NULL )
274             {
275                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
276                          psz_parser );
277                 psz_parser = psz_next;
278                 continue;
279             }
280
281             p_filter->p_owner = malloc( sizeof(*p_filter->p_owner) );
282             p_filter->p_owner->p_aout  = p_aout;
283             p_filter->p_owner->p_input = p_input;
284
285             /* request format */
286             memcpy( &p_filter->fmt_in.audio, &chain_output_format,
287                     sizeof(audio_sample_format_t) );
288             p_filter->fmt_in.i_codec = chain_output_format.i_format;
289             memcpy( &p_filter->fmt_out.audio, &chain_output_format,
290                     sizeof(audio_sample_format_t) );
291             p_filter->fmt_out.i_codec = chain_output_format.i_format;
292             p_filter->pf_audio_buffer_new = aout_FilterBufferNew;
293
294             /* try to find the requested filter */
295             if( i_visual == 2 ) /* this can only be a visualization module */
296             {
297                 p_filter->p_module = module_need( p_filter, "visualization2",
298                                                   psz_parser, true );
299             }
300             else /* this can be a audio filter module as well as a visualization module */
301             {
302                 p_filter->p_module = module_need( p_filter, "audio filter",
303                                               psz_parser, true );
304
305                 if ( p_filter->p_module == NULL )
306                 {
307                     /* if the filter requested a special format, retry */
308                     if ( !( AOUT_FMTS_IDENTICAL( &p_filter->fmt_in.audio,
309                                                  &chain_input_format )
310                             && AOUT_FMTS_IDENTICAL( &p_filter->fmt_out.audio,
311                                                     &chain_output_format ) ) )
312                     {
313                         aout_FormatPrepare( &p_filter->fmt_in.audio );
314                         aout_FormatPrepare( &p_filter->fmt_out.audio );
315                         p_filter->p_module = module_need( p_filter,
316                                                           "audio filter",
317                                                           psz_parser, true );
318                     }
319                     /* try visual filters */
320                     else
321                     {
322                         memcpy( &p_filter->fmt_in.audio, &chain_output_format,
323                                 sizeof(audio_sample_format_t) );
324                         memcpy( &p_filter->fmt_out.audio, &chain_output_format,
325                                 sizeof(audio_sample_format_t) );
326                         p_filter->p_module = module_need( p_filter,
327                                                           "visualization2",
328                                                           psz_parser, true );
329                     }
330                 }
331             }
332
333             /* failure */
334             if ( p_filter->p_module == NULL )
335             {
336                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
337                          psz_parser );
338
339                 free( p_filter->p_owner );
340                 vlc_object_release( p_filter );
341
342                 psz_parser = psz_next;
343                 continue;
344             }
345
346             /* complete the filter chain if necessary */
347             if ( !AOUT_FMTS_IDENTICAL( &chain_input_format,
348                                        &p_filter->fmt_in.audio ) )
349             {
350                 if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_filters,
351                                                  &p_input->i_nb_filters,
352                                                  &chain_input_format,
353                                                  &p_filter->fmt_in.audio ) < 0 )
354                 {
355                     msg_Err( p_aout, "cannot add user filter %s (skipped)",
356                              psz_parser );
357
358                     module_unneed( p_filter, p_filter->p_module );
359                     free( p_filter->p_owner );
360                     vlc_object_release( p_filter );
361
362                     psz_parser = psz_next;
363                     continue;
364                 }
365             }
366
367             /* success */
368             p_input->pp_filters[p_input->i_nb_filters++] = p_filter;
369             memcpy( &chain_input_format, &p_filter->fmt_out.audio,
370                     sizeof( audio_sample_format_t ) );
371
372             if( i_visual == 0 ) /* scaletempo */
373                 p_input->p_playback_rate_filter = p_filter;
374
375             /* next filter if any */
376             psz_parser = psz_next;
377         }
378     }
379     free( psz_visual );
380     free( psz_filters );
381     free( psz_scaletempo );
382
383     /* complete the filter chain if necessary */
384     if ( !AOUT_FMTS_IDENTICAL( &chain_input_format, &chain_output_format ) )
385     {
386         if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_filters,
387                                          &p_input->i_nb_filters,
388                                          &chain_input_format,
389                                          &chain_output_format ) < 0 )
390         {
391             inputFailure( p_aout, p_input, "couldn't set an input pipeline" );
392             return -1;
393         }
394     }
395
396     /* Create resamplers. */
397     if ( !AOUT_FMT_NON_LINEAR( &p_aout->mixer_format ) )
398     {
399         chain_output_format.i_rate = (__MAX(p_input->input.i_rate,
400                                             p_aout->mixer_format.i_rate)
401                                  * (100 + AOUT_MAX_RESAMPLING)) / 100;
402         if ( chain_output_format.i_rate == p_aout->mixer_format.i_rate )
403         {
404             /* Just in case... */
405             chain_output_format.i_rate++;
406         }
407         if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_resamplers,
408                                          &p_input->i_nb_resamplers,
409                                          &chain_output_format,
410                                          &p_aout->mixer_format ) < 0 )
411         {
412             inputFailure( p_aout, p_input, "couldn't set a resampler pipeline");
413             return -1;
414         }
415
416         /* Setup the initial rate of the resampler */
417         p_input->pp_resamplers[0]->fmt_in.audio.i_rate = p_input->input.i_rate;
418     }
419     p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
420
421     if( ! p_input->p_playback_rate_filter && p_input->i_nb_resamplers > 0 )
422     {
423         p_input->p_playback_rate_filter = p_input->pp_resamplers[0];
424     }
425
426     ReplayGainSelect( p_aout, p_input );
427
428     /* Success */
429     p_input->b_error = false;
430     p_input->i_last_input_rate = INPUT_RATE_DEFAULT;
431
432     return 0;
433 }
434
435 /*****************************************************************************
436  * aout_InputDelete : delete an input
437  *****************************************************************************
438  * This function must be entered with the mixer lock.
439  *****************************************************************************/
440 int aout_InputDelete( aout_instance_t * p_aout, aout_input_t * p_input )
441 {
442     AOUT_ASSERT_MIXER_LOCKED;
443     if ( p_input->b_error )
444         return 0;
445
446     /* XXX We need to update b_recycle_vout before calling aout_FiltersDestroyPipeline.
447      * FIXME They can be a race condition if audio-visual is updated between
448      * aout_InputDelete and aout_InputNew.
449      */
450     char *psz_visual = var_GetString( p_aout, "audio-visual");
451     p_input->b_recycle_vout = psz_visual && *psz_visual;
452     free( psz_visual );
453
454     aout_FiltersDestroyPipeline( p_input->pp_filters, p_input->i_nb_filters );
455     p_input->i_nb_filters = 0;
456     aout_FiltersDestroyPipeline( p_input->pp_resamplers,
457                                  p_input->i_nb_resamplers );
458     p_input->i_nb_resamplers = 0;
459     aout_FifoDestroy( p_aout, &p_input->mixer.fifo );
460
461     return 0;
462 }
463
464 /*****************************************************************************
465  * aout_InputCheckAndRestart : restart an input
466  *****************************************************************************
467  * This function must be entered with the input and mixer lock.
468  *****************************************************************************/
469 void aout_InputCheckAndRestart( aout_instance_t * p_aout, aout_input_t * p_input )
470 {
471     AOUT_ASSERT_MIXER_LOCKED;
472     AOUT_ASSERT_INPUT_LOCKED;
473
474     if( !p_input->b_restart )
475         return;
476
477     aout_lock_input_fifos( p_aout );
478
479     /* A little trick to avoid loosing our input fifo and properties */
480
481     uint8_t *p_first_byte_to_mix = p_input->mixer.begin;
482     aout_fifo_t fifo = p_input->mixer.fifo;
483     bool b_paused = p_input->b_paused;
484     mtime_t i_pause_date = p_input->i_pause_date;
485
486     aout_FifoInit( p_aout, &p_input->mixer.fifo, p_aout->mixer_format.i_rate );
487
488     aout_InputDelete( p_aout, p_input );
489
490     aout_InputNew( p_aout, p_input, &p_input->request_vout );
491     p_input->mixer.begin = p_first_byte_to_mix;
492     p_input->mixer.fifo = fifo;
493     p_input->b_paused = b_paused;
494     p_input->i_pause_date = i_pause_date;
495
496     p_input->b_restart = false;
497
498     aout_unlock_input_fifos( p_aout );
499 }
500 /*****************************************************************************
501  * aout_InputPlay : play a buffer
502  *****************************************************************************
503  * This function must be entered with the input lock.
504  *****************************************************************************/
505 /* XXX Do not activate it !! */
506 //#define AOUT_PROCESS_BEFORE_CHEKS
507 int aout_InputPlay( aout_instance_t * p_aout, aout_input_t * p_input,
508                     aout_buffer_t * p_buffer, int i_input_rate )
509 {
510     mtime_t start_date;
511     AOUT_ASSERT_INPUT_LOCKED;
512
513     if( i_input_rate != INPUT_RATE_DEFAULT && p_input->p_playback_rate_filter == NULL )
514     {
515         inputDrop( p_input, p_buffer );
516         return 0;
517     }
518
519 #ifdef AOUT_PROCESS_BEFORE_CHEKS
520     /* Run pre-filters. */
521     aout_FiltersPlay( p_aout, p_input->pp_filters, p_input->i_nb_filters,
522                       &p_buffer );
523     if( !p_buffer )
524         return 0;
525
526     /* Actually run the resampler now. */
527     if ( p_input->i_nb_resamplers > 0 )
528     {
529         const mtime_t i_date = p_buffer->i_pts;
530         aout_FiltersPlay( p_aout, p_input->pp_resamplers,
531                           p_input->i_nb_resamplers,
532                           &p_buffer );
533     }
534
535     if( !p_buffer )
536         return 0;
537     if( p_buffer->i_nb_samples <= 0 )
538     {
539         block_Release( p_buffer );
540         return 0;
541     }
542 #endif
543
544     /* Handle input rate change, but keep drift correction */
545     if( i_input_rate != p_input->i_last_input_rate )
546     {
547         unsigned int * const pi_rate = &p_input->p_playback_rate_filter->fmt_in.audio.i_rate;
548 #define F(r,ir) ( INPUT_RATE_DEFAULT * (r) / (ir) )
549         const int i_delta = *pi_rate - F(p_input->input.i_rate,p_input->i_last_input_rate);
550         *pi_rate = F(p_input->input.i_rate + i_delta, i_input_rate);
551 #undef F
552         p_input->i_last_input_rate = i_input_rate;
553     }
554
555     /* We don't care if someone changes the start date behind our back after
556      * this. We'll deal with that when pushing the buffer, and compensate
557      * with the next incoming buffer. */
558     aout_lock_input_fifos( p_aout );
559     start_date = aout_FifoNextStart( p_aout, &p_input->mixer.fifo );
560     aout_unlock_input_fifos( p_aout );
561
562     if ( start_date != 0 && start_date < mdate() )
563     {
564         /* The decoder is _very_ late. This can only happen if the user
565          * pauses the stream (or if the decoder is buggy, which cannot
566          * happen :). */
567         msg_Warn( p_aout, "computed PTS is out of range (%"PRId64"), "
568                   "clearing out", mdate() - start_date );
569         aout_lock_input_fifos( p_aout );
570         aout_FifoSet( p_aout, &p_input->mixer.fifo, 0 );
571         p_input->mixer.begin = NULL;
572         aout_unlock_input_fifos( p_aout );
573         if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
574             msg_Warn( p_aout, "timing screwed, stopping resampling" );
575         inputResamplingStop( p_input );
576         p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
577         start_date = 0;
578     }
579
580     if ( p_buffer->i_pts < mdate() + AOUT_MIN_PREPARE_TIME )
581     {
582         /* The decoder gives us f*cked up PTS. It's its business, but we
583          * can't present it anyway, so drop the buffer. */
584         msg_Warn( p_aout, "PTS is out of range (%"PRId64"), dropping buffer",
585                   mdate() - p_buffer->i_pts );
586
587         inputDrop( p_input, p_buffer );
588         inputResamplingStop( p_input );
589         return 0;
590     }
591
592     /* If the audio drift is too big then it's not worth trying to resample
593      * the audio. */
594     mtime_t i_pts_tolerance = 3 * AOUT_PTS_TOLERANCE * i_input_rate / INPUT_RATE_DEFAULT;
595     if ( start_date != 0 &&
596          ( start_date < p_buffer->i_pts - i_pts_tolerance ) )
597     {
598         msg_Warn( p_aout, "audio drift is too big (%"PRId64"), clearing out",
599                   start_date - p_buffer->i_pts );
600         aout_lock_input_fifos( p_aout );
601         aout_FifoSet( p_aout, &p_input->mixer.fifo, 0 );
602         p_input->mixer.begin = NULL;
603         aout_unlock_input_fifos( p_aout );
604         if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
605             msg_Warn( p_aout, "timing screwed, stopping resampling" );
606         inputResamplingStop( p_input );
607         p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
608         start_date = 0;
609     }
610     else if ( start_date != 0 &&
611               ( start_date > p_buffer->i_pts + i_pts_tolerance) )
612     {
613         msg_Warn( p_aout, "audio drift is too big (%"PRId64"), dropping buffer",
614                   start_date - p_buffer->i_pts );
615         inputDrop( p_input, p_buffer );
616         return 0;
617     }
618
619     if ( start_date == 0 ) start_date = p_buffer->i_pts;
620
621 #ifndef AOUT_PROCESS_BEFORE_CHEKS
622     /* Run pre-filters. */
623     aout_FiltersPlay( p_input->pp_filters, p_input->i_nb_filters, &p_buffer );
624     if( !p_buffer )
625         return 0;
626 #endif
627
628     /* Run the resampler if needed.
629      * We first need to calculate the output rate of this resampler. */
630     if ( ( p_input->i_resampling_type == AOUT_RESAMPLING_NONE ) &&
631          ( start_date < p_buffer->i_pts - AOUT_PTS_TOLERANCE
632            || start_date > p_buffer->i_pts + AOUT_PTS_TOLERANCE ) &&
633          p_input->i_nb_resamplers > 0 )
634     {
635         /* Can happen in several circumstances :
636          * 1. A problem at the input (clock drift)
637          * 2. A small pause triggered by the user
638          * 3. Some delay in the output stage, causing a loss of lip
639          *    synchronization
640          * Solution : resample the buffer to avoid a scratch.
641          */
642         mtime_t drift = p_buffer->i_pts - start_date;
643
644         p_input->i_resamp_start_date = mdate();
645         p_input->i_resamp_start_drift = (int)drift;
646
647         if ( drift > 0 )
648             p_input->i_resampling_type = AOUT_RESAMPLING_DOWN;
649         else
650             p_input->i_resampling_type = AOUT_RESAMPLING_UP;
651
652         msg_Warn( p_aout, "buffer is %"PRId64" %s, triggering %ssampling",
653                           drift > 0 ? drift : -drift,
654                           drift > 0 ? "in advance" : "late",
655                           drift > 0 ? "down" : "up");
656     }
657
658     if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
659     {
660         /* Resampling has been triggered previously (because of dates
661          * mismatch). We want the resampling to happen progressively so
662          * it isn't too audible to the listener. */
663
664         if( p_input->i_resampling_type == AOUT_RESAMPLING_UP )
665         {
666             p_input->pp_resamplers[0]->fmt_in.audio.i_rate += 2; /* Hz */
667         }
668         else
669         {
670             p_input->pp_resamplers[0]->fmt_in.audio.i_rate -= 2; /* Hz */
671         }
672
673         /* Check if everything is back to normal, in which case we can stop the
674          * resampling */
675         unsigned int i_nominal_rate =
676           (p_input->pp_resamplers[0] == p_input->p_playback_rate_filter)
677           ? INPUT_RATE_DEFAULT * p_input->input.i_rate / i_input_rate
678           : p_input->input.i_rate;
679         if( p_input->pp_resamplers[0]->fmt_in.audio.i_rate == i_nominal_rate )
680         {
681             p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
682             msg_Warn( p_aout, "resampling stopped after %"PRIi64" usec "
683                       "(drift: %"PRIi64")",
684                       mdate() - p_input->i_resamp_start_date,
685                       p_buffer->i_pts - start_date);
686         }
687         else if( abs( (int)(p_buffer->i_pts - start_date) ) <
688                  abs( p_input->i_resamp_start_drift ) / 2 )
689         {
690             /* if we reduced the drift from half, then it is time to switch
691              * back the resampling direction. */
692             if( p_input->i_resampling_type == AOUT_RESAMPLING_UP )
693                 p_input->i_resampling_type = AOUT_RESAMPLING_DOWN;
694             else
695                 p_input->i_resampling_type = AOUT_RESAMPLING_UP;
696             p_input->i_resamp_start_drift = 0;
697         }
698         else if( p_input->i_resamp_start_drift &&
699                  ( abs( (int)(p_buffer->i_pts - start_date) ) >
700                    abs( p_input->i_resamp_start_drift ) * 3 / 2 ) )
701         {
702             /* If the drift is increasing and not decreasing, than something
703              * is bad. We'd better stop the resampling right now. */
704             msg_Warn( p_aout, "timing screwed, stopping resampling" );
705             inputResamplingStop( p_input );
706             p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
707         }
708     }
709
710 #ifndef AOUT_PROCESS_BEFORE_CHEKS
711     /* Actually run the resampler now. */
712     if ( p_input->i_nb_resamplers > 0 )
713     {
714         aout_FiltersPlay( p_input->pp_resamplers, p_input->i_nb_resamplers,
715                           &p_buffer );
716     }
717
718     if( !p_buffer )
719         return 0;
720     if( p_buffer->i_nb_samples <= 0 )
721     {
722         block_Release( p_buffer );
723         return 0;
724     }
725 #endif
726
727     /* Adding the start date will be managed by aout_FifoPush(). */
728     p_buffer->i_pts = start_date;
729
730     aout_lock_input_fifos( p_aout );
731     aout_FifoPush( p_aout, &p_input->mixer.fifo, p_buffer );
732     aout_unlock_input_fifos( p_aout );
733     return 0;
734 }
735
736 bool aout_InputIsEmpty( aout_instance_t * p_aout, aout_input_t * p_input )
737 {
738     aout_lock_input_fifos( p_aout );
739     bool is_empty = date_Get( &p_input->mixer.fifo.end_date ) <= mdate();
740     aout_unlock_input_fifos( p_aout );
741     return is_empty;
742 }
743
744 /*****************************************************************************
745  * static functions
746  *****************************************************************************/
747
748 static void inputFailure( aout_instance_t * p_aout, aout_input_t * p_input,
749                           const char * psz_error_message )
750 {
751     /* error message */
752     msg_Err( p_aout, "%s", psz_error_message );
753
754     /* clean up */
755     aout_FiltersDestroyPipeline( p_input->pp_filters, p_input->i_nb_filters );
756     aout_FiltersDestroyPipeline( p_input->pp_resamplers,
757                                  p_input->i_nb_resamplers );
758     aout_FifoDestroy( p_aout, &p_input->mixer.fifo );
759     var_Destroy( p_aout, "visual" );
760     var_Destroy( p_aout, "equalizer" );
761     var_Destroy( p_aout, "audio-filter" );
762     var_Destroy( p_aout, "audio-visual" );
763
764     var_Destroy( p_aout, "audio-replay-gain-mode" );
765     var_Destroy( p_aout, "audio-replay-gain-default" );
766     var_Destroy( p_aout, "audio-replay-gain-preamp" );
767     var_Destroy( p_aout, "audio-replay-gain-peak-protection" );
768
769     /* error flag */
770     p_input->b_error = 1;
771 }
772
773 static void inputDrop( aout_input_t *p_input, aout_buffer_t *p_buffer )
774 {
775     aout_BufferFree( p_buffer );
776
777     p_input->i_buffer_lost++;
778 }
779
780 static void inputResamplingStop( aout_input_t *p_input )
781 {
782     p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
783     if( p_input->i_nb_resamplers != 0 )
784     {
785         p_input->pp_resamplers[0]->fmt_in.audio.i_rate =
786             ( p_input->pp_resamplers[0] == p_input->p_playback_rate_filter )
787             ? INPUT_RATE_DEFAULT * p_input->input.i_rate / p_input->i_last_input_rate
788             : p_input->input.i_rate;
789     }
790 }
791
792 static vout_thread_t *RequestVout( void *p_private,
793                                    vout_thread_t *p_vout, video_format_t *p_fmt, bool b_recycle )
794 {
795     aout_instance_t *p_aout = p_private;
796     VLC_UNUSED(b_recycle);
797     vout_configuration_t cfg = {
798         .vout       = p_vout,
799         .input      = NULL,
800         .change_fmt = true,
801         .fmt        = p_fmt,
802         .dpb_size   = 1,
803     };
804     return vout_Request( p_aout, &cfg );
805 }
806
807 vout_thread_t *aout_filter_RequestVout( filter_t *p_filter,
808                                         vout_thread_t *p_vout, video_format_t *p_fmt )
809 {
810     aout_input_t *p_input = p_filter->p_owner->p_input;
811     aout_request_vout_t *p_request = &p_input->request_vout;
812
813     /* XXX: this only works from audio input */
814     /* If you want to use visualization filters from another place, you will
815      * need to add a new pf_aout_request_vout callback or store a pointer
816      * to aout_request_vout_t inside filter_t (i.e. a level of indirection). */
817
818     return p_request->pf_request_vout( p_request->p_private,
819                                        p_vout, p_fmt, p_input->b_recycle_vout );
820 }
821
822 static int ChangeFiltersString( aout_instance_t * p_aout, const char* psz_variable,
823                                  const char *psz_name, bool b_add )
824 {
825     return aout_ChangeFilterString( VLC_OBJECT(p_aout), p_aout,
826                                     psz_variable, psz_name, b_add ) ? 1 : 0;
827 }
828
829 static int VisualizationCallback( vlc_object_t *p_this, char const *psz_cmd,
830                        vlc_value_t oldval, vlc_value_t newval, void *p_data )
831 {
832     aout_instance_t *p_aout = (aout_instance_t *)p_this;
833     char *psz_mode = newval.psz_string;
834     (void)psz_cmd; (void)oldval; (void)p_data;
835
836     if( !psz_mode || !*psz_mode )
837     {
838         ChangeFiltersString( p_aout, "audio-visual", "goom", false );
839         ChangeFiltersString( p_aout, "audio-visual", "visual", false );
840         ChangeFiltersString( p_aout, "audio-visual", "projectm", false );
841     }
842     else
843     {
844         if( !strcmp( "goom", psz_mode ) )
845         {
846             ChangeFiltersString( p_aout, "audio-visual", "visual", false );
847             ChangeFiltersString( p_aout, "audio-visual", "goom", true );
848             ChangeFiltersString( p_aout, "audio-visual", "projectm", false );
849         }
850         else if( !strcmp( "projectm", psz_mode ) )
851         {
852             ChangeFiltersString( p_aout, "audio-visual", "visual", false );
853             ChangeFiltersString( p_aout, "audio-visual", "goom", false );
854             ChangeFiltersString( p_aout, "audio-visual", "projectm", true );
855         }
856         else
857         {
858             var_Create( p_aout, "effect-list", VLC_VAR_STRING );
859             var_SetString( p_aout, "effect-list", psz_mode );
860
861             ChangeFiltersString( p_aout, "audio-visual", "goom", false );
862             ChangeFiltersString( p_aout, "audio-visual", "visual", true );
863             ChangeFiltersString( p_aout, "audio-visual", "projectm", false );
864         }
865     }
866
867     /* That sucks */
868     AoutInputsMarkToRestart( p_aout );
869
870     return VLC_SUCCESS;
871 }
872
873 static int EqualizerCallback( vlc_object_t *p_this, char const *psz_cmd,
874                        vlc_value_t oldval, vlc_value_t newval, void *p_data )
875 {
876     aout_instance_t *p_aout = (aout_instance_t *)p_this;
877     char *psz_mode = newval.psz_string;
878     int i_ret;
879     (void)psz_cmd; (void)oldval; (void)p_data;
880
881     if( !psz_mode || !*psz_mode )
882     {
883         i_ret = ChangeFiltersString( p_aout, "audio-filter", "equalizer",
884                                      false );
885     }
886     else
887     {
888         var_Create( p_aout, "equalizer-preset", VLC_VAR_STRING );
889         var_SetString( p_aout, "equalizer-preset", psz_mode );
890         i_ret = ChangeFiltersString( p_aout, "audio-filter", "equalizer",
891                                      true );
892     }
893
894     /* That sucks */
895     if( i_ret == 1 )
896         AoutInputsMarkToRestart( p_aout );
897     return VLC_SUCCESS;
898 }
899
900 static int ReplayGainCallback( vlc_object_t *p_this, char const *psz_cmd,
901                                vlc_value_t oldval, vlc_value_t newval, void *p_data )
902 {
903     VLC_UNUSED(psz_cmd); VLC_UNUSED(oldval);
904     VLC_UNUSED(newval); VLC_UNUSED(p_data);
905     aout_instance_t *p_aout = (aout_instance_t *)p_this;
906     int i;
907
908     aout_lock_mixer( p_aout );
909     for( i = 0; i < p_aout->i_nb_inputs; i++ )
910         ReplayGainSelect( p_aout, p_aout->pp_inputs[i] );
911
912     /* Restart the mixer (a trivial mixer may be in use) */
913     if( p_aout->p_mixer )
914         aout_MixerMultiplierSet( p_aout, p_aout->mixer_multiplier );
915     aout_unlock_mixer( p_aout );
916
917     return VLC_SUCCESS;
918 }
919
920 static void ReplayGainSelect( aout_instance_t *p_aout, aout_input_t *p_input )
921 {
922     char *psz_replay_gain = var_GetNonEmptyString( p_aout,
923                                                    "audio-replay-gain-mode" );
924     int i_mode;
925     int i_use;
926     float f_gain;
927
928     p_input->mixer.multiplier = 1.0;
929
930     if( !psz_replay_gain )
931         return;
932
933     /* Find select mode */
934     if( !strcmp( psz_replay_gain, "track" ) )
935         i_mode = AUDIO_REPLAY_GAIN_TRACK;
936     else if( !strcmp( psz_replay_gain, "album" ) )
937         i_mode = AUDIO_REPLAY_GAIN_ALBUM;
938     else
939         i_mode = AUDIO_REPLAY_GAIN_MAX;
940
941     /* If the select mode is not available, prefer the other one */
942     i_use = i_mode;
943     if( i_use != AUDIO_REPLAY_GAIN_MAX && !p_input->replay_gain.pb_gain[i_use] )
944     {
945         for( i_use = 0; i_use < AUDIO_REPLAY_GAIN_MAX; i_use++ )
946         {
947             if( p_input->replay_gain.pb_gain[i_use] )
948                 break;
949         }
950     }
951
952     /* */
953     if( i_use != AUDIO_REPLAY_GAIN_MAX )
954         f_gain = p_input->replay_gain.pf_gain[i_use] + var_GetFloat( p_aout, "audio-replay-gain-preamp" );
955     else if( i_mode != AUDIO_REPLAY_GAIN_MAX )
956         f_gain = var_GetFloat( p_aout, "audio-replay-gain-default" );
957     else
958         f_gain = 0.0;
959     p_input->mixer.multiplier = pow( 10.0, f_gain / 20.0 );
960
961     /* */
962     if( p_input->replay_gain.pb_peak[i_use] &&
963         var_GetBool( p_aout, "audio-replay-gain-peak-protection" ) &&
964         p_input->replay_gain.pf_peak[i_use] * p_input->mixer.multiplier > 1.0 )
965     {
966         p_input->mixer.multiplier = 1.0f / p_input->replay_gain.pf_peak[i_use];
967     }
968
969     free( psz_replay_gain );
970 }
971