AoutInputsMarkToRestart: de-inline and rename
[vlc.git] / src / audio_output / input.c
1 /*****************************************************************************
2  * input.c : internal management of input streams for the audio output
3  *****************************************************************************
4  * Copyright (C) 2002-2007 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Christophe Massiot <massiot@via.ecp.fr>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
22  *****************************************************************************/
23
24 /*****************************************************************************
25  * Preamble
26  *****************************************************************************/
27
28 #ifdef HAVE_CONFIG_H
29 # include "config.h"
30 #endif
31
32 #include <assert.h>
33
34 #include <vlc_common.h>
35
36 #include <stdio.h>
37 #include <string.h>
38 #include <math.h>
39 #include <assert.h>
40
41 #include <vlc_input.h>
42 #include <vlc_vout.h>                  /* for vout_Request */
43 #include <vlc_modules.h>
44
45 #include <vlc_aout.h>
46 #include <vlc_filter.h>
47 #include <libvlc.h>
48
49 #include "aout_internal.h"
50
51 static void inputFailure( audio_output_t *, aout_input_t *, const char * );
52 static void inputDrop( aout_input_t *, aout_buffer_t * );
53 static void inputResamplingStop( aout_input_t *p_input );
54
55 static int VisualizationCallback( vlc_object_t *, char const *,
56                                   vlc_value_t, vlc_value_t, void * );
57 static int EqualizerCallback( vlc_object_t *, char const *,
58                               vlc_value_t, vlc_value_t, void * );
59 static int ReplayGainCallback( vlc_object_t *, char const *,
60                                vlc_value_t, vlc_value_t, void * );
61 static void ReplayGainSelect( audio_output_t *, aout_input_t * );
62
63 static vout_thread_t *RequestVout( void *,
64                                    vout_thread_t *, video_format_t *, bool );
65
66 /*****************************************************************************
67  * aout_InputNew : allocate a new input and rework the filter pipeline
68  *****************************************************************************/
69 int aout_InputNew( audio_output_t * p_aout,
70                    const audio_sample_format_t *restrict format,
71                    aout_input_t * p_input,
72                    const aout_request_vout_t *p_request_vout )
73 {
74     aout_owner_t *owner = aout_owner (p_aout);
75     audio_sample_format_t chain_input_format;
76     audio_sample_format_t chain_output_format;
77     vlc_value_t val, text;
78     char *psz_filters, *psz_visual, *psz_scaletempo;
79     int i_visual;
80
81     aout_FormatPrint( p_aout, "input", format );
82     p_input->samplerate = format->i_rate;
83
84     p_input->i_nb_resamplers = p_input->i_nb_filters = 0;
85
86     /* */
87     if( p_request_vout )
88     {
89         p_input->request_vout = *p_request_vout;
90     }
91     else
92     {
93         p_input->request_vout.pf_request_vout = RequestVout;
94         p_input->request_vout.p_private = p_aout;
95     }
96
97     /* Prepare format structure */
98     chain_input_format  = *format;
99     chain_output_format = owner->mixer_format;
100     chain_output_format.i_rate = format->i_rate;
101     aout_FormatPrepare( &chain_output_format );
102
103     /* Now add user filters */
104     if( var_Type( p_aout, "visual" ) == 0 )
105     {
106         var_Create( p_aout, "visual", VLC_VAR_STRING | VLC_VAR_HASCHOICE );
107         text.psz_string = _("Visualizations");
108         var_Change( p_aout, "visual", VLC_VAR_SETTEXT, &text, NULL );
109         val.psz_string = (char*)""; text.psz_string = _("Disable");
110         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
111         val.psz_string = (char*)"spectrometer"; text.psz_string = _("Spectrometer");
112         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
113         val.psz_string = (char*)"scope"; text.psz_string = _("Scope");
114         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
115         val.psz_string = (char*)"spectrum"; text.psz_string = _("Spectrum");
116         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
117         val.psz_string = (char*)"vuMeter"; text.psz_string = _("Vu meter");
118         var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
119
120         /* Look for goom plugin */
121         if( module_exists( "goom" ) )
122         {
123             val.psz_string = (char*)"goom"; text.psz_string = (char*)"Goom";
124             var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
125         }
126
127         /* Look for libprojectM plugin */
128         if( module_exists( "projectm" ) )
129         {
130             val.psz_string = (char*)"projectm"; text.psz_string = (char*)"projectM";
131             var_Change( p_aout, "visual", VLC_VAR_ADDCHOICE, &val, &text );
132         }
133
134         if( var_Get( p_aout, "effect-list", &val ) == VLC_SUCCESS )
135         {
136             var_SetString( p_aout, "visual", val.psz_string );
137             free( val.psz_string );
138         }
139         var_AddCallback( p_aout, "visual", VisualizationCallback, p_input );
140     }
141
142     if( var_Type( p_aout, "equalizer" ) == 0 )
143     {
144         module_config_t *p_config;
145         int i;
146
147         p_config = config_FindConfig( VLC_OBJECT(p_aout), "equalizer-preset" );
148         if( p_config && p_config->i_list )
149         {
150                var_Create( p_aout, "equalizer",
151                            VLC_VAR_STRING | VLC_VAR_HASCHOICE );
152             text.psz_string = _("Equalizer");
153             var_Change( p_aout, "equalizer", VLC_VAR_SETTEXT, &text, NULL );
154
155             val.psz_string = (char*)""; text.psz_string = _("Disable");
156             var_Change( p_aout, "equalizer", VLC_VAR_ADDCHOICE, &val, &text );
157
158             for( i = 0; i < p_config->i_list; i++ )
159             {
160                 val.psz_string = (char *)p_config->ppsz_list[i];
161                 text.psz_string = (char *)p_config->ppsz_list_text[i];
162                 var_Change( p_aout, "equalizer", VLC_VAR_ADDCHOICE,
163                             &val, &text );
164             }
165
166             var_AddCallback( p_aout, "equalizer", EqualizerCallback, NULL );
167         }
168     }
169
170     if( var_Type( p_aout, "audio-filter" ) == 0 )
171     {
172         var_Create( p_aout, "audio-filter",
173                     VLC_VAR_STRING | VLC_VAR_DOINHERIT );
174         text.psz_string = _("Audio filters");
175         var_Change( p_aout, "audio-filter", VLC_VAR_SETTEXT, &text, NULL );
176     }
177     if( var_Type( p_aout, "audio-visual" ) == 0 )
178     {
179         var_Create( p_aout, "audio-visual",
180                     VLC_VAR_STRING | VLC_VAR_DOINHERIT );
181         text.psz_string = _("Audio visualizations");
182         var_Change( p_aout, "audio-visual", VLC_VAR_SETTEXT, &text, NULL );
183     }
184
185     if( var_Type( p_aout, "audio-replay-gain-mode" ) == 0 )
186     {
187         module_config_t *p_config;
188         int i;
189
190         p_config = config_FindConfig( VLC_OBJECT(p_aout), "audio-replay-gain-mode" );
191         if( p_config && p_config->i_list )
192         {
193             var_Create( p_aout, "audio-replay-gain-mode",
194                         VLC_VAR_STRING | VLC_VAR_DOINHERIT );
195
196             text.psz_string = _("Replay gain");
197             var_Change( p_aout, "audio-replay-gain-mode", VLC_VAR_SETTEXT, &text, NULL );
198
199             for( i = 0; i < p_config->i_list; i++ )
200             {
201                 val.psz_string = (char *)p_config->ppsz_list[i];
202                 text.psz_string = (char *)p_config->ppsz_list_text[i];
203                 var_Change( p_aout, "audio-replay-gain-mode", VLC_VAR_ADDCHOICE,
204                             &val, &text );
205             }
206
207             var_AddCallback( p_aout, "audio-replay-gain-mode", ReplayGainCallback, NULL );
208         }
209     }
210     if( var_Type( p_aout, "audio-replay-gain-preamp" ) == 0 )
211     {
212         var_Create( p_aout, "audio-replay-gain-preamp",
213                     VLC_VAR_FLOAT | VLC_VAR_DOINHERIT );
214     }
215     if( var_Type( p_aout, "audio-replay-gain-default" ) == 0 )
216     {
217         var_Create( p_aout, "audio-replay-gain-default",
218                     VLC_VAR_FLOAT | VLC_VAR_DOINHERIT );
219     }
220     if( var_Type( p_aout, "audio-replay-gain-peak-protection" ) == 0 )
221     {
222         var_Create( p_aout, "audio-replay-gain-peak-protection",
223                     VLC_VAR_BOOL | VLC_VAR_DOINHERIT );
224     }
225
226     psz_filters = var_GetString( p_aout, "audio-filter" );
227     psz_visual = var_GetString( p_aout, "audio-visual");
228     psz_scaletempo = var_InheritBool( p_aout, "audio-time-stretch" ) ? strdup( "scaletempo" ) : NULL;
229
230     p_input->b_recycle_vout = psz_visual && *psz_visual;
231
232     /* parse user filter lists */
233     char *const ppsz_array[] = { psz_scaletempo, psz_filters, psz_visual };
234     p_input->p_playback_rate_filter = NULL;
235
236     for( i_visual = 0; i_visual < 3 && AOUT_FMT_LINEAR(&chain_output_format); i_visual++ )
237     {
238         char *psz_next = NULL;
239         char *psz_parser = ppsz_array[i_visual];
240
241         if( psz_parser == NULL || !*psz_parser )
242             continue;
243
244         while( psz_parser && *psz_parser )
245         {
246             filter_t * p_filter = NULL;
247
248             if( p_input->i_nb_filters >= AOUT_MAX_FILTERS )
249             {
250                 msg_Dbg( p_aout, "max filters reached (%d)", AOUT_MAX_FILTERS );
251                 break;
252             }
253
254             while( *psz_parser == ' ' && *psz_parser == ':' )
255             {
256                 psz_parser++;
257             }
258             if( ( psz_next = strchr( psz_parser , ':'  ) ) )
259             {
260                 *psz_next++ = '\0';
261             }
262             if( *psz_parser =='\0' )
263             {
264                 break;
265             }
266
267             /* Create a VLC object */
268             p_filter = vlc_custom_create( p_aout, sizeof(*p_filter),
269                                           "audio filter" );
270             if( p_filter == NULL )
271             {
272                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
273                          psz_parser );
274                 psz_parser = psz_next;
275                 continue;
276             }
277
278             p_filter->p_owner = malloc( sizeof(*p_filter->p_owner) );
279             p_filter->p_owner->p_aout  = p_aout;
280             p_filter->p_owner->p_input = p_input;
281
282             /* request format */
283             memcpy( &p_filter->fmt_in.audio, &chain_output_format,
284                     sizeof(audio_sample_format_t) );
285             p_filter->fmt_in.i_codec = chain_output_format.i_format;
286             memcpy( &p_filter->fmt_out.audio, &chain_output_format,
287                     sizeof(audio_sample_format_t) );
288             p_filter->fmt_out.i_codec = chain_output_format.i_format;
289             p_filter->pf_audio_buffer_new = aout_FilterBufferNew;
290
291             /* try to find the requested filter */
292             if( i_visual == 2 ) /* this can only be a visualization module */
293             {
294                 p_filter->p_module = module_need( p_filter, "visualization2",
295                                                   psz_parser, true );
296             }
297             else /* this can be a audio filter module as well as a visualization module */
298             {
299                 p_filter->p_module = module_need( p_filter, "audio filter",
300                                               psz_parser, true );
301
302                 if ( p_filter->p_module == NULL )
303                 {
304                     /* if the filter requested a special format, retry */
305                     if ( !( AOUT_FMTS_IDENTICAL( &p_filter->fmt_in.audio,
306                                                  &chain_input_format )
307                             && AOUT_FMTS_IDENTICAL( &p_filter->fmt_out.audio,
308                                                     &chain_output_format ) ) )
309                     {
310                         aout_FormatPrepare( &p_filter->fmt_in.audio );
311                         aout_FormatPrepare( &p_filter->fmt_out.audio );
312                         p_filter->p_module = module_need( p_filter,
313                                                           "audio filter",
314                                                           psz_parser, true );
315                     }
316                     /* try visual filters */
317                     else
318                     {
319                         memcpy( &p_filter->fmt_in.audio, &chain_output_format,
320                                 sizeof(audio_sample_format_t) );
321                         memcpy( &p_filter->fmt_out.audio, &chain_output_format,
322                                 sizeof(audio_sample_format_t) );
323                         p_filter->p_module = module_need( p_filter,
324                                                           "visualization2",
325                                                           psz_parser, true );
326                     }
327                 }
328             }
329
330             /* failure */
331             if ( p_filter->p_module == NULL )
332             {
333                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
334                          psz_parser );
335
336                 free( p_filter->p_owner );
337                 vlc_object_release( p_filter );
338
339                 psz_parser = psz_next;
340                 continue;
341             }
342
343             /* complete the filter chain if necessary */
344             if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_filters,
345                                              &p_input->i_nb_filters,
346                                              &chain_input_format,
347                                              &p_filter->fmt_in.audio ) < 0 )
348             {
349                 msg_Err( p_aout, "cannot add user filter %s (skipped)",
350                          psz_parser );
351
352                 module_unneed( p_filter, p_filter->p_module );
353                 free( p_filter->p_owner );
354                 vlc_object_release( p_filter );
355
356                 psz_parser = psz_next;
357                 continue;
358             }
359
360             /* success */
361             p_input->pp_filters[p_input->i_nb_filters++] = p_filter;
362             memcpy( &chain_input_format, &p_filter->fmt_out.audio,
363                     sizeof( audio_sample_format_t ) );
364
365             if( i_visual == 0 ) /* scaletempo */
366                 p_input->p_playback_rate_filter = p_filter;
367
368             /* next filter if any */
369             psz_parser = psz_next;
370         }
371     }
372     free( psz_visual );
373     free( psz_filters );
374     free( psz_scaletempo );
375
376     /* complete the filter chain if necessary */
377     if ( aout_FiltersCreatePipeline( p_aout, p_input->pp_filters,
378                                      &p_input->i_nb_filters,
379                                      &chain_input_format,
380                                      &chain_output_format ) < 0 )
381     {
382         inputFailure( p_aout, p_input, "couldn't set an input pipeline" );
383         return -1;
384     }
385
386     /* Create resamplers. */
387     if (AOUT_FMT_LINEAR(&owner->mixer_format))
388     {
389         chain_output_format.i_rate = (__MAX(p_input->samplerate,
390                                             owner->mixer_format.i_rate)
391                                  * (100 + AOUT_MAX_RESAMPLING)) / 100;
392         if ( chain_output_format.i_rate == owner->mixer_format.i_rate )
393         {
394             /* Just in case... */
395             chain_output_format.i_rate++;
396         }
397         if (aout_FiltersCreatePipeline (p_aout, p_input->pp_resamplers,
398                                         &p_input->i_nb_resamplers,
399                                         &chain_output_format,
400                                         &owner->mixer_format) < 0)
401         {
402             inputFailure( p_aout, p_input, "couldn't set a resampler pipeline");
403             return -1;
404         }
405
406         /* Setup the initial rate of the resampler */
407         p_input->pp_resamplers[0]->fmt_in.audio.i_rate = p_input->samplerate;
408     }
409     p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
410
411     if( ! p_input->p_playback_rate_filter && p_input->i_nb_resamplers > 0 )
412     {
413         p_input->p_playback_rate_filter = p_input->pp_resamplers[0];
414     }
415
416     ReplayGainSelect( p_aout, p_input );
417
418     /* Success */
419     p_input->b_error = false;
420     p_input->i_last_input_rate = INPUT_RATE_DEFAULT;
421
422     return 0;
423 }
424
425 /*****************************************************************************
426  * aout_InputDelete : delete an input
427  *****************************************************************************
428  * This function must be entered with the mixer lock.
429  *****************************************************************************/
430 int aout_InputDelete( audio_output_t * p_aout, aout_input_t * p_input )
431 {
432     aout_assert_locked( p_aout );
433     if ( p_input->b_error )
434         return 0;
435
436     /* XXX We need to update b_recycle_vout before calling aout_FiltersDestroyPipeline.
437      * FIXME They can be a race condition if audio-visual is updated between
438      * aout_InputDelete and aout_InputNew.
439      */
440     char *psz_visual = var_GetString( p_aout, "audio-visual");
441     p_input->b_recycle_vout = psz_visual && *psz_visual;
442     free( psz_visual );
443
444     aout_FiltersDestroyPipeline( p_input->pp_filters, p_input->i_nb_filters );
445     p_input->i_nb_filters = 0;
446     aout_FiltersDestroyPipeline( p_input->pp_resamplers,
447                                  p_input->i_nb_resamplers );
448     p_input->i_nb_resamplers = 0;
449
450     return 0;
451 }
452
453 /*****************************************************************************
454  * aout_InputCheckAndRestart : restart an input
455  *****************************************************************************
456  * This function must be entered with the input and mixer lock.
457  *****************************************************************************/
458 void aout_InputCheckAndRestart( audio_output_t * p_aout, aout_input_t * p_input )
459 {
460     aout_owner_t *owner = aout_owner(p_aout);
461     aout_assert_locked( p_aout );
462
463     if( !p_input->b_restart )
464         return;
465
466     aout_InputDelete( p_aout, p_input );
467     aout_InputNew( p_aout, &owner->input_format, p_input, &p_input->request_vout );
468
469     p_input->b_restart = false;
470 }
471
472 /**
473  * This function will safely mark aout input to be restarted as soon as
474  * possible to take configuration changes into account
475  */
476 void aout_InputRequestRestart( audio_output_t *p_aout )
477 {
478     aout_lock( p_aout );
479     if( aout_owner(p_aout)->input != NULL )
480         aout_owner(p_aout)->input->b_restart = true;
481     aout_unlock( p_aout );
482 }
483
484 /*****************************************************************************
485  * aout_InputPlay : play a buffer
486  *****************************************************************************
487  * This function must be entered with the input lock.
488  *****************************************************************************/
489 /* XXX Do not activate it !! */
490 //#define AOUT_PROCESS_BEFORE_CHEKS
491 block_t *aout_InputPlay(audio_output_t *p_aout, aout_input_t *p_input,
492                         block_t *p_buffer, int i_input_rate, date_t *date )
493 {
494     mtime_t start_date;
495
496     aout_assert_locked( p_aout );
497
498     if( i_input_rate != INPUT_RATE_DEFAULT && p_input->p_playback_rate_filter == NULL )
499     {
500         inputDrop( p_input, p_buffer );
501         return NULL;
502     }
503
504 #ifdef AOUT_PROCESS_BEFORE_CHEKS
505     /* Run pre-filters. */
506     aout_FiltersPlay( p_aout, p_input->pp_filters, p_input->i_nb_filters,
507                       &p_buffer );
508     if( !p_buffer )
509         return NULL;
510
511     /* Actually run the resampler now. */
512     if ( p_input->i_nb_resamplers > 0 )
513     {
514         const mtime_t i_date = p_buffer->i_pts;
515         aout_FiltersPlay( p_aout, p_input->pp_resamplers,
516                           p_input->i_nb_resamplers,
517                           &p_buffer );
518     }
519
520     if( !p_buffer )
521         return NULL;
522     if( p_buffer->i_nb_samples <= 0 )
523     {
524         block_Release( p_buffer );
525         return NULL;
526     }
527 #endif
528
529     /* Handle input rate change, but keep drift correction */
530     if( i_input_rate != p_input->i_last_input_rate )
531     {
532         unsigned int * const pi_rate = &p_input->p_playback_rate_filter->fmt_in.audio.i_rate;
533 #define F(r,ir) ( INPUT_RATE_DEFAULT * (r) / (ir) )
534         const int i_delta = *pi_rate - F(p_input->samplerate,p_input->i_last_input_rate);
535         *pi_rate = F(p_input->samplerate + i_delta, i_input_rate);
536 #undef F
537         p_input->i_last_input_rate = i_input_rate;
538     }
539
540     mtime_t now = mdate();
541
542     /* We don't care if someone changes the start date behind our back after
543      * this. We'll deal with that when pushing the buffer, and compensate
544      * with the next incoming buffer. */
545     start_date = date_Get (date);
546
547     if ( start_date != VLC_TS_INVALID && start_date < now )
548     {
549         /* The decoder is _very_ late. This can only happen if the user
550          * pauses the stream (or if the decoder is buggy, which cannot
551          * happen :). */
552         msg_Warn( p_aout, "computed PTS is out of range (%"PRId64"), "
553                   "clearing out", now - start_date );
554         aout_OutputFlush( p_aout, false );
555         if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
556             msg_Warn( p_aout, "timing screwed, stopping resampling" );
557         inputResamplingStop( p_input );
558         p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
559         start_date = VLC_TS_INVALID;
560     }
561
562     if ( p_buffer->i_pts < now + AOUT_MIN_PREPARE_TIME )
563     {
564         /* The decoder gives us f*cked up PTS. It's its business, but we
565          * can't present it anyway, so drop the buffer. */
566         msg_Warn( p_aout, "PTS is out of range (%"PRId64"), dropping buffer",
567                   now - p_buffer->i_pts );
568         inputDrop( p_input, p_buffer );
569         inputResamplingStop( p_input );
570         return NULL;
571     }
572
573     /* If the audio drift is too big then it's not worth trying to resample
574      * the audio. */
575     if( start_date == VLC_TS_INVALID )
576     {
577         start_date = p_buffer->i_pts;
578         date_Set (date, start_date);
579     }
580
581     mtime_t drift = start_date - p_buffer->i_pts;
582
583     if( drift < -i_input_rate * 3 * AOUT_MAX_PTS_ADVANCE / INPUT_RATE_DEFAULT )
584     {
585         msg_Warn( p_aout, "buffer way too early (%"PRId64"), clearing queue",
586                   drift );
587         aout_OutputFlush( p_aout, false );
588         if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
589             msg_Warn( p_aout, "timing screwed, stopping resampling" );
590         inputResamplingStop( p_input );
591         p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
592         start_date = p_buffer->i_pts;
593         date_Set (date, start_date);
594         drift = 0;
595     }
596     else
597     if( drift > +i_input_rate * 3 * AOUT_MAX_PTS_DELAY / INPUT_RATE_DEFAULT )
598     {
599         msg_Warn( p_aout, "buffer way too late (%"PRId64"), dropping buffer",
600                   drift );
601         inputDrop( p_input, p_buffer );
602         return NULL;
603     }
604
605 #ifndef AOUT_PROCESS_BEFORE_CHEKS
606     /* Run pre-filters. */
607     aout_FiltersPlay( p_input->pp_filters, p_input->i_nb_filters, &p_buffer );
608     if( !p_buffer )
609         return NULL;
610 #endif
611
612     /* Run the resampler if needed.
613      * We first need to calculate the output rate of this resampler. */
614     if ( ( p_input->i_resampling_type == AOUT_RESAMPLING_NONE ) &&
615          ( drift < -AOUT_MAX_PTS_ADVANCE || drift > +AOUT_MAX_PTS_DELAY ) &&
616          p_input->i_nb_resamplers > 0 )
617     {
618         /* Can happen in several circumstances :
619          * 1. A problem at the input (clock drift)
620          * 2. A small pause triggered by the user
621          * 3. Some delay in the output stage, causing a loss of lip
622          *    synchronization
623          * Solution : resample the buffer to avoid a scratch.
624          */
625         p_input->i_resamp_start_date = now;
626         p_input->i_resamp_start_drift = (int)-drift;
627         p_input->i_resampling_type = (drift < 0) ? AOUT_RESAMPLING_DOWN
628                                                  : AOUT_RESAMPLING_UP;
629         msg_Warn( p_aout, (drift < 0)
630                   ? "buffer too early (%"PRId64"), down-sampling"
631                   : "buffer too late  (%"PRId64"), up-sampling", drift );
632     }
633
634     if ( p_input->i_resampling_type != AOUT_RESAMPLING_NONE )
635     {
636         /* Resampling has been triggered previously (because of dates
637          * mismatch). We want the resampling to happen progressively so
638          * it isn't too audible to the listener. */
639
640         if( p_input->i_resampling_type == AOUT_RESAMPLING_UP )
641             p_input->pp_resamplers[0]->fmt_in.audio.i_rate += 2; /* Hz */
642         else
643             p_input->pp_resamplers[0]->fmt_in.audio.i_rate -= 2; /* Hz */
644
645         /* Check if everything is back to normal, in which case we can stop the
646          * resampling */
647         unsigned int i_nominal_rate =
648           (p_input->pp_resamplers[0] == p_input->p_playback_rate_filter)
649           ? INPUT_RATE_DEFAULT * p_input->samplerate / i_input_rate
650           : p_input->samplerate;
651         if( p_input->pp_resamplers[0]->fmt_in.audio.i_rate == i_nominal_rate )
652         {
653             p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
654             msg_Warn( p_aout, "resampling stopped after %"PRIi64" usec "
655                       "(drift: %"PRIi64")",
656                       now - p_input->i_resamp_start_date,
657                       p_buffer->i_pts - start_date);
658         }
659         else if( abs( (int)(p_buffer->i_pts - start_date) ) <
660                  abs( p_input->i_resamp_start_drift ) / 2 )
661         {
662             /* if we reduced the drift from half, then it is time to switch
663              * back the resampling direction. */
664             if( p_input->i_resampling_type == AOUT_RESAMPLING_UP )
665                 p_input->i_resampling_type = AOUT_RESAMPLING_DOWN;
666             else
667                 p_input->i_resampling_type = AOUT_RESAMPLING_UP;
668             p_input->i_resamp_start_drift = 0;
669         }
670         else if( p_input->i_resamp_start_drift &&
671                  ( abs( (int)(p_buffer->i_pts - start_date) ) >
672                    abs( p_input->i_resamp_start_drift ) * 3 / 2 ) )
673         {
674             /* If the drift is increasing and not decreasing, than something
675              * is bad. We'd better stop the resampling right now. */
676             msg_Warn( p_aout, "timing screwed, stopping resampling" );
677             inputResamplingStop( p_input );
678             p_buffer->i_flags |= BLOCK_FLAG_DISCONTINUITY;
679         }
680     }
681
682 #ifndef AOUT_PROCESS_BEFORE_CHEKS
683     /* Actually run the resampler now. */
684     if ( p_input->i_nb_resamplers > 0 )
685     {
686         aout_FiltersPlay( p_input->pp_resamplers, p_input->i_nb_resamplers,
687                           &p_buffer );
688     }
689
690     if( !p_buffer )
691         return NULL;
692     if( p_buffer->i_nb_samples <= 0 )
693     {
694         block_Release( p_buffer );
695         return NULL;
696     }
697 #endif
698
699     p_buffer->i_pts = start_date;
700     return p_buffer;
701 }
702
703 /*****************************************************************************
704  * static functions
705  *****************************************************************************/
706
707 static void inputFailure( audio_output_t * p_aout, aout_input_t * p_input,
708                           const char * psz_error_message )
709 {
710     /* error message */
711     msg_Err( p_aout, "%s", psz_error_message );
712
713     /* clean up */
714     aout_FiltersDestroyPipeline( p_input->pp_filters, p_input->i_nb_filters );
715     aout_FiltersDestroyPipeline( p_input->pp_resamplers,
716                                  p_input->i_nb_resamplers );
717     var_Destroy( p_aout, "visual" );
718     var_Destroy( p_aout, "equalizer" );
719     var_Destroy( p_aout, "audio-filter" );
720     var_Destroy( p_aout, "audio-visual" );
721
722     var_Destroy( p_aout, "audio-replay-gain-mode" );
723     var_Destroy( p_aout, "audio-replay-gain-default" );
724     var_Destroy( p_aout, "audio-replay-gain-preamp" );
725     var_Destroy( p_aout, "audio-replay-gain-peak-protection" );
726
727     /* error flag */
728     p_input->b_error = 1;
729 }
730
731 static void inputDrop( aout_input_t *p_input, aout_buffer_t *p_buffer )
732 {
733     aout_BufferFree( p_buffer );
734
735     p_input->i_buffer_lost++;
736 }
737
738 static void inputResamplingStop( aout_input_t *p_input )
739 {
740     p_input->i_resampling_type = AOUT_RESAMPLING_NONE;
741     if( p_input->i_nb_resamplers != 0 )
742     {
743         p_input->pp_resamplers[0]->fmt_in.audio.i_rate =
744             ( p_input->pp_resamplers[0] == p_input->p_playback_rate_filter )
745             ? INPUT_RATE_DEFAULT * p_input->samplerate / p_input->i_last_input_rate
746             : p_input->samplerate;
747     }
748 }
749
750 static vout_thread_t *RequestVout( void *p_private,
751                                    vout_thread_t *p_vout, video_format_t *p_fmt, bool b_recycle )
752 {
753     audio_output_t *p_aout = p_private;
754     VLC_UNUSED(b_recycle);
755     vout_configuration_t cfg = {
756         .vout       = p_vout,
757         .input      = NULL,
758         .change_fmt = true,
759         .fmt        = p_fmt,
760         .dpb_size   = 1,
761     };
762     return vout_Request( p_aout, &cfg );
763 }
764
765 vout_thread_t *aout_filter_RequestVout( filter_t *p_filter,
766                                         vout_thread_t *p_vout, video_format_t *p_fmt )
767 {
768     aout_input_t *p_input = p_filter->p_owner->p_input;
769     aout_request_vout_t *p_request = &p_input->request_vout;
770
771     /* XXX: this only works from audio input */
772     /* If you want to use visualization filters from another place, you will
773      * need to add a new pf_aout_request_vout callback or store a pointer
774      * to aout_request_vout_t inside filter_t (i.e. a level of indirection). */
775
776     return p_request->pf_request_vout( p_request->p_private,
777                                        p_vout, p_fmt, p_input->b_recycle_vout );
778 }
779
780 static inline bool ChangeFiltersString (vlc_object_t *aout, const char *var,
781                                         const char *filter, bool add)
782 {
783     return aout_ChangeFilterString (aout, aout, var, filter, add);
784 }
785
786 static int VisualizationCallback (vlc_object_t *obj, char const *var,
787                                   vlc_value_t oldval, vlc_value_t newval,
788                                   void *data)
789 {
790     const char *mode = newval.psz_string;
791     aout_input_t *input = data;
792
793     if (!*mode)
794     {
795         ChangeFiltersString (obj, "audio-visual", "goom", false);
796         ChangeFiltersString (obj, "audio-visual", "visual", false);
797         ChangeFiltersString (obj, "audio-visual", "projectm", false);
798     }
799     else if (!strcmp ("goom", mode))
800     {
801         ChangeFiltersString (obj, "audio-visual", "visual", false );
802         ChangeFiltersString (obj, "audio-visual", "goom", true );
803         ChangeFiltersString (obj, "audio-visual", "projectm", false );
804     }
805     else if (!strcmp ("projectm", mode))
806     {
807         ChangeFiltersString (obj, "audio-visual", "visual", false);
808         ChangeFiltersString (obj, "audio-visual", "goom", false);
809         ChangeFiltersString (obj, "audio-visual", "projectm", true);
810     }
811     else
812     {
813         var_Create (obj, "effect-list", VLC_VAR_STRING);
814         var_SetString (obj, "effect-list", mode);
815
816         ChangeFiltersString (obj, "audio-visual", "goom", false);
817         ChangeFiltersString (obj, "audio-visual", "visual", true);
818         ChangeFiltersString (obj, "audio-visual", "projectm", false);
819     }
820
821     /* That sucks FIXME: use "input" instead of cast */
822     aout_InputRequestRestart ((audio_output_t *)obj);
823
824     (void) var; (void) oldval;
825     return VLC_SUCCESS;
826 }
827
828 static int EqualizerCallback (vlc_object_t *obj, char const *cmd,
829                               vlc_value_t oldval, vlc_value_t newval,
830                               void *data)
831 {
832     char *mode = newval.psz_string;
833     aout_input_t *input = data;
834     bool ret;
835
836     (void) cmd; (void) oldval;
837     if (!*mode)
838         ret = ChangeFiltersString (obj, "audio-filter", "equalizer", false);
839     else
840     {
841         var_Create (obj, "equalizer-preset", VLC_VAR_STRING);
842         var_SetString (obj, "equalizer-preset", mode);
843         ret = ChangeFiltersString (obj, "audio-filter", "equalizer", true);
844     }
845
846     /* That sucks */
847     if (ret)
848         aout_InputRequestRestart ((audio_output_t *)obj);
849     return VLC_SUCCESS;
850 }
851
852 static int ReplayGainCallback( vlc_object_t *p_this, char const *psz_cmd,
853                                vlc_value_t oldval, vlc_value_t newval, void *p_data )
854 {
855     VLC_UNUSED(psz_cmd); VLC_UNUSED(oldval);
856     VLC_UNUSED(newval); VLC_UNUSED(p_data);
857     audio_output_t *aout = (audio_output_t *)p_this;
858     aout_owner_t *owner = aout_owner (aout);
859
860     aout_lock (aout);
861     if (owner->input != NULL)
862         ReplayGainSelect (aout, owner->input);
863     aout_unlock (aout);
864
865     return VLC_SUCCESS;
866 }
867
868 static void ReplayGainSelect( audio_output_t *p_aout, aout_input_t *p_input )
869 {
870     char *psz_replay_gain = var_GetNonEmptyString( p_aout,
871                                                    "audio-replay-gain-mode" );
872     int i_mode;
873     int i_use;
874     float f_gain;
875
876     p_input->multiplier = 1.0;
877
878     if( !psz_replay_gain )
879         return;
880
881     /* Find select mode */
882     if( !strcmp( psz_replay_gain, "track" ) )
883         i_mode = AUDIO_REPLAY_GAIN_TRACK;
884     else if( !strcmp( psz_replay_gain, "album" ) )
885         i_mode = AUDIO_REPLAY_GAIN_ALBUM;
886     else
887         i_mode = AUDIO_REPLAY_GAIN_MAX;
888
889     /* If the select mode is not available, prefer the other one */
890     i_use = i_mode;
891     if( i_use != AUDIO_REPLAY_GAIN_MAX && !p_input->replay_gain.pb_gain[i_use] )
892     {
893         for( i_use = 0; i_use < AUDIO_REPLAY_GAIN_MAX; i_use++ )
894         {
895             if( p_input->replay_gain.pb_gain[i_use] )
896                 break;
897         }
898     }
899
900     /* */
901     if( i_use != AUDIO_REPLAY_GAIN_MAX )
902         f_gain = p_input->replay_gain.pf_gain[i_use] + var_GetFloat( p_aout, "audio-replay-gain-preamp" );
903     else if( i_mode != AUDIO_REPLAY_GAIN_MAX )
904         f_gain = var_GetFloat( p_aout, "audio-replay-gain-default" );
905     else
906         f_gain = 0.0;
907     p_input->multiplier = pow( 10.0, f_gain / 20.0 );
908
909     /* */
910     if( p_input->replay_gain.pb_peak[i_use] &&
911         var_GetBool( p_aout, "audio-replay-gain-peak-protection" ) &&
912         p_input->replay_gain.pf_peak[i_use] * p_input->multiplier > 1.0 )
913     {
914         p_input->multiplier = 1.0f / p_input->replay_gain.pf_peak[i_use];
915     }
916
917     free( psz_replay_gain );
918 }