811ec7a6449f84879bf6694ecf45cda1ea89b6af
[vlc.git] / src / input / clock.c
1 /*****************************************************************************
2  * clock.c: Clock/System date convertions, stream management
3  *****************************************************************************
4  * Copyright (C) 1999-2008 the VideoLAN team
5  * Copyright (C) 2008 Laurent Aimar
6  * $Id$
7  *
8  * Authors: Christophe Massiot <massiot@via.ecp.fr>
9  *          Laurent Aimar < fenrir _AT_ videolan _DOT_ org >
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  * You should have received a copy of the GNU General Public License
22  * along with this program; if not, write to the Free Software
23  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
24  *****************************************************************************/
25
26 /*****************************************************************************
27  * Preamble
28  *****************************************************************************/
29 #ifdef HAVE_CONFIG_H
30 # include "config.h"
31 #endif
32
33 #include <vlc_common.h>
34 #include <vlc_input.h>
35 #include "clock.h"
36 #include <assert.h>
37
38 /* TODO:
39  * - clean up locking once clock code is stable
40  *
41  */
42
43 /*
44  * DISCUSSION : SYNCHRONIZATION METHOD
45  *
46  * In some cases we can impose the pace of reading (when reading from a
47  * file or a pipe), and for the synchronization we simply sleep() until
48  * it is time to deliver the packet to the decoders. When reading from
49  * the network, we must be read at the same pace as the server writes,
50  * otherwise the kernel's buffer will trash packets. The risk is now to
51  * overflow the input buffers in case the server goes too fast, that is
52  * why we do these calculations :
53  *
54  * We compute a mean for the pcr because we want to eliminate the
55  * network jitter and keep the low frequency variations. The mean is
56  * in fact a low pass filter and the jitter is a high frequency signal
57  * that is why it is eliminated by the filter/average.
58  *
59  * The low frequency variations enable us to synchronize the client clock
60  * with the server clock because they represent the time variation between
61  * the 2 clocks. Those variations (ie the filtered pcr) are used to compute
62  * the presentation dates for the audio and video frames. With those dates
63  * we can decode (or trash) the MPEG2 stream at "exactly" the same rate
64  * as it is sent by the server and so we keep the synchronization between
65  * the server and the client.
66  *
67  * It is a very important matter if you want to avoid underflow or overflow
68  * in all the FIFOs, but it may be not enough.
69  */
70
71 /* i_cr_average : Maximum number of samples used to compute the
72  * dynamic average value.
73  * We use the following formula :
74  * new_average = (old_average * c_average + new_sample_value) / (c_average +1)
75  */
76
77
78 /*****************************************************************************
79  * Constants
80  *****************************************************************************/
81
82 /* Maximum gap allowed between two CRs. */
83 #define CR_MAX_GAP (INT64_C(2000000)*100/9)
84
85 /* Latency introduced on DVDs with CR == 0 on chapter change - this is from
86  * my dice --Meuuh */
87 #define CR_MEAN_PTS_GAP (300000)
88
89 /* Rate (in 1/256) at which we will read faster to try to increase our
90  * internal buffer (if we control the pace of the source).
91  */
92 #define CR_BUFFERING_RATE (48)
93
94 /* Extra internal buffer value (in CLOCK_FREQ)
95  * It is 60s max, remember as it is limited by the size it takes by es_out.c
96  * it can be really large.
97  */
98 #define CR_BUFFERING_TARGET (60000000)
99
100 /*****************************************************************************
101  * Structures
102  *****************************************************************************/
103
104 /**
105  * This structure holds long term average
106  */
107 typedef struct
108 {
109     mtime_t i_value;
110     int     i_residue;
111
112     int     i_count;
113     int     i_divider;
114 } average_t;
115 static void    AvgInit( average_t *, int i_divider );
116 static void    AvgClean( average_t * );
117
118 static void    AvgReset( average_t * );
119 static void    AvgUpdate( average_t *, mtime_t i_value );
120 static mtime_t AvgGet( average_t * );
121 static void    AvgRescale( average_t *, int i_divider );
122
123 /* */
124 typedef struct
125 {
126     mtime_t i_stream;
127     mtime_t i_system;
128 } clock_point_t;
129
130 static inline clock_point_t clock_point_Create( mtime_t i_stream, mtime_t i_system )
131 {
132     clock_point_t p = { .i_stream = i_stream, .i_system = i_system };
133     return p;
134 }
135
136 /* */
137 #define INPUT_CLOCK_LATE_COUNT (3)
138
139 /* */
140 struct input_clock_t
141 {
142     /* */
143     vlc_mutex_t lock;
144
145     /* Reference point */
146     bool          b_has_reference;
147     clock_point_t ref;
148
149     /* Last point
150      * It is used to detect unexpected stream discontinuities */
151     clock_point_t last;
152
153     /* Maximal timestamp returned by input_clock_ConvertTS (in system unit) */
154     mtime_t i_ts_max;
155
156     /* Amount of extra buffering expressed in stream clock */
157     mtime_t i_buffering_duration;
158
159     /* Clock drift */
160     mtime_t i_next_drift_update;
161     average_t drift;
162
163     /* Late statistics */
164     struct
165     {
166         mtime_t  pi_value[INPUT_CLOCK_LATE_COUNT];
167         unsigned i_index;
168     } late;
169
170     /* Current modifiers */
171     int     i_rate;
172     mtime_t i_pts_delay;
173     bool    b_paused;
174     mtime_t i_pause_date;
175 };
176
177 static mtime_t ClockStreamToSystem( input_clock_t *, mtime_t i_stream );
178 static mtime_t ClockSystemToStream( input_clock_t *, mtime_t i_system );
179
180 static mtime_t ClockGetTsOffset( input_clock_t * );
181
182 /*****************************************************************************
183  * input_clock_New: create a new clock
184  *****************************************************************************/
185 input_clock_t *input_clock_New( int i_rate )
186 {
187     input_clock_t *cl = malloc( sizeof(*cl) );
188     if( !cl )
189         return NULL;
190
191     vlc_mutex_init( &cl->lock );
192     cl->b_has_reference = false;
193     cl->ref = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
194
195     cl->last = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
196
197     cl->i_ts_max = VLC_TS_INVALID;
198
199     cl->i_buffering_duration = 0;
200
201     cl->i_next_drift_update = VLC_TS_INVALID;
202     AvgInit( &cl->drift, 10 );
203
204     cl->late.i_index = 0;
205     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
206         cl->late.pi_value[i] = 0;
207
208     cl->i_rate = i_rate;
209     cl->i_pts_delay = 0;
210     cl->b_paused = false;
211     cl->i_pause_date = VLC_TS_INVALID;
212
213     return cl;
214 }
215
216 /*****************************************************************************
217  * input_clock_Delete: destroy a new clock
218  *****************************************************************************/
219 void input_clock_Delete( input_clock_t *cl )
220 {
221     AvgClean( &cl->drift );
222     vlc_mutex_destroy( &cl->lock );
223     free( cl );
224 }
225
226 /*****************************************************************************
227  * input_clock_Update: manages a clock reference
228  *
229  *  i_ck_stream: date in stream clock
230  *  i_ck_system: date in system clock
231  *****************************************************************************/
232 void input_clock_Update( input_clock_t *cl, vlc_object_t *p_log,
233                          bool *pb_late,
234                          bool b_can_pace_control, bool b_buffering_allowed,
235                          mtime_t i_ck_stream, mtime_t i_ck_system )
236 {
237     bool b_reset_reference = false;
238
239     assert( i_ck_stream > VLC_TS_INVALID && i_ck_system > VLC_TS_INVALID );
240
241     vlc_mutex_lock( &cl->lock );
242
243     if( !cl->b_has_reference )
244     {
245         /* */
246         b_reset_reference= true;
247     }
248     else if( cl->last.i_stream > VLC_TS_INVALID &&
249              ( (cl->last.i_stream - i_ck_stream) > CR_MAX_GAP ||
250                (cl->last.i_stream - i_ck_stream) < -CR_MAX_GAP ) )
251     {
252         /* Stream discontinuity, for which we haven't received a
253          * warning from the stream control facilities (dd-edited
254          * stream ?). */
255         msg_Warn( p_log, "clock gap, unexpected stream discontinuity" );
256         cl->i_ts_max = VLC_TS_INVALID;
257
258         /* */
259         msg_Warn( p_log, "feeding synchro with a new reference point trying to recover from clock gap" );
260         b_reset_reference= true;
261     }
262
263     /* */
264     if( b_reset_reference )
265     {
266         cl->i_next_drift_update = VLC_TS_INVALID;
267         AvgReset( &cl->drift );
268
269         /* Feed synchro with a new reference point. */
270         cl->b_has_reference = true;
271         cl->ref = clock_point_Create( i_ck_stream,
272                                       __MAX( cl->i_ts_max + CR_MEAN_PTS_GAP, i_ck_system ) );
273     }
274
275     /* Compute the drift between the stream clock and the system clock
276      * when we don't control the source pace */
277     if( !b_can_pace_control && cl->i_next_drift_update < i_ck_system )
278     {
279         const mtime_t i_converted = ClockSystemToStream( cl, i_ck_system );
280
281         AvgUpdate( &cl->drift, i_converted - i_ck_stream );
282
283         cl->i_next_drift_update = i_ck_system + CLOCK_FREQ/5; /* FIXME why that */
284     }
285
286     /* Update the extra buffering value */
287     if( !b_can_pace_control || b_reset_reference )
288     {
289         cl->i_buffering_duration = 0;
290     }
291     else if( b_buffering_allowed )
292     {
293         /* Try to bufferize more than necessary by reading
294          * CR_BUFFERING_RATE/256 faster until we have CR_BUFFERING_TARGET.
295          */
296         const mtime_t i_duration = __MAX( i_ck_stream - cl->last.i_stream, 0 );
297
298         cl->i_buffering_duration += ( i_duration * CR_BUFFERING_RATE + 255 ) / 256;
299         if( cl->i_buffering_duration > CR_BUFFERING_TARGET )
300             cl->i_buffering_duration = CR_BUFFERING_TARGET;
301     }
302     //fprintf( stderr, "input_clock_Update: %d :: %lld\n", b_buffering_allowed, cl->i_buffering_duration/1000 );
303
304     /* */
305     cl->last = clock_point_Create( i_ck_stream, i_ck_system );
306
307     /* It does not take the decoder latency into account but it is not really
308      * the goal of the clock here */
309     const mtime_t i_system_expected = ClockStreamToSystem( cl, i_ck_stream + AvgGet( &cl->drift ) );
310     const mtime_t i_late = ( i_ck_system - cl->i_pts_delay ) - i_system_expected;
311     *pb_late = i_late > 0;
312     if( i_late > 0 )
313     {
314         cl->late.pi_value[cl->late.i_index] = i_late;
315         cl->late.i_index = ( cl->late.i_index + 1 ) % INPUT_CLOCK_LATE_COUNT;
316     }
317
318     vlc_mutex_unlock( &cl->lock );
319 }
320
321 /*****************************************************************************
322  * input_clock_Reset:
323  *****************************************************************************/
324 void input_clock_Reset( input_clock_t *cl )
325 {
326     vlc_mutex_lock( &cl->lock );
327
328     cl->b_has_reference = false;
329     cl->ref = clock_point_Create( VLC_TS_INVALID, VLC_TS_INVALID );
330     cl->i_ts_max = VLC_TS_INVALID;
331
332     vlc_mutex_unlock( &cl->lock );
333 }
334
335 /*****************************************************************************
336  * input_clock_ChangeRate:
337  *****************************************************************************/
338 void input_clock_ChangeRate( input_clock_t *cl, int i_rate )
339 {
340     vlc_mutex_lock( &cl->lock );
341
342     if( cl->b_has_reference )
343     {
344         /* Move the reference point (as if we were playing at the new rate
345          * from the start */
346         cl->ref.i_system = cl->last.i_system - (cl->last.i_system - cl->ref.i_system) * i_rate / cl->i_rate;
347     }
348     cl->i_rate = i_rate;
349
350     vlc_mutex_unlock( &cl->lock );
351 }
352
353 /*****************************************************************************
354  * input_clock_ChangePause:
355  *****************************************************************************/
356 void input_clock_ChangePause( input_clock_t *cl, bool b_paused, mtime_t i_date )
357 {
358     vlc_mutex_lock( &cl->lock );
359     assert( (!cl->b_paused) != (!b_paused) );
360
361     if( cl->b_paused )
362     {
363         const mtime_t i_duration = i_date - cl->i_pause_date;
364
365         if( cl->b_has_reference && i_duration > 0 )
366         {
367             cl->ref.i_system += i_duration;
368             cl->last.i_system += i_duration;
369         }
370     }
371     cl->i_pause_date = i_date;
372     cl->b_paused = b_paused;
373
374     vlc_mutex_unlock( &cl->lock );
375 }
376
377 /*****************************************************************************
378  * input_clock_GetWakeup
379  *****************************************************************************/
380 mtime_t input_clock_GetWakeup( input_clock_t *cl )
381 {
382     mtime_t i_wakeup = 0;
383
384     vlc_mutex_lock( &cl->lock );
385
386     /* Synchronized, we can wait */
387     if( cl->b_has_reference )
388         i_wakeup = ClockStreamToSystem( cl, cl->last.i_stream + AvgGet( &cl->drift ) - cl->i_buffering_duration );
389
390     vlc_mutex_unlock( &cl->lock );
391
392     return i_wakeup;
393 }
394
395 /*****************************************************************************
396  * input_clock_ConvertTS
397  *****************************************************************************/
398 int input_clock_ConvertTS( input_clock_t *cl,
399                            int *pi_rate, mtime_t *pi_ts0, mtime_t *pi_ts1,
400                            mtime_t i_ts_bound )
401 {
402     assert( pi_ts0 );
403     vlc_mutex_lock( &cl->lock );
404
405     if( pi_rate )
406         *pi_rate = cl->i_rate;
407
408     if( !cl->b_has_reference )
409     {
410         vlc_mutex_unlock( &cl->lock );
411         *pi_ts0 = VLC_TS_INVALID;
412         if( pi_ts1 )
413             *pi_ts1 = VLC_TS_INVALID;
414         return VLC_EGENERIC;
415     }
416
417     /* */
418     const mtime_t i_ts_buffering = cl->i_buffering_duration * cl->i_rate / INPUT_RATE_DEFAULT;
419     const mtime_t i_ts_delay = cl->i_pts_delay + ClockGetTsOffset( cl );
420
421     /* */
422     if( *pi_ts0 > VLC_TS_INVALID )
423     {
424         *pi_ts0 = ClockStreamToSystem( cl, *pi_ts0 + AvgGet( &cl->drift ) );
425         if( *pi_ts0 > cl->i_ts_max )
426             cl->i_ts_max = *pi_ts0;
427         *pi_ts0 += i_ts_delay;
428     }
429
430     /* XXX we do not ipdate i_ts_max on purpose */
431     if( pi_ts1 && *pi_ts1 > VLC_TS_INVALID )
432     {
433         *pi_ts1 = ClockStreamToSystem( cl, *pi_ts1 + AvgGet( &cl->drift ) ) +
434                   i_ts_delay;
435     }
436
437     vlc_mutex_unlock( &cl->lock );
438
439     /* Check ts validity */
440     if( i_ts_bound != INT64_MAX &&
441         *pi_ts0 > VLC_TS_INVALID && *pi_ts0 >= mdate() + i_ts_delay + i_ts_buffering + i_ts_bound )
442         return VLC_EGENERIC;
443
444     return VLC_SUCCESS;
445 }
446 /*****************************************************************************
447  * input_clock_GetRate: Return current rate
448  *****************************************************************************/
449 int input_clock_GetRate( input_clock_t *cl )
450 {
451     int i_rate;
452
453     vlc_mutex_lock( &cl->lock );
454     i_rate = cl->i_rate;
455     vlc_mutex_unlock( &cl->lock );
456
457     return i_rate;
458 }
459
460 int input_clock_GetState( input_clock_t *cl,
461                           mtime_t *pi_stream_start, mtime_t *pi_system_start,
462                           mtime_t *pi_stream_duration, mtime_t *pi_system_duration )
463 {
464     vlc_mutex_lock( &cl->lock );
465
466     if( !cl->b_has_reference )
467     {
468         vlc_mutex_unlock( &cl->lock );
469         return VLC_EGENERIC;
470     }
471
472     *pi_stream_start = cl->ref.i_stream;
473     *pi_system_start = cl->ref.i_system;
474
475     *pi_stream_duration = cl->last.i_stream - cl->ref.i_stream;
476     *pi_system_duration = cl->last.i_system - cl->ref.i_system;
477
478     vlc_mutex_unlock( &cl->lock );
479
480     return VLC_SUCCESS;
481 }
482
483 void input_clock_ChangeSystemOrigin( input_clock_t *cl, mtime_t i_system )
484 {
485     vlc_mutex_lock( &cl->lock );
486
487     assert( cl->b_has_reference );
488     const mtime_t i_offset = i_system - cl->ref.i_system - ClockGetTsOffset( cl );
489
490     cl->ref.i_system += i_offset;
491     cl->last.i_system += i_offset;
492
493     vlc_mutex_unlock( &cl->lock );
494 }
495
496 #warning "input_clock_SetJitter needs more work"
497 void input_clock_SetJitter( input_clock_t *cl,
498                             mtime_t i_pts_delay, int i_cr_average )
499 {
500     vlc_mutex_lock( &cl->lock );
501
502     /* Update late observations */
503     const mtime_t i_delay_delta = i_pts_delay - cl->i_pts_delay;
504     mtime_t pi_late[INPUT_CLOCK_LATE_COUNT];
505     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
506         pi_late[i] = __MAX( cl->late.pi_value[(cl->late.i_index + 1 + i)%INPUT_CLOCK_LATE_COUNT] - i_delay_delta, 0 );
507
508     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
509         cl->late.pi_value[i] = 0;
510     cl->late.i_index = 0;
511
512     for( int i = 0; i < INPUT_CLOCK_LATE_COUNT; i++ )
513     {
514         if( pi_late[i] <= 0 )
515             continue;
516         cl->late.pi_value[cl->late.i_index] = pi_late[i];
517         cl->late.i_index = ( cl->late.i_index + 1 ) % INPUT_CLOCK_LATE_COUNT;
518     }
519
520     /* TODO always save the value, and when rebuffering use the new one if smaller
521      * TODO when increasing -> force rebuffering
522      */
523     if( cl->i_pts_delay < i_pts_delay )
524         cl->i_pts_delay = i_pts_delay;
525
526     /* */
527     if( i_cr_average < 10 )
528         i_cr_average = 10;
529
530     if( cl->drift.i_divider != i_cr_average )
531         AvgRescale( &cl->drift, i_cr_average );
532
533     vlc_mutex_unlock( &cl->lock );
534 }
535
536 mtime_t input_clock_GetJitter( input_clock_t *cl )
537 {
538     vlc_mutex_lock( &cl->lock );
539
540 #if INPUT_CLOCK_LATE_COUNT != 3
541 #   error "unsupported INPUT_CLOCK_LATE_COUNT"
542 #endif
543     /* Find the median of the last late values
544      * It works pretty well at rejecting bad values
545      *
546      * XXX we only increase pts_delay over time, decreasing it is
547      * not that easy if we want to be robust.
548      */
549     const mtime_t *p = cl->late.pi_value;
550     mtime_t i_late_median = p[0] + p[1] + p[2] - __MIN(__MIN(p[0],p[1]),p[2]) - __MAX(__MAX(p[0],p[1]),p[2]);
551     mtime_t i_pts_delay = cl->i_pts_delay ;
552
553     vlc_mutex_unlock( &cl->lock );
554
555     return i_pts_delay + i_late_median;
556 }
557
558 /*****************************************************************************
559  * ClockStreamToSystem: converts a movie clock to system date
560  *****************************************************************************/
561 static mtime_t ClockStreamToSystem( input_clock_t *cl, mtime_t i_stream )
562 {
563     if( !cl->b_has_reference )
564         return VLC_TS_INVALID;
565
566     return ( i_stream - cl->ref.i_stream ) * cl->i_rate / INPUT_RATE_DEFAULT +
567            cl->ref.i_system;
568 }
569
570 /*****************************************************************************
571  * ClockSystemToStream: converts a system date to movie clock
572  *****************************************************************************
573  * Caution : a valid reference point is needed for this to operate.
574  *****************************************************************************/
575 static mtime_t ClockSystemToStream( input_clock_t *cl, mtime_t i_system )
576 {
577     assert( cl->b_has_reference );
578     return ( i_system - cl->ref.i_system ) * INPUT_RATE_DEFAULT / cl->i_rate +
579             cl->ref.i_stream;
580 }
581
582 /**
583  * It returns timestamp display offset due to ref/last modfied on rate changes
584  * It ensures that currently converted dates are not changed.
585  */
586 static mtime_t ClockGetTsOffset( input_clock_t *cl )
587 {
588     return cl->i_pts_delay * ( cl->i_rate - INPUT_RATE_DEFAULT ) / INPUT_RATE_DEFAULT;
589 }
590
591 /*****************************************************************************
592  * Long term average helpers
593  *****************************************************************************/
594 static void AvgInit( average_t *p_avg, int i_divider )
595 {
596     p_avg->i_divider = i_divider;
597     AvgReset( p_avg );
598 }
599 static void AvgClean( average_t *p_avg )
600 {
601     VLC_UNUSED(p_avg);
602 }
603 static void AvgReset( average_t *p_avg )
604 {
605     p_avg->i_value = 0;
606     p_avg->i_residue = 0;
607     p_avg->i_count = 0;
608 }
609 static void AvgUpdate( average_t *p_avg, mtime_t i_value )
610 {
611     const int i_f0 = __MIN( p_avg->i_divider - 1, p_avg->i_count );
612     const int i_f1 = p_avg->i_divider - i_f0;
613
614     const mtime_t i_tmp = i_f0 * p_avg->i_value + i_f1 * i_value + p_avg->i_residue;
615
616     p_avg->i_value   = i_tmp / p_avg->i_divider;
617     p_avg->i_residue = i_tmp % p_avg->i_divider;
618
619     p_avg->i_count++;
620 }
621 static mtime_t AvgGet( average_t *p_avg )
622 {
623     return p_avg->i_value;
624 }
625 static void AvgRescale( average_t *p_avg, int i_divider )
626 {
627     const mtime_t i_tmp = p_avg->i_value * p_avg->i_divider + p_avg->i_residue;
628
629     p_avg->i_divider = i_divider;
630     p_avg->i_value   = i_tmp / p_avg->i_divider;
631     p_avg->i_residue = i_tmp % p_avg->i_divider;
632 }