Fixed a regression with avcodec due to 83f58a5076e659f63f47575c0c350b58367eaff0
[vlc.git] / modules / codec / avcodec / audio.c
1 /*****************************************************************************
2  * audio.c: audio decoder using ffmpeg library
3  *****************************************************************************
4  * Copyright (C) 1999-2003 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *          Gildas Bazin <gbazin@videolan.org>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
23  *****************************************************************************/
24
25 /*****************************************************************************
26  * Preamble
27  *****************************************************************************/
28 #ifdef HAVE_CONFIG_H
29 # include "config.h"
30 #endif
31
32 #include <vlc_common.h>
33 #include <vlc_aout.h>
34 #include <vlc_codec.h>
35 #include <vlc_avcodec.h>
36
37 /* ffmpeg header */
38 #ifdef HAVE_LIBAVCODEC_AVCODEC_H
39 #   include <libavcodec/avcodec.h>
40 #elif defined(HAVE_FFMPEG_AVCODEC_H)
41 #   include <ffmpeg/avcodec.h>
42 #else
43 #   include <avcodec.h>
44 #endif
45
46 #include "avcodec.h"
47
48 /*****************************************************************************
49  * decoder_sys_t : decoder descriptor
50  *****************************************************************************/
51 struct decoder_sys_t
52 {
53     FFMPEG_COMMON_MEMBERS
54
55     /* Temporary buffer for libavcodec */
56     int     i_output_max;
57     uint8_t *p_output;
58
59     /*
60      * Output properties
61      */
62     audio_sample_format_t aout_format;
63     audio_date_t          end_date;
64
65     /*
66      *
67      */
68     uint8_t *p_samples;
69     int     i_samples;
70
71     /* */
72     int     i_reject_count;
73
74     /* */
75     bool    b_extract;
76     int     pi_extraction[AOUT_CHAN_MAX];
77     int     i_previous_channels;
78     int64_t i_previous_layout;
79 };
80
81 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust );
82
83 /*****************************************************************************
84  * InitAudioDec: initialize audio decoder
85  *****************************************************************************
86  * The ffmpeg codec will be opened, some memory allocated.
87  *****************************************************************************/
88 int InitAudioDec( decoder_t *p_dec, AVCodecContext *p_context,
89                       AVCodec *p_codec, int i_codec_id, const char *psz_namecodec )
90 {
91     decoder_sys_t *p_sys;
92
93     /* Allocate the memory needed to store the decoder's structure */
94     if( ( p_dec->p_sys = p_sys = malloc(sizeof(*p_sys)) ) == NULL )
95     {
96         return VLC_ENOMEM;
97     }
98
99     p_sys->p_context = p_context;
100     p_sys->p_codec = p_codec;
101     p_sys->i_codec_id = i_codec_id;
102     p_sys->psz_namecodec = psz_namecodec;
103     p_sys->b_delayed_open = false;
104
105     /* ***** Fill p_context with init values ***** */
106     p_sys->p_context->sample_rate = p_dec->fmt_in.audio.i_rate;
107     p_sys->p_context->channels = p_dec->fmt_in.audio.i_channels;
108
109     p_sys->p_context->block_align = p_dec->fmt_in.audio.i_blockalign;
110     p_sys->p_context->bit_rate = p_dec->fmt_in.i_bitrate;
111 #if LIBAVCODEC_VERSION_INT < ((52<<16)+(0<<8)+0)
112     p_sys->p_context->bits_per_sample = p_dec->fmt_in.audio.i_bitspersample;
113 #else
114     p_sys->p_context->bits_per_coded_sample = p_dec->fmt_in.audio.i_bitspersample;
115 #endif
116
117     if( p_dec->fmt_in.i_extra > 0 )
118     {
119         const uint8_t * const p_src = p_dec->fmt_in.p_extra;
120         int i_offset;
121         int i_size;
122
123         if( p_dec->fmt_in.i_codec == VLC_FOURCC( 'f', 'l', 'a', 'c' ) )
124         {
125             i_offset = 8;
126             i_size = p_dec->fmt_in.i_extra - 8;
127         }
128         else if( p_dec->fmt_in.i_codec == VLC_FOURCC( 'a', 'l', 'a', 'c' ) )
129         {
130             static const uint8_t p_pattern[] = { 0, 0, 0, 36, 'a', 'l', 'a', 'c' };
131             /* Find alac atom XXX it is a bit ugly */
132             for( i_offset = 0; i_offset < p_dec->fmt_in.i_extra - sizeof(p_pattern); i_offset++ )
133             {
134                 if( !memcmp( &p_src[i_offset], p_pattern, sizeof(p_pattern) ) )
135                     break;
136             }
137             i_size = __MIN( p_dec->fmt_in.i_extra - i_offset, 36 );
138             if( i_size < 36 )
139                 i_size = 0;
140         }
141         else
142         {
143             i_offset = 0;
144             i_size = p_dec->fmt_in.i_extra;
145         }
146
147         if( i_size > 0 )
148         {
149             p_sys->p_context->extradata =
150                 malloc( i_size + FF_INPUT_BUFFER_PADDING_SIZE );
151             if( p_sys->p_context->extradata )
152             {
153                 uint8_t *p_dst = p_sys->p_context->extradata;
154
155                 p_sys->p_context->extradata_size = i_size;
156
157                 memcpy( &p_dst[0],            &p_src[i_offset], i_size );
158                 memset( &p_dst[i_size], 0, FF_INPUT_BUFFER_PADDING_SIZE );
159             }
160         }
161     }
162     else
163     {
164         p_sys->p_context->extradata_size = 0;
165         p_sys->p_context->extradata = NULL;
166     }
167
168     /* ***** Open the codec ***** */
169     int ret;
170     vlc_avcodec_lock();
171     ret = avcodec_open( p_sys->p_context, p_sys->p_codec );
172     vlc_avcodec_unlock();
173     if( ret < 0 )
174     {
175         msg_Err( p_dec, "cannot open codec (%s)", p_sys->psz_namecodec );
176         free( p_sys->p_context->extradata );
177         free( p_sys );
178         return VLC_EGENERIC;
179     }
180
181     msg_Dbg( p_dec, "ffmpeg codec (%s) started", p_sys->psz_namecodec );
182
183     switch( i_codec_id )
184     {
185 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 51, 16, 0 )
186     case CODEC_ID_WAVPACK:
187         p_sys->i_output_max = 8 * sizeof(int32_t) * 131072;
188         break;
189 #endif
190     case CODEC_ID_FLAC:
191         p_sys->i_output_max = 8 * sizeof(int32_t) * 65535;
192         break;
193     default:
194         p_sys->i_output_max = 0;
195         break;
196     }
197     if( p_sys->i_output_max < AVCODEC_MAX_AUDIO_FRAME_SIZE )
198         p_sys->i_output_max = AVCODEC_MAX_AUDIO_FRAME_SIZE;
199     msg_Dbg( p_dec, "Using %d bytes output buffer", p_sys->i_output_max );
200     p_sys->p_output = malloc( p_sys->i_output_max );
201
202     p_sys->p_samples = NULL;
203     p_sys->i_samples = 0;
204     p_sys->i_reject_count = 0;
205     p_sys->b_extract = false;
206     p_sys->i_previous_channels = 0;
207     p_sys->i_previous_layout = 0;
208
209     aout_DateSet( &p_sys->end_date, 0 );
210     if( p_dec->fmt_in.audio.i_rate )
211         aout_DateInit( &p_sys->end_date, p_dec->fmt_in.audio.i_rate );
212
213     /* */
214     p_dec->fmt_out.i_cat = AUDIO_ES;
215     /* Try to set as much informations as possible but do not trust it */
216     SetupOutputFormat( p_dec, false );
217
218     return VLC_SUCCESS;
219 }
220
221 /*****************************************************************************
222  * SplitBuffer: Needed because aout really doesn't like big audio chunk and
223  * wma produces easily > 30000 samples...
224  *****************************************************************************/
225 static aout_buffer_t *SplitBuffer( decoder_t *p_dec )
226 {
227     decoder_sys_t *p_sys = p_dec->p_sys;
228     int i_samples = __MIN( p_sys->i_samples, 4096 );
229     aout_buffer_t *p_buffer;
230
231     if( i_samples == 0 ) return NULL;
232
233     if( ( p_buffer = decoder_NewAudioBuffer( p_dec, i_samples ) ) == NULL )
234         return NULL;
235
236     p_buffer->start_date = aout_DateGet( &p_sys->end_date );
237     p_buffer->end_date = aout_DateIncrement( &p_sys->end_date, i_samples );
238
239     if( p_sys->b_extract )
240         aout_ChannelExtract( p_buffer->p_buffer, p_dec->fmt_out.audio.i_channels,
241                              p_sys->p_samples, p_sys->p_context->channels, i_samples,
242                              p_sys->pi_extraction, p_dec->fmt_out.audio.i_bitspersample );
243     else
244         memcpy( p_buffer->p_buffer, p_sys->p_samples, p_buffer->i_nb_bytes );
245
246     p_sys->p_samples += p_buffer->i_nb_bytes;
247     p_sys->i_samples -= i_samples;
248
249     return p_buffer;
250 }
251
252 /*****************************************************************************
253  * DecodeAudio: Called to decode one frame
254  *****************************************************************************/
255 aout_buffer_t * DecodeAudio ( decoder_t *p_dec, block_t **pp_block )
256 {
257     decoder_sys_t *p_sys = p_dec->p_sys;
258     int i_used, i_output;
259     aout_buffer_t *p_buffer;
260     block_t *p_block;
261
262     if( !pp_block || !*pp_block ) return NULL;
263
264     p_block = *pp_block;
265
266     if( p_block->i_flags & (BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
267     {
268         block_Release( p_block );
269         avcodec_flush_buffers( p_sys->p_context );
270         p_sys->i_samples = 0;
271         aout_DateSet( &p_sys->end_date, 0 );
272
273         if( p_sys->i_codec_id == CODEC_ID_MP2 || p_sys->i_codec_id == CODEC_ID_MP3 )
274             p_sys->i_reject_count = 3;
275         return NULL;
276     }
277
278     if( p_sys->i_samples > 0 )
279     {
280         /* More data */
281         p_buffer = SplitBuffer( p_dec );
282         if( !p_buffer ) block_Release( p_block );
283         return p_buffer;
284     }
285
286     if( !aout_DateGet( &p_sys->end_date ) && !p_block->i_pts )
287     {
288         /* We've just started the stream, wait for the first PTS. */
289         block_Release( p_block );
290         return NULL;
291     }
292
293     if( p_block->i_buffer <= 0 )
294     {
295         block_Release( p_block );
296         return NULL;
297     }
298
299     i_output = __MAX( p_block->i_buffer, p_sys->i_output_max );
300     if( i_output > p_sys->i_output_max )
301     {
302         /* Grow output buffer if necessary (eg. for PCM data) */
303         p_sys->p_output = realloc( p_sys->p_output, i_output );
304     }
305
306     *pp_block = p_block = block_Realloc( p_block, 0, p_block->i_buffer + FF_INPUT_BUFFER_PADDING_SIZE );
307     if( !p_block )
308         return NULL;
309     p_block->i_buffer -= FF_INPUT_BUFFER_PADDING_SIZE;
310     memset( &p_block->p_buffer[p_block->i_buffer], 0, FF_INPUT_BUFFER_PADDING_SIZE );
311
312 #if LIBAVCODEC_VERSION_INT >= ((52<<16)+(0<<8)+0)
313     i_used = avcodec_decode_audio2( p_sys->p_context,
314                                    (int16_t*)p_sys->p_output, &i_output,
315                                    p_block->p_buffer, p_block->i_buffer );
316 #else
317     i_used = avcodec_decode_audio( p_sys->p_context,
318                                    (int16_t*)p_sys->p_output, &i_output,
319                                    p_block->p_buffer, p_block->i_buffer );
320 #endif
321
322     if( i_used < 0 || i_output < 0 )
323     {
324         if( i_used < 0 )
325             msg_Warn( p_dec, "cannot decode one frame (%zu bytes)",
326                       p_block->i_buffer );
327
328         block_Release( p_block );
329         return NULL;
330     }
331     else if( (size_t)i_used > p_block->i_buffer )
332     {
333         i_used = p_block->i_buffer;
334     }
335
336     p_block->i_buffer -= i_used;
337     p_block->p_buffer += i_used;
338
339     if( p_sys->p_context->channels <= 0 || p_sys->p_context->channels > 8 ||
340         p_sys->p_context->sample_rate <= 0 )
341     {
342         msg_Warn( p_dec, "invalid audio properties channels count %d, sample rate %d",
343                   p_sys->p_context->channels, p_sys->p_context->sample_rate );
344         block_Release( p_block );
345         return NULL;
346     }
347
348     if( p_dec->fmt_out.audio.i_rate != (unsigned int)p_sys->p_context->sample_rate )
349     {
350         aout_DateInit( &p_sys->end_date, p_sys->p_context->sample_rate );
351         aout_DateSet( &p_sys->end_date, p_block->i_pts );
352     }
353
354     /* **** Set audio output parameters **** */
355     SetupOutputFormat( p_dec, true );
356
357     if( p_block->i_pts != 0 &&
358         p_block->i_pts != aout_DateGet( &p_sys->end_date ) )
359     {
360         aout_DateSet( &p_sys->end_date, p_block->i_pts );
361     }
362     p_block->i_pts = 0;
363
364     /* **** Now we can output these samples **** */
365     p_sys->i_samples = i_output / (p_dec->fmt_out.audio.i_bitspersample / 8) / p_sys->p_context->channels;
366     p_sys->p_samples = p_sys->p_output;
367
368     /* Silent unwanted samples */
369     if( p_sys->i_reject_count > 0 )
370     {
371         memset( p_sys->p_output, 0, i_output );
372         p_sys->i_reject_count--;
373     }
374
375     p_buffer = SplitBuffer( p_dec );
376     if( !p_buffer ) block_Release( p_block );
377     return p_buffer;
378 }
379
380 /*****************************************************************************
381  * EndAudioDec: audio decoder destruction
382  *****************************************************************************/
383 void EndAudioDec( decoder_t *p_dec )
384 {
385     decoder_sys_t *p_sys = p_dec->p_sys;
386
387     free( p_sys->p_output );
388 }
389
390 /*****************************************************************************
391  *
392  *****************************************************************************/
393 static const uint64_t pi_channels_map[][2] =
394 {
395     { CH_FRONT_LEFT,        AOUT_CHAN_LEFT },
396     { CH_FRONT_RIGHT,       AOUT_CHAN_RIGHT },
397     { CH_FRONT_CENTER,      AOUT_CHAN_CENTER },
398     { CH_LOW_FREQUENCY,     AOUT_CHAN_LFE },
399     { CH_BACK_LEFT,         AOUT_CHAN_REARLEFT },
400     { CH_BACK_RIGHT,        AOUT_CHAN_REARRIGHT },
401     { CH_FRONT_LEFT_OF_CENTER, 0 },
402     { CH_FRONT_RIGHT_OF_CENTER, 0 },
403     { CH_BACK_CENTER,       AOUT_CHAN_REARCENTER },
404     { CH_SIDE_LEFT,         AOUT_CHAN_MIDDLELEFT },
405     { CH_SIDE_RIGHT,        AOUT_CHAN_MIDDLERIGHT },
406     { CH_TOP_CENTER,        0 },
407     { CH_TOP_FRONT_LEFT,    0 },
408     { CH_TOP_FRONT_CENTER,  0 },
409     { CH_TOP_FRONT_RIGHT,   0 },
410     { CH_TOP_BACK_LEFT,     0 },
411     { CH_TOP_BACK_CENTER,   0 },
412     { CH_TOP_BACK_RIGHT,    0 },
413     { CH_STEREO_LEFT,       0 },
414     { CH_STEREO_RIGHT,      0 },
415 };
416
417 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 52, 2, 0 )
418 #   define LIBAVCODEC_AUDIO_LAYOUT
419 #else
420 #   warning "Audio channel layout is unsupported by your avcodec version."
421 #endif
422 static void SetupOutputFormat( decoder_t *p_dec, bool b_trust )
423 {
424     decoder_sys_t *p_sys = p_dec->p_sys;
425
426 #if LIBAVCODEC_VERSION_INT >= AV_VERSION_INT( 51, 65, 0 )
427     switch( p_sys->p_context->sample_fmt )
428     {
429     case SAMPLE_FMT_U8:
430         p_dec->fmt_out.i_codec = VLC_FOURCC('u','8',' ',' ');
431         p_dec->fmt_out.audio.i_bitspersample = 8;
432         break;
433     case SAMPLE_FMT_S32:
434         p_dec->fmt_out.i_codec = AOUT_FMT_S32_NE;
435         p_dec->fmt_out.audio.i_bitspersample = 32;
436         break;
437     case SAMPLE_FMT_FLT:
438         p_dec->fmt_out.i_codec = VLC_FOURCC('f','l','3','2');
439         p_dec->fmt_out.audio.i_bitspersample = 32;
440         break;
441     case SAMPLE_FMT_DBL:
442         p_dec->fmt_out.i_codec = VLC_FOURCC('f','l','6','4');
443         p_dec->fmt_out.audio.i_bitspersample = 64;
444         break;
445
446     case SAMPLE_FMT_S16:
447     default:
448         p_dec->fmt_out.i_codec = AOUT_FMT_S16_NE;
449         p_dec->fmt_out.audio.i_bitspersample = 16;
450         break;
451     }
452 #else
453     p_dec->fmt_out.i_codec = AOUT_FMT_S16_NE;
454     p_dec->fmt_out.audio.i_bitspersample = 16;
455 #endif
456     p_dec->fmt_out.audio.i_rate     = p_sys->p_context->sample_rate;
457     p_dec->fmt_out.audio.i_channels = p_sys->p_context->channels;
458
459     /* */
460 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
461     if( p_sys->i_previous_channels == p_sys->p_context->channels &&
462         p_sys->i_previous_layout == p_sys->p_context->channel_layout )
463         return;
464 #else
465     if( p_sys->i_previous_channels == p_sys->p_context->channels )
466         return;
467 #endif
468     if( b_trust )
469     {
470         p_sys->i_previous_channels = p_sys->p_context->channels;
471 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
472         p_sys->i_previous_layout = p_sys->p_context->channel_layout;
473 #endif
474     }
475
476     /* Specified order
477      * FIXME should we use fmt_in.audio.i_physical_channels or not ?
478      */
479 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
480     const unsigned i_order_max = 8 * sizeof(p_sys->p_context->channel_layout);
481 #else
482     const unsigned i_order_max = 64;
483 #endif
484     uint32_t pi_order_src[i_order_max];
485     int i_channels_src = 0;
486
487 #if defined(LIBAVCODEC_AUDIO_LAYOUT)
488     if( p_sys->p_context->channel_layout )
489     {
490         for( unsigned i = 0; i < sizeof(pi_channels_map)/sizeof(*pi_channels_map); i++ )
491         {
492             if( p_sys->p_context->channel_layout & pi_channels_map[i][0] )
493                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
494         }
495     }
496     else
497 #endif
498     {
499         /* Create default order  */
500         if( b_trust )
501             msg_Warn( p_dec, "Physical channel configuration not set : guessing" );
502         for( unsigned int i = 0; i < __MIN( i_order_max, (unsigned)p_sys->p_context->channels ); i++ )
503         {
504             if( i < sizeof(pi_channels_map)/sizeof(*pi_channels_map) )
505                 pi_order_src[i_channels_src++] = pi_channels_map[i][1];
506         }
507     }
508     if( i_channels_src != p_sys->p_context->channels && b_trust )
509         msg_Err( p_dec, "Channel layout not understood" );
510
511     uint32_t i_layout_dst;
512     int      i_channels_dst;
513     p_sys->b_extract = aout_CheckChannelExtraction( p_sys->pi_extraction,
514                                                     &i_layout_dst, &i_channels_dst,
515                                                     NULL, pi_order_src, i_channels_src );
516     if( i_channels_dst != i_channels_src && b_trust )
517         msg_Warn( p_dec, "%d channels are dropped", i_channels_src - i_channels_dst );
518
519     p_dec->fmt_out.audio.i_physical_channels =
520     p_dec->fmt_out.audio.i_original_channels = i_layout_dst;
521     p_dec->fmt_out.audio.i_channels = i_channels_dst;
522 }
523