All: preliminary support for audio while playing faster/slower (1/4 -> 4).
[vlc.git] / modules / packetizer / mpeg4audio.c
1 /*****************************************************************************
2  * mpeg4audio.c: parse and packetize an MPEG 4 audio stream
3  *****************************************************************************
4  * Copyright (C) 2001, 2002, 2006 the VideoLAN team
5  * $Id$
6  *
7  * Authors: Laurent Aimar <fenrir@via.ecp.fr>
8  *          Gildas Bazin <gbazin@netcourrier.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston MA 02110-1301, USA.
23  *****************************************************************************/
24
25 /*****************************************************************************
26  * Preamble
27  *****************************************************************************/
28 #include <stdlib.h>                                      /* malloc(), free() */
29 #include <string.h>                                              /* strdup() */
30
31 #include <vlc/vlc.h>
32 #include <vlc_aout.h>
33 #include <vlc_codec.h>
34 #include <vlc_block.h>
35 #include <vlc_sout.h>
36 #include <vlc_codecs.h>
37 #include <vlc_input.h>
38
39 #include "vlc_block_helper.h"
40
41 /* AAC Config in ES:
42  *
43  * AudioObjectType          5 bits
44  * samplingFrequencyIndex   4 bits
45  * if (samplingFrequencyIndex == 0xF)
46  *  samplingFrequency   24 bits
47  * channelConfiguration     4 bits
48  * GA_SpecificConfig
49  *  FrameLengthFlag         1 bit 1024 or 960
50  *  DependsOnCoreCoder      1 bit (always 0)
51  *  ExtensionFlag           1 bit (always 0)
52  */
53
54 /*****************************************************************************
55  * decoder_sys_t : decoder descriptor
56  *****************************************************************************/
57 struct decoder_sys_t
58 {
59     /*
60      * Input properties
61      */
62     int i_state;
63
64     block_bytestream_t bytestream;
65
66     /*
67      * Common properties
68      */
69     audio_date_t end_date;
70     mtime_t i_pts;
71
72     int i_frame_size;
73     unsigned int i_raw_blocks;
74     unsigned int i_channels;
75     unsigned int i_rate, i_frame_length, i_header_size;
76
77     int i_input_rate;
78 };
79
80 enum {
81
82     STATE_NOSYNC,
83     STATE_SYNC,
84     STATE_HEADER,
85     STATE_NEXT_SYNC,
86     STATE_GET_DATA,
87     STATE_SEND_DATA
88 };
89
90 static int i_sample_rates[] =
91 {
92     96000, 88200, 64000, 48000, 44100, 32000, 24000, 22050,
93     16000, 12000, 11025, 8000,  7350,  0,     0,     0
94 };
95
96 #define ADTS_HEADER_SIZE 9
97
98 /****************************************************************************
99  * Local prototypes
100  ****************************************************************************/
101 static int  OpenPacketizer( vlc_object_t * );
102 static void ClosePacketizer( vlc_object_t * );
103
104 static block_t *PacketizeBlock    ( decoder_t *, block_t ** );
105 static block_t *ADTSPacketizeBlock( decoder_t *, block_t ** );
106
107 static uint8_t *GetOutBuffer ( decoder_t *, void ** );
108
109 static int ADTSSyncInfo( decoder_t *, const byte_t * p_buf,
110                          unsigned int * pi_channels,
111                          unsigned int * pi_sample_rate,
112                          unsigned int * pi_frame_length,
113                          unsigned int * pi_header_size,
114                          unsigned int * pi_raw_blocks );
115
116 /*****************************************************************************
117  * Module descriptor
118  *****************************************************************************/
119 vlc_module_begin();
120     set_category( CAT_SOUT );
121     set_subcategory( SUBCAT_SOUT_PACKETIZER );
122     set_description( _("MPEG4 audio packetizer") );
123     set_capability( "packetizer", 50 );
124     set_callbacks( OpenPacketizer, ClosePacketizer );
125 vlc_module_end();
126
127 /*****************************************************************************
128  * OpenPacketizer: probe the packetizer and return score
129  *****************************************************************************/
130 static int OpenPacketizer( vlc_object_t *p_this )
131 {
132     decoder_t *p_dec = (decoder_t*)p_this;
133     decoder_sys_t *p_sys;
134
135     if( p_dec->fmt_in.i_codec != VLC_FOURCC( 'm', 'p', '4', 'a' ) )
136     {
137         return VLC_EGENERIC;
138     }
139
140     /* Allocate the memory needed to store the decoder's structure */
141     if( ( p_dec->p_sys = p_sys =
142           (decoder_sys_t *)malloc(sizeof(decoder_sys_t)) ) == NULL )
143     {
144         msg_Err( p_dec, "out of memory" );
145         return VLC_EGENERIC;
146     }
147
148     /* Misc init */
149     p_sys->i_state = STATE_NOSYNC;
150     aout_DateSet( &p_sys->end_date, 0 );
151     p_sys->bytestream = block_BytestreamInit( p_dec );
152     p_sys->i_input_rate = INPUT_RATE_DEFAULT;
153
154     /* Set output properties */
155     p_dec->fmt_out.i_cat = AUDIO_ES;
156     p_dec->fmt_out.i_codec = VLC_FOURCC('m','p','4','a');
157
158     /* Set callback */
159     p_dec->pf_packetize = PacketizeBlock;
160
161     msg_Dbg( p_dec, "running MPEG4 audio packetizer" );
162
163     if( p_dec->fmt_in.i_extra > 0 )
164     {
165         uint8_t *p_config = (uint8_t*)p_dec->fmt_in.p_extra;
166         int     i_index;
167
168         i_index = ( ( p_config[0] << 1 ) | ( p_config[1] >> 7 ) ) & 0x0f;
169         if( i_index != 0x0f )
170         {
171             p_dec->fmt_out.audio.i_rate = i_sample_rates[i_index];
172             p_dec->fmt_out.audio.i_frame_length =
173                 (( p_config[1] >> 2 ) & 0x01) ? 960 : 1024;
174         }
175         else
176         {
177             p_dec->fmt_out.audio.i_rate = ( ( p_config[1] & 0x7f ) << 17 ) |
178                 ( p_config[2] << 9 ) | ( p_config[3] << 1 ) |
179                 ( p_config[4] >> 7 );
180             p_dec->fmt_out.audio.i_frame_length =
181                 (( p_config[4] >> 2 ) & 0x01) ? 960 : 1024;
182         }
183
184         msg_Dbg( p_dec, "AAC %dHz %d samples/frame",
185                  p_dec->fmt_out.audio.i_rate,
186                  p_dec->fmt_out.audio.i_frame_length );
187
188         aout_DateInit( &p_sys->end_date, p_dec->fmt_out.audio.i_rate );
189
190         p_dec->fmt_out.audio.i_channels = p_dec->fmt_in.audio.i_channels;
191         p_dec->fmt_out.i_extra = p_dec->fmt_in.i_extra;
192         p_dec->fmt_out.p_extra = malloc( p_dec->fmt_in.i_extra );
193         memcpy( p_dec->fmt_out.p_extra, p_dec->fmt_in.p_extra,
194                 p_dec->fmt_in.i_extra );
195     }
196     else
197     {
198         msg_Dbg( p_dec, "no decoder specific info, must be an ADTS stream" );
199
200         aout_DateInit( &p_sys->end_date, p_dec->fmt_in.audio.i_rate );
201
202         /* We will try to create a AAC Config from adts */
203         p_dec->fmt_out.i_extra = 0;
204         p_dec->fmt_out.p_extra = NULL;
205         p_dec->pf_packetize = ADTSPacketizeBlock;
206     }
207
208     return VLC_SUCCESS;
209 }
210
211 /****************************************************************************
212  * PacketizeBlock: the whole thing
213  ****************************************************************************
214  * This function must be fed with complete frames.
215  ****************************************************************************/
216 static block_t *PacketizeBlock( decoder_t *p_dec, block_t **pp_block )
217 {
218     decoder_sys_t *p_sys = p_dec->p_sys;
219     block_t *p_block;
220
221     if( !pp_block || !*pp_block ) return NULL;
222
223     if( (*pp_block)->i_flags&(BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
224     {
225         //aout_DateSet( &p_sys->end_date, 0 );
226         block_Release( *pp_block );
227         return NULL;
228     }
229
230     p_block = *pp_block;
231     *pp_block = NULL; /* Don't reuse this block */
232
233     if( !aout_DateGet( &p_sys->end_date ) && !p_block->i_pts )
234     {
235         /* We've just started the stream, wait for the first PTS. */
236         block_Release( p_block );
237         return NULL;
238     }
239     else if( p_block->i_pts != 0 &&
240              p_block->i_pts != aout_DateGet( &p_sys->end_date ) )
241     {
242         aout_DateSet( &p_sys->end_date, p_block->i_pts );
243     }
244
245     p_block->i_pts = p_block->i_dts = aout_DateGet( &p_sys->end_date );
246
247     p_block->i_length = aout_DateIncrement( &p_sys->end_date,
248         p_dec->fmt_out.audio.i_frame_length * p_sys->i_input_rate / INPUT_RATE_DEFAULT ) - p_block->i_pts;
249
250     return p_block;
251 }
252
253 /****************************************************************************
254  * DTSPacketizeBlock: the whole thing
255  ****************************************************************************/
256 static block_t *ADTSPacketizeBlock( decoder_t *p_dec, block_t **pp_block )
257 {
258     decoder_sys_t *p_sys = p_dec->p_sys;
259     uint8_t p_header[ADTS_HEADER_SIZE];
260     void *p_out_buffer;
261     uint8_t *p_buf;
262
263     if( !pp_block || !*pp_block ) return NULL;
264
265     if( (*pp_block)->i_flags&(BLOCK_FLAG_DISCONTINUITY|BLOCK_FLAG_CORRUPTED) )
266     {
267         if( (*pp_block)->i_flags&BLOCK_FLAG_CORRUPTED )
268         {
269             p_sys->i_state = STATE_NOSYNC;
270             block_BytestreamFlush( &p_sys->bytestream );
271         }
272         //aout_DateSet( &p_sys->end_date, 0 );
273         block_Release( *pp_block );
274         return NULL;
275     }
276
277     if( !aout_DateGet( &p_sys->end_date ) && !(*pp_block)->i_pts )
278     {
279         /* We've just started the stream, wait for the first PTS. */
280         block_Release( *pp_block );
281         return NULL;
282     }
283
284     if( (*pp_block)->i_rate > 0 )
285         p_sys->i_input_rate = (*pp_block)->i_rate;
286
287     block_BytestreamPush( &p_sys->bytestream, *pp_block );
288
289     while( 1 )
290     {
291         switch( p_sys->i_state )
292         {
293
294         case STATE_NOSYNC:
295             while( block_PeekBytes( &p_sys->bytestream, p_header, 2 )
296                    == VLC_SUCCESS )
297             {
298                 /* Look for sync word - should be 0xfff + 2 layer bits */
299                 if( p_header[0] == 0xff && (p_header[1] & 0xf6) == 0xf0 )
300                 {
301                     p_sys->i_state = STATE_SYNC;
302                     break;
303                 }
304                 block_SkipByte( &p_sys->bytestream );
305             }
306             if( p_sys->i_state != STATE_SYNC )
307             {
308                 block_BytestreamFlush( &p_sys->bytestream );
309
310                 /* Need more data */
311                 return NULL;
312             }
313
314         case STATE_SYNC:
315             /* New frame, set the Presentation Time Stamp */
316             p_sys->i_pts = p_sys->bytestream.p_block->i_pts;
317             if( p_sys->i_pts != 0 &&
318                 p_sys->i_pts != aout_DateGet( &p_sys->end_date ) )
319             {
320                 aout_DateSet( &p_sys->end_date, p_sys->i_pts );
321             }
322             p_sys->i_state = STATE_HEADER;
323             break;
324
325         case STATE_HEADER:
326             /* Get ADTS frame header (ADTS_HEADER_SIZE bytes) */
327             if( block_PeekBytes( &p_sys->bytestream, p_header,
328                                  ADTS_HEADER_SIZE ) != VLC_SUCCESS )
329             {
330                 /* Need more data */
331                 return NULL;
332             }
333
334             /* Check if frame is valid and get frame info */
335             p_sys->i_frame_size = ADTSSyncInfo( p_dec, p_header,
336                                                 &p_sys->i_channels,
337                                                 &p_sys->i_rate,
338                                                 &p_sys->i_frame_length,
339                                                 &p_sys->i_header_size,
340                                                 &p_sys->i_raw_blocks );
341             if( p_sys->i_frame_size <= 0 )
342             {
343                 msg_Dbg( p_dec, "emulated sync word" );
344                 block_SkipByte( &p_sys->bytestream );
345                 p_sys->i_state = STATE_NOSYNC;
346                 break;
347             }
348
349             p_sys->i_state = STATE_NEXT_SYNC;
350
351         case STATE_NEXT_SYNC:
352             /* TODO: If p_block == NULL, flush the buffer without checking the
353              * next sync word */
354
355             /* Check if next expected frame contains the sync word */
356             if( block_PeekOffsetBytes( &p_sys->bytestream, p_sys->i_frame_size
357                                        + p_sys->i_header_size, p_header, 2 )
358                 != VLC_SUCCESS )
359             {
360                 /* Need more data */
361                 return NULL;
362             }
363
364             if( p_header[0] != 0xff || (p_header[1] & 0xf6) != 0xf0 )
365             {
366                 msg_Dbg( p_dec, "emulated sync word "
367                          "(no sync on following frame)" );
368                 p_sys->i_state = STATE_NOSYNC;
369                 block_SkipByte( &p_sys->bytestream );
370                 break;
371             }
372
373             p_sys->i_state = STATE_SEND_DATA;
374             break;
375
376         case STATE_GET_DATA:
377             /* Make sure we have enough data.
378              * (Not useful if we went through NEXT_SYNC) */
379             if( block_WaitBytes( &p_sys->bytestream, p_sys->i_frame_size +
380                                  p_sys->i_header_size) != VLC_SUCCESS )
381             {
382                 /* Need more data */
383                 return NULL;
384             }
385             p_sys->i_state = STATE_SEND_DATA;
386
387         case STATE_SEND_DATA:
388             if( !(p_buf = GetOutBuffer( p_dec, &p_out_buffer )) )
389             {
390                 //p_dec->b_error = VLC_TRUE;
391                 return NULL;
392             }
393
394             /* When we reach this point we already know we have enough
395              * data available. */
396
397             /* Skip the ADTS header */
398             block_SkipBytes( &p_sys->bytestream, p_sys->i_header_size );
399
400             /* Copy the whole frame into the buffer */
401             block_GetBytes( &p_sys->bytestream, p_buf, p_sys->i_frame_size );
402
403             /* Make sure we don't reuse the same pts twice */
404             if( p_sys->i_pts == p_sys->bytestream.p_block->i_pts )
405                 p_sys->i_pts = p_sys->bytestream.p_block->i_pts = 0;
406
407             /* So p_block doesn't get re-added several times */
408             *pp_block = block_BytestreamPop( &p_sys->bytestream );
409
410             p_sys->i_state = STATE_NOSYNC;
411
412             return p_out_buffer;
413         }
414     }
415
416     return NULL;
417 }
418
419 /*****************************************************************************
420  * GetOutBuffer:
421  *****************************************************************************/
422 static uint8_t *GetOutBuffer( decoder_t *p_dec, void **pp_out_buffer )
423 {
424     decoder_sys_t *p_sys = p_dec->p_sys;
425     block_t *p_block;
426
427     if( p_dec->fmt_out.audio.i_rate != p_sys->i_rate )
428     {
429         msg_Info( p_dec, "AAC channels: %d samplerate: %d",
430                   p_sys->i_channels, p_sys->i_rate );
431
432         aout_DateInit( &p_sys->end_date, p_sys->i_rate );
433         aout_DateSet( &p_sys->end_date, p_sys->i_pts );
434     }
435
436     p_dec->fmt_out.audio.i_rate     = p_sys->i_rate;
437     p_dec->fmt_out.audio.i_channels = p_sys->i_channels;
438     p_dec->fmt_out.audio.i_bytes_per_frame = p_sys->i_frame_size;
439     p_dec->fmt_out.audio.i_frame_length = p_sys->i_frame_length;
440
441 #if 0
442     p_dec->fmt_out.audio.i_original_channels = p_sys->i_channels_conf;
443     p_dec->fmt_out.audio.i_physical_channels =
444         p_sys->i_channels_conf & AOUT_CHAN_PHYSMASK;
445 #endif
446
447     p_block = block_New( p_dec, p_sys->i_frame_size );
448     if( p_block == NULL ) return NULL;
449
450     p_block->i_pts = p_block->i_dts = aout_DateGet( &p_sys->end_date );
451
452     p_block->i_length = aout_DateIncrement( &p_sys->end_date,
453                             p_sys->i_frame_length * p_sys->i_input_rate / INPUT_RATE_DEFAULT ) -
454                                 p_block->i_pts;
455
456     *pp_out_buffer = p_block;
457     return p_block->p_buffer;
458 }
459
460 /*****************************************************************************
461  * ClosePacketizer: clean up the packetizer
462  *****************************************************************************/
463 static void ClosePacketizer( vlc_object_t *p_this )
464 {
465     decoder_t *p_dec = (decoder_t *)p_this;
466     decoder_sys_t *p_sys = p_dec->p_sys;
467
468     block_BytestreamRelease( &p_sys->bytestream );
469
470     free( p_dec->p_sys );
471 }
472
473 /*****************************************************************************
474  * ADTSSyncInfo: parse MPEG 4 audio ADTS sync info
475  *****************************************************************************/
476 static int ADTSSyncInfo( decoder_t * p_dec, const byte_t * p_buf,
477                          unsigned int * pi_channels,
478                          unsigned int * pi_sample_rate,
479                          unsigned int * pi_frame_length,
480                          unsigned int * pi_header_size,
481                          unsigned int * pi_raw_blocks_in_frame )
482 {
483     int i_id, i_profile, i_sample_rate_idx, i_frame_size;
484     vlc_bool_t b_crc;
485
486     /* Fixed header between frames */
487     i_id = ( (p_buf[1] >> 3) & 0x01 ) ? 2 : 4;
488     b_crc = !(p_buf[1] & 0x01);
489     i_profile = p_buf[2] >> 6;
490     i_sample_rate_idx = (p_buf[2] >> 2) & 0x0f;
491     *pi_sample_rate = i_sample_rates[i_sample_rate_idx];
492     *pi_channels = ((p_buf[2] & 0x01) << 2) | ((p_buf[3] >> 6) & 0x03);
493
494     /* Variable header */
495     i_frame_size = ((p_buf[3] & 0x03) << 11) | (p_buf[4] << 3) |
496                    ((p_buf[5] >> 5) & 0x7);
497     *pi_raw_blocks_in_frame = (p_buf[6] & 0x02) + 1;
498
499     if( !*pi_sample_rate || !*pi_channels || !i_frame_size )
500     {
501         return 0;
502     }
503
504     /* Fixme */
505     *pi_frame_length = 1024;
506
507     /* Build the decoder specific info header */
508     if( !p_dec->fmt_out.i_extra )
509     {
510         p_dec->fmt_out.i_extra = 2;
511         p_dec->fmt_out.p_extra = malloc( 2 );
512         ((uint8_t *)p_dec->fmt_out.p_extra)[0] =
513             (i_profile + 1) << 3 | (i_sample_rate_idx >> 1);
514         ((uint8_t *)p_dec->fmt_out.p_extra)[1] =
515             ((i_sample_rate_idx & 0x01) << 7) | (*pi_channels <<3);
516     }
517
518     /* ADTS header length */
519     *pi_header_size = b_crc ? 9 : 7;
520
521     return i_frame_size - *pi_header_size;
522 }