3ac7b756a337f4a91f143afbe5805020f0c4c9b1
[vlc.git] / modules / codec / fdkaac.c
1 /*****************************************************************************
2  * aac.c: FDK-AAC Encoder plugin for vlc.
3  *****************************************************************************
4  * Copyright (C) 2012 Sergio Ammirata
5  *
6  * Authors: Sergio Ammirata <sergio@ammirata.net>
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with this library; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
21  *
22  *  Alternatively you can redistribute this file under the terms of the
23  *  BSD license as stated below:
24  *
25  *  Redistribution and use in source and binary forms, with or without
26  *  modification, are permitted provided that the following conditions
27  *  are met:
28  *  1. Redistributions of source code must retain the above copyright
29  *     notice, this list of conditions and the following disclaimer.
30  *  2. Redistributions in binary form must reproduce the above copyright
31  *     notice, this list of conditions and the following disclaimer in
32  *     the documentation and/or other materials provided with the
33  *     distribution.
34  *
35  *  THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
36  *  "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
37  *  LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
38  *  A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
39  *  OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
40  *  SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED
41  *  TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
42  *  PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
43  *  LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
44  *  NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
45  *  SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
46  *
47  *****************************************************************************/
48
49 /*****************************************************************************
50  * Preamble
51  *****************************************************************************/
52 #ifdef HAVE_CONFIG_H
53 # include "config.h"
54 #endif
55
56 #include <fdk-aac/aacenc_lib.h>
57
58 #include <vlc_common.h>
59 #include <vlc_plugin.h>
60 #include <vlc_codec.h>
61
62 static int OpenEncoder(vlc_object_t *);
63 static void CloseEncoder(vlc_object_t *);
64
65 #define ENC_CFG_PREFIX "sout-fdkaac-"
66
67 #define AOT_TEXT N_("Encoder Profile")
68 #define AOT_LONGTEXT N_("Encoder Algorithm to use.")
69
70 #define SIDEBAND_TEXT N_("Enable spectral band replication")
71 #define SIDEBAND_LONGTEXT N_("This is an optional feature only for the AAC-ELD profile.")
72
73 #define VBR_QUALITY_TEXT N_("VBR Quality")
74 #define VBR_QUALITY_LONGTEXT N_("Quality of the VBR Encoding (0=cbr, 1-5 constant vbr quality, 5 is the best).")
75
76 #define AFTERBURNER_TEXT N_("Enable afterburner library")
77 #define AFTERBURNER_LONGTEXT N_("This library will produce higher quality audio at the expense of additional CPU usage (default is enabled).")
78
79 #define SIGNALING_TEXT N_("Signaling mode of the extension AOT")
80 #define SIGNALING_LONGTEXT N_("1 is explicit for SBR and implicit for PS (default), 2 is explicit hierarchical.")
81
82 #define  CH_ORDER_MPEG 0  /*!< MPEG channel ordering (e. g. 5.1: C, L, R, SL, SR, LFE)           */
83 #define  CH_ORDER_WAV 1   /*!< WAV fileformat channel ordering (e. g. 5.1: L, R, C, LFE, SL, SR) */
84 #define  CH_ORDER_WG4 2   /*!< WG4 fileformat channel ordering (e. g. 5.1: L, R, SL, SR, C, LFE) */
85
86 #define PROFILE_AAC_LC 2
87 #define PROFILE_AAC_HE 5
88 #define PROFILE_AAC_HE_v2 29
89 #define PROFILE_AAC_LD 23
90 #define PROFILE_AAC_ELD 39
91
92 #define SIGNALING_COMPATIBLE 1
93 #define SIGNALING_HIERARCHICAL 2
94
95 #define FDKENC_VER_AT_LEAST(vl0, vl1) \
96     (defined(AACENCODER_LIB_VL0) && \
97         ((AACENCODER_LIB_VL0 > vl0) || \
98          (AACENCODER_LIB_VL0 == vl0 && AACENCODER_LIB_VL1 >= vl1)))
99
100 static const int pi_aot_values[] = { PROFILE_AAC_LC, PROFILE_AAC_HE, PROFILE_AAC_HE_v2, PROFILE_AAC_LD, PROFILE_AAC_ELD };
101 static const char *const ppsz_aot_descriptions[] =
102 { N_("AAC-LC"), N_("HE-AAC"), N_("HE-AAC-v2"), N_("AAC-LD"), N_("AAC-ELD") };
103
104 vlc_module_begin ()
105     set_shortname(N_("FDKAAC"))
106     set_description(N_("FDK-AAC Audio encoder"))
107     set_capability("encoder", 150)
108     set_callbacks(OpenEncoder, CloseEncoder)
109     add_shortcut("fdkaac")
110     set_category(CAT_INPUT)
111     set_subcategory(SUBCAT_INPUT_ACODEC)
112     add_integer(ENC_CFG_PREFIX "profile", PROFILE_AAC_LC, AOT_TEXT,
113              AOT_LONGTEXT, false)
114     change_integer_list(pi_aot_values, ppsz_aot_descriptions);
115     add_bool(ENC_CFG_PREFIX "sbr", false, SIDEBAND_TEXT,
116               SIDEBAND_LONGTEXT, false)
117     add_integer(ENC_CFG_PREFIX "vbr", 0, VBR_QUALITY_TEXT,
118               VBR_QUALITY_LONGTEXT, false)
119     change_integer_range (0, 5)
120     add_bool(ENC_CFG_PREFIX "afterburner", true, AFTERBURNER_TEXT,
121               AFTERBURNER_LONGTEXT, true)
122     add_integer(ENC_CFG_PREFIX "signaling", SIGNALING_COMPATIBLE, SIGNALING_TEXT,
123              SIGNALING_LONGTEXT, true)
124     change_integer_range (0, 2)
125 vlc_module_end ()
126
127 /*****************************************************************************
128  * Local prototypes
129  *****************************************************************************/
130 static block_t *EncodeAudio(encoder_t *p_enc, block_t *p_buf);
131
132 static const char *const ppsz_enc_options[] = {
133     "profile", "sbr", "vbr", "afterburner", "signaling", NULL
134 };
135
136 /*****************************************************************************
137  * encoder_sys_t : aac encoder descriptor
138  *****************************************************************************/
139 typedef struct
140 {
141     double d_compression_ratio;
142     vlc_tick_t i_pts_last;
143     int i_encoderdelay; /* Samples delay introduced by the profile */
144     int i_frame_size;
145     int i_maxoutputsize; /* Maximum buffer size for encoded output */
146     HANDLE_AACENCODER handle;
147 } encoder_sys_t;
148
149 static const char *fdkaac_error(AACENC_ERROR erraac)
150 {
151     switch (erraac) {
152     case AACENC_OK: return "No error";
153     case AACENC_INVALID_HANDLE: return "Invalid handle";
154     case AACENC_MEMORY_ERROR: return "Memory allocation error";
155     case AACENC_UNSUPPORTED_PARAMETER: return "Unsupported parameter";
156     case AACENC_INVALID_CONFIG: return "Invalid config";
157     case AACENC_INIT_ERROR: return "Initialization error";
158     case AACENC_INIT_AAC_ERROR: return "AAC library initialization error";
159     case AACENC_INIT_SBR_ERROR: return "SBR library initialization error";
160     case AACENC_INIT_TP_ERROR: return "Transport library initialization error";
161     case AACENC_INIT_META_ERROR: return "Metadata library initialization error";
162     case AACENC_ENCODE_ERROR: return "Encoding error";
163     case AACENC_ENCODE_EOF: return "End of file";
164     default: return "Unknown error";
165     }
166 }
167
168 /*****************************************************************************
169  * OpenDecoder: open the encoder.
170  *****************************************************************************/
171 static int OpenEncoder(vlc_object_t *p_this)
172 {
173     encoder_t *p_enc = (encoder_t *)p_this;
174
175     config_ChainParse(p_enc, ENC_CFG_PREFIX, ppsz_enc_options, p_enc->p_cfg);
176
177     int i_aot;
178     switch (p_enc->fmt_out.i_codec) {
179     case VLC_CODEC_MP4A:
180         i_aot = var_InheritInteger(p_enc, ENC_CFG_PREFIX "profile");
181         break;
182     case VLC_FOURCC('l', 'a', 'a', 'c'):
183         i_aot = PROFILE_AAC_LC;
184         break;
185     case VLC_FOURCC('h', 'a', 'a', 'c'):
186         i_aot = PROFILE_AAC_HE;
187         break;
188     case VLC_FOURCC('s', 'a', 'a', 'c'):
189         i_aot = PROFILE_AAC_HE_v2;
190         break;
191     default:
192         return VLC_EGENERIC;
193     }
194
195     if (p_enc->fmt_in.audio.i_channels != 2)
196         if (i_aot == PROFILE_AAC_HE_v2 || i_aot == PROFILE_AAC_ELD) {
197             msg_Err(p_enc, "Selected profile %d can only be used with stereo", i_aot);
198             return VLC_EGENERIC;
199         }
200
201     uint16_t channel_config;
202     CHANNEL_MODE mode;
203     switch (p_enc->fmt_in.audio.i_channels) {
204     case 1: mode = MODE_1; channel_config = AOUT_CHAN_CENTER; break;
205     case 2: mode = MODE_2; channel_config = AOUT_CHANS_STEREO; break;
206     case 3: mode = MODE_1_2; channel_config = AOUT_CHANS_3_0; break;
207     case 4: mode = MODE_1_2_1; channel_config = AOUT_CHANS_4_CENTER_REAR; break;
208     case 5: mode = MODE_1_2_2; channel_config = AOUT_CHANS_5_0; break;
209     case 6: mode = MODE_1_2_2_1; channel_config = AOUT_CHANS_5_1; break;
210     case 8: mode = MODE_1_2_2_2_1; channel_config = AOUT_CHANS_7_1; break;
211     default:
212         msg_Err(p_enc, "we do not support > 8 input channels, this input has %i",
213                         p_enc->fmt_in.audio.i_channels);
214         return VLC_EGENERIC;
215     }
216
217     p_enc->fmt_in.audio.i_physical_channels = channel_config;
218
219     msg_Info(p_enc, "Initializing AAC Encoder, %i channels", p_enc->fmt_in.audio.i_channels);
220
221     /* Allocate the memory needed to store the encoder's structure */
222     encoder_sys_t *p_sys = (encoder_sys_t *)malloc(sizeof(encoder_sys_t));
223     if (unlikely(!p_sys))
224         return VLC_ENOMEM;
225     p_enc->p_sys = p_sys;
226     p_enc->fmt_in.i_codec = VLC_CODEC_S16N;
227     p_enc->fmt_out.i_cat = AUDIO_ES;
228     p_enc->fmt_out.i_codec = VLC_CODEC_MP4A;
229
230     p_sys->i_pts_last = 0;
231
232     AACENC_ERROR erraac;
233     erraac = aacEncOpen(&p_sys->handle, 0, p_enc->fmt_in.audio.i_channels);
234     if (erraac != AACENC_OK) {
235         msg_Err(p_enc, "Unable to open encoder: %s", fdkaac_error(erraac));
236         free(p_sys);
237         return VLC_EGENERIC;
238     }
239
240 #define SET_PARAM(P, V) do { \
241         AACENC_ERROR err = aacEncoder_SetParam(p_sys->handle, AACENC_ ## P, V); \
242         if (err != AACENC_OK) { \
243             msg_Err(p_enc, "Couldn't set " #P " to value %d: %s", V, fdkaac_error(err)); \
244             goto error; \
245         } \
246     } while(0)
247
248     SET_PARAM(AOT, i_aot);
249     bool b_eld_sbr = var_InheritBool(p_enc, ENC_CFG_PREFIX "sbr");
250     if (i_aot == PROFILE_AAC_ELD && b_eld_sbr)
251         SET_PARAM(SBR_MODE, 1);
252     SET_PARAM(SAMPLERATE, p_enc->fmt_out.audio.i_rate);
253     SET_PARAM(CHANNELMODE, mode);
254     SET_PARAM(CHANNELORDER, CH_ORDER_WG4);
255
256     int i_vbr = var_InheritInteger(p_enc, ENC_CFG_PREFIX "vbr");
257     if (i_vbr != 0) {
258         if ((i_aot == PROFILE_AAC_HE || i_aot == PROFILE_AAC_HE_v2) && i_vbr > 3) {
259             msg_Warn(p_enc, "Maximum VBR quality for this profile is 3, setting vbr=3");
260             i_vbr = 3;
261         }
262         SET_PARAM(BITRATEMODE, i_vbr);
263     } else {
264         int i_bitrate = p_enc->fmt_out.i_bitrate;
265         if (i_bitrate == 0) {
266             i_bitrate = 96 * p_enc->fmt_in.audio.i_channels * p_enc->fmt_out.audio.i_rate / 44;
267             if (i_aot == PROFILE_AAC_HE || i_aot == PROFILE_AAC_HE_v2 || b_eld_sbr)
268                 i_bitrate /= 2;
269             p_enc->fmt_out.i_bitrate = i_bitrate;
270             msg_Info(p_enc, "Setting optimal bitrate of %i", i_bitrate);
271         }
272         SET_PARAM(BITRATE, i_bitrate);
273     }
274     SET_PARAM(TRANSMUX, 0);
275     SET_PARAM(SIGNALING_MODE, (int)var_InheritInteger(p_enc, ENC_CFG_PREFIX "signaling"));
276     SET_PARAM(AFTERBURNER, !!var_InheritBool(p_enc, ENC_CFG_PREFIX "afterburner"));
277 #undef SET_PARAM
278
279     erraac = aacEncEncode(p_sys->handle, NULL, NULL, NULL, NULL);
280     if (erraac != AACENC_OK) {
281         msg_Err(p_enc, "Unable to initialize the encoder: %s", fdkaac_error(erraac));
282         goto error;
283     }
284
285     AACENC_InfoStruct info = { 0 };
286     erraac = aacEncInfo(p_sys->handle, &info);
287     if (erraac != AACENC_OK) {
288         msg_Err(p_enc, "Unable to get the encoder info: %s", fdkaac_error(erraac));
289         goto error;
290     }
291
292     /* The maximum packet size is 6144 bits aka 768 bytes per channel. */
293     p_sys->i_maxoutputsize = 768*p_enc->fmt_in.audio.i_channels;
294     p_enc->fmt_in.audio.i_bitspersample = 16;
295     p_sys->i_frame_size = info.frameLength;
296 #if FDKENC_VER_AT_LEAST(4, 0)
297     p_sys->i_encoderdelay = info.nDelay;
298 #else
299     p_sys->i_encoderdelay = info.encoderDelay;
300 #endif
301
302     p_enc->fmt_out.i_extra = info.confSize;
303     if (p_enc->fmt_out.i_extra) {
304         p_enc->fmt_out.p_extra = malloc(p_enc->fmt_out.i_extra);
305         if (p_enc->fmt_out.p_extra == NULL) {
306             msg_Err(p_enc, "Unable to allocate fmt_out.p_extra");
307             goto error;
308         }
309         memcpy(p_enc->fmt_out.p_extra, info.confBuf, p_enc->fmt_out.i_extra);
310     }
311
312     p_enc->pf_encode_audio = EncodeAudio;
313
314 #ifndef NDEBUG
315     // TODO: Add more debug info to this config printout
316     msg_Dbg(p_enc, "fmt_out.p_extra = %i", p_enc->fmt_out.i_extra);
317 #endif
318
319     return VLC_SUCCESS;
320
321 error:
322     CloseEncoder(p_this);
323     return VLC_EGENERIC;
324 }
325
326 /****************************************************************************
327  * EncodeAudio: the whole thing
328  ****************************************************************************/
329 static block_t *EncodeAudio(encoder_t *p_enc, block_t *p_aout_buf)
330 {
331     int16_t *p_buffer;
332     int i_samples;
333     vlc_tick_t i_pts_out;
334
335     encoder_sys_t *p_sys = p_enc->p_sys;
336
337     if (likely(p_aout_buf)) {
338         p_buffer = (int16_t *)p_aout_buf->p_buffer;
339         i_samples = p_aout_buf->i_nb_samples;
340         i_pts_out = p_aout_buf->i_pts - vlc_tick_from_samples(p_sys->i_encoderdelay,
341                                                    p_enc->fmt_out.audio.i_rate);
342         if (p_sys->i_pts_last == 0)
343             p_sys->i_pts_last = i_pts_out - vlc_tick_from_samples(p_sys->i_frame_size,
344                                                    p_enc->fmt_out.audio.i_rate);
345     } else {
346         i_samples = 0;
347         i_pts_out = p_sys->i_pts_last;
348     }
349
350     int i_samples_left = i_samples;
351     int i_loop_count = 0;
352
353     block_t *p_chain = NULL;
354     while (i_samples_left >= 0) {
355         AACENC_BufDesc in_buf = { 0 }, out_buf = { 0 };
356         AACENC_InArgs in_args = { 0 };
357         AACENC_OutArgs out_args = { 0 };
358         int in_identifier = IN_AUDIO_DATA;
359         int in_size, in_elem_size;
360         int out_identifier = OUT_BITSTREAM_DATA;
361         int out_size, out_elem_size;
362         void *in_ptr, *out_ptr;
363         uint8_t dummy_buf[1];
364
365         if (unlikely(i_samples == 0)) {
366             // this forces the encoder to purge whatever is left in the internal buffer
367             /* Must be a non-null pointer, even if it's a dummy. We could use
368              * the address of anything else on the stack as well. */
369             in_ptr        = dummy_buf;
370             in_size       = 0;
371
372             in_args.numInSamples = -1;
373         } else {
374             in_ptr = p_buffer + (i_samples - i_samples_left)*p_enc->fmt_in.audio.i_channels;
375             in_size = 2*p_enc->fmt_in.audio.i_channels*i_samples_left;
376             in_args.numInSamples = p_enc->fmt_in.audio.i_channels*i_samples_left;
377         }
378         in_elem_size = 2;
379         in_buf.numBufs = 1;
380         in_buf.bufs = &in_ptr;
381         in_buf.bufferIdentifiers = &in_identifier;
382         in_buf.bufSizes = &in_size;
383         in_buf.bufElSizes = &in_elem_size;
384         block_t *p_block;
385         p_block = block_Alloc(p_sys->i_maxoutputsize);
386         p_block->i_buffer = p_sys->i_maxoutputsize;
387         out_ptr = p_block->p_buffer;
388         out_size = p_block->i_buffer;
389         out_elem_size = 1;
390         out_buf.numBufs = 1;
391         out_buf.bufs = &out_ptr;
392         out_buf.bufferIdentifiers = &out_identifier;
393         out_buf.bufSizes = &out_size;
394         out_buf.bufElSizes = &out_elem_size;
395
396         AACENC_ERROR erraac;
397         if ((erraac = aacEncEncode(p_sys->handle, &in_buf, &out_buf, &in_args, &out_args)) != AACENC_OK) {
398             if (erraac == AACENC_ENCODE_EOF) {
399                 msg_Info(p_enc, "Encoding final bytes (EOF)");
400             } else {
401                 msg_Err(p_enc, "Encoding failed: %s", fdkaac_error(erraac));
402                 block_Release(p_block);
403                 break;
404             }
405         }
406         if (out_args.numOutBytes > 0) {
407             p_block->i_buffer = out_args.numOutBytes;
408             if (unlikely(i_samples == 0)) {
409                 // I only have the numOutBytes so approximate based on compression factor
410                 double d_samples_forward = p_sys->d_compression_ratio*(double)out_args.numOutBytes;
411                 i_pts_out += (vlc_tick_t)d_samples_forward;
412                 p_block->i_length = (vlc_tick_t)d_samples_forward;
413                 // TODO: It would be more precise (a few microseconds) to use d_samples_forward =
414                 // (vlc_tick_t)CLOCK_FREQ * (vlc_tick_t)p_sys->i_frame_size/(vlc_tick_t)p_enc->fmt_out.audio.i_rate
415                 // but I am not sure if the lib always outputs a full frame when
416                 // emptying the internal buffer in the EOF scenario
417             } else {
418                 if (i_loop_count == 0) {
419                     // There can be an implicit delay in the first loop cycle because leftover bytes
420                     // in the library buffer from the prior block
421                     double d_samples_delay = (double)p_sys->i_frame_size - (double)out_args.numInSamples /
422                                              (double)p_enc->fmt_in.audio.i_channels;
423                     i_pts_out -= vlc_tick_from_samples( d_samples_delay,
424                                                    p_enc->fmt_out.audio.i_rate);
425                     p_block->i_length = vlc_tick_from_samples(p_sys->i_frame_size,
426                                 p_enc->fmt_out.audio.i_rate);
427                     p_block->i_nb_samples = d_samples_delay;
428                     //p_block->i_length = i_pts_out - p_sys->i_pts_last;
429                 } else {
430                     vlc_tick_t d_length = vlc_tick_from_samples(out_args.numInSamples,
431                                                     p_enc->fmt_out.audio.i_rate * p_enc->fmt_in.audio.i_channels);
432                     i_pts_out += d_length;
433                     p_block->i_length = d_length;
434                     p_block->i_nb_samples = out_args.numInSamples / p_enc->fmt_in.audio.i_channels;
435                 }
436             }
437             p_block->i_dts = p_block->i_pts = i_pts_out;
438             block_ChainAppend(&p_chain, p_block);
439 #if 0
440             msg_Dbg(p_enc, "dts %"PRId64", length %"PRId64", " "pts_last "
441                             "%"PRId64" numOutBytes = %i, numInSamples = %i, "
442                             "i_samples %i, i_loop_count %i",
443                               p_block->i_dts, p_block->i_length,
444                               p_sys->i_pts_last, out_args.numOutBytes,
445                               out_args.numInSamples, i_samples, i_loop_count);
446 #endif
447             if (likely(i_samples > 0)) {
448                 p_sys->d_compression_ratio = (double)p_block->i_length / (double)out_args.numOutBytes;
449                 i_samples_left -= out_args.numInSamples/p_enc->fmt_in.audio.i_channels;
450                 p_sys->i_pts_last = i_pts_out;
451             }
452         } else {
453             block_Release(p_block);
454             //msg_Dbg(p_enc, "aac_encode_audio: not enough data yet");
455             break;
456         }
457         if (unlikely(i_loop_count++ > 100)) {
458             msg_Err(p_enc, "Loop count greater than 100!!!, something must be wrong with the encoder library");
459             break;
460         }
461     }
462
463     return p_chain;
464 }
465
466 /*****************************************************************************
467  * CloseDecoder: decoder destruction
468  *****************************************************************************/
469 static void CloseEncoder(vlc_object_t *p_this)
470 {
471     encoder_t *p_enc = (encoder_t *)p_this;
472     encoder_sys_t *p_sys = p_enc->p_sys;
473
474     aacEncClose(&p_sys->handle);
475     free(p_sys);
476 }