Interolate excitation signal
[ffmpeg.git] / libavcodec / g729dec.c
1 /*
2  * G.729 decoder
3  * Copyright (c) 2008 Vladimir Voroshilov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21 #include <stdlib.h>
22 #include <inttypes.h>
23 #include <limits.h>
24 #include <stdio.h>
25 #include <string.h>
26 #include <math.h>
27 #include <assert.h>
28
29 #include "avcodec.h"
30 #include "libavutil/avutil.h"
31 #include "get_bits.h"
32 #include "dsputil.h"
33
34 #include "g729.h"
35 #include "lsp.h"
36 #include "celp_math.h"
37 #include "acelp_filters.h"
38 #include "acelp_pitch_delay.h"
39 #include "acelp_vectors.h"
40 #include "g729data.h"
41
42 /**
43  * minimum quantized LSF value (3.2.4)
44  * 0.005 in Q13
45  */
46 #define LSFQ_MIN                   40
47
48 /**
49  * maximum quantized LSF value (3.2.4)
50  * 3.135 in Q13
51  */
52 #define LSFQ_MAX                   25681
53
54 /**
55  * minimum LSF distance (3.2.4)
56  * 0.0391 in Q13
57  */
58 #define LSFQ_DIFF_MIN              321
59
60 /**
61  * minimum gain pitch value (3.8, Equation 47)
62  * 0.2 in (1.14)
63  */
64 #define SHARP_MIN                  3277
65
66 /**
67  * maximum gain pitch value (3.8, Equation 47)
68  * (EE) This does not comply with the specification.
69  * Specification says about 0.8, which should be
70  * 13107 in (1.14), but reference C code uses
71  * 13017 (equals to 0.7945) instead of it.
72  */
73 #define SHARP_MAX                  13017
74
75 /**
76  * MR_ENERGY (mean removed energy) = mean_energy + 10 * log10(2^26  * subframe_size) in (7.13)
77  */
78 #define MR_ENERGY 1018156
79
80 typedef enum {
81     FORMAT_G729_8K = 0,
82     FORMAT_G729D_6K4,
83     FORMAT_COUNT,
84 } G729Formats;
85
86 typedef struct {
87     uint8_t ac_index_bits[2];   ///< adaptive codebook index for second subframe (size in bits)
88     uint8_t parity_bit;         ///< parity bit for pitch delay
89     uint8_t gc_1st_index_bits;  ///< gain codebook (first stage) index (size in bits)
90     uint8_t gc_2nd_index_bits;  ///< gain codebook (second stage) index (size in bits)
91     uint8_t fc_signs_bits;      ///< number of pulses in fixed-codebook vector
92     uint8_t fc_indexes_bits;    ///< size (in bits) of fixed-codebook index entry
93 } G729FormatDescription;
94
95 typedef struct {
96     DSPContext dsp;
97
98     /// past excitation signal buffer
99     int16_t exc_base[2*SUBFRAME_SIZE+PITCH_DELAY_MAX+INTERPOL_LEN];
100
101     int16_t* exc;               ///< start of past excitation data in buffer
102     int pitch_delay_int_prev;   ///< integer part of previous subframe's pitch delay (4.1.3)
103
104     /// (2.13) LSP quantizer outputs
105     int16_t  past_quantizer_output_buf[MA_NP + 1][10];
106     int16_t* past_quantizer_outputs[MA_NP + 1];
107
108     int16_t lsfq[10];           ///< (2.13) quantized LSF coefficients from previous frame
109     int16_t lsp_buf[2][10];     ///< (0.15) LSP coefficients (previous and current frames) (3.2.5)
110     int16_t *lsp[2];            ///< pointers to lsp_buf
111
112     int16_t quant_energy[4];    ///< (5.10) past quantized energy
113
114     /// (1.14) pitch gain of previous subframe
115     int16_t gain_pitch;
116
117     /// (14.1) gain code from previous subframe
118     int16_t gain_code;
119
120     int16_t was_periodic;       ///< whether previous frame was declared as periodic or not (4.4)
121     uint16_t rand_value;        ///< random number generator value (4.4.4)
122     int ma_predictor_prev;      ///< switched MA predictor of LSP quantizer from last good frame
123 }  G729Context;
124
125 static const G729FormatDescription format_g729_8k = {
126     .ac_index_bits     = {8,5},
127     .parity_bit        = 1,
128     .gc_1st_index_bits = GC_1ST_IDX_BITS_8K,
129     .gc_2nd_index_bits = GC_2ND_IDX_BITS_8K,
130     .fc_signs_bits     = 4,
131     .fc_indexes_bits   = 13,
132 };
133
134 static const G729FormatDescription format_g729d_6k4 = {
135     .ac_index_bits     = {8,4},
136     .parity_bit        = 0,
137     .gc_1st_index_bits = GC_1ST_IDX_BITS_6K4,
138     .gc_2nd_index_bits = GC_2ND_IDX_BITS_6K4,
139     .fc_signs_bits     = 2,
140     .fc_indexes_bits   = 9,
141 };
142
143 /**
144  * @brief pseudo random number generator
145  */
146 static inline uint16_t g729_prng(uint16_t value)
147 {
148     return 31821 * value + 13849;
149 }
150
151 /**
152  * Get parity bit of bit 2..7
153  */
154 static inline int get_parity(uint8_t value)
155 {
156    return (0x6996966996696996ULL >> (value >> 2)) & 1;
157 }
158
159 /*
160  * Decodes LSF (Line Spectral Frequencies) from L0-L3 (3.2.4).
161  * @param lsfq [out] (2.13) quantized LSF coefficients
162  * @param past_quantizer_outputs [in/out] (2.13) quantizer outputs from previous frames
163  * @param ma_predictor switched MA predictor of LSP quantizer
164  * @param vq_1st first stage vector of quantizer
165  * @param vq_2nd_low second stage lower vector of LSP quantizer
166  * @param vq_2nd_high second stage higher vector of LSP quantizer
167  */
168 static void lsf_decode(int16_t* lsfq, int16_t* past_quantizer_outputs[MA_NP + 1],
169                        int16_t ma_predictor,
170                        int16_t vq_1st, int16_t vq_2nd_low, int16_t vq_2nd_high)
171 {
172     int i,j;
173     static const uint8_t min_distance[2]={10, 5}; //(2.13)
174     int16_t* quantizer_output = past_quantizer_outputs[MA_NP];
175
176     for (i = 0; i < 5; i++) {
177         quantizer_output[i]     = cb_lsp_1st[vq_1st][i    ] + cb_lsp_2nd[vq_2nd_low ][i    ];
178         quantizer_output[i + 5] = cb_lsp_1st[vq_1st][i + 5] + cb_lsp_2nd[vq_2nd_high][i + 5];
179     }
180
181     for (j = 0; j < 2; j++) {
182         for (i = 1; i < 10; i++) {
183             int diff = (quantizer_output[i - 1] - quantizer_output[i] + min_distance[j]) >> 1;
184             if (diff > 0) {
185                 quantizer_output[i - 1] -= diff;
186                 quantizer_output[i    ] += diff;
187             }
188         }
189     }
190
191     for (i = 0; i < 10; i++) {
192         int sum = quantizer_output[i] * cb_ma_predictor_sum[ma_predictor][i];
193         for (j = 0; j < MA_NP; j++)
194             sum += past_quantizer_outputs[j][i] * cb_ma_predictor[ma_predictor][j][i];
195
196         lsfq[i] = sum >> 15;
197     }
198
199     ff_acelp_reorder_lsf(lsfq, LSFQ_DIFF_MIN, LSFQ_MIN, LSFQ_MAX, 10);
200 }
201
202 /**
203  * Restores past LSP quantizer output using LSF from previous frame
204  * @param lsfq [in/out] (2.13) quantized LSF coefficients
205  * @param past_quantizer_outputs [in/out] (2.13) quantizer outputs from previous frames
206  * @param ma_predictor_prev MA predictor from previous frame
207  * @param lsfq_prev (2.13) quantized LSF coefficients from previous frame
208  */
209 static void lsf_restore_from_previous(int16_t* lsfq,
210                                       int16_t* past_quantizer_outputs[MA_NP + 1],
211                                       int ma_predictor_prev)
212 {
213     int16_t* quantizer_output = past_quantizer_outputs[MA_NP];
214     int i,k;
215
216     for (i = 0; i < 10; i++) {
217         int tmp = lsfq[i] << 15;
218
219         for (k = 0; k < MA_NP; k++)
220             tmp -= past_quantizer_outputs[k][i] * cb_ma_predictor[ma_predictor_prev][k][i];
221
222         quantizer_output[i] = ((tmp >> 15) * cb_ma_predictor_sum_inv[ma_predictor_prev][i]) >> 12;
223     }
224 }
225
226 static av_cold int decoder_init(AVCodecContext * avctx)
227 {
228     G729Context* ctx = avctx->priv_data;
229     int i,k;
230
231     if (avctx->channels != 1) {
232         av_log(avctx, AV_LOG_ERROR, "Only mono sound is supported (requested channels: %d).\n", avctx->channels);
233         return AVERROR(EINVAL);
234     }
235
236     /* Both 8kbit/s and 6.4kbit/s modes uses two subframes per frame. */
237     avctx->frame_size = SUBFRAME_SIZE << 1;
238
239     for (k = 0; k < MA_NP + 1; k++) {
240         ctx->past_quantizer_outputs[k] = ctx->past_quantizer_output_buf[k];
241         for (i = 1; i < 11; i++)
242             ctx->past_quantizer_outputs[k][i - 1] = (18717 * i) >> 3;
243     }
244
245     ctx->lsp[0] = ctx->lsp_buf[0];
246     ctx->lsp[1] = ctx->lsp_buf[1];
247     memcpy(ctx->lsp[0], lsp_init, 10 * sizeof(int16_t));
248
249     ctx->exc = &ctx->exc_base[PITCH_DELAY_MAX+INTERPOL_LEN];
250
251     /* random seed initialization */
252     ctx->rand_value = 21845;
253
254     /* quantized prediction error */
255     for(i=0; i<4; i++)
256         ctx->quant_energy[i] = -14336; // -14 in (5.10)
257
258     dsputil_init(&ctx->dsp, avctx);
259
260     return 0;
261 }
262
263 static int decode_frame(AVCodecContext *avctx, void *data, int *data_size,
264                         AVPacket *avpkt)
265 {
266     const uint8_t *buf = avpkt->data;
267     int buf_size       = avpkt->size;
268     int16_t *out_frame = data;
269     GetBitContext gb;
270     G729FormatDescription format;
271     int frame_erasure = 0;    ///< frame erasure detected during decoding
272     int bad_pitch = 0;        ///< parity check failed
273     int i;
274     int16_t *tmp;
275     G729Formats packet_type;
276     G729Context *ctx = avctx->priv_data;
277     int16_t lp[2][11];           // (3.12)
278     uint8_t ma_predictor;     ///< switched MA predictor of LSP quantizer
279     uint8_t quantizer_1st;    ///< first stage vector of quantizer
280     uint8_t quantizer_2nd_lo; ///< second stage lower vector of quantizer (size in bits)
281     uint8_t quantizer_2nd_hi; ///< second stage higher vector of quantizer (size in bits)
282
283     int pitch_delay_int;         // pitch delay, integer part
284     int pitch_delay_3x;          // pitch delay, multiplied by 3
285     int16_t fc[SUBFRAME_SIZE];   // fixed-codebook vector
286     int is_periodic = 0;         // whether one of the subframes is declared as periodic or not
287
288     if (*data_size < SUBFRAME_SIZE << 2) {
289         av_log(avctx, AV_LOG_ERROR, "Error processing packet: output buffer too small\n");
290         return AVERROR(EIO);
291     }
292
293     if (buf_size == 10) {
294         packet_type = FORMAT_G729_8K;
295         format = format_g729_8k;
296         av_log(avctx, AV_LOG_DEBUG, "Packet type: %s\n", "G.729 @ 8kbit/s");
297     } else if (buf_size == 8) {
298         packet_type = FORMAT_G729D_6K4;
299         format = format_g729d_6k4;
300         av_log(avctx, AV_LOG_DEBUG, "Packet type: %s\n", "G.729D @ 6.4kbit/s");
301     } else {
302         av_log(avctx, AV_LOG_ERROR, "Packet size %d is unknown.\n", buf_size);
303         return AVERROR_INVALIDDATA;
304     }
305
306     for (i=0; i < buf_size; i++)
307         frame_erasure |= buf[i];
308     frame_erasure = !frame_erasure;
309
310     init_get_bits(&gb, buf, buf_size);
311
312     ma_predictor     = get_bits(&gb, 1);
313     quantizer_1st    = get_bits(&gb, VQ_1ST_BITS);
314     quantizer_2nd_lo = get_bits(&gb, VQ_2ND_BITS);
315     quantizer_2nd_hi = get_bits(&gb, VQ_2ND_BITS);
316
317     if(frame_erasure)
318         lsf_restore_from_previous(ctx->lsfq, ctx->past_quantizer_outputs,
319                                   ctx->ma_predictor_prev);
320     else {
321         lsf_decode(ctx->lsfq, ctx->past_quantizer_outputs,
322                    ma_predictor,
323                    quantizer_1st, quantizer_2nd_lo, quantizer_2nd_hi);
324         ctx->ma_predictor_prev = ma_predictor;
325     }
326
327     tmp = ctx->past_quantizer_outputs[MA_NP];
328     memmove(ctx->past_quantizer_outputs + 1, ctx->past_quantizer_outputs,
329             MA_NP * sizeof(int16_t*));
330     ctx->past_quantizer_outputs[0] = tmp;
331
332     ff_acelp_lsf2lsp(ctx->lsp[1], ctx->lsfq, 10);
333
334     ff_acelp_lp_decode(&lp[0][0], &lp[1][0], ctx->lsp[1], ctx->lsp[0], 10);
335
336     FFSWAP(int16_t*, ctx->lsp[1], ctx->lsp[0]);
337
338     for (i = 0; i < 2; i++) {
339         int gain_corr_factor;
340
341         uint8_t ac_index;      ///< adaptive codebook index
342         uint8_t pulses_signs;  ///< fixed-codebook vector pulse signs
343         int fc_indexes;        ///< fixed-codebook indexes
344         uint8_t gc_1st_index;  ///< gain codebook (first stage) index
345         uint8_t gc_2nd_index;  ///< gain codebook (second stage) index
346
347         ac_index      = get_bits(&gb, format.ac_index_bits[i]);
348         if(!i && format.parity_bit)
349             bad_pitch = get_parity(ac_index) == get_bits1(&gb);
350         fc_indexes    = get_bits(&gb, format.fc_indexes_bits);
351         pulses_signs  = get_bits(&gb, format.fc_signs_bits);
352         gc_1st_index  = get_bits(&gb, format.gc_1st_index_bits);
353         gc_2nd_index  = get_bits(&gb, format.gc_2nd_index_bits);
354
355         if (frame_erasure)
356             pitch_delay_3x   = 3 * ctx->pitch_delay_int_prev;
357         else if(!i) {
358             if (bad_pitch)
359                 pitch_delay_3x   = 3 * ctx->pitch_delay_int_prev;
360             else
361                 pitch_delay_3x = ff_acelp_decode_8bit_to_1st_delay3(ac_index);
362         } else {
363             int pitch_delay_min = av_clip(ctx->pitch_delay_int_prev - 5,
364                                           PITCH_DELAY_MIN, PITCH_DELAY_MAX - 9);
365
366             if(packet_type == FORMAT_G729D_6K4)
367                 pitch_delay_3x = ff_acelp_decode_4bit_to_2nd_delay3(ac_index, pitch_delay_min);
368             else
369                 pitch_delay_3x = ff_acelp_decode_5_6_bit_to_2nd_delay3(ac_index, pitch_delay_min);
370         }
371
372         /* Round pitch delay to nearest (used everywhere except ff_acelp_interpolate). */
373         pitch_delay_int  = (pitch_delay_3x + 1) / 3;
374
375         if (frame_erasure) {
376             ctx->rand_value = g729_prng(ctx->rand_value);
377             fc_indexes   = ctx->rand_value & ((1 << format.fc_indexes_bits) - 1);
378
379             ctx->rand_value = g729_prng(ctx->rand_value);
380             pulses_signs = ctx->rand_value;
381         }
382
383
384         memset(fc, 0, sizeof(int16_t) * SUBFRAME_SIZE);
385         switch (packet_type) {
386             case FORMAT_G729_8K:
387                 ff_acelp_fc_pulse_per_track(fc, ff_fc_4pulses_8bits_tracks_13,
388                                             ff_fc_4pulses_8bits_track_4,
389                                             fc_indexes, pulses_signs, 3, 3);
390                 break;
391             case FORMAT_G729D_6K4:
392                 ff_acelp_fc_pulse_per_track(fc, ff_fc_2pulses_9bits_track1_gray,
393                                             ff_fc_2pulses_9bits_track2_gray,
394                                             fc_indexes, pulses_signs, 1, 4);
395                 break;
396         }
397
398         /*
399           This filter enhances harmonic components of the fixed-codebook vector to
400           improve the quality of the reconstructed speech.
401
402                      / fc_v[i],                                    i < pitch_delay
403           fc_v[i] = <
404                      \ fc_v[i] + gain_pitch * fc_v[i-pitch_delay], i >= pitch_delay
405         */
406         ff_acelp_weighted_vector_sum(fc + pitch_delay_int,
407                                      fc + pitch_delay_int,
408                                      fc, 1 << 14,
409                                      av_clip(ctx->gain_pitch, SHARP_MIN, SHARP_MAX),
410                                      0, 14,
411                                      SUBFRAME_SIZE - pitch_delay_int);
412
413         if (frame_erasure) {
414             ctx->gain_pitch = (29491 * ctx->gain_pitch) >> 15; // 0.90 (0.15)
415             ctx->gain_code  = ( 2007 * ctx->gain_code ) >> 11; // 0.98 (0.11)
416
417             gain_corr_factor = 0;
418         } else {
419             ctx->gain_pitch  = cb_gain_1st_8k[gc_1st_index][0] +
420                                cb_gain_2nd_8k[gc_2nd_index][0];
421             gain_corr_factor = cb_gain_1st_8k[gc_1st_index][1] +
422                                cb_gain_2nd_8k[gc_2nd_index][1];
423
424             /* Decode the fixed-codebook gain. */
425             ctx->gain_code = ff_acelp_decode_gain_code(&ctx->dsp, gain_corr_factor,
426                                                        fc, MR_ENERGY,
427                                                        ctx->quant_energy,
428                                                        ma_prediction_coeff,
429                                                        SUBFRAME_SIZE, 4);
430         }
431         ff_acelp_update_past_gain(ctx->quant_energy, gain_corr_factor, 2, frame_erasure);
432
433         /* Routine requires rounding to lowest. */
434         ff_acelp_interpolate(ctx->exc + i * SUBFRAME_SIZE,
435                              ctx->exc + i * SUBFRAME_SIZE - pitch_delay_3x / 3,
436                              ff_acelp_interp_filter, 6,
437                              (pitch_delay_3x % 3) << 1,
438                              10, SUBFRAME_SIZE);
439
440         ff_acelp_weighted_vector_sum(ctx->exc + i * SUBFRAME_SIZE,
441                                      ctx->exc + i * SUBFRAME_SIZE, fc,
442                                      (!ctx->was_periodic && frame_erasure) ? 0 : ctx->gain_pitch,
443                                      ( ctx->was_periodic && frame_erasure) ? 0 : ctx->gain_code,
444                                      1 << 13, 14, SUBFRAME_SIZE);
445
446         if (frame_erasure)
447             ctx->pitch_delay_int_prev = FFMIN(ctx->pitch_delay_int_prev + 1, PITCH_DELAY_MAX);
448         else
449             ctx->pitch_delay_int_prev = pitch_delay_int;
450     }
451
452     ctx->was_periodic = is_periodic;
453
454     /* Save signal for use in next frame. */
455     memmove(ctx->exc_base, ctx->exc_base + 2 * SUBFRAME_SIZE, (PITCH_DELAY_MAX+INTERPOL_LEN)*sizeof(int16_t));
456
457     *data_size = SUBFRAME_SIZE << 2;
458     return buf_size;
459 }
460
461 AVCodec ff_g729_decoder =
462 {
463     "g729",
464     AVMEDIA_TYPE_AUDIO,
465     CODEC_ID_G729,
466     sizeof(G729Context),
467     decoder_init,
468     NULL,
469     NULL,
470     decode_frame,
471     .long_name = NULL_IF_CONFIG_SMALL("G.729"),
472 };