tscc2: Fix an out of array access
[ffmpeg.git] / libavcodec / ac3enc_fixed.c
1 /*
2  * The simplest AC-3 encoder
3  * Copyright (c) 2000 Fabrice Bellard
4  * Copyright (c) 2006-2010 Justin Ruggles <justin.ruggles@gmail.com>
5  * Copyright (c) 2006-2010 Prakash Punnoor <prakash@punnoor.de>
6  *
7  * This file is part of Libav.
8  *
9  * Libav is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * Libav is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with Libav; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 /**
25  * @file
26  * fixed-point AC-3 encoder.
27  */
28
29 #define CONFIG_FFT_FLOAT 0
30 #undef CONFIG_AC3ENC_FLOAT
31 #include "internal.h"
32 #include "ac3enc.h"
33 #include "eac3enc.h"
34
35 #define AC3ENC_TYPE AC3ENC_TYPE_AC3_FIXED
36 #include "ac3enc_opts_template.c"
37 static const AVClass ac3enc_class = { "Fixed-Point AC-3 Encoder", av_default_item_name,
38                                       ac3_options, LIBAVUTIL_VERSION_INT };
39
40 #include "ac3enc_template.c"
41
42
43 /**
44  * Finalize MDCT and free allocated memory.
45  *
46  * @param s  AC-3 encoder private context
47  */
48 av_cold void AC3_NAME(mdct_end)(AC3EncodeContext *s)
49 {
50     ff_mdct_end(&s->mdct);
51 }
52
53
54 /**
55  * Initialize MDCT tables.
56  *
57  * @param s  AC-3 encoder private context
58  * @return   0 on success, negative error code on failure
59  */
60 av_cold int AC3_NAME(mdct_init)(AC3EncodeContext *s)
61 {
62     int ret = ff_mdct_init(&s->mdct, 9, 0, -1.0);
63     s->mdct_window = ff_ac3_window;
64     return ret;
65 }
66
67
68 /*
69  * Apply KBD window to input samples prior to MDCT.
70  */
71 static void apply_window(void *dsp, int16_t *output, const int16_t *input,
72                          const int16_t *window, unsigned int len)
73 {
74     DSPContext *dsp0 = dsp;
75     dsp0->apply_window_int16(output, input, window, len);
76 }
77
78
79 /*
80  * Normalize the input samples to use the maximum available precision.
81  * This assumes signed 16-bit input samples.
82  */
83 static int normalize_samples(AC3EncodeContext *s)
84 {
85     int v = s->ac3dsp.ac3_max_msb_abs_int16(s->windowed_samples, AC3_WINDOW_SIZE);
86     v = 14 - av_log2(v);
87     if (v > 0)
88         s->ac3dsp.ac3_lshift_int16(s->windowed_samples, AC3_WINDOW_SIZE, v);
89     /* +6 to right-shift from 31-bit to 25-bit */
90     return v + 6;
91 }
92
93
94 /*
95  * Scale MDCT coefficients to 25-bit signed fixed-point.
96  */
97 static void scale_coefficients(AC3EncodeContext *s)
98 {
99     int blk, ch;
100
101     for (blk = 0; blk < s->num_blocks; blk++) {
102         AC3Block *block = &s->blocks[blk];
103         for (ch = 1; ch <= s->channels; ch++) {
104             s->ac3dsp.ac3_rshift_int32(block->mdct_coef[ch], AC3_MAX_COEFS,
105                                        block->coeff_shift[ch]);
106         }
107     }
108 }
109
110
111 /*
112  * Clip MDCT coefficients to allowable range.
113  */
114 static void clip_coefficients(DSPContext *dsp, int32_t *coef, unsigned int len)
115 {
116     dsp->vector_clip_int32(coef, coef, COEF_MIN, COEF_MAX, len);
117 }
118
119
120 /*
121  * Calculate a single coupling coordinate.
122  */
123 static CoefType calc_cpl_coord(CoefSumType energy_ch, CoefSumType energy_cpl)
124 {
125     if (energy_cpl <= COEF_MAX) {
126         return 1048576;
127     } else {
128         uint64_t coord   = energy_ch / (energy_cpl >> 24);
129         uint32_t coord32 = FFMIN(coord, 1073741824);
130         coord32          = ff_sqrt(coord32) << 9;
131         return FFMIN(coord32, COEF_MAX);
132     }
133 }
134
135
136 static av_cold int ac3_fixed_encode_init(AVCodecContext *avctx)
137 {
138     AC3EncodeContext *s = avctx->priv_data;
139     s->fixed_point = 1;
140     return ff_ac3_encode_init(avctx);
141 }
142
143
144 AVCodec ff_ac3_fixed_encoder = {
145     .name            = "ac3_fixed",
146     .type            = AVMEDIA_TYPE_AUDIO,
147     .id              = AV_CODEC_ID_AC3,
148     .priv_data_size  = sizeof(AC3EncodeContext),
149     .init            = ac3_fixed_encode_init,
150     .encode2         = ff_ac3_fixed_encode_frame,
151     .close           = ff_ac3_encode_close,
152     .sample_fmts     = (const enum AVSampleFormat[]){ AV_SAMPLE_FMT_S16P,
153                                                       AV_SAMPLE_FMT_NONE },
154     .long_name       = NULL_IF_CONFIG_SMALL("ATSC A/52A (AC-3)"),
155     .priv_class      = &ac3enc_class,
156     .channel_layouts = ff_ac3_channel_layouts,
157     .defaults        = ac3_defaults,
158 };