apedec: av_fast_malloc() instead of av_realloc()
[ffmpeg.git] / libavcodec / apedec.c
1 /*
2  * Monkey's Audio lossless audio decoder
3  * Copyright (c) 2007 Benjamin Zores <ben@geexbox.org>
4  *  based upon libdemac from Dave Chapman.
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #define BITSTREAM_READER_LE
24 #include "avcodec.h"
25 #include "dsputil.h"
26 #include "get_bits.h"
27 #include "bytestream.h"
28 #include "libavutil/audioconvert.h"
29 #include "libavutil/avassert.h"
30
31 /**
32  * @file
33  * Monkey's Audio lossless audio decoder
34  */
35
36 #define BLOCKS_PER_LOOP     4608
37 #define MAX_CHANNELS        2
38 #define MAX_BYTESPERSAMPLE  3
39
40 #define APE_FRAMECODE_MONO_SILENCE    1
41 #define APE_FRAMECODE_STEREO_SILENCE  3
42 #define APE_FRAMECODE_PSEUDO_STEREO   4
43
44 #define HISTORY_SIZE 512
45 #define PREDICTOR_ORDER 8
46 /** Total size of all predictor histories */
47 #define PREDICTOR_SIZE 50
48
49 #define YDELAYA (18 + PREDICTOR_ORDER*4)
50 #define YDELAYB (18 + PREDICTOR_ORDER*3)
51 #define XDELAYA (18 + PREDICTOR_ORDER*2)
52 #define XDELAYB (18 + PREDICTOR_ORDER)
53
54 #define YADAPTCOEFFSA 18
55 #define XADAPTCOEFFSA 14
56 #define YADAPTCOEFFSB 10
57 #define XADAPTCOEFFSB 5
58
59 /**
60  * Possible compression levels
61  * @{
62  */
63 enum APECompressionLevel {
64     COMPRESSION_LEVEL_FAST       = 1000,
65     COMPRESSION_LEVEL_NORMAL     = 2000,
66     COMPRESSION_LEVEL_HIGH       = 3000,
67     COMPRESSION_LEVEL_EXTRA_HIGH = 4000,
68     COMPRESSION_LEVEL_INSANE     = 5000
69 };
70 /** @} */
71
72 #define APE_FILTER_LEVELS 3
73
74 /** Filter orders depending on compression level */
75 static const uint16_t ape_filter_orders[5][APE_FILTER_LEVELS] = {
76     {  0,   0,    0 },
77     { 16,   0,    0 },
78     { 64,   0,    0 },
79     { 32, 256,    0 },
80     { 16, 256, 1280 }
81 };
82
83 /** Filter fraction bits depending on compression level */
84 static const uint8_t ape_filter_fracbits[5][APE_FILTER_LEVELS] = {
85     {  0,  0,  0 },
86     { 11,  0,  0 },
87     { 11,  0,  0 },
88     { 10, 13,  0 },
89     { 11, 13, 15 }
90 };
91
92
93 /** Filters applied to the decoded data */
94 typedef struct APEFilter {
95     int16_t *coeffs;        ///< actual coefficients used in filtering
96     int16_t *adaptcoeffs;   ///< adaptive filter coefficients used for correcting of actual filter coefficients
97     int16_t *historybuffer; ///< filter memory
98     int16_t *delay;         ///< filtered values
99
100     int avg;
101 } APEFilter;
102
103 typedef struct APERice {
104     uint32_t k;
105     uint32_t ksum;
106 } APERice;
107
108 typedef struct APERangecoder {
109     uint32_t low;           ///< low end of interval
110     uint32_t range;         ///< length of interval
111     uint32_t help;          ///< bytes_to_follow resp. intermediate value
112     unsigned int buffer;    ///< buffer for input/output
113 } APERangecoder;
114
115 /** Filter histories */
116 typedef struct APEPredictor {
117     int32_t *buf;
118
119     int32_t lastA[2];
120
121     int32_t filterA[2];
122     int32_t filterB[2];
123
124     int32_t coeffsA[2][4];  ///< adaption coefficients
125     int32_t coeffsB[2][5];  ///< adaption coefficients
126     int32_t historybuffer[HISTORY_SIZE + PREDICTOR_SIZE];
127 } APEPredictor;
128
129 /** Decoder context */
130 typedef struct APEContext {
131     AVCodecContext *avctx;
132     AVFrame frame;
133     DSPContext dsp;
134     int channels;
135     int samples;                             ///< samples left to decode in current frame
136
137     int fileversion;                         ///< codec version, very important in decoding process
138     int compression_level;                   ///< compression levels
139     int fset;                                ///< which filter set to use (calculated from compression level)
140     int flags;                               ///< global decoder flags
141
142     uint32_t CRC;                            ///< frame CRC
143     int frameflags;                          ///< frame flags
144     APEPredictor predictor;                  ///< predictor used for final reconstruction
145
146     int32_t decoded0[BLOCKS_PER_LOOP];       ///< decoded data for the first channel
147     int32_t decoded1[BLOCKS_PER_LOOP];       ///< decoded data for the second channel
148
149     int16_t* filterbuf[APE_FILTER_LEVELS];   ///< filter memory
150
151     APERangecoder rc;                        ///< rangecoder used to decode actual values
152     APERice riceX;                           ///< rice code parameters for the second channel
153     APERice riceY;                           ///< rice code parameters for the first channel
154     APEFilter filters[APE_FILTER_LEVELS][2]; ///< filters used for reconstruction
155
156     uint8_t *data;                           ///< current frame data
157     uint8_t *data_end;                       ///< frame data end
158     int data_size;                           ///< frame data allocated size
159     const uint8_t *ptr;                      ///< current position in frame data
160
161     int error;
162 } APEContext;
163
164 // TODO: dsputilize
165
166 static av_cold int ape_decode_close(AVCodecContext *avctx)
167 {
168     APEContext *s = avctx->priv_data;
169     int i;
170
171     for (i = 0; i < APE_FILTER_LEVELS; i++)
172         av_freep(&s->filterbuf[i]);
173
174     av_freep(&s->data);
175     s->data_size = 0;
176
177     return 0;
178 }
179
180 static av_cold int ape_decode_init(AVCodecContext *avctx)
181 {
182     APEContext *s = avctx->priv_data;
183     int i;
184
185     if (avctx->extradata_size != 6) {
186         av_log(avctx, AV_LOG_ERROR, "Incorrect extradata\n");
187         return AVERROR(EINVAL);
188     }
189     if (avctx->bits_per_coded_sample != 16) {
190         av_log(avctx, AV_LOG_ERROR, "Only 16-bit samples are supported\n");
191         return AVERROR(EINVAL);
192     }
193     if (avctx->channels > 2) {
194         av_log(avctx, AV_LOG_ERROR, "Only mono and stereo is supported\n");
195         return AVERROR(EINVAL);
196     }
197     s->avctx             = avctx;
198     s->channels          = avctx->channels;
199     s->fileversion       = AV_RL16(avctx->extradata);
200     s->compression_level = AV_RL16(avctx->extradata + 2);
201     s->flags             = AV_RL16(avctx->extradata + 4);
202
203     av_log(avctx, AV_LOG_DEBUG, "Compression Level: %d - Flags: %d\n",
204            s->compression_level, s->flags);
205     if (s->compression_level % 1000 || s->compression_level > COMPRESSION_LEVEL_INSANE) {
206         av_log(avctx, AV_LOG_ERROR, "Incorrect compression level %d\n",
207                s->compression_level);
208         return AVERROR_INVALIDDATA;
209     }
210     s->fset = s->compression_level / 1000 - 1;
211     for (i = 0; i < APE_FILTER_LEVELS; i++) {
212         if (!ape_filter_orders[s->fset][i])
213             break;
214         FF_ALLOC_OR_GOTO(avctx, s->filterbuf[i],
215                          (ape_filter_orders[s->fset][i] * 3 + HISTORY_SIZE) * 4,
216                          filter_alloc_fail);
217     }
218
219     dsputil_init(&s->dsp, avctx);
220     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
221     avctx->channel_layout = (avctx->channels==2) ? AV_CH_LAYOUT_STEREO : AV_CH_LAYOUT_MONO;
222
223     avcodec_get_frame_defaults(&s->frame);
224     avctx->coded_frame = &s->frame;
225
226     return 0;
227 filter_alloc_fail:
228     ape_decode_close(avctx);
229     return AVERROR(ENOMEM);
230 }
231
232 /**
233  * @name APE range decoding functions
234  * @{
235  */
236
237 #define CODE_BITS    32
238 #define TOP_VALUE    ((unsigned int)1 << (CODE_BITS-1))
239 #define SHIFT_BITS   (CODE_BITS - 9)
240 #define EXTRA_BITS   ((CODE_BITS-2) % 8 + 1)
241 #define BOTTOM_VALUE (TOP_VALUE >> 8)
242
243 /** Start the decoder */
244 static inline void range_start_decoding(APEContext *ctx)
245 {
246     ctx->rc.buffer = bytestream_get_byte(&ctx->ptr);
247     ctx->rc.low    = ctx->rc.buffer >> (8 - EXTRA_BITS);
248     ctx->rc.range  = (uint32_t) 1 << EXTRA_BITS;
249 }
250
251 /** Perform normalization */
252 static inline void range_dec_normalize(APEContext *ctx)
253 {
254     while (ctx->rc.range <= BOTTOM_VALUE) {
255         ctx->rc.buffer <<= 8;
256         if(ctx->ptr < ctx->data_end) {
257             ctx->rc.buffer += *ctx->ptr;
258             ctx->ptr++;
259         } else {
260             ctx->error = 1;
261         }
262         ctx->rc.low    = (ctx->rc.low << 8)    | ((ctx->rc.buffer >> 1) & 0xFF);
263         ctx->rc.range  <<= 8;
264     }
265 }
266
267 /**
268  * Calculate culmulative frequency for next symbol. Does NO update!
269  * @param ctx decoder context
270  * @param tot_f is the total frequency or (code_value)1<<shift
271  * @return the culmulative frequency
272  */
273 static inline int range_decode_culfreq(APEContext *ctx, int tot_f)
274 {
275     range_dec_normalize(ctx);
276     ctx->rc.help = ctx->rc.range / tot_f;
277     return ctx->rc.low / ctx->rc.help;
278 }
279
280 /**
281  * Decode value with given size in bits
282  * @param ctx decoder context
283  * @param shift number of bits to decode
284  */
285 static inline int range_decode_culshift(APEContext *ctx, int shift)
286 {
287     range_dec_normalize(ctx);
288     ctx->rc.help = ctx->rc.range >> shift;
289     return ctx->rc.low / ctx->rc.help;
290 }
291
292
293 /**
294  * Update decoding state
295  * @param ctx decoder context
296  * @param sy_f the interval length (frequency of the symbol)
297  * @param lt_f the lower end (frequency sum of < symbols)
298  */
299 static inline void range_decode_update(APEContext *ctx, int sy_f, int lt_f)
300 {
301     ctx->rc.low  -= ctx->rc.help * lt_f;
302     ctx->rc.range = ctx->rc.help * sy_f;
303 }
304
305 /** Decode n bits (n <= 16) without modelling */
306 static inline int range_decode_bits(APEContext *ctx, int n)
307 {
308     int sym = range_decode_culshift(ctx, n);
309     range_decode_update(ctx, 1, sym);
310     return sym;
311 }
312
313
314 #define MODEL_ELEMENTS 64
315
316 /**
317  * Fixed probabilities for symbols in Monkey Audio version 3.97
318  */
319 static const uint16_t counts_3970[22] = {
320         0, 14824, 28224, 39348, 47855, 53994, 58171, 60926,
321     62682, 63786, 64463, 64878, 65126, 65276, 65365, 65419,
322     65450, 65469, 65480, 65487, 65491, 65493,
323 };
324
325 /**
326  * Probability ranges for symbols in Monkey Audio version 3.97
327  */
328 static const uint16_t counts_diff_3970[21] = {
329     14824, 13400, 11124, 8507, 6139, 4177, 2755, 1756,
330     1104, 677, 415, 248, 150, 89, 54, 31,
331     19, 11, 7, 4, 2,
332 };
333
334 /**
335  * Fixed probabilities for symbols in Monkey Audio version 3.98
336  */
337 static const uint16_t counts_3980[22] = {
338         0, 19578, 36160, 48417, 56323, 60899, 63265, 64435,
339     64971, 65232, 65351, 65416, 65447, 65466, 65476, 65482,
340     65485, 65488, 65490, 65491, 65492, 65493,
341 };
342
343 /**
344  * Probability ranges for symbols in Monkey Audio version 3.98
345  */
346 static const uint16_t counts_diff_3980[21] = {
347     19578, 16582, 12257, 7906, 4576, 2366, 1170, 536,
348     261, 119, 65, 31, 19, 10, 6, 3,
349     3, 2, 1, 1, 1,
350 };
351
352 /**
353  * Decode symbol
354  * @param ctx decoder context
355  * @param counts probability range start position
356  * @param counts_diff probability range widths
357  */
358 static inline int range_get_symbol(APEContext *ctx,
359                                    const uint16_t counts[],
360                                    const uint16_t counts_diff[])
361 {
362     int symbol, cf;
363
364     cf = range_decode_culshift(ctx, 16);
365
366     if(cf > 65492){
367         symbol= cf - 65535 + 63;
368         range_decode_update(ctx, 1, cf);
369         if(cf > 65535)
370             ctx->error=1;
371         return symbol;
372     }
373     /* figure out the symbol inefficiently; a binary search would be much better */
374     for (symbol = 0; counts[symbol + 1] <= cf; symbol++);
375
376     range_decode_update(ctx, counts_diff[symbol], counts[symbol]);
377
378     return symbol;
379 }
380 /** @} */ // group rangecoder
381
382 static inline void update_rice(APERice *rice, int x)
383 {
384     int lim = rice->k ? (1 << (rice->k + 4)) : 0;
385     rice->ksum += ((x + 1) / 2) - ((rice->ksum + 16) >> 5);
386
387     if (rice->ksum < lim)
388         rice->k--;
389     else if (rice->ksum >= (1 << (rice->k + 5)))
390         rice->k++;
391 }
392
393 static inline int ape_decode_value(APEContext *ctx, APERice *rice)
394 {
395     int x, overflow;
396
397     if (ctx->fileversion < 3990) {
398         int tmpk;
399
400         overflow = range_get_symbol(ctx, counts_3970, counts_diff_3970);
401
402         if (overflow == (MODEL_ELEMENTS - 1)) {
403             tmpk = range_decode_bits(ctx, 5);
404             overflow = 0;
405         } else
406             tmpk = (rice->k < 1) ? 0 : rice->k - 1;
407
408         if (tmpk <= 16)
409             x = range_decode_bits(ctx, tmpk);
410         else {
411             x = range_decode_bits(ctx, 16);
412             x |= (range_decode_bits(ctx, tmpk - 16) << 16);
413         }
414         x += overflow << tmpk;
415     } else {
416         int base, pivot;
417
418         pivot = rice->ksum >> 5;
419         if (pivot == 0)
420             pivot = 1;
421
422         overflow = range_get_symbol(ctx, counts_3980, counts_diff_3980);
423
424         if (overflow == (MODEL_ELEMENTS - 1)) {
425             overflow  = range_decode_bits(ctx, 16) << 16;
426             overflow |= range_decode_bits(ctx, 16);
427         }
428
429         if (pivot < 0x10000) {
430             base = range_decode_culfreq(ctx, pivot);
431             range_decode_update(ctx, 1, base);
432         } else {
433             int base_hi = pivot, base_lo;
434             int bbits = 0;
435
436             while (base_hi & ~0xFFFF) {
437                 base_hi >>= 1;
438                 bbits++;
439             }
440             base_hi = range_decode_culfreq(ctx, base_hi + 1);
441             range_decode_update(ctx, 1, base_hi);
442             base_lo = range_decode_culfreq(ctx, 1 << bbits);
443             range_decode_update(ctx, 1, base_lo);
444
445             base = (base_hi << bbits) + base_lo;
446         }
447
448         x = base + overflow * pivot;
449     }
450
451     update_rice(rice, x);
452
453     /* Convert to signed */
454     if (x & 1)
455         return (x >> 1) + 1;
456     else
457         return -(x >> 1);
458 }
459
460 static void entropy_decode(APEContext *ctx, int blockstodecode, int stereo)
461 {
462     int32_t *decoded0 = ctx->decoded0;
463     int32_t *decoded1 = ctx->decoded1;
464
465     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
466         /* We are pure silence, just memset the output buffer. */
467         memset(decoded0, 0, blockstodecode * sizeof(int32_t));
468         memset(decoded1, 0, blockstodecode * sizeof(int32_t));
469     } else {
470         while (blockstodecode--) {
471             *decoded0++ = ape_decode_value(ctx, &ctx->riceY);
472             if (stereo)
473                 *decoded1++ = ape_decode_value(ctx, &ctx->riceX);
474         }
475     }
476 }
477
478 static int init_entropy_decoder(APEContext *ctx)
479 {
480     /* Read the CRC */
481     if (ctx->data_end - ctx->ptr < 6)
482         return AVERROR_INVALIDDATA;
483     ctx->CRC = bytestream_get_be32(&ctx->ptr);
484
485     /* Read the frame flags if they exist */
486     ctx->frameflags = 0;
487     if ((ctx->fileversion > 3820) && (ctx->CRC & 0x80000000)) {
488         ctx->CRC &= ~0x80000000;
489
490         if (ctx->data_end - ctx->ptr < 6)
491             return AVERROR_INVALIDDATA;
492         ctx->frameflags = bytestream_get_be32(&ctx->ptr);
493     }
494
495     /* Initialize the rice structs */
496     ctx->riceX.k = 10;
497     ctx->riceX.ksum = (1 << ctx->riceX.k) * 16;
498     ctx->riceY.k = 10;
499     ctx->riceY.ksum = (1 << ctx->riceY.k) * 16;
500
501     /* The first 8 bits of input are ignored. */
502     ctx->ptr++;
503
504     range_start_decoding(ctx);
505
506     return 0;
507 }
508
509 static const int32_t initial_coeffs[4] = {
510     360, 317, -109, 98
511 };
512
513 static void init_predictor_decoder(APEContext *ctx)
514 {
515     APEPredictor *p = &ctx->predictor;
516
517     /* Zero the history buffers */
518     memset(p->historybuffer, 0, PREDICTOR_SIZE * sizeof(int32_t));
519     p->buf = p->historybuffer;
520
521     /* Initialize and zero the coefficients */
522     memcpy(p->coeffsA[0], initial_coeffs, sizeof(initial_coeffs));
523     memcpy(p->coeffsA[1], initial_coeffs, sizeof(initial_coeffs));
524     memset(p->coeffsB, 0, sizeof(p->coeffsB));
525
526     p->filterA[0] = p->filterA[1] = 0;
527     p->filterB[0] = p->filterB[1] = 0;
528     p->lastA[0]   = p->lastA[1]   = 0;
529 }
530
531 /** Get inverse sign of integer (-1 for positive, 1 for negative and 0 for zero) */
532 static inline int APESIGN(int32_t x) {
533     return (x < 0) - (x > 0);
534 }
535
536 static av_always_inline int predictor_update_filter(APEPredictor *p,
537                                                     const int decoded, const int filter,
538                                                     const int delayA,  const int delayB,
539                                                     const int adaptA,  const int adaptB)
540 {
541     int32_t predictionA, predictionB, sign;
542
543     p->buf[delayA]     = p->lastA[filter];
544     p->buf[adaptA]     = APESIGN(p->buf[delayA]);
545     p->buf[delayA - 1] = p->buf[delayA] - p->buf[delayA - 1];
546     p->buf[adaptA - 1] = APESIGN(p->buf[delayA - 1]);
547
548     predictionA = p->buf[delayA    ] * p->coeffsA[filter][0] +
549                   p->buf[delayA - 1] * p->coeffsA[filter][1] +
550                   p->buf[delayA - 2] * p->coeffsA[filter][2] +
551                   p->buf[delayA - 3] * p->coeffsA[filter][3];
552
553     /*  Apply a scaled first-order filter compression */
554     p->buf[delayB]     = p->filterA[filter ^ 1] - ((p->filterB[filter] * 31) >> 5);
555     p->buf[adaptB]     = APESIGN(p->buf[delayB]);
556     p->buf[delayB - 1] = p->buf[delayB] - p->buf[delayB - 1];
557     p->buf[adaptB - 1] = APESIGN(p->buf[delayB - 1]);
558     p->filterB[filter] = p->filterA[filter ^ 1];
559
560     predictionB = p->buf[delayB    ] * p->coeffsB[filter][0] +
561                   p->buf[delayB - 1] * p->coeffsB[filter][1] +
562                   p->buf[delayB - 2] * p->coeffsB[filter][2] +
563                   p->buf[delayB - 3] * p->coeffsB[filter][3] +
564                   p->buf[delayB - 4] * p->coeffsB[filter][4];
565
566     p->lastA[filter] = decoded + ((predictionA + (predictionB >> 1)) >> 10);
567     p->filterA[filter] = p->lastA[filter] + ((p->filterA[filter] * 31) >> 5);
568
569     sign = APESIGN(decoded);
570     p->coeffsA[filter][0] += p->buf[adaptA    ] * sign;
571     p->coeffsA[filter][1] += p->buf[adaptA - 1] * sign;
572     p->coeffsA[filter][2] += p->buf[adaptA - 2] * sign;
573     p->coeffsA[filter][3] += p->buf[adaptA - 3] * sign;
574     p->coeffsB[filter][0] += p->buf[adaptB    ] * sign;
575     p->coeffsB[filter][1] += p->buf[adaptB - 1] * sign;
576     p->coeffsB[filter][2] += p->buf[adaptB - 2] * sign;
577     p->coeffsB[filter][3] += p->buf[adaptB - 3] * sign;
578     p->coeffsB[filter][4] += p->buf[adaptB - 4] * sign;
579
580     return p->filterA[filter];
581 }
582
583 static void predictor_decode_stereo(APEContext *ctx, int count)
584 {
585     APEPredictor *p = &ctx->predictor;
586     int32_t *decoded0 = ctx->decoded0;
587     int32_t *decoded1 = ctx->decoded1;
588
589     while (count--) {
590         /* Predictor Y */
591         *decoded0 = predictor_update_filter(p, *decoded0, 0, YDELAYA, YDELAYB,
592                                             YADAPTCOEFFSA, YADAPTCOEFFSB);
593         decoded0++;
594         *decoded1 = predictor_update_filter(p, *decoded1, 1, XDELAYA, XDELAYB,
595                                             XADAPTCOEFFSA, XADAPTCOEFFSB);
596         decoded1++;
597
598         /* Combined */
599         p->buf++;
600
601         /* Have we filled the history buffer? */
602         if (p->buf == p->historybuffer + HISTORY_SIZE) {
603             memmove(p->historybuffer, p->buf, PREDICTOR_SIZE * sizeof(int32_t));
604             p->buf = p->historybuffer;
605         }
606     }
607 }
608
609 static void predictor_decode_mono(APEContext *ctx, int count)
610 {
611     APEPredictor *p = &ctx->predictor;
612     int32_t *decoded0 = ctx->decoded0;
613     int32_t predictionA, currentA, A, sign;
614
615     currentA = p->lastA[0];
616
617     while (count--) {
618         A = *decoded0;
619
620         p->buf[YDELAYA] = currentA;
621         p->buf[YDELAYA - 1] = p->buf[YDELAYA] - p->buf[YDELAYA - 1];
622
623         predictionA = p->buf[YDELAYA    ] * p->coeffsA[0][0] +
624                       p->buf[YDELAYA - 1] * p->coeffsA[0][1] +
625                       p->buf[YDELAYA - 2] * p->coeffsA[0][2] +
626                       p->buf[YDELAYA - 3] * p->coeffsA[0][3];
627
628         currentA = A + (predictionA >> 10);
629
630         p->buf[YADAPTCOEFFSA]     = APESIGN(p->buf[YDELAYA    ]);
631         p->buf[YADAPTCOEFFSA - 1] = APESIGN(p->buf[YDELAYA - 1]);
632
633         sign = APESIGN(A);
634         p->coeffsA[0][0] += p->buf[YADAPTCOEFFSA    ] * sign;
635         p->coeffsA[0][1] += p->buf[YADAPTCOEFFSA - 1] * sign;
636         p->coeffsA[0][2] += p->buf[YADAPTCOEFFSA - 2] * sign;
637         p->coeffsA[0][3] += p->buf[YADAPTCOEFFSA - 3] * sign;
638
639         p->buf++;
640
641         /* Have we filled the history buffer? */
642         if (p->buf == p->historybuffer + HISTORY_SIZE) {
643             memmove(p->historybuffer, p->buf, PREDICTOR_SIZE * sizeof(int32_t));
644             p->buf = p->historybuffer;
645         }
646
647         p->filterA[0] = currentA + ((p->filterA[0] * 31) >> 5);
648         *(decoded0++) = p->filterA[0];
649     }
650
651     p->lastA[0] = currentA;
652 }
653
654 static void do_init_filter(APEFilter *f, int16_t *buf, int order)
655 {
656     f->coeffs = buf;
657     f->historybuffer = buf + order;
658     f->delay       = f->historybuffer + order * 2;
659     f->adaptcoeffs = f->historybuffer + order;
660
661     memset(f->historybuffer, 0, (order * 2) * sizeof(int16_t));
662     memset(f->coeffs, 0, order * sizeof(int16_t));
663     f->avg = 0;
664 }
665
666 static void init_filter(APEContext *ctx, APEFilter *f, int16_t *buf, int order)
667 {
668     do_init_filter(&f[0], buf, order);
669     do_init_filter(&f[1], buf + order * 3 + HISTORY_SIZE, order);
670 }
671
672 static void do_apply_filter(APEContext *ctx, int version, APEFilter *f,
673                             int32_t *data, int count, int order, int fracbits)
674 {
675     int res;
676     int absres;
677
678     while (count--) {
679         /* round fixedpoint scalar product */
680         res = ctx->dsp.scalarproduct_and_madd_int16(f->coeffs, f->delay - order,
681                                                     f->adaptcoeffs - order,
682                                                     order, APESIGN(*data));
683         res = (res + (1 << (fracbits - 1))) >> fracbits;
684         res += *data;
685         *data++ = res;
686
687         /* Update the output history */
688         *f->delay++ = av_clip_int16(res);
689
690         if (version < 3980) {
691             /* Version ??? to < 3.98 files (untested) */
692             f->adaptcoeffs[0]  = (res == 0) ? 0 : ((res >> 28) & 8) - 4;
693             f->adaptcoeffs[-4] >>= 1;
694             f->adaptcoeffs[-8] >>= 1;
695         } else {
696             /* Version 3.98 and later files */
697
698             /* Update the adaption coefficients */
699             absres = FFABS(res);
700             if (absres)
701                 *f->adaptcoeffs = ((res & (-1<<31)) ^ (-1<<30)) >>
702                                   (25 + (absres <= f->avg*3) + (absres <= f->avg*4/3));
703             else
704                 *f->adaptcoeffs = 0;
705
706             f->avg += (absres - f->avg) / 16;
707
708             f->adaptcoeffs[-1] >>= 1;
709             f->adaptcoeffs[-2] >>= 1;
710             f->adaptcoeffs[-8] >>= 1;
711         }
712
713         f->adaptcoeffs++;
714
715         /* Have we filled the history buffer? */
716         if (f->delay == f->historybuffer + HISTORY_SIZE + (order * 2)) {
717             memmove(f->historybuffer, f->delay - (order * 2),
718                     (order * 2) * sizeof(int16_t));
719             f->delay = f->historybuffer + order * 2;
720             f->adaptcoeffs = f->historybuffer + order;
721         }
722     }
723 }
724
725 static void apply_filter(APEContext *ctx, APEFilter *f,
726                          int32_t *data0, int32_t *data1,
727                          int count, int order, int fracbits)
728 {
729     do_apply_filter(ctx, ctx->fileversion, &f[0], data0, count, order, fracbits);
730     if (data1)
731         do_apply_filter(ctx, ctx->fileversion, &f[1], data1, count, order, fracbits);
732 }
733
734 static void ape_apply_filters(APEContext *ctx, int32_t *decoded0,
735                               int32_t *decoded1, int count)
736 {
737     int i;
738
739     for (i = 0; i < APE_FILTER_LEVELS; i++) {
740         if (!ape_filter_orders[ctx->fset][i])
741             break;
742         apply_filter(ctx, ctx->filters[i], decoded0, decoded1, count,
743                      ape_filter_orders[ctx->fset][i],
744                      ape_filter_fracbits[ctx->fset][i]);
745     }
746 }
747
748 static int init_frame_decoder(APEContext *ctx)
749 {
750     int i, ret;
751     if ((ret = init_entropy_decoder(ctx)) < 0)
752         return ret;
753     init_predictor_decoder(ctx);
754
755     for (i = 0; i < APE_FILTER_LEVELS; i++) {
756         if (!ape_filter_orders[ctx->fset][i])
757             break;
758         init_filter(ctx, ctx->filters[i], ctx->filterbuf[i],
759                     ape_filter_orders[ctx->fset][i]);
760     }
761     return 0;
762 }
763
764 static void ape_unpack_mono(APEContext *ctx, int count)
765 {
766     int32_t *decoded0 = ctx->decoded0;
767     int32_t *decoded1 = ctx->decoded1;
768
769     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
770         entropy_decode(ctx, count, 0);
771         /* We are pure silence, so we're done. */
772         av_log(ctx->avctx, AV_LOG_DEBUG, "pure silence mono\n");
773         return;
774     }
775
776     entropy_decode(ctx, count, 0);
777     ape_apply_filters(ctx, decoded0, NULL, count);
778
779     /* Now apply the predictor decoding */
780     predictor_decode_mono(ctx, count);
781
782     /* Pseudo-stereo - just copy left channel to right channel */
783     if (ctx->channels == 2) {
784         memcpy(decoded1, decoded0, count * sizeof(*decoded1));
785     }
786 }
787
788 static void ape_unpack_stereo(APEContext *ctx, int count)
789 {
790     int32_t left, right;
791     int32_t *decoded0 = ctx->decoded0;
792     int32_t *decoded1 = ctx->decoded1;
793
794     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
795         /* We are pure silence, so we're done. */
796         av_log(ctx->avctx, AV_LOG_DEBUG, "pure silence stereo\n");
797         return;
798     }
799
800     entropy_decode(ctx, count, 1);
801     ape_apply_filters(ctx, decoded0, decoded1, count);
802
803     /* Now apply the predictor decoding */
804     predictor_decode_stereo(ctx, count);
805
806     /* Decorrelate and scale to output depth */
807     while (count--) {
808         left = *decoded1 - (*decoded0 / 2);
809         right = left + *decoded0;
810
811         *(decoded0++) = left;
812         *(decoded1++) = right;
813     }
814 }
815
816 static int ape_decode_frame(AVCodecContext *avctx, void *data,
817                             int *got_frame_ptr, AVPacket *avpkt)
818 {
819     const uint8_t *buf = avpkt->data;
820     APEContext *s = avctx->priv_data;
821     int16_t *samples;
822     int i, ret;
823     int blockstodecode;
824     int bytes_used = 0;
825
826     /* this should never be negative, but bad things will happen if it is, so
827        check it just to make sure. */
828     av_assert0(s->samples >= 0);
829
830     if(!s->samples){
831         uint32_t nblocks, offset;
832         int buf_size;
833
834         if (!avpkt->size) {
835             *got_frame_ptr = 0;
836             return 0;
837         }
838         if (avpkt->size < 8) {
839             av_log(avctx, AV_LOG_ERROR, "Packet is too small\n");
840             return AVERROR_INVALIDDATA;
841         }
842         buf_size = avpkt->size & ~3;
843         if (buf_size != avpkt->size) {
844             av_log(avctx, AV_LOG_WARNING, "packet size is not a multiple of 4. "
845                    "extra bytes at the end will be skipped.\n");
846         }
847
848         av_fast_malloc(&s->data, &s->data_size, buf_size);
849         if (!s->data)
850             return AVERROR(ENOMEM);
851         s->dsp.bswap_buf((uint32_t*)s->data, (const uint32_t*)buf, buf_size >> 2);
852         s->ptr = s->data;
853         s->data_end = s->data + buf_size;
854
855         nblocks = bytestream_get_be32(&s->ptr);
856         offset  = bytestream_get_be32(&s->ptr);
857         if (offset > 3) {
858             av_log(avctx, AV_LOG_ERROR, "Incorrect offset passed\n");
859             s->data = NULL;
860             return AVERROR_INVALIDDATA;
861         }
862         if (s->data_end - s->ptr < offset) {
863             av_log(avctx, AV_LOG_ERROR, "Packet is too small\n");
864             return AVERROR_INVALIDDATA;
865         }
866         s->ptr += offset;
867
868         if (!nblocks || nblocks > INT_MAX) {
869             av_log(avctx, AV_LOG_ERROR, "Invalid sample count: %u.\n", nblocks);
870             return AVERROR_INVALIDDATA;
871         }
872         s->samples = nblocks;
873
874         memset(s->decoded0,  0, sizeof(s->decoded0));
875         memset(s->decoded1,  0, sizeof(s->decoded1));
876
877         /* Initialize the frame decoder */
878         if (init_frame_decoder(s) < 0) {
879             av_log(avctx, AV_LOG_ERROR, "Error reading frame header\n");
880             return AVERROR_INVALIDDATA;
881         }
882
883         bytes_used = avpkt->size;
884     }
885
886     if (!s->data) {
887         *got_frame_ptr = 0;
888         return avpkt->size;
889     }
890
891     blockstodecode = FFMIN(BLOCKS_PER_LOOP, s->samples);
892
893     /* get output buffer */
894     s->frame.nb_samples = blockstodecode;
895     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
896         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
897         return ret;
898     }
899     samples = (int16_t *)s->frame.data[0];
900
901     s->error=0;
902
903     if ((s->channels == 1) || (s->frameflags & APE_FRAMECODE_PSEUDO_STEREO))
904         ape_unpack_mono(s, blockstodecode);
905     else
906         ape_unpack_stereo(s, blockstodecode);
907     emms_c();
908
909     if (s->error) {
910         s->samples=0;
911         av_log(avctx, AV_LOG_ERROR, "Error decoding frame\n");
912         return AVERROR_INVALIDDATA;
913     }
914
915     for (i = 0; i < blockstodecode; i++) {
916         *samples++ = s->decoded0[i];
917         if(s->channels == 2)
918             *samples++ = s->decoded1[i];
919     }
920
921     s->samples -= blockstodecode;
922
923     *got_frame_ptr   = 1;
924     *(AVFrame *)data = s->frame;
925
926     return bytes_used;
927 }
928
929 static void ape_flush(AVCodecContext *avctx)
930 {
931     APEContext *s = avctx->priv_data;
932     s->samples= 0;
933 }
934
935 AVCodec ff_ape_decoder = {
936     .name           = "ape",
937     .type           = AVMEDIA_TYPE_AUDIO,
938     .id             = CODEC_ID_APE,
939     .priv_data_size = sizeof(APEContext),
940     .init           = ape_decode_init,
941     .close          = ape_decode_close,
942     .decode         = ape_decode_frame,
943     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DELAY | CODEC_CAP_DR1,
944     .flush = ape_flush,
945     .long_name = NULL_IF_CONFIG_SMALL("Monkey's Audio"),
946 };