apedec: allocate a single flat buffer for decoded samples
[ffmpeg.git] / libavcodec / apedec.c
1 /*
2  * Monkey's Audio lossless audio decoder
3  * Copyright (c) 2007 Benjamin Zores <ben@geexbox.org>
4  *  based upon libdemac from Dave Chapman.
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #include "avcodec.h"
24 #include "dsputil.h"
25 #include "bytestream.h"
26 #include "libavutil/audioconvert.h"
27 #include "libavutil/avassert.h"
28
29 /**
30  * @file
31  * Monkey's Audio lossless audio decoder
32  */
33
34 #define BLOCKS_PER_LOOP     4608
35 #define MAX_CHANNELS        2
36 #define MAX_BYTESPERSAMPLE  3
37
38 #define APE_FRAMECODE_MONO_SILENCE    1
39 #define APE_FRAMECODE_STEREO_SILENCE  3
40 #define APE_FRAMECODE_PSEUDO_STEREO   4
41
42 #define HISTORY_SIZE 512
43 #define PREDICTOR_ORDER 8
44 /** Total size of all predictor histories */
45 #define PREDICTOR_SIZE 50
46
47 #define YDELAYA (18 + PREDICTOR_ORDER*4)
48 #define YDELAYB (18 + PREDICTOR_ORDER*3)
49 #define XDELAYA (18 + PREDICTOR_ORDER*2)
50 #define XDELAYB (18 + PREDICTOR_ORDER)
51
52 #define YADAPTCOEFFSA 18
53 #define XADAPTCOEFFSA 14
54 #define YADAPTCOEFFSB 10
55 #define XADAPTCOEFFSB 5
56
57 /**
58  * Possible compression levels
59  * @{
60  */
61 enum APECompressionLevel {
62     COMPRESSION_LEVEL_FAST       = 1000,
63     COMPRESSION_LEVEL_NORMAL     = 2000,
64     COMPRESSION_LEVEL_HIGH       = 3000,
65     COMPRESSION_LEVEL_EXTRA_HIGH = 4000,
66     COMPRESSION_LEVEL_INSANE     = 5000
67 };
68 /** @} */
69
70 #define APE_FILTER_LEVELS 3
71
72 /** Filter orders depending on compression level */
73 static const uint16_t ape_filter_orders[5][APE_FILTER_LEVELS] = {
74     {  0,   0,    0 },
75     { 16,   0,    0 },
76     { 64,   0,    0 },
77     { 32, 256,    0 },
78     { 16, 256, 1280 }
79 };
80
81 /** Filter fraction bits depending on compression level */
82 static const uint8_t ape_filter_fracbits[5][APE_FILTER_LEVELS] = {
83     {  0,  0,  0 },
84     { 11,  0,  0 },
85     { 11,  0,  0 },
86     { 10, 13,  0 },
87     { 11, 13, 15 }
88 };
89
90
91 /** Filters applied to the decoded data */
92 typedef struct APEFilter {
93     int16_t *coeffs;        ///< actual coefficients used in filtering
94     int16_t *adaptcoeffs;   ///< adaptive filter coefficients used for correcting of actual filter coefficients
95     int16_t *historybuffer; ///< filter memory
96     int16_t *delay;         ///< filtered values
97
98     int avg;
99 } APEFilter;
100
101 typedef struct APERice {
102     uint32_t k;
103     uint32_t ksum;
104 } APERice;
105
106 typedef struct APERangecoder {
107     uint32_t low;           ///< low end of interval
108     uint32_t range;         ///< length of interval
109     uint32_t help;          ///< bytes_to_follow resp. intermediate value
110     unsigned int buffer;    ///< buffer for input/output
111 } APERangecoder;
112
113 /** Filter histories */
114 typedef struct APEPredictor {
115     int32_t *buf;
116
117     int32_t lastA[2];
118
119     int32_t filterA[2];
120     int32_t filterB[2];
121
122     int32_t coeffsA[2][4];  ///< adaption coefficients
123     int32_t coeffsB[2][5];  ///< adaption coefficients
124     int32_t historybuffer[HISTORY_SIZE + PREDICTOR_SIZE];
125 } APEPredictor;
126
127 /** Decoder context */
128 typedef struct APEContext {
129     AVCodecContext *avctx;
130     AVFrame frame;
131     DSPContext dsp;
132     int channels;
133     int samples;                             ///< samples left to decode in current frame
134     int bps;
135
136     int fileversion;                         ///< codec version, very important in decoding process
137     int compression_level;                   ///< compression levels
138     int fset;                                ///< which filter set to use (calculated from compression level)
139     int flags;                               ///< global decoder flags
140
141     uint32_t CRC;                            ///< frame CRC
142     int frameflags;                          ///< frame flags
143     APEPredictor predictor;                  ///< predictor used for final reconstruction
144
145     int32_t *decoded_buffer;
146     int decoded_size;
147     int32_t *decoded[MAX_CHANNELS];          ///< decoded data for each channel
148
149     int16_t* filterbuf[APE_FILTER_LEVELS];   ///< filter memory
150
151     APERangecoder rc;                        ///< rangecoder used to decode actual values
152     APERice riceX;                           ///< rice code parameters for the second channel
153     APERice riceY;                           ///< rice code parameters for the first channel
154     APEFilter filters[APE_FILTER_LEVELS][2]; ///< filters used for reconstruction
155
156     uint8_t *data;                           ///< current frame data
157     uint8_t *data_end;                       ///< frame data end
158     int data_size;                           ///< frame data allocated size
159     const uint8_t *ptr;                      ///< current position in frame data
160
161     int error;
162 } APEContext;
163
164 // TODO: dsputilize
165
166 static av_cold int ape_decode_close(AVCodecContext *avctx)
167 {
168     APEContext *s = avctx->priv_data;
169     int i;
170
171     for (i = 0; i < APE_FILTER_LEVELS; i++)
172         av_freep(&s->filterbuf[i]);
173
174     av_freep(&s->decoded_buffer);
175     av_freep(&s->data);
176     s->decoded_size = s->data_size = 0;
177
178     return 0;
179 }
180
181 static av_cold int ape_decode_init(AVCodecContext *avctx)
182 {
183     APEContext *s = avctx->priv_data;
184     int i;
185
186     if (avctx->extradata_size != 6) {
187         av_log(avctx, AV_LOG_ERROR, "Incorrect extradata\n");
188         return AVERROR(EINVAL);
189     }
190     if (avctx->channels > 2) {
191         av_log(avctx, AV_LOG_ERROR, "Only mono and stereo is supported\n");
192         return AVERROR(EINVAL);
193     }
194     s->bps = avctx->bits_per_coded_sample;
195     switch (s->bps) {
196     case 8:
197         avctx->sample_fmt = AV_SAMPLE_FMT_U8;
198         break;
199     case 16:
200         avctx->sample_fmt = AV_SAMPLE_FMT_S16;
201         break;
202     case 24:
203         avctx->sample_fmt = AV_SAMPLE_FMT_S32;
204         break;
205     default:
206         av_log_ask_for_sample(avctx, "Unsupported bits per coded sample %d\n",
207                               s->bps);
208         return AVERROR_PATCHWELCOME;
209     }
210     s->avctx             = avctx;
211     s->channels          = avctx->channels;
212     s->fileversion       = AV_RL16(avctx->extradata);
213     s->compression_level = AV_RL16(avctx->extradata + 2);
214     s->flags             = AV_RL16(avctx->extradata + 4);
215
216     av_log(avctx, AV_LOG_DEBUG, "Compression Level: %d - Flags: %d\n",
217            s->compression_level, s->flags);
218     if (s->compression_level % 1000 || s->compression_level > COMPRESSION_LEVEL_INSANE) {
219         av_log(avctx, AV_LOG_ERROR, "Incorrect compression level %d\n",
220                s->compression_level);
221         return AVERROR_INVALIDDATA;
222     }
223     s->fset = s->compression_level / 1000 - 1;
224     for (i = 0; i < APE_FILTER_LEVELS; i++) {
225         if (!ape_filter_orders[s->fset][i])
226             break;
227         FF_ALLOC_OR_GOTO(avctx, s->filterbuf[i],
228                          (ape_filter_orders[s->fset][i] * 3 + HISTORY_SIZE) * 4,
229                          filter_alloc_fail);
230     }
231
232     dsputil_init(&s->dsp, avctx);
233     avctx->channel_layout = (avctx->channels==2) ? AV_CH_LAYOUT_STEREO : AV_CH_LAYOUT_MONO;
234
235     avcodec_get_frame_defaults(&s->frame);
236     avctx->coded_frame = &s->frame;
237
238     return 0;
239 filter_alloc_fail:
240     ape_decode_close(avctx);
241     return AVERROR(ENOMEM);
242 }
243
244 /**
245  * @name APE range decoding functions
246  * @{
247  */
248
249 #define CODE_BITS    32
250 #define TOP_VALUE    ((unsigned int)1 << (CODE_BITS-1))
251 #define SHIFT_BITS   (CODE_BITS - 9)
252 #define EXTRA_BITS   ((CODE_BITS-2) % 8 + 1)
253 #define BOTTOM_VALUE (TOP_VALUE >> 8)
254
255 /** Start the decoder */
256 static inline void range_start_decoding(APEContext *ctx)
257 {
258     ctx->rc.buffer = bytestream_get_byte(&ctx->ptr);
259     ctx->rc.low    = ctx->rc.buffer >> (8 - EXTRA_BITS);
260     ctx->rc.range  = (uint32_t) 1 << EXTRA_BITS;
261 }
262
263 /** Perform normalization */
264 static inline void range_dec_normalize(APEContext *ctx)
265 {
266     while (ctx->rc.range <= BOTTOM_VALUE) {
267         ctx->rc.buffer <<= 8;
268         if(ctx->ptr < ctx->data_end) {
269             ctx->rc.buffer += *ctx->ptr;
270             ctx->ptr++;
271         } else {
272             ctx->error = 1;
273         }
274         ctx->rc.low    = (ctx->rc.low << 8)    | ((ctx->rc.buffer >> 1) & 0xFF);
275         ctx->rc.range  <<= 8;
276     }
277 }
278
279 /**
280  * Calculate culmulative frequency for next symbol. Does NO update!
281  * @param ctx decoder context
282  * @param tot_f is the total frequency or (code_value)1<<shift
283  * @return the culmulative frequency
284  */
285 static inline int range_decode_culfreq(APEContext *ctx, int tot_f)
286 {
287     range_dec_normalize(ctx);
288     ctx->rc.help = ctx->rc.range / tot_f;
289     return ctx->rc.low / ctx->rc.help;
290 }
291
292 /**
293  * Decode value with given size in bits
294  * @param ctx decoder context
295  * @param shift number of bits to decode
296  */
297 static inline int range_decode_culshift(APEContext *ctx, int shift)
298 {
299     range_dec_normalize(ctx);
300     ctx->rc.help = ctx->rc.range >> shift;
301     return ctx->rc.low / ctx->rc.help;
302 }
303
304
305 /**
306  * Update decoding state
307  * @param ctx decoder context
308  * @param sy_f the interval length (frequency of the symbol)
309  * @param lt_f the lower end (frequency sum of < symbols)
310  */
311 static inline void range_decode_update(APEContext *ctx, int sy_f, int lt_f)
312 {
313     ctx->rc.low  -= ctx->rc.help * lt_f;
314     ctx->rc.range = ctx->rc.help * sy_f;
315 }
316
317 /** Decode n bits (n <= 16) without modelling */
318 static inline int range_decode_bits(APEContext *ctx, int n)
319 {
320     int sym = range_decode_culshift(ctx, n);
321     range_decode_update(ctx, 1, sym);
322     return sym;
323 }
324
325
326 #define MODEL_ELEMENTS 64
327
328 /**
329  * Fixed probabilities for symbols in Monkey Audio version 3.97
330  */
331 static const uint16_t counts_3970[22] = {
332         0, 14824, 28224, 39348, 47855, 53994, 58171, 60926,
333     62682, 63786, 64463, 64878, 65126, 65276, 65365, 65419,
334     65450, 65469, 65480, 65487, 65491, 65493,
335 };
336
337 /**
338  * Probability ranges for symbols in Monkey Audio version 3.97
339  */
340 static const uint16_t counts_diff_3970[21] = {
341     14824, 13400, 11124, 8507, 6139, 4177, 2755, 1756,
342     1104, 677, 415, 248, 150, 89, 54, 31,
343     19, 11, 7, 4, 2,
344 };
345
346 /**
347  * Fixed probabilities for symbols in Monkey Audio version 3.98
348  */
349 static const uint16_t counts_3980[22] = {
350         0, 19578, 36160, 48417, 56323, 60899, 63265, 64435,
351     64971, 65232, 65351, 65416, 65447, 65466, 65476, 65482,
352     65485, 65488, 65490, 65491, 65492, 65493,
353 };
354
355 /**
356  * Probability ranges for symbols in Monkey Audio version 3.98
357  */
358 static const uint16_t counts_diff_3980[21] = {
359     19578, 16582, 12257, 7906, 4576, 2366, 1170, 536,
360     261, 119, 65, 31, 19, 10, 6, 3,
361     3, 2, 1, 1, 1,
362 };
363
364 /**
365  * Decode symbol
366  * @param ctx decoder context
367  * @param counts probability range start position
368  * @param counts_diff probability range widths
369  */
370 static inline int range_get_symbol(APEContext *ctx,
371                                    const uint16_t counts[],
372                                    const uint16_t counts_diff[])
373 {
374     int symbol, cf;
375
376     cf = range_decode_culshift(ctx, 16);
377
378     if(cf > 65492){
379         symbol= cf - 65535 + 63;
380         range_decode_update(ctx, 1, cf);
381         if(cf > 65535)
382             ctx->error=1;
383         return symbol;
384     }
385     /* figure out the symbol inefficiently; a binary search would be much better */
386     for (symbol = 0; counts[symbol + 1] <= cf; symbol++);
387
388     range_decode_update(ctx, counts_diff[symbol], counts[symbol]);
389
390     return symbol;
391 }
392 /** @} */ // group rangecoder
393
394 static inline void update_rice(APERice *rice, int x)
395 {
396     int lim = rice->k ? (1 << (rice->k + 4)) : 0;
397     rice->ksum += ((x + 1) / 2) - ((rice->ksum + 16) >> 5);
398
399     if (rice->ksum < lim)
400         rice->k--;
401     else if (rice->ksum >= (1 << (rice->k + 5)))
402         rice->k++;
403 }
404
405 static inline int ape_decode_value(APEContext *ctx, APERice *rice)
406 {
407     int x, overflow;
408
409     if (ctx->fileversion < 3990) {
410         int tmpk;
411
412         overflow = range_get_symbol(ctx, counts_3970, counts_diff_3970);
413
414         if (overflow == (MODEL_ELEMENTS - 1)) {
415             tmpk = range_decode_bits(ctx, 5);
416             overflow = 0;
417         } else
418             tmpk = (rice->k < 1) ? 0 : rice->k - 1;
419
420         if (tmpk <= 16)
421             x = range_decode_bits(ctx, tmpk);
422         else {
423             x = range_decode_bits(ctx, 16);
424             x |= (range_decode_bits(ctx, tmpk - 16) << 16);
425         }
426         x += overflow << tmpk;
427     } else {
428         int base, pivot;
429
430         pivot = rice->ksum >> 5;
431         if (pivot == 0)
432             pivot = 1;
433
434         overflow = range_get_symbol(ctx, counts_3980, counts_diff_3980);
435
436         if (overflow == (MODEL_ELEMENTS - 1)) {
437             overflow  = range_decode_bits(ctx, 16) << 16;
438             overflow |= range_decode_bits(ctx, 16);
439         }
440
441         if (pivot < 0x10000) {
442             base = range_decode_culfreq(ctx, pivot);
443             range_decode_update(ctx, 1, base);
444         } else {
445             int base_hi = pivot, base_lo;
446             int bbits = 0;
447
448             while (base_hi & ~0xFFFF) {
449                 base_hi >>= 1;
450                 bbits++;
451             }
452             base_hi = range_decode_culfreq(ctx, base_hi + 1);
453             range_decode_update(ctx, 1, base_hi);
454             base_lo = range_decode_culfreq(ctx, 1 << bbits);
455             range_decode_update(ctx, 1, base_lo);
456
457             base = (base_hi << bbits) + base_lo;
458         }
459
460         x = base + overflow * pivot;
461     }
462
463     update_rice(rice, x);
464
465     /* Convert to signed */
466     if (x & 1)
467         return (x >> 1) + 1;
468     else
469         return -(x >> 1);
470 }
471
472 static void entropy_decode(APEContext *ctx, int blockstodecode, int stereo)
473 {
474     int32_t *decoded0 = ctx->decoded[0];
475     int32_t *decoded1 = ctx->decoded[1];
476
477     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
478         /* We are pure silence, just memset the output buffer. */
479         memset(decoded0, 0, blockstodecode * sizeof(*decoded0));
480         memset(decoded1, 0, blockstodecode * sizeof(*decoded1));
481     } else {
482         while (blockstodecode--) {
483             *decoded0++ = ape_decode_value(ctx, &ctx->riceY);
484             if (stereo)
485                 *decoded1++ = ape_decode_value(ctx, &ctx->riceX);
486         }
487     }
488 }
489
490 static int init_entropy_decoder(APEContext *ctx)
491 {
492     /* Read the CRC */
493     if (ctx->data_end - ctx->ptr < 6)
494         return AVERROR_INVALIDDATA;
495     ctx->CRC = bytestream_get_be32(&ctx->ptr);
496
497     /* Read the frame flags if they exist */
498     ctx->frameflags = 0;
499     if ((ctx->fileversion > 3820) && (ctx->CRC & 0x80000000)) {
500         ctx->CRC &= ~0x80000000;
501
502         if (ctx->data_end - ctx->ptr < 6)
503             return AVERROR_INVALIDDATA;
504         ctx->frameflags = bytestream_get_be32(&ctx->ptr);
505     }
506
507     /* Initialize the rice structs */
508     ctx->riceX.k = 10;
509     ctx->riceX.ksum = (1 << ctx->riceX.k) * 16;
510     ctx->riceY.k = 10;
511     ctx->riceY.ksum = (1 << ctx->riceY.k) * 16;
512
513     /* The first 8 bits of input are ignored. */
514     ctx->ptr++;
515
516     range_start_decoding(ctx);
517
518     return 0;
519 }
520
521 static const int32_t initial_coeffs[4] = {
522     360, 317, -109, 98
523 };
524
525 static void init_predictor_decoder(APEContext *ctx)
526 {
527     APEPredictor *p = &ctx->predictor;
528
529     /* Zero the history buffers */
530     memset(p->historybuffer, 0, PREDICTOR_SIZE * sizeof(*p->historybuffer));
531     p->buf = p->historybuffer;
532
533     /* Initialize and zero the coefficients */
534     memcpy(p->coeffsA[0], initial_coeffs, sizeof(initial_coeffs));
535     memcpy(p->coeffsA[1], initial_coeffs, sizeof(initial_coeffs));
536     memset(p->coeffsB, 0, sizeof(p->coeffsB));
537
538     p->filterA[0] = p->filterA[1] = 0;
539     p->filterB[0] = p->filterB[1] = 0;
540     p->lastA[0]   = p->lastA[1]   = 0;
541 }
542
543 /** Get inverse sign of integer (-1 for positive, 1 for negative and 0 for zero) */
544 static inline int APESIGN(int32_t x) {
545     return (x < 0) - (x > 0);
546 }
547
548 static av_always_inline int predictor_update_filter(APEPredictor *p,
549                                                     const int decoded, const int filter,
550                                                     const int delayA,  const int delayB,
551                                                     const int adaptA,  const int adaptB)
552 {
553     int32_t predictionA, predictionB, sign;
554
555     p->buf[delayA]     = p->lastA[filter];
556     p->buf[adaptA]     = APESIGN(p->buf[delayA]);
557     p->buf[delayA - 1] = p->buf[delayA] - p->buf[delayA - 1];
558     p->buf[adaptA - 1] = APESIGN(p->buf[delayA - 1]);
559
560     predictionA = p->buf[delayA    ] * p->coeffsA[filter][0] +
561                   p->buf[delayA - 1] * p->coeffsA[filter][1] +
562                   p->buf[delayA - 2] * p->coeffsA[filter][2] +
563                   p->buf[delayA - 3] * p->coeffsA[filter][3];
564
565     /*  Apply a scaled first-order filter compression */
566     p->buf[delayB]     = p->filterA[filter ^ 1] - ((p->filterB[filter] * 31) >> 5);
567     p->buf[adaptB]     = APESIGN(p->buf[delayB]);
568     p->buf[delayB - 1] = p->buf[delayB] - p->buf[delayB - 1];
569     p->buf[adaptB - 1] = APESIGN(p->buf[delayB - 1]);
570     p->filterB[filter] = p->filterA[filter ^ 1];
571
572     predictionB = p->buf[delayB    ] * p->coeffsB[filter][0] +
573                   p->buf[delayB - 1] * p->coeffsB[filter][1] +
574                   p->buf[delayB - 2] * p->coeffsB[filter][2] +
575                   p->buf[delayB - 3] * p->coeffsB[filter][3] +
576                   p->buf[delayB - 4] * p->coeffsB[filter][4];
577
578     p->lastA[filter] = decoded + ((predictionA + (predictionB >> 1)) >> 10);
579     p->filterA[filter] = p->lastA[filter] + ((p->filterA[filter] * 31) >> 5);
580
581     sign = APESIGN(decoded);
582     p->coeffsA[filter][0] += p->buf[adaptA    ] * sign;
583     p->coeffsA[filter][1] += p->buf[adaptA - 1] * sign;
584     p->coeffsA[filter][2] += p->buf[adaptA - 2] * sign;
585     p->coeffsA[filter][3] += p->buf[adaptA - 3] * sign;
586     p->coeffsB[filter][0] += p->buf[adaptB    ] * sign;
587     p->coeffsB[filter][1] += p->buf[adaptB - 1] * sign;
588     p->coeffsB[filter][2] += p->buf[adaptB - 2] * sign;
589     p->coeffsB[filter][3] += p->buf[adaptB - 3] * sign;
590     p->coeffsB[filter][4] += p->buf[adaptB - 4] * sign;
591
592     return p->filterA[filter];
593 }
594
595 static void predictor_decode_stereo(APEContext *ctx, int count)
596 {
597     APEPredictor *p = &ctx->predictor;
598     int32_t *decoded0 = ctx->decoded[0];
599     int32_t *decoded1 = ctx->decoded[1];
600
601     while (count--) {
602         /* Predictor Y */
603         *decoded0 = predictor_update_filter(p, *decoded0, 0, YDELAYA, YDELAYB,
604                                             YADAPTCOEFFSA, YADAPTCOEFFSB);
605         decoded0++;
606         *decoded1 = predictor_update_filter(p, *decoded1, 1, XDELAYA, XDELAYB,
607                                             XADAPTCOEFFSA, XADAPTCOEFFSB);
608         decoded1++;
609
610         /* Combined */
611         p->buf++;
612
613         /* Have we filled the history buffer? */
614         if (p->buf == p->historybuffer + HISTORY_SIZE) {
615             memmove(p->historybuffer, p->buf,
616                     PREDICTOR_SIZE * sizeof(*p->historybuffer));
617             p->buf = p->historybuffer;
618         }
619     }
620 }
621
622 static void predictor_decode_mono(APEContext *ctx, int count)
623 {
624     APEPredictor *p = &ctx->predictor;
625     int32_t *decoded0 = ctx->decoded[0];
626     int32_t predictionA, currentA, A, sign;
627
628     currentA = p->lastA[0];
629
630     while (count--) {
631         A = *decoded0;
632
633         p->buf[YDELAYA] = currentA;
634         p->buf[YDELAYA - 1] = p->buf[YDELAYA] - p->buf[YDELAYA - 1];
635
636         predictionA = p->buf[YDELAYA    ] * p->coeffsA[0][0] +
637                       p->buf[YDELAYA - 1] * p->coeffsA[0][1] +
638                       p->buf[YDELAYA - 2] * p->coeffsA[0][2] +
639                       p->buf[YDELAYA - 3] * p->coeffsA[0][3];
640
641         currentA = A + (predictionA >> 10);
642
643         p->buf[YADAPTCOEFFSA]     = APESIGN(p->buf[YDELAYA    ]);
644         p->buf[YADAPTCOEFFSA - 1] = APESIGN(p->buf[YDELAYA - 1]);
645
646         sign = APESIGN(A);
647         p->coeffsA[0][0] += p->buf[YADAPTCOEFFSA    ] * sign;
648         p->coeffsA[0][1] += p->buf[YADAPTCOEFFSA - 1] * sign;
649         p->coeffsA[0][2] += p->buf[YADAPTCOEFFSA - 2] * sign;
650         p->coeffsA[0][3] += p->buf[YADAPTCOEFFSA - 3] * sign;
651
652         p->buf++;
653
654         /* Have we filled the history buffer? */
655         if (p->buf == p->historybuffer + HISTORY_SIZE) {
656             memmove(p->historybuffer, p->buf,
657                     PREDICTOR_SIZE * sizeof(*p->historybuffer));
658             p->buf = p->historybuffer;
659         }
660
661         p->filterA[0] = currentA + ((p->filterA[0] * 31) >> 5);
662         *(decoded0++) = p->filterA[0];
663     }
664
665     p->lastA[0] = currentA;
666 }
667
668 static void do_init_filter(APEFilter *f, int16_t *buf, int order)
669 {
670     f->coeffs = buf;
671     f->historybuffer = buf + order;
672     f->delay       = f->historybuffer + order * 2;
673     f->adaptcoeffs = f->historybuffer + order;
674
675     memset(f->historybuffer, 0, (order * 2) * sizeof(*f->historybuffer));
676     memset(f->coeffs, 0, order * sizeof(*f->coeffs));
677     f->avg = 0;
678 }
679
680 static void init_filter(APEContext *ctx, APEFilter *f, int16_t *buf, int order)
681 {
682     do_init_filter(&f[0], buf, order);
683     do_init_filter(&f[1], buf + order * 3 + HISTORY_SIZE, order);
684 }
685
686 static void do_apply_filter(APEContext *ctx, int version, APEFilter *f,
687                             int32_t *data, int count, int order, int fracbits)
688 {
689     int res;
690     int absres;
691
692     while (count--) {
693         /* round fixedpoint scalar product */
694         res = ctx->dsp.scalarproduct_and_madd_int16(f->coeffs, f->delay - order,
695                                                     f->adaptcoeffs - order,
696                                                     order, APESIGN(*data));
697         res = (res + (1 << (fracbits - 1))) >> fracbits;
698         res += *data;
699         *data++ = res;
700
701         /* Update the output history */
702         *f->delay++ = av_clip_int16(res);
703
704         if (version < 3980) {
705             /* Version ??? to < 3.98 files (untested) */
706             f->adaptcoeffs[0]  = (res == 0) ? 0 : ((res >> 28) & 8) - 4;
707             f->adaptcoeffs[-4] >>= 1;
708             f->adaptcoeffs[-8] >>= 1;
709         } else {
710             /* Version 3.98 and later files */
711
712             /* Update the adaption coefficients */
713             absres = FFABS(res);
714             if (absres)
715                 *f->adaptcoeffs = ((res & (-1<<31)) ^ (-1<<30)) >>
716                                   (25 + (absres <= f->avg*3) + (absres <= f->avg*4/3));
717             else
718                 *f->adaptcoeffs = 0;
719
720             f->avg += (absres - f->avg) / 16;
721
722             f->adaptcoeffs[-1] >>= 1;
723             f->adaptcoeffs[-2] >>= 1;
724             f->adaptcoeffs[-8] >>= 1;
725         }
726
727         f->adaptcoeffs++;
728
729         /* Have we filled the history buffer? */
730         if (f->delay == f->historybuffer + HISTORY_SIZE + (order * 2)) {
731             memmove(f->historybuffer, f->delay - (order * 2),
732                     (order * 2) * sizeof(*f->historybuffer));
733             f->delay = f->historybuffer + order * 2;
734             f->adaptcoeffs = f->historybuffer + order;
735         }
736     }
737 }
738
739 static void apply_filter(APEContext *ctx, APEFilter *f,
740                          int32_t *data0, int32_t *data1,
741                          int count, int order, int fracbits)
742 {
743     do_apply_filter(ctx, ctx->fileversion, &f[0], data0, count, order, fracbits);
744     if (data1)
745         do_apply_filter(ctx, ctx->fileversion, &f[1], data1, count, order, fracbits);
746 }
747
748 static void ape_apply_filters(APEContext *ctx, int32_t *decoded0,
749                               int32_t *decoded1, int count)
750 {
751     int i;
752
753     for (i = 0; i < APE_FILTER_LEVELS; i++) {
754         if (!ape_filter_orders[ctx->fset][i])
755             break;
756         apply_filter(ctx, ctx->filters[i], decoded0, decoded1, count,
757                      ape_filter_orders[ctx->fset][i],
758                      ape_filter_fracbits[ctx->fset][i]);
759     }
760 }
761
762 static int init_frame_decoder(APEContext *ctx)
763 {
764     int i, ret;
765     if ((ret = init_entropy_decoder(ctx)) < 0)
766         return ret;
767     init_predictor_decoder(ctx);
768
769     for (i = 0; i < APE_FILTER_LEVELS; i++) {
770         if (!ape_filter_orders[ctx->fset][i])
771             break;
772         init_filter(ctx, ctx->filters[i], ctx->filterbuf[i],
773                     ape_filter_orders[ctx->fset][i]);
774     }
775     return 0;
776 }
777
778 static void ape_unpack_mono(APEContext *ctx, int count)
779 {
780     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
781         entropy_decode(ctx, count, 0);
782         /* We are pure silence, so we're done. */
783         av_log(ctx->avctx, AV_LOG_DEBUG, "pure silence mono\n");
784         return;
785     }
786
787     entropy_decode(ctx, count, 0);
788     ape_apply_filters(ctx, ctx->decoded[0], NULL, count);
789
790     /* Now apply the predictor decoding */
791     predictor_decode_mono(ctx, count);
792
793     /* Pseudo-stereo - just copy left channel to right channel */
794     if (ctx->channels == 2) {
795         memcpy(ctx->decoded[1], ctx->decoded[0], count * sizeof(*ctx->decoded[1]));
796     }
797 }
798
799 static void ape_unpack_stereo(APEContext *ctx, int count)
800 {
801     int32_t left, right;
802     int32_t *decoded0 = ctx->decoded[0];
803     int32_t *decoded1 = ctx->decoded[1];
804
805     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
806         /* We are pure silence, so we're done. */
807         av_log(ctx->avctx, AV_LOG_DEBUG, "pure silence stereo\n");
808         return;
809     }
810
811     entropy_decode(ctx, count, 1);
812     ape_apply_filters(ctx, decoded0, decoded1, count);
813
814     /* Now apply the predictor decoding */
815     predictor_decode_stereo(ctx, count);
816
817     /* Decorrelate and scale to output depth */
818     while (count--) {
819         left = *decoded1 - (*decoded0 / 2);
820         right = left + *decoded0;
821
822         *(decoded0++) = left;
823         *(decoded1++) = right;
824     }
825 }
826
827 static int ape_decode_frame(AVCodecContext *avctx, void *data,
828                             int *got_frame_ptr, AVPacket *avpkt)
829 {
830     const uint8_t *buf = avpkt->data;
831     APEContext *s = avctx->priv_data;
832     uint8_t *sample8;
833     int16_t *sample16;
834     int32_t *sample24;
835     int i, ret;
836     int blockstodecode;
837     int bytes_used = 0;
838
839     /* this should never be negative, but bad things will happen if it is, so
840        check it just to make sure. */
841     av_assert0(s->samples >= 0);
842
843     if(!s->samples){
844         uint32_t nblocks, offset;
845         int buf_size;
846
847         if (!avpkt->size) {
848             *got_frame_ptr = 0;
849             return 0;
850         }
851         if (avpkt->size < 8) {
852             av_log(avctx, AV_LOG_ERROR, "Packet is too small\n");
853             return AVERROR_INVALIDDATA;
854         }
855         buf_size = avpkt->size & ~3;
856         if (buf_size != avpkt->size) {
857             av_log(avctx, AV_LOG_WARNING, "packet size is not a multiple of 4. "
858                    "extra bytes at the end will be skipped.\n");
859         }
860
861         av_fast_malloc(&s->data, &s->data_size, buf_size);
862         if (!s->data)
863             return AVERROR(ENOMEM);
864         s->dsp.bswap_buf((uint32_t*)s->data, (const uint32_t*)buf, buf_size >> 2);
865         s->ptr = s->data;
866         s->data_end = s->data + buf_size;
867
868         nblocks = bytestream_get_be32(&s->ptr);
869         offset  = bytestream_get_be32(&s->ptr);
870         if (offset > 3) {
871             av_log(avctx, AV_LOG_ERROR, "Incorrect offset passed\n");
872             s->data = NULL;
873             return AVERROR_INVALIDDATA;
874         }
875         if (s->data_end - s->ptr < offset) {
876             av_log(avctx, AV_LOG_ERROR, "Packet is too small\n");
877             return AVERROR_INVALIDDATA;
878         }
879         s->ptr += offset;
880
881         if (!nblocks || nblocks > INT_MAX) {
882             av_log(avctx, AV_LOG_ERROR, "Invalid sample count: %u.\n", nblocks);
883             return AVERROR_INVALIDDATA;
884         }
885         s->samples = nblocks;
886
887         /* Initialize the frame decoder */
888         if (init_frame_decoder(s) < 0) {
889             av_log(avctx, AV_LOG_ERROR, "Error reading frame header\n");
890             return AVERROR_INVALIDDATA;
891         }
892
893         bytes_used = avpkt->size;
894     }
895
896     if (!s->data) {
897         *got_frame_ptr = 0;
898         return avpkt->size;
899     }
900
901     blockstodecode = FFMIN(BLOCKS_PER_LOOP, s->samples);
902
903     /* reallocate decoded sample buffer if needed */
904     av_fast_malloc(&s->decoded_buffer, &s->decoded_size,
905                    2 * FFALIGN(blockstodecode, 8) * sizeof(*s->decoded_buffer));
906     if (!s->decoded_buffer)
907         return AVERROR(ENOMEM);
908     memset(s->decoded_buffer, 0, s->decoded_size);
909     s->decoded[0] = s->decoded_buffer;
910     s->decoded[1] = s->decoded_buffer + FFALIGN(blockstodecode, 8);
911
912     /* get output buffer */
913     s->frame.nb_samples = blockstodecode;
914     if ((ret = avctx->get_buffer(avctx, &s->frame)) < 0) {
915         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
916         return ret;
917     }
918
919     s->error=0;
920
921     if ((s->channels == 1) || (s->frameflags & APE_FRAMECODE_PSEUDO_STEREO))
922         ape_unpack_mono(s, blockstodecode);
923     else
924         ape_unpack_stereo(s, blockstodecode);
925     emms_c();
926
927     if (s->error) {
928         s->samples=0;
929         av_log(avctx, AV_LOG_ERROR, "Error decoding frame\n");
930         return AVERROR_INVALIDDATA;
931     }
932
933     switch (s->bps) {
934     case 8:
935         sample8 = (uint8_t *)s->frame.data[0];
936         for (i = 0; i < blockstodecode; i++) {
937             *sample8++ = (s->decoded[0][i] + 0x80) & 0xff;
938             if (s->channels == 2)
939                 *sample8++ = (s->decoded[1][i] + 0x80) & 0xff;
940         }
941         break;
942     case 16:
943         sample16 = (int16_t *)s->frame.data[0];
944         for (i = 0; i < blockstodecode; i++) {
945             *sample16++ = s->decoded[0][i];
946             if (s->channels == 2)
947                 *sample16++ = s->decoded[1][i];
948         }
949         break;
950     case 24:
951         sample24 = (int32_t *)s->frame.data[0];
952         for (i = 0; i < blockstodecode; i++) {
953             *sample24++ = s->decoded[0][i] << 8;
954             if (s->channels == 2)
955                 *sample24++ = s->decoded[1][i] << 8;
956         }
957         break;
958     }
959
960     s->samples -= blockstodecode;
961
962     *got_frame_ptr   = 1;
963     *(AVFrame *)data = s->frame;
964
965     return bytes_used;
966 }
967
968 static void ape_flush(AVCodecContext *avctx)
969 {
970     APEContext *s = avctx->priv_data;
971     s->samples= 0;
972 }
973
974 AVCodec ff_ape_decoder = {
975     .name           = "ape",
976     .type           = AVMEDIA_TYPE_AUDIO,
977     .id             = CODEC_ID_APE,
978     .priv_data_size = sizeof(APEContext),
979     .init           = ape_decode_init,
980     .close          = ape_decode_close,
981     .decode         = ape_decode_frame,
982     .capabilities   = CODEC_CAP_SUBFRAMES | CODEC_CAP_DELAY | CODEC_CAP_DR1,
983     .flush = ape_flush,
984     .long_name = NULL_IF_CONFIG_SMALL("Monkey's Audio"),
985 };