apedec: check for filter buffer allocation failure
[ffmpeg.git] / libavcodec / apedec.c
1 /*
2  * Monkey's Audio lossless audio decoder
3  * Copyright (c) 2007 Benjamin Zores <ben@geexbox.org>
4  *  based upon libdemac from Dave Chapman.
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 #define ALT_BITSTREAM_READER_LE
24 #include "avcodec.h"
25 #include "dsputil.h"
26 #include "get_bits.h"
27 #include "bytestream.h"
28 #include "libavutil/audioconvert.h"
29
30 /**
31  * @file
32  * Monkey's Audio lossless audio decoder
33  */
34
35 #define BLOCKS_PER_LOOP     4608
36 #define MAX_CHANNELS        2
37 #define MAX_BYTESPERSAMPLE  3
38
39 #define APE_FRAMECODE_MONO_SILENCE    1
40 #define APE_FRAMECODE_STEREO_SILENCE  3
41 #define APE_FRAMECODE_PSEUDO_STEREO   4
42
43 #define HISTORY_SIZE 512
44 #define PREDICTOR_ORDER 8
45 /** Total size of all predictor histories */
46 #define PREDICTOR_SIZE 50
47
48 #define YDELAYA (18 + PREDICTOR_ORDER*4)
49 #define YDELAYB (18 + PREDICTOR_ORDER*3)
50 #define XDELAYA (18 + PREDICTOR_ORDER*2)
51 #define XDELAYB (18 + PREDICTOR_ORDER)
52
53 #define YADAPTCOEFFSA 18
54 #define XADAPTCOEFFSA 14
55 #define YADAPTCOEFFSB 10
56 #define XADAPTCOEFFSB 5
57
58 /**
59  * Possible compression levels
60  * @{
61  */
62 enum APECompressionLevel {
63     COMPRESSION_LEVEL_FAST       = 1000,
64     COMPRESSION_LEVEL_NORMAL     = 2000,
65     COMPRESSION_LEVEL_HIGH       = 3000,
66     COMPRESSION_LEVEL_EXTRA_HIGH = 4000,
67     COMPRESSION_LEVEL_INSANE     = 5000
68 };
69 /** @} */
70
71 #define APE_FILTER_LEVELS 3
72
73 /** Filter orders depending on compression level */
74 static const uint16_t ape_filter_orders[5][APE_FILTER_LEVELS] = {
75     {  0,   0,    0 },
76     { 16,   0,    0 },
77     { 64,   0,    0 },
78     { 32, 256,    0 },
79     { 16, 256, 1280 }
80 };
81
82 /** Filter fraction bits depending on compression level */
83 static const uint8_t ape_filter_fracbits[5][APE_FILTER_LEVELS] = {
84     {  0,  0,  0 },
85     { 11,  0,  0 },
86     { 11,  0,  0 },
87     { 10, 13,  0 },
88     { 11, 13, 15 }
89 };
90
91
92 /** Filters applied to the decoded data */
93 typedef struct APEFilter {
94     int16_t *coeffs;        ///< actual coefficients used in filtering
95     int16_t *adaptcoeffs;   ///< adaptive filter coefficients used for correcting of actual filter coefficients
96     int16_t *historybuffer; ///< filter memory
97     int16_t *delay;         ///< filtered values
98
99     int avg;
100 } APEFilter;
101
102 typedef struct APERice {
103     uint32_t k;
104     uint32_t ksum;
105 } APERice;
106
107 typedef struct APERangecoder {
108     uint32_t low;           ///< low end of interval
109     uint32_t range;         ///< length of interval
110     uint32_t help;          ///< bytes_to_follow resp. intermediate value
111     unsigned int buffer;    ///< buffer for input/output
112 } APERangecoder;
113
114 /** Filter histories */
115 typedef struct APEPredictor {
116     int32_t *buf;
117
118     int32_t lastA[2];
119
120     int32_t filterA[2];
121     int32_t filterB[2];
122
123     int32_t coeffsA[2][4];  ///< adaption coefficients
124     int32_t coeffsB[2][5];  ///< adaption coefficients
125     int32_t historybuffer[HISTORY_SIZE + PREDICTOR_SIZE];
126 } APEPredictor;
127
128 /** Decoder context */
129 typedef struct APEContext {
130     AVCodecContext *avctx;
131     DSPContext dsp;
132     int channels;
133     int samples;                             ///< samples left to decode in current frame
134
135     int fileversion;                         ///< codec version, very important in decoding process
136     int compression_level;                   ///< compression levels
137     int fset;                                ///< which filter set to use (calculated from compression level)
138     int flags;                               ///< global decoder flags
139
140     uint32_t CRC;                            ///< frame CRC
141     int frameflags;                          ///< frame flags
142     int currentframeblocks;                  ///< samples (per channel) in current frame
143     int blocksdecoded;                       ///< count of decoded samples in current frame
144     APEPredictor predictor;                  ///< predictor used for final reconstruction
145
146     int32_t decoded0[BLOCKS_PER_LOOP];       ///< decoded data for the first channel
147     int32_t decoded1[BLOCKS_PER_LOOP];       ///< decoded data for the second channel
148
149     int16_t* filterbuf[APE_FILTER_LEVELS];   ///< filter memory
150
151     APERangecoder rc;                        ///< rangecoder used to decode actual values
152     APERice riceX;                           ///< rice code parameters for the second channel
153     APERice riceY;                           ///< rice code parameters for the first channel
154     APEFilter filters[APE_FILTER_LEVELS][2]; ///< filters used for reconstruction
155
156     uint8_t *data;                           ///< current frame data
157     uint8_t *data_end;                       ///< frame data end
158     const uint8_t *ptr;                      ///< current position in frame data
159     const uint8_t *last_ptr;                 ///< position where last 4608-sample block ended
160
161     int error;
162 } APEContext;
163
164 // TODO: dsputilize
165
166 static av_cold int ape_decode_close(AVCodecContext * avctx)
167 {
168     APEContext *s = avctx->priv_data;
169     int i;
170
171     for (i = 0; i < APE_FILTER_LEVELS; i++)
172         av_freep(&s->filterbuf[i]);
173
174     av_freep(&s->data);
175     return 0;
176 }
177
178 static av_cold int ape_decode_init(AVCodecContext * avctx)
179 {
180     APEContext *s = avctx->priv_data;
181     int i;
182
183     if (avctx->extradata_size != 6) {
184         av_log(avctx, AV_LOG_ERROR, "Incorrect extradata\n");
185         return -1;
186     }
187     if (avctx->bits_per_coded_sample != 16) {
188         av_log(avctx, AV_LOG_ERROR, "Only 16-bit samples are supported\n");
189         return -1;
190     }
191     if (avctx->channels > 2) {
192         av_log(avctx, AV_LOG_ERROR, "Only mono and stereo is supported\n");
193         return -1;
194     }
195     s->avctx             = avctx;
196     s->channels          = avctx->channels;
197     s->fileversion       = AV_RL16(avctx->extradata);
198     s->compression_level = AV_RL16(avctx->extradata + 2);
199     s->flags             = AV_RL16(avctx->extradata + 4);
200
201     av_log(avctx, AV_LOG_DEBUG, "Compression Level: %d - Flags: %d\n", s->compression_level, s->flags);
202     if (s->compression_level % 1000 || s->compression_level > COMPRESSION_LEVEL_INSANE) {
203         av_log(avctx, AV_LOG_ERROR, "Incorrect compression level %d\n", s->compression_level);
204         return -1;
205     }
206     s->fset = s->compression_level / 1000 - 1;
207     for (i = 0; i < APE_FILTER_LEVELS; i++) {
208         if (!ape_filter_orders[s->fset][i])
209             break;
210         FF_ALLOC_OR_GOTO(avctx, s->filterbuf[i],
211                          (ape_filter_orders[s->fset][i] * 3 + HISTORY_SIZE) * 4,
212                          filter_alloc_fail);
213     }
214
215     dsputil_init(&s->dsp, avctx);
216     avctx->sample_fmt = AV_SAMPLE_FMT_S16;
217     avctx->channel_layout = (avctx->channels==2) ? AV_CH_LAYOUT_STEREO : AV_CH_LAYOUT_MONO;
218     return 0;
219 filter_alloc_fail:
220     ape_decode_close(avctx);
221     return AVERROR(ENOMEM);
222 }
223
224 /**
225  * @name APE range decoding functions
226  * @{
227  */
228
229 #define CODE_BITS    32
230 #define TOP_VALUE    ((unsigned int)1 << (CODE_BITS-1))
231 #define SHIFT_BITS   (CODE_BITS - 9)
232 #define EXTRA_BITS   ((CODE_BITS-2) % 8 + 1)
233 #define BOTTOM_VALUE (TOP_VALUE >> 8)
234
235 /** Start the decoder */
236 static inline void range_start_decoding(APEContext * ctx)
237 {
238     ctx->rc.buffer = bytestream_get_byte(&ctx->ptr);
239     ctx->rc.low    = ctx->rc.buffer >> (8 - EXTRA_BITS);
240     ctx->rc.range  = (uint32_t) 1 << EXTRA_BITS;
241 }
242
243 /** Perform normalization */
244 static inline void range_dec_normalize(APEContext * ctx)
245 {
246     while (ctx->rc.range <= BOTTOM_VALUE) {
247         ctx->rc.buffer <<= 8;
248         if(ctx->ptr < ctx->data_end)
249             ctx->rc.buffer += *ctx->ptr;
250         ctx->ptr++;
251         ctx->rc.low    = (ctx->rc.low << 8)    | ((ctx->rc.buffer >> 1) & 0xFF);
252         ctx->rc.range  <<= 8;
253     }
254 }
255
256 /**
257  * Calculate culmulative frequency for next symbol. Does NO update!
258  * @param ctx decoder context
259  * @param tot_f is the total frequency or (code_value)1<<shift
260  * @return the culmulative frequency
261  */
262 static inline int range_decode_culfreq(APEContext * ctx, int tot_f)
263 {
264     range_dec_normalize(ctx);
265     ctx->rc.help = ctx->rc.range / tot_f;
266     return ctx->rc.low / ctx->rc.help;
267 }
268
269 /**
270  * Decode value with given size in bits
271  * @param ctx decoder context
272  * @param shift number of bits to decode
273  */
274 static inline int range_decode_culshift(APEContext * ctx, int shift)
275 {
276     range_dec_normalize(ctx);
277     ctx->rc.help = ctx->rc.range >> shift;
278     return ctx->rc.low / ctx->rc.help;
279 }
280
281
282 /**
283  * Update decoding state
284  * @param ctx decoder context
285  * @param sy_f the interval length (frequency of the symbol)
286  * @param lt_f the lower end (frequency sum of < symbols)
287  */
288 static inline void range_decode_update(APEContext * ctx, int sy_f, int lt_f)
289 {
290     ctx->rc.low  -= ctx->rc.help * lt_f;
291     ctx->rc.range = ctx->rc.help * sy_f;
292 }
293
294 /** Decode n bits (n <= 16) without modelling */
295 static inline int range_decode_bits(APEContext * ctx, int n)
296 {
297     int sym = range_decode_culshift(ctx, n);
298     range_decode_update(ctx, 1, sym);
299     return sym;
300 }
301
302
303 #define MODEL_ELEMENTS 64
304
305 /**
306  * Fixed probabilities for symbols in Monkey Audio version 3.97
307  */
308 static const uint16_t counts_3970[22] = {
309         0, 14824, 28224, 39348, 47855, 53994, 58171, 60926,
310     62682, 63786, 64463, 64878, 65126, 65276, 65365, 65419,
311     65450, 65469, 65480, 65487, 65491, 65493,
312 };
313
314 /**
315  * Probability ranges for symbols in Monkey Audio version 3.97
316  */
317 static const uint16_t counts_diff_3970[21] = {
318     14824, 13400, 11124, 8507, 6139, 4177, 2755, 1756,
319     1104, 677, 415, 248, 150, 89, 54, 31,
320     19, 11, 7, 4, 2,
321 };
322
323 /**
324  * Fixed probabilities for symbols in Monkey Audio version 3.98
325  */
326 static const uint16_t counts_3980[22] = {
327         0, 19578, 36160, 48417, 56323, 60899, 63265, 64435,
328     64971, 65232, 65351, 65416, 65447, 65466, 65476, 65482,
329     65485, 65488, 65490, 65491, 65492, 65493,
330 };
331
332 /**
333  * Probability ranges for symbols in Monkey Audio version 3.98
334  */
335 static const uint16_t counts_diff_3980[21] = {
336     19578, 16582, 12257, 7906, 4576, 2366, 1170, 536,
337     261, 119, 65, 31, 19, 10, 6, 3,
338     3, 2, 1, 1, 1,
339 };
340
341 /**
342  * Decode symbol
343  * @param ctx decoder context
344  * @param counts probability range start position
345  * @param counts_diff probability range widths
346  */
347 static inline int range_get_symbol(APEContext * ctx,
348                                    const uint16_t counts[],
349                                    const uint16_t counts_diff[])
350 {
351     int symbol, cf;
352
353     cf = range_decode_culshift(ctx, 16);
354
355     if(cf > 65492){
356         symbol= cf - 65535 + 63;
357         range_decode_update(ctx, 1, cf);
358         if(cf > 65535)
359             ctx->error=1;
360         return symbol;
361     }
362     /* figure out the symbol inefficiently; a binary search would be much better */
363     for (symbol = 0; counts[symbol + 1] <= cf; symbol++);
364
365     range_decode_update(ctx, counts_diff[symbol], counts[symbol]);
366
367     return symbol;
368 }
369 /** @} */ // group rangecoder
370
371 static inline void update_rice(APERice *rice, int x)
372 {
373     int lim = rice->k ? (1 << (rice->k + 4)) : 0;
374     rice->ksum += ((x + 1) / 2) - ((rice->ksum + 16) >> 5);
375
376     if (rice->ksum < lim)
377         rice->k--;
378     else if (rice->ksum >= (1 << (rice->k + 5)))
379         rice->k++;
380 }
381
382 static inline int ape_decode_value(APEContext * ctx, APERice *rice)
383 {
384     int x, overflow;
385
386     if (ctx->fileversion < 3990) {
387         int tmpk;
388
389         overflow = range_get_symbol(ctx, counts_3970, counts_diff_3970);
390
391         if (overflow == (MODEL_ELEMENTS - 1)) {
392             tmpk = range_decode_bits(ctx, 5);
393             overflow = 0;
394         } else
395             tmpk = (rice->k < 1) ? 0 : rice->k - 1;
396
397         if (tmpk <= 16)
398             x = range_decode_bits(ctx, tmpk);
399         else {
400             x = range_decode_bits(ctx, 16);
401             x |= (range_decode_bits(ctx, tmpk - 16) << 16);
402         }
403         x += overflow << tmpk;
404     } else {
405         int base, pivot;
406
407         pivot = rice->ksum >> 5;
408         if (pivot == 0)
409             pivot = 1;
410
411         overflow = range_get_symbol(ctx, counts_3980, counts_diff_3980);
412
413         if (overflow == (MODEL_ELEMENTS - 1)) {
414             overflow  = range_decode_bits(ctx, 16) << 16;
415             overflow |= range_decode_bits(ctx, 16);
416         }
417
418         if (pivot < 0x10000) {
419             base = range_decode_culfreq(ctx, pivot);
420             range_decode_update(ctx, 1, base);
421         } else {
422             int base_hi = pivot, base_lo;
423             int bbits = 0;
424
425             while (base_hi & ~0xFFFF) {
426                 base_hi >>= 1;
427                 bbits++;
428             }
429             base_hi = range_decode_culfreq(ctx, base_hi + 1);
430             range_decode_update(ctx, 1, base_hi);
431             base_lo = range_decode_culfreq(ctx, 1 << bbits);
432             range_decode_update(ctx, 1, base_lo);
433
434             base = (base_hi << bbits) + base_lo;
435         }
436
437         x = base + overflow * pivot;
438     }
439
440     update_rice(rice, x);
441
442     /* Convert to signed */
443     if (x & 1)
444         return (x >> 1) + 1;
445     else
446         return -(x >> 1);
447 }
448
449 static void entropy_decode(APEContext * ctx, int blockstodecode, int stereo)
450 {
451     int32_t *decoded0 = ctx->decoded0;
452     int32_t *decoded1 = ctx->decoded1;
453
454     ctx->blocksdecoded = blockstodecode;
455
456     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
457         /* We are pure silence, just memset the output buffer. */
458         memset(decoded0, 0, blockstodecode * sizeof(int32_t));
459         memset(decoded1, 0, blockstodecode * sizeof(int32_t));
460     } else {
461         while (blockstodecode--) {
462             *decoded0++ = ape_decode_value(ctx, &ctx->riceY);
463             if (stereo)
464                 *decoded1++ = ape_decode_value(ctx, &ctx->riceX);
465         }
466     }
467
468     if (ctx->blocksdecoded == ctx->currentframeblocks)
469         range_dec_normalize(ctx);   /* normalize to use up all bytes */
470 }
471
472 static void init_entropy_decoder(APEContext * ctx)
473 {
474     /* Read the CRC */
475     ctx->CRC = bytestream_get_be32(&ctx->ptr);
476
477     /* Read the frame flags if they exist */
478     ctx->frameflags = 0;
479     if ((ctx->fileversion > 3820) && (ctx->CRC & 0x80000000)) {
480         ctx->CRC &= ~0x80000000;
481
482         ctx->frameflags = bytestream_get_be32(&ctx->ptr);
483     }
484
485     /* Keep a count of the blocks decoded in this frame */
486     ctx->blocksdecoded = 0;
487
488     /* Initialize the rice structs */
489     ctx->riceX.k = 10;
490     ctx->riceX.ksum = (1 << ctx->riceX.k) * 16;
491     ctx->riceY.k = 10;
492     ctx->riceY.ksum = (1 << ctx->riceY.k) * 16;
493
494     /* The first 8 bits of input are ignored. */
495     ctx->ptr++;
496
497     range_start_decoding(ctx);
498 }
499
500 static const int32_t initial_coeffs[4] = {
501     360, 317, -109, 98
502 };
503
504 static void init_predictor_decoder(APEContext * ctx)
505 {
506     APEPredictor *p = &ctx->predictor;
507
508     /* Zero the history buffers */
509     memset(p->historybuffer, 0, PREDICTOR_SIZE * sizeof(int32_t));
510     p->buf = p->historybuffer;
511
512     /* Initialize and zero the coefficients */
513     memcpy(p->coeffsA[0], initial_coeffs, sizeof(initial_coeffs));
514     memcpy(p->coeffsA[1], initial_coeffs, sizeof(initial_coeffs));
515     memset(p->coeffsB, 0, sizeof(p->coeffsB));
516
517     p->filterA[0] = p->filterA[1] = 0;
518     p->filterB[0] = p->filterB[1] = 0;
519     p->lastA[0]   = p->lastA[1]   = 0;
520 }
521
522 /** Get inverse sign of integer (-1 for positive, 1 for negative and 0 for zero) */
523 static inline int APESIGN(int32_t x) {
524     return (x < 0) - (x > 0);
525 }
526
527 static av_always_inline int predictor_update_filter(APEPredictor *p, const int decoded, const int filter, const int delayA, const int delayB, const int adaptA, const int adaptB)
528 {
529     int32_t predictionA, predictionB, sign;
530
531     p->buf[delayA]     = p->lastA[filter];
532     p->buf[adaptA]     = APESIGN(p->buf[delayA]);
533     p->buf[delayA - 1] = p->buf[delayA] - p->buf[delayA - 1];
534     p->buf[adaptA - 1] = APESIGN(p->buf[delayA - 1]);
535
536     predictionA = p->buf[delayA    ] * p->coeffsA[filter][0] +
537                   p->buf[delayA - 1] * p->coeffsA[filter][1] +
538                   p->buf[delayA - 2] * p->coeffsA[filter][2] +
539                   p->buf[delayA - 3] * p->coeffsA[filter][3];
540
541     /*  Apply a scaled first-order filter compression */
542     p->buf[delayB]     = p->filterA[filter ^ 1] - ((p->filterB[filter] * 31) >> 5);
543     p->buf[adaptB]     = APESIGN(p->buf[delayB]);
544     p->buf[delayB - 1] = p->buf[delayB] - p->buf[delayB - 1];
545     p->buf[adaptB - 1] = APESIGN(p->buf[delayB - 1]);
546     p->filterB[filter] = p->filterA[filter ^ 1];
547
548     predictionB = p->buf[delayB    ] * p->coeffsB[filter][0] +
549                   p->buf[delayB - 1] * p->coeffsB[filter][1] +
550                   p->buf[delayB - 2] * p->coeffsB[filter][2] +
551                   p->buf[delayB - 3] * p->coeffsB[filter][3] +
552                   p->buf[delayB - 4] * p->coeffsB[filter][4];
553
554     p->lastA[filter] = decoded + ((predictionA + (predictionB >> 1)) >> 10);
555     p->filterA[filter] = p->lastA[filter] + ((p->filterA[filter] * 31) >> 5);
556
557     sign = APESIGN(decoded);
558     p->coeffsA[filter][0] += p->buf[adaptA    ] * sign;
559     p->coeffsA[filter][1] += p->buf[adaptA - 1] * sign;
560     p->coeffsA[filter][2] += p->buf[adaptA - 2] * sign;
561     p->coeffsA[filter][3] += p->buf[adaptA - 3] * sign;
562     p->coeffsB[filter][0] += p->buf[adaptB    ] * sign;
563     p->coeffsB[filter][1] += p->buf[adaptB - 1] * sign;
564     p->coeffsB[filter][2] += p->buf[adaptB - 2] * sign;
565     p->coeffsB[filter][3] += p->buf[adaptB - 3] * sign;
566     p->coeffsB[filter][4] += p->buf[adaptB - 4] * sign;
567
568     return p->filterA[filter];
569 }
570
571 static void predictor_decode_stereo(APEContext * ctx, int count)
572 {
573     APEPredictor *p = &ctx->predictor;
574     int32_t *decoded0 = ctx->decoded0;
575     int32_t *decoded1 = ctx->decoded1;
576
577     while (count--) {
578         /* Predictor Y */
579         *decoded0 = predictor_update_filter(p, *decoded0, 0, YDELAYA, YDELAYB, YADAPTCOEFFSA, YADAPTCOEFFSB);
580         decoded0++;
581         *decoded1 = predictor_update_filter(p, *decoded1, 1, XDELAYA, XDELAYB, XADAPTCOEFFSA, XADAPTCOEFFSB);
582         decoded1++;
583
584         /* Combined */
585         p->buf++;
586
587         /* Have we filled the history buffer? */
588         if (p->buf == p->historybuffer + HISTORY_SIZE) {
589             memmove(p->historybuffer, p->buf, PREDICTOR_SIZE * sizeof(int32_t));
590             p->buf = p->historybuffer;
591         }
592     }
593 }
594
595 static void predictor_decode_mono(APEContext * ctx, int count)
596 {
597     APEPredictor *p = &ctx->predictor;
598     int32_t *decoded0 = ctx->decoded0;
599     int32_t predictionA, currentA, A, sign;
600
601     currentA = p->lastA[0];
602
603     while (count--) {
604         A = *decoded0;
605
606         p->buf[YDELAYA] = currentA;
607         p->buf[YDELAYA - 1] = p->buf[YDELAYA] - p->buf[YDELAYA - 1];
608
609         predictionA = p->buf[YDELAYA    ] * p->coeffsA[0][0] +
610                       p->buf[YDELAYA - 1] * p->coeffsA[0][1] +
611                       p->buf[YDELAYA - 2] * p->coeffsA[0][2] +
612                       p->buf[YDELAYA - 3] * p->coeffsA[0][3];
613
614         currentA = A + (predictionA >> 10);
615
616         p->buf[YADAPTCOEFFSA]     = APESIGN(p->buf[YDELAYA    ]);
617         p->buf[YADAPTCOEFFSA - 1] = APESIGN(p->buf[YDELAYA - 1]);
618
619         sign = APESIGN(A);
620         p->coeffsA[0][0] += p->buf[YADAPTCOEFFSA    ] * sign;
621         p->coeffsA[0][1] += p->buf[YADAPTCOEFFSA - 1] * sign;
622         p->coeffsA[0][2] += p->buf[YADAPTCOEFFSA - 2] * sign;
623         p->coeffsA[0][3] += p->buf[YADAPTCOEFFSA - 3] * sign;
624
625         p->buf++;
626
627         /* Have we filled the history buffer? */
628         if (p->buf == p->historybuffer + HISTORY_SIZE) {
629             memmove(p->historybuffer, p->buf, PREDICTOR_SIZE * sizeof(int32_t));
630             p->buf = p->historybuffer;
631         }
632
633         p->filterA[0] = currentA + ((p->filterA[0] * 31) >> 5);
634         *(decoded0++) = p->filterA[0];
635     }
636
637     p->lastA[0] = currentA;
638 }
639
640 static void do_init_filter(APEFilter *f, int16_t * buf, int order)
641 {
642     f->coeffs = buf;
643     f->historybuffer = buf + order;
644     f->delay       = f->historybuffer + order * 2;
645     f->adaptcoeffs = f->historybuffer + order;
646
647     memset(f->historybuffer, 0, (order * 2) * sizeof(int16_t));
648     memset(f->coeffs, 0, order * sizeof(int16_t));
649     f->avg = 0;
650 }
651
652 static void init_filter(APEContext * ctx, APEFilter *f, int16_t * buf, int order)
653 {
654     do_init_filter(&f[0], buf, order);
655     do_init_filter(&f[1], buf + order * 3 + HISTORY_SIZE, order);
656 }
657
658 static void do_apply_filter(APEContext * ctx, int version, APEFilter *f, int32_t *data, int count, int order, int fracbits)
659 {
660     int res;
661     int absres;
662
663     while (count--) {
664         /* round fixedpoint scalar product */
665         res = ctx->dsp.scalarproduct_and_madd_int16(f->coeffs, f->delay - order, f->adaptcoeffs - order, order, APESIGN(*data));
666         res = (res + (1 << (fracbits - 1))) >> fracbits;
667         res += *data;
668         *data++ = res;
669
670         /* Update the output history */
671         *f->delay++ = av_clip_int16(res);
672
673         if (version < 3980) {
674             /* Version ??? to < 3.98 files (untested) */
675             f->adaptcoeffs[0]  = (res == 0) ? 0 : ((res >> 28) & 8) - 4;
676             f->adaptcoeffs[-4] >>= 1;
677             f->adaptcoeffs[-8] >>= 1;
678         } else {
679             /* Version 3.98 and later files */
680
681             /* Update the adaption coefficients */
682             absres = FFABS(res);
683             if (absres)
684                 *f->adaptcoeffs = ((res & (1<<31)) - (1<<30)) >> (25 + (absres <= f->avg*3) + (absres <= f->avg*4/3));
685             else
686                 *f->adaptcoeffs = 0;
687
688             f->avg += (absres - f->avg) / 16;
689
690             f->adaptcoeffs[-1] >>= 1;
691             f->adaptcoeffs[-2] >>= 1;
692             f->adaptcoeffs[-8] >>= 1;
693         }
694
695         f->adaptcoeffs++;
696
697         /* Have we filled the history buffer? */
698         if (f->delay == f->historybuffer + HISTORY_SIZE + (order * 2)) {
699             memmove(f->historybuffer, f->delay - (order * 2),
700                     (order * 2) * sizeof(int16_t));
701             f->delay = f->historybuffer + order * 2;
702             f->adaptcoeffs = f->historybuffer + order;
703         }
704     }
705 }
706
707 static void apply_filter(APEContext * ctx, APEFilter *f,
708                          int32_t * data0, int32_t * data1,
709                          int count, int order, int fracbits)
710 {
711     do_apply_filter(ctx, ctx->fileversion, &f[0], data0, count, order, fracbits);
712     if (data1)
713         do_apply_filter(ctx, ctx->fileversion, &f[1], data1, count, order, fracbits);
714 }
715
716 static void ape_apply_filters(APEContext * ctx, int32_t * decoded0,
717                               int32_t * decoded1, int count)
718 {
719     int i;
720
721     for (i = 0; i < APE_FILTER_LEVELS; i++) {
722         if (!ape_filter_orders[ctx->fset][i])
723             break;
724         apply_filter(ctx, ctx->filters[i], decoded0, decoded1, count, ape_filter_orders[ctx->fset][i], ape_filter_fracbits[ctx->fset][i]);
725     }
726 }
727
728 static void init_frame_decoder(APEContext * ctx)
729 {
730     int i;
731     init_entropy_decoder(ctx);
732     init_predictor_decoder(ctx);
733
734     for (i = 0; i < APE_FILTER_LEVELS; i++) {
735         if (!ape_filter_orders[ctx->fset][i])
736             break;
737         init_filter(ctx, ctx->filters[i], ctx->filterbuf[i], ape_filter_orders[ctx->fset][i]);
738     }
739 }
740
741 static void ape_unpack_mono(APEContext * ctx, int count)
742 {
743     int32_t *decoded0 = ctx->decoded0;
744     int32_t *decoded1 = ctx->decoded1;
745
746     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
747         entropy_decode(ctx, count, 0);
748         /* We are pure silence, so we're done. */
749         av_log(ctx->avctx, AV_LOG_DEBUG, "pure silence mono\n");
750         return;
751     }
752
753     entropy_decode(ctx, count, 0);
754     ape_apply_filters(ctx, decoded0, NULL, count);
755
756     /* Now apply the predictor decoding */
757     predictor_decode_mono(ctx, count);
758
759     /* Pseudo-stereo - just copy left channel to right channel */
760     if (ctx->channels == 2) {
761         memcpy(decoded1, decoded0, count * sizeof(*decoded1));
762     }
763 }
764
765 static void ape_unpack_stereo(APEContext * ctx, int count)
766 {
767     int32_t left, right;
768     int32_t *decoded0 = ctx->decoded0;
769     int32_t *decoded1 = ctx->decoded1;
770
771     if (ctx->frameflags & APE_FRAMECODE_STEREO_SILENCE) {
772         /* We are pure silence, so we're done. */
773         av_log(ctx->avctx, AV_LOG_DEBUG, "pure silence stereo\n");
774         return;
775     }
776
777     entropy_decode(ctx, count, 1);
778     ape_apply_filters(ctx, decoded0, decoded1, count);
779
780     /* Now apply the predictor decoding */
781     predictor_decode_stereo(ctx, count);
782
783     /* Decorrelate and scale to output depth */
784     while (count--) {
785         left = *decoded1 - (*decoded0 / 2);
786         right = left + *decoded0;
787
788         *(decoded0++) = left;
789         *(decoded1++) = right;
790     }
791 }
792
793 static int ape_decode_frame(AVCodecContext * avctx,
794                             void *data, int *data_size,
795                             AVPacket *avpkt)
796 {
797     const uint8_t *buf = avpkt->data;
798     int buf_size = avpkt->size;
799     APEContext *s = avctx->priv_data;
800     int16_t *samples = data;
801     int nblocks;
802     int i, n;
803     int blockstodecode;
804     int bytes_used;
805
806     /* should not happen but who knows */
807     if (BLOCKS_PER_LOOP * 2 * avctx->channels > *data_size) {
808         av_log (avctx, AV_LOG_ERROR, "Packet size is too big to be handled in lavc! (max is %d where you have %d)\n", *data_size, s->samples * 2 * avctx->channels);
809         return -1;
810     }
811
812     if(!s->samples){
813         s->data = av_realloc(s->data, (buf_size + 3) & ~3);
814         s->dsp.bswap_buf((uint32_t*)s->data, (const uint32_t*)buf, buf_size >> 2);
815         s->ptr = s->last_ptr = s->data;
816         s->data_end = s->data + buf_size;
817
818         nblocks = s->samples = bytestream_get_be32(&s->ptr);
819         n =  bytestream_get_be32(&s->ptr);
820         if(n < 0 || n > 3){
821             av_log(avctx, AV_LOG_ERROR, "Incorrect offset passed\n");
822             s->data = NULL;
823             return -1;
824         }
825         s->ptr += n;
826
827         s->currentframeblocks = nblocks;
828         buf += 4;
829         if (s->samples <= 0) {
830             *data_size = 0;
831             return buf_size;
832         }
833
834         memset(s->decoded0,  0, sizeof(s->decoded0));
835         memset(s->decoded1,  0, sizeof(s->decoded1));
836
837         /* Initialize the frame decoder */
838         init_frame_decoder(s);
839     }
840
841     if (!s->data) {
842         *data_size = 0;
843         return buf_size;
844     }
845
846     nblocks = s->samples;
847     blockstodecode = FFMIN(BLOCKS_PER_LOOP, nblocks);
848
849     s->error=0;
850
851     if ((s->channels == 1) || (s->frameflags & APE_FRAMECODE_PSEUDO_STEREO))
852         ape_unpack_mono(s, blockstodecode);
853     else
854         ape_unpack_stereo(s, blockstodecode);
855     emms_c();
856
857     if(s->error || s->ptr > s->data_end){
858         s->samples=0;
859         av_log(avctx, AV_LOG_ERROR, "Error decoding frame\n");
860         return -1;
861     }
862
863     for (i = 0; i < blockstodecode; i++) {
864         *samples++ = s->decoded0[i];
865         if(s->channels == 2)
866             *samples++ = s->decoded1[i];
867     }
868
869     s->samples -= blockstodecode;
870
871     *data_size = blockstodecode * 2 * s->channels;
872     bytes_used = s->samples ? s->ptr - s->last_ptr : buf_size;
873     s->last_ptr = s->ptr;
874     return bytes_used;
875 }
876
877 static void ape_flush(AVCodecContext *avctx)
878 {
879     APEContext *s = avctx->priv_data;
880     s->samples= 0;
881 }
882
883 AVCodec ff_ape_decoder = {
884     .name           = "ape",
885     .type           = AVMEDIA_TYPE_AUDIO,
886     .id             = CODEC_ID_APE,
887     .priv_data_size = sizeof(APEContext),
888     .init           = ape_decode_init,
889     .close          = ape_decode_close,
890     .decode         = ape_decode_frame,
891     .capabilities = CODEC_CAP_SUBFRAMES,
892     .flush = ape_flush,
893     .long_name = NULL_IF_CONFIG_SMALL("Monkey's Audio"),
894 };