alacdec: remove unneeded NULL or zero-size packet checks.
[ffmpeg.git] / libavcodec / alac.c
1 /*
2  * ALAC (Apple Lossless Audio Codec) decoder
3  * Copyright (c) 2005 David Hammerton
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * ALAC (Apple Lossless Audio Codec) decoder
25  * @author 2005 David Hammerton
26  * @see http://crazney.net/programs/itunes/alac.html
27  *
28  * Note: This decoder expects a 36- (0x24-)byte QuickTime atom to be
29  * passed through the extradata[_size] fields. This atom is tacked onto
30  * the end of an 'alac' stsd atom and has the following format:
31  *  bytes 0-3   atom size (0x24), big-endian
32  *  bytes 4-7   atom type ('alac', not the 'alac' tag from start of stsd)
33  *  bytes 8-35  data bytes needed by decoder
34  *
35  * Extradata:
36  * 32bit  size
37  * 32bit  tag (=alac)
38  * 32bit  zero?
39  * 32bit  max sample per frame
40  *  8bit  ?? (zero?)
41  *  8bit  sample size
42  *  8bit  history mult
43  *  8bit  initial history
44  *  8bit  kmodifier
45  *  8bit  channels?
46  * 16bit  ??
47  * 32bit  max coded frame size
48  * 32bit  bitrate?
49  * 32bit  samplerate
50  */
51
52
53 #include "avcodec.h"
54 #include "get_bits.h"
55 #include "bytestream.h"
56 #include "unary.h"
57 #include "mathops.h"
58
59 #define ALAC_EXTRADATA_SIZE 36
60 #define MAX_CHANNELS 2
61
62 typedef struct {
63
64     AVCodecContext *avctx;
65     GetBitContext gb;
66
67     int numchannels;
68     int bytespersample;
69
70     /* buffers */
71     int32_t *predicterror_buffer[MAX_CHANNELS];
72
73     int32_t *outputsamples_buffer[MAX_CHANNELS];
74
75     int32_t *extra_bits_buffer[MAX_CHANNELS];
76
77     /* stuff from setinfo */
78     uint32_t setinfo_max_samples_per_frame; /* 0x1000 = 4096 */    /* max samples per frame? */
79     uint8_t setinfo_sample_size; /* 0x10 */
80     uint8_t setinfo_rice_historymult; /* 0x28 */
81     uint8_t setinfo_rice_initialhistory; /* 0x0a */
82     uint8_t setinfo_rice_kmodifier; /* 0x0e */
83     /* end setinfo stuff */
84
85     int extra_bits;                         /**< number of extra bits beyond 16-bit */
86 } ALACContext;
87
88 static inline int decode_scalar(GetBitContext *gb, int k, int limit, int readsamplesize){
89     /* read x - number of 1s before 0 represent the rice */
90     int x = get_unary_0_9(gb);
91
92     if (x > 8) { /* RICE THRESHOLD */
93         /* use alternative encoding */
94         x = get_bits(gb, readsamplesize);
95     } else {
96         if (k >= limit)
97             k = limit;
98
99         if (k != 1) {
100             int extrabits = show_bits(gb, k);
101
102             /* multiply x by 2^k - 1, as part of their strange algorithm */
103             x = (x << k) - x;
104
105             if (extrabits > 1) {
106                 x += extrabits - 1;
107                 skip_bits(gb, k);
108             } else
109                 skip_bits(gb, k - 1);
110         }
111     }
112     return x;
113 }
114
115 static void bastardized_rice_decompress(ALACContext *alac,
116                                  int32_t *output_buffer,
117                                  int output_size,
118                                  int readsamplesize, /* arg_10 */
119                                  int rice_initialhistory, /* arg424->b */
120                                  int rice_kmodifier, /* arg424->d */
121                                  int rice_historymult, /* arg424->c */
122                                  int rice_kmodifier_mask /* arg424->e */
123         )
124 {
125     int output_count;
126     unsigned int history = rice_initialhistory;
127     int sign_modifier = 0;
128
129     for (output_count = 0; output_count < output_size; output_count++) {
130         int32_t x;
131         int32_t x_modified;
132         int32_t final_val;
133
134         /* standard rice encoding */
135         int k; /* size of extra bits */
136
137         /* read k, that is bits as is */
138         k = av_log2((history >> 9) + 3);
139         x= decode_scalar(&alac->gb, k, rice_kmodifier, readsamplesize);
140
141         x_modified = sign_modifier + x;
142         final_val = (x_modified + 1) / 2;
143         if (x_modified & 1) final_val *= -1;
144
145         output_buffer[output_count] = final_val;
146
147         sign_modifier = 0;
148
149         /* now update the history */
150         history += x_modified * rice_historymult
151                    - ((history * rice_historymult) >> 9);
152
153         if (x_modified > 0xffff)
154             history = 0xffff;
155
156         /* special case: there may be compressed blocks of 0 */
157         if ((history < 128) && (output_count+1 < output_size)) {
158             int k;
159             unsigned int block_size;
160
161             sign_modifier = 1;
162
163             k = 7 - av_log2(history) + ((history + 16) >> 6 /* / 64 */);
164
165             block_size= decode_scalar(&alac->gb, k, rice_kmodifier, 16);
166
167             if (block_size > 0) {
168                 if(block_size >= output_size - output_count){
169                     av_log(alac->avctx, AV_LOG_ERROR, "invalid zero block size of %d %d %d\n", block_size, output_size, output_count);
170                     block_size= output_size - output_count - 1;
171                 }
172                 memset(&output_buffer[output_count+1], 0, block_size * 4);
173                 output_count += block_size;
174             }
175
176             if (block_size > 0xffff)
177                 sign_modifier = 0;
178
179             history = 0;
180         }
181     }
182 }
183
184 static inline int sign_only(int v)
185 {
186     return v ? FFSIGN(v) : 0;
187 }
188
189 static void predictor_decompress_fir_adapt(int32_t *error_buffer,
190                                            int32_t *buffer_out,
191                                            int output_size,
192                                            int readsamplesize,
193                                            int16_t *predictor_coef_table,
194                                            int predictor_coef_num,
195                                            int predictor_quantitization)
196 {
197     int i;
198
199     /* first sample always copies */
200     *buffer_out = *error_buffer;
201
202     if (!predictor_coef_num) {
203         if (output_size <= 1)
204             return;
205
206         memcpy(buffer_out+1, error_buffer+1, (output_size-1) * 4);
207         return;
208     }
209
210     if (predictor_coef_num == 0x1f) { /* 11111 - max value of predictor_coef_num */
211       /* second-best case scenario for fir decompression,
212        * error describes a small difference from the previous sample only
213        */
214         if (output_size <= 1)
215             return;
216         for (i = 0; i < output_size - 1; i++) {
217             int32_t prev_value;
218             int32_t error_value;
219
220             prev_value = buffer_out[i];
221             error_value = error_buffer[i+1];
222             buffer_out[i+1] =
223                 sign_extend((prev_value + error_value), readsamplesize);
224         }
225         return;
226     }
227
228     /* read warm-up samples */
229     if (predictor_coef_num > 0)
230         for (i = 0; i < predictor_coef_num; i++) {
231             int32_t val;
232
233             val = buffer_out[i] + error_buffer[i+1];
234             val = sign_extend(val, readsamplesize);
235             buffer_out[i+1] = val;
236         }
237
238     /* 4 and 8 are very common cases (the only ones i've seen). these
239      * should be unrolled and optimized
240      */
241
242     /* general case */
243     if (predictor_coef_num > 0) {
244         for (i = predictor_coef_num + 1; i < output_size; i++) {
245             int j;
246             int sum = 0;
247             int outval;
248             int error_val = error_buffer[i];
249
250             for (j = 0; j < predictor_coef_num; j++) {
251                 sum += (buffer_out[predictor_coef_num-j] - buffer_out[0]) *
252                        predictor_coef_table[j];
253             }
254
255             outval = (1 << (predictor_quantitization-1)) + sum;
256             outval = outval >> predictor_quantitization;
257             outval = outval + buffer_out[0] + error_val;
258             outval = sign_extend(outval, readsamplesize);
259
260             buffer_out[predictor_coef_num+1] = outval;
261
262             if (error_val > 0) {
263                 int predictor_num = predictor_coef_num - 1;
264
265                 while (predictor_num >= 0 && error_val > 0) {
266                     int val = buffer_out[0] - buffer_out[predictor_coef_num - predictor_num];
267                     int sign = sign_only(val);
268
269                     predictor_coef_table[predictor_num] -= sign;
270
271                     val *= sign; /* absolute value */
272
273                     error_val -= ((val >> predictor_quantitization) *
274                                   (predictor_coef_num - predictor_num));
275
276                     predictor_num--;
277                 }
278             } else if (error_val < 0) {
279                 int predictor_num = predictor_coef_num - 1;
280
281                 while (predictor_num >= 0 && error_val < 0) {
282                     int val = buffer_out[0] - buffer_out[predictor_coef_num - predictor_num];
283                     int sign = - sign_only(val);
284
285                     predictor_coef_table[predictor_num] -= sign;
286
287                     val *= sign; /* neg value */
288
289                     error_val -= ((val >> predictor_quantitization) *
290                                   (predictor_coef_num - predictor_num));
291
292                     predictor_num--;
293                 }
294             }
295
296             buffer_out++;
297         }
298     }
299 }
300
301 static void decorrelate_stereo(int32_t *buffer[MAX_CHANNELS],
302                                int numsamples, uint8_t interlacing_shift,
303                                uint8_t interlacing_leftweight)
304 {
305     int i;
306
307     for (i = 0; i < numsamples; i++) {
308         int32_t a, b;
309
310         a = buffer[0][i];
311         b = buffer[1][i];
312
313         a -= (b * interlacing_leftweight) >> interlacing_shift;
314         b += a;
315
316         buffer[0][i] = b;
317         buffer[1][i] = a;
318     }
319 }
320
321 static void append_extra_bits(int32_t *buffer[MAX_CHANNELS],
322                               int32_t *extra_bits_buffer[MAX_CHANNELS],
323                               int extra_bits, int numchannels, int numsamples)
324 {
325     int i, ch;
326
327     for (ch = 0; ch < numchannels; ch++)
328         for (i = 0; i < numsamples; i++)
329             buffer[ch][i] = (buffer[ch][i] << extra_bits) | extra_bits_buffer[ch][i];
330 }
331
332 static void interleave_stereo_16(int32_t *buffer[MAX_CHANNELS],
333                                  int16_t *buffer_out, int numsamples)
334 {
335     int i;
336
337     for (i = 0; i < numsamples; i++) {
338         *buffer_out++ = buffer[0][i];
339         *buffer_out++ = buffer[1][i];
340     }
341 }
342
343 static void interleave_stereo_24(int32_t *buffer[MAX_CHANNELS],
344                                  int32_t *buffer_out, int numsamples)
345 {
346     int i;
347
348     for (i = 0; i < numsamples; i++) {
349         *buffer_out++ = buffer[0][i] << 8;
350         *buffer_out++ = buffer[1][i] << 8;
351     }
352 }
353
354 static int alac_decode_frame(AVCodecContext *avctx,
355                              void *outbuffer, int *outputsize,
356                              AVPacket *avpkt)
357 {
358     const uint8_t *inbuffer = avpkt->data;
359     int input_buffer_size = avpkt->size;
360     ALACContext *alac = avctx->priv_data;
361
362     int channels;
363     unsigned int outputsamples;
364     int hassize;
365     unsigned int readsamplesize;
366     int isnotcompressed;
367     uint8_t interlacing_shift;
368     uint8_t interlacing_leftweight;
369     int i, ch;
370
371     init_get_bits(&alac->gb, inbuffer, input_buffer_size * 8);
372
373     channels = get_bits(&alac->gb, 3) + 1;
374     if (channels != avctx->channels) {
375         av_log(avctx, AV_LOG_ERROR, "frame header channel count mismatch\n");
376         return AVERROR_INVALIDDATA;
377     }
378
379     /* 2^result = something to do with output waiting.
380      * perhaps matters if we read > 1 frame in a pass?
381      */
382     skip_bits(&alac->gb, 4);
383
384     skip_bits(&alac->gb, 12); /* unknown, skip 12 bits */
385
386     /* the output sample size is stored soon */
387     hassize = get_bits1(&alac->gb);
388
389     alac->extra_bits = get_bits(&alac->gb, 2) << 3;
390
391     /* whether the frame is compressed */
392     isnotcompressed = get_bits1(&alac->gb);
393
394     if (hassize) {
395         /* now read the number of samples as a 32bit integer */
396         outputsamples = get_bits_long(&alac->gb, 32);
397         if(outputsamples > alac->setinfo_max_samples_per_frame){
398             av_log(avctx, AV_LOG_ERROR, "outputsamples %d > %d\n", outputsamples, alac->setinfo_max_samples_per_frame);
399             return -1;
400         }
401     } else
402         outputsamples = alac->setinfo_max_samples_per_frame;
403
404     alac->bytespersample = channels * av_get_bytes_per_sample(avctx->sample_fmt);
405
406     if(outputsamples > *outputsize / alac->bytespersample){
407         av_log(avctx, AV_LOG_ERROR, "sample buffer too small\n");
408         return -1;
409     }
410
411     *outputsize = outputsamples * alac->bytespersample;
412     readsamplesize = alac->setinfo_sample_size - alac->extra_bits + channels - 1;
413     if (readsamplesize > MIN_CACHE_BITS) {
414         av_log(avctx, AV_LOG_ERROR, "readsamplesize too big (%d)\n", readsamplesize);
415         return -1;
416     }
417
418     if (!isnotcompressed) {
419         /* so it is compressed */
420         int16_t predictor_coef_table[MAX_CHANNELS][32];
421         int predictor_coef_num[MAX_CHANNELS];
422         int prediction_type[MAX_CHANNELS];
423         int prediction_quantitization[MAX_CHANNELS];
424         int ricemodifier[MAX_CHANNELS];
425
426         interlacing_shift = get_bits(&alac->gb, 8);
427         interlacing_leftweight = get_bits(&alac->gb, 8);
428
429         for (ch = 0; ch < channels; ch++) {
430             prediction_type[ch] = get_bits(&alac->gb, 4);
431             prediction_quantitization[ch] = get_bits(&alac->gb, 4);
432
433             ricemodifier[ch] = get_bits(&alac->gb, 3);
434             predictor_coef_num[ch] = get_bits(&alac->gb, 5);
435
436             /* read the predictor table */
437             for (i = 0; i < predictor_coef_num[ch]; i++)
438                 predictor_coef_table[ch][i] = (int16_t)get_bits(&alac->gb, 16);
439         }
440
441         if (alac->extra_bits) {
442             for (i = 0; i < outputsamples; i++) {
443                 for (ch = 0; ch < channels; ch++)
444                     alac->extra_bits_buffer[ch][i] = get_bits(&alac->gb, alac->extra_bits);
445             }
446         }
447         for (ch = 0; ch < channels; ch++) {
448             bastardized_rice_decompress(alac,
449                                         alac->predicterror_buffer[ch],
450                                         outputsamples,
451                                         readsamplesize,
452                                         alac->setinfo_rice_initialhistory,
453                                         alac->setinfo_rice_kmodifier,
454                                         ricemodifier[ch] * alac->setinfo_rice_historymult / 4,
455                                         (1 << alac->setinfo_rice_kmodifier) - 1);
456
457             if (prediction_type[ch] == 0) {
458                 /* adaptive fir */
459                 predictor_decompress_fir_adapt(alac->predicterror_buffer[ch],
460                                                alac->outputsamples_buffer[ch],
461                                                outputsamples,
462                                                readsamplesize,
463                                                predictor_coef_table[ch],
464                                                predictor_coef_num[ch],
465                                                prediction_quantitization[ch]);
466             } else {
467                 av_log(avctx, AV_LOG_ERROR, "FIXME: unhandled prediction type: %i\n", prediction_type[ch]);
468                 /* I think the only other prediction type (or perhaps this is
469                  * just a boolean?) runs adaptive fir twice.. like:
470                  * predictor_decompress_fir_adapt(predictor_error, tempout, ...)
471                  * predictor_decompress_fir_adapt(predictor_error, outputsamples ...)
472                  * little strange..
473                  */
474             }
475         }
476     } else {
477         /* not compressed, easy case */
478         for (i = 0; i < outputsamples; i++) {
479             for (ch = 0; ch < channels; ch++) {
480                 alac->outputsamples_buffer[ch][i] = get_sbits_long(&alac->gb,
481                                                                    alac->setinfo_sample_size);
482             }
483         }
484         alac->extra_bits = 0;
485         interlacing_shift = 0;
486         interlacing_leftweight = 0;
487     }
488     if (get_bits(&alac->gb, 3) != 7)
489         av_log(avctx, AV_LOG_ERROR, "Error : Wrong End Of Frame\n");
490
491     if (channels == 2 && interlacing_leftweight) {
492         decorrelate_stereo(alac->outputsamples_buffer, outputsamples,
493                            interlacing_shift, interlacing_leftweight);
494     }
495
496     if (alac->extra_bits) {
497         append_extra_bits(alac->outputsamples_buffer, alac->extra_bits_buffer,
498                           alac->extra_bits, alac->numchannels, outputsamples);
499     }
500
501     switch(alac->setinfo_sample_size) {
502     case 16:
503         if (channels == 2) {
504             interleave_stereo_16(alac->outputsamples_buffer, outbuffer,
505                                  outputsamples);
506         } else {
507             for (i = 0; i < outputsamples; i++) {
508                 ((int16_t*)outbuffer)[i] = alac->outputsamples_buffer[0][i];
509             }
510         }
511         break;
512     case 24:
513         if (channels == 2) {
514             interleave_stereo_24(alac->outputsamples_buffer, outbuffer,
515                                  outputsamples);
516         } else {
517             for (i = 0; i < outputsamples; i++)
518                 ((int32_t *)outbuffer)[i] = alac->outputsamples_buffer[0][i] << 8;
519         }
520         break;
521     }
522
523     if (input_buffer_size * 8 - get_bits_count(&alac->gb) > 8)
524         av_log(avctx, AV_LOG_ERROR, "Error : %d bits left\n", input_buffer_size * 8 - get_bits_count(&alac->gb));
525
526     return input_buffer_size;
527 }
528
529 static av_cold int alac_decode_close(AVCodecContext *avctx)
530 {
531     ALACContext *alac = avctx->priv_data;
532
533     int ch;
534     for (ch = 0; ch < alac->numchannels; ch++) {
535         av_freep(&alac->predicterror_buffer[ch]);
536         av_freep(&alac->outputsamples_buffer[ch]);
537         av_freep(&alac->extra_bits_buffer[ch]);
538     }
539
540     return 0;
541 }
542
543 static int allocate_buffers(ALACContext *alac)
544 {
545     int ch;
546     for (ch = 0; ch < alac->numchannels; ch++) {
547         int buf_size = alac->setinfo_max_samples_per_frame * sizeof(int32_t);
548
549         FF_ALLOC_OR_GOTO(alac->avctx, alac->predicterror_buffer[ch],
550                          buf_size, buf_alloc_fail);
551
552         FF_ALLOC_OR_GOTO(alac->avctx, alac->outputsamples_buffer[ch],
553                          buf_size, buf_alloc_fail);
554
555         FF_ALLOC_OR_GOTO(alac->avctx, alac->extra_bits_buffer[ch],
556                          buf_size, buf_alloc_fail);
557     }
558     return 0;
559 buf_alloc_fail:
560     alac_decode_close(alac->avctx);
561     return AVERROR(ENOMEM);
562 }
563
564 static int alac_set_info(ALACContext *alac)
565 {
566     const unsigned char *ptr = alac->avctx->extradata;
567
568     ptr += 4; /* size */
569     ptr += 4; /* alac */
570     ptr += 4; /* 0 ? */
571
572     if(AV_RB32(ptr) >= UINT_MAX/4){
573         av_log(alac->avctx, AV_LOG_ERROR, "setinfo_max_samples_per_frame too large\n");
574         return -1;
575     }
576
577     /* buffer size / 2 ? */
578     alac->setinfo_max_samples_per_frame = bytestream_get_be32(&ptr);
579     ptr++;                          /* ??? */
580     alac->setinfo_sample_size           = *ptr++;
581     alac->setinfo_rice_historymult      = *ptr++;
582     alac->setinfo_rice_initialhistory   = *ptr++;
583     alac->setinfo_rice_kmodifier        = *ptr++;
584     alac->numchannels                   = *ptr++;
585     bytestream_get_be16(&ptr);      /* ??? */
586     bytestream_get_be32(&ptr);      /* max coded frame size */
587     bytestream_get_be32(&ptr);      /* bitrate ? */
588     bytestream_get_be32(&ptr);      /* samplerate */
589
590     return 0;
591 }
592
593 static av_cold int alac_decode_init(AVCodecContext * avctx)
594 {
595     int ret;
596     ALACContext *alac = avctx->priv_data;
597     alac->avctx = avctx;
598
599     /* initialize from the extradata */
600     if (alac->avctx->extradata_size != ALAC_EXTRADATA_SIZE) {
601         av_log(avctx, AV_LOG_ERROR, "alac: expected %d extradata bytes\n",
602             ALAC_EXTRADATA_SIZE);
603         return -1;
604     }
605     if (alac_set_info(alac)) {
606         av_log(avctx, AV_LOG_ERROR, "alac: set_info failed\n");
607         return -1;
608     }
609
610     switch (alac->setinfo_sample_size) {
611     case 16: avctx->sample_fmt    = AV_SAMPLE_FMT_S16;
612              break;
613     case 24: avctx->sample_fmt    = AV_SAMPLE_FMT_S32;
614              break;
615     default: av_log_ask_for_sample(avctx, "Sample depth %d is not supported.\n",
616                                    alac->setinfo_sample_size);
617              return AVERROR_PATCHWELCOME;
618     }
619
620     if (alac->numchannels < 1) {
621         av_log(avctx, AV_LOG_WARNING, "Invalid channel count\n");
622         alac->numchannels = avctx->channels;
623     } else {
624         if (alac->numchannels > MAX_CHANNELS)
625             alac->numchannels = avctx->channels;
626         else
627             avctx->channels = alac->numchannels;
628     }
629     if (avctx->channels > MAX_CHANNELS) {
630         av_log(avctx, AV_LOG_ERROR, "Unsupported channel count: %d\n",
631                avctx->channels);
632         return AVERROR_PATCHWELCOME;
633     }
634
635     if ((ret = allocate_buffers(alac)) < 0) {
636         av_log(avctx, AV_LOG_ERROR, "Error allocating buffers\n");
637         return ret;
638     }
639
640     return 0;
641 }
642
643 AVCodec ff_alac_decoder = {
644     .name           = "alac",
645     .type           = AVMEDIA_TYPE_AUDIO,
646     .id             = CODEC_ID_ALAC,
647     .priv_data_size = sizeof(ALACContext),
648     .init           = alac_decode_init,
649     .close          = alac_decode_close,
650     .decode         = alac_decode_frame,
651     .long_name = NULL_IF_CONFIG_SMALL("ALAC (Apple Lossless Audio Codec)"),
652 };