omadec: Properly check lengths before incrementing the position
[ffmpeg.git] / libavformat / omadec.c
1 /*
2  * Sony OpenMG (OMA) demuxer
3  *
4  * Copyright (c) 2008 Maxim Poliakovski
5  *               2008 Benjamin Larsson
6  *               2011 David Goldwich
7  *
8  * This file is part of Libav.
9  *
10  * Libav is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * Libav is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with Libav; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * This is a demuxer for Sony OpenMG Music files
28  *
29  * Known file extensions: ".oma", "aa3"
30  * The format of such files consists of three parts:
31  * - "ea3" header carrying overall info and metadata. Except for starting with
32  *   "ea" instead of "ID", it's an ID3v2 header.
33  * - "EA3" header is a Sony-specific header containing information about
34  *   the OpenMG file: codec type (usually ATRAC, can also be MP3 or WMA),
35  *   codec specific info (packet size, sample rate, channels and so on)
36  *   and DRM related info (file encryption, content id).
37  * - Sound data organized in packets follow the EA3 header
38  *   (can be encrypted using the Sony DRM!).
39  *
40  * CODEC SUPPORT: Only ATRAC3 codec is currently supported!
41  */
42
43 #include "libavutil/channel_layout.h"
44 #include "avformat.h"
45 #include "internal.h"
46 #include "libavutil/intreadwrite.h"
47 #include "libavutil/des.h"
48 #include "oma.h"
49 #include "pcm.h"
50 #include "id3v2.h"
51
52
53 static const uint64_t leaf_table[] = {
54     0xd79e8283acea4620, 0x7a9762f445afd0d8,
55     0x354d60a60b8c79f1, 0x584e1cde00b07aee,
56     0x1573cd93da7df623, 0x47f98d79620dd535
57 };
58
59 typedef struct OMAContext {
60     uint64_t content_start;
61     int encrypted;
62     uint16_t k_size;
63     uint16_t e_size;
64     uint16_t i_size;
65     uint16_t s_size;
66     uint32_t rid;
67     uint8_t r_val[24];
68     uint8_t n_val[24];
69     uint8_t m_val[8];
70     uint8_t s_val[8];
71     uint8_t sm_val[8];
72     uint8_t e_val[8];
73     uint8_t iv[8];
74     struct AVDES av_des;
75 } OMAContext;
76
77 static void hex_log(AVFormatContext *s, int level,
78                     const char *name, const uint8_t *value, int len)
79 {
80     char buf[33];
81     len = FFMIN(len, 16);
82     if (av_log_get_level() < level)
83         return;
84     ff_data_to_hex(buf, value, len, 1);
85     buf[len << 1] = '\0';
86     av_log(s, level, "%s: %s\n", name, buf);
87 }
88
89 static int kset(AVFormatContext *s, const uint8_t *r_val, const uint8_t *n_val,
90                 int len)
91 {
92     OMAContext *oc = s->priv_data;
93
94     if (!r_val && !n_val)
95         return -1;
96
97     len = FFMIN(len, 16);
98
99     /* use first 64 bits in the third round again */
100     if (r_val) {
101         if (r_val != oc->r_val) {
102             memset(oc->r_val, 0, 24);
103             memcpy(oc->r_val, r_val, len);
104         }
105         memcpy(&oc->r_val[16], r_val, 8);
106     }
107     if (n_val) {
108         if (n_val != oc->n_val) {
109             memset(oc->n_val, 0, 24);
110             memcpy(oc->n_val, n_val, len);
111         }
112         memcpy(&oc->n_val[16], n_val, 8);
113     }
114
115     return 0;
116 }
117
118 #define OMA_RPROBE_M_VAL 48 + 1
119
120 static int rprobe(AVFormatContext *s, uint8_t *enc_header, unsigned size,
121                   const uint8_t *r_val)
122 {
123     OMAContext *oc = s->priv_data;
124     unsigned int pos;
125     struct AVDES av_des;
126
127     if (!enc_header || !r_val ||
128         size < OMA_ENC_HEADER_SIZE + oc->k_size + oc->e_size + oc->i_size ||
129         size < OMA_RPROBE_M_VAL)
130         return -1;
131
132     /* m_val */
133     av_des_init(&av_des, r_val, 192, 1);
134     av_des_crypt(&av_des, oc->m_val, &enc_header[48], 1, NULL, 1);
135
136     /* s_val */
137     av_des_init(&av_des, oc->m_val, 64, 0);
138     av_des_crypt(&av_des, oc->s_val, NULL, 1, NULL, 0);
139
140     /* sm_val */
141     pos = OMA_ENC_HEADER_SIZE + oc->k_size + oc->e_size;
142     av_des_init(&av_des, oc->s_val, 64, 0);
143     av_des_mac(&av_des, oc->sm_val, &enc_header[pos], (oc->i_size >> 3));
144
145     pos += oc->i_size;
146
147     return memcmp(&enc_header[pos], oc->sm_val, 8) ? -1 : 0;
148 }
149
150 static int nprobe(AVFormatContext *s, uint8_t *enc_header, unsigned size,
151                   const uint8_t *n_val)
152 {
153     OMAContext *oc = s->priv_data;
154     uint64_t pos;
155     uint32_t taglen, datalen;
156     struct AVDES av_des;
157
158     if (!enc_header || !n_val ||
159         size < OMA_ENC_HEADER_SIZE + oc->k_size + 4)
160         return -1;
161
162     pos = OMA_ENC_HEADER_SIZE + oc->k_size;
163     if (!memcmp(&enc_header[pos], "EKB ", 4))
164         pos += 32;
165
166     if (size < pos + 44)
167         return -1;
168
169     if (AV_RB32(&enc_header[pos]) != oc->rid)
170         av_log(s, AV_LOG_DEBUG, "Mismatching RID\n");
171
172     taglen  = AV_RB32(&enc_header[pos + 32]);
173     datalen = AV_RB32(&enc_header[pos + 36]) >> 4;
174
175     pos += 44;
176     if (size - pos < taglen)
177         return -1;
178
179     pos += taglen;
180
181     if (datalen << 4 > size - pos)
182         return -1;
183
184     av_des_init(&av_des, n_val, 192, 1);
185     while (datalen-- > 0) {
186         av_des_crypt(&av_des, oc->r_val, &enc_header[pos], 2, NULL, 1);
187         kset(s, oc->r_val, NULL, 16);
188         if (!rprobe(s, enc_header, size, oc->r_val))
189             return 0;
190         pos += 16;
191     }
192
193     return -1;
194 }
195
196 static int decrypt_init(AVFormatContext *s, ID3v2ExtraMeta *em, uint8_t *header)
197 {
198     OMAContext *oc = s->priv_data;
199     ID3v2ExtraMetaGEOB *geob = NULL;
200     uint8_t *gdata;
201
202     oc->encrypted = 1;
203     av_log(s, AV_LOG_INFO, "File is encrypted\n");
204
205     /* find GEOB metadata */
206     while (em) {
207         if (!strcmp(em->tag, "GEOB") &&
208             (geob = em->data) &&
209             (!strcmp(geob->description, "OMG_LSI") ||
210              !strcmp(geob->description, "OMG_BKLSI"))) {
211             break;
212         }
213         em = em->next;
214     }
215     if (!em) {
216         av_log(s, AV_LOG_ERROR, "No encryption header found\n");
217         return AVERROR_INVALIDDATA;
218     }
219
220     if (geob->datasize < 64) {
221         av_log(s, AV_LOG_ERROR,
222                "Invalid GEOB data size: %u\n", geob->datasize);
223         return AVERROR_INVALIDDATA;
224     }
225
226     gdata = geob->data;
227
228     if (AV_RB16(gdata) != 1)
229         av_log(s, AV_LOG_WARNING, "Unknown version in encryption header\n");
230
231     oc->k_size = AV_RB16(&gdata[2]);
232     oc->e_size = AV_RB16(&gdata[4]);
233     oc->i_size = AV_RB16(&gdata[6]);
234     oc->s_size = AV_RB16(&gdata[8]);
235
236     if (memcmp(&gdata[OMA_ENC_HEADER_SIZE], "KEYRING     ", 12)) {
237         av_log(s, AV_LOG_ERROR, "Invalid encryption header\n");
238         return AVERROR_INVALIDDATA;
239     }
240     oc->rid = AV_RB32(&gdata[OMA_ENC_HEADER_SIZE + 28]);
241     av_log(s, AV_LOG_DEBUG, "RID: %.8x\n", oc->rid);
242
243     memcpy(oc->iv, &header[0x58], 8);
244     hex_log(s, AV_LOG_DEBUG, "IV", oc->iv, 8);
245
246     hex_log(s, AV_LOG_DEBUG, "CBC-MAC",
247             &gdata[OMA_ENC_HEADER_SIZE + oc->k_size + oc->e_size + oc->i_size],
248             8);
249
250     if (s->keylen > 0) {
251         kset(s, s->key, s->key, s->keylen);
252     }
253     if (!memcmp(oc->r_val, (const uint8_t[8]){0}, 8) ||
254         rprobe(s, gdata, geob->datasize, oc->r_val) < 0 &&
255         nprobe(s, gdata, geob->datasize, oc->n_val) < 0) {
256         int i;
257         for (i = 0; i < FF_ARRAY_ELEMS(leaf_table); i += 2) {
258             uint8_t buf[16];
259             AV_WL64(buf,     leaf_table[i]);
260             AV_WL64(&buf[8], leaf_table[i + 1]);
261             kset(s, buf, buf, 16);
262             if (!rprobe(s, gdata, geob->datasize, oc->r_val) ||
263                 !nprobe(s, gdata, geob->datasize, oc->n_val))
264                 break;
265         }
266         if (i >= sizeof(leaf_table)) {
267             av_log(s, AV_LOG_ERROR, "Invalid key\n");
268             return AVERROR_INVALIDDATA;
269         }
270     }
271
272     /* e_val */
273     av_des_init(&oc->av_des, oc->m_val, 64, 0);
274     av_des_crypt(&oc->av_des, oc->e_val,
275                  &gdata[OMA_ENC_HEADER_SIZE + 40], 1, NULL, 0);
276     hex_log(s, AV_LOG_DEBUG, "EK", oc->e_val, 8);
277
278     /* init e_val */
279     av_des_init(&oc->av_des, oc->e_val, 64, 1);
280
281     return 0;
282 }
283
284 static int oma_read_header(AVFormatContext *s)
285 {
286     int     ret, framesize, jsflag, samplerate;
287     uint32_t codec_params;
288     int16_t eid;
289     uint8_t buf[EA3_HEADER_SIZE];
290     uint8_t *edata;
291     AVStream *st;
292     ID3v2ExtraMeta *extra_meta = NULL;
293     OMAContext *oc = s->priv_data;
294
295     ff_id3v2_read(s, ID3v2_EA3_MAGIC, &extra_meta);
296     ret = avio_read(s->pb, buf, EA3_HEADER_SIZE);
297     if (ret < EA3_HEADER_SIZE)
298         return -1;
299
300     if (memcmp(buf, ((const uint8_t[]){'E', 'A', '3'}), 3) ||
301         buf[4] != 0 || buf[5] != EA3_HEADER_SIZE) {
302         av_log(s, AV_LOG_ERROR, "Couldn't find the EA3 header !\n");
303         return AVERROR_INVALIDDATA;
304     }
305
306     oc->content_start = avio_tell(s->pb);
307
308     /* encrypted file */
309     eid = AV_RB16(&buf[6]);
310     if (eid != -1 && eid != -128 && decrypt_init(s, extra_meta, buf) < 0) {
311         ff_id3v2_free_extra_meta(&extra_meta);
312         return -1;
313     }
314
315     ff_id3v2_free_extra_meta(&extra_meta);
316
317     codec_params = AV_RB24(&buf[33]);
318
319     st = avformat_new_stream(s, NULL);
320     if (!st)
321         return AVERROR(ENOMEM);
322
323     st->start_time = 0;
324     st->codec->codec_type = AVMEDIA_TYPE_AUDIO;
325     st->codec->codec_tag  = buf[32];
326     st->codec->codec_id   = ff_codec_get_id(ff_oma_codec_tags,
327                                             st->codec->codec_tag);
328
329     switch (buf[32]) {
330     case OMA_CODECID_ATRAC3:
331         samplerate = ff_oma_srate_tab[(codec_params >> 13) & 7] * 100;
332         if (!samplerate) {
333             av_log(s, AV_LOG_ERROR, "Unsupported sample rate\n");
334             return AVERROR_INVALIDDATA;
335         }
336         if (samplerate != 44100)
337             avpriv_request_sample(s, "Sample rate %d", samplerate);
338
339         framesize = (codec_params & 0x3FF) * 8;
340
341         /* get stereo coding mode, 1 for joint-stereo */
342         jsflag = (codec_params >> 17) & 1;
343
344         st->codec->channels    = 2;
345         st->codec->channel_layout = AV_CH_LAYOUT_STEREO;
346         st->codec->sample_rate = samplerate;
347         st->codec->bit_rate    = st->codec->sample_rate * framesize * 8 / 1024;
348
349         /* fake the ATRAC3 extradata
350          * (wav format, makes stream copy to wav work) */
351         st->codec->extradata_size = 14;
352         edata = av_mallocz(14 + FF_INPUT_BUFFER_PADDING_SIZE);
353         if (!edata)
354             return AVERROR(ENOMEM);
355
356         st->codec->extradata = edata;
357         AV_WL16(&edata[0],  1);             // always 1
358         AV_WL32(&edata[2],  samplerate);    // samples rate
359         AV_WL16(&edata[6],  jsflag);        // coding mode
360         AV_WL16(&edata[8],  jsflag);        // coding mode
361         AV_WL16(&edata[10], 1);             // always 1
362         // AV_WL16(&edata[12], 0);          // always 0
363
364         avpriv_set_pts_info(st, 64, 1, st->codec->sample_rate);
365         break;
366     case OMA_CODECID_ATRAC3P:
367         st->codec->channels = (codec_params >> 10) & 7;
368         framesize = ((codec_params & 0x3FF) * 8) + 8;
369         samplerate = ff_oma_srate_tab[(codec_params >> 13) & 7] * 100;
370         if (!samplerate) {
371             av_log(s, AV_LOG_ERROR, "Unsupported sample rate\n");
372             return AVERROR_INVALIDDATA;
373         }
374         st->codec->sample_rate = samplerate;
375         st->codec->bit_rate    = samplerate * framesize * 8 / 1024;
376         avpriv_set_pts_info(st, 64, 1, samplerate);
377         av_log(s, AV_LOG_ERROR, "Unsupported codec ATRAC3+!\n");
378         break;
379     case OMA_CODECID_MP3:
380         st->need_parsing = AVSTREAM_PARSE_FULL;
381         framesize = 1024;
382         break;
383     case OMA_CODECID_LPCM:
384         /* PCM 44.1 kHz 16 bit stereo big-endian */
385         st->codec->channels = 2;
386         st->codec->channel_layout = AV_CH_LAYOUT_STEREO;
387         st->codec->sample_rate = 44100;
388         framesize = 1024;
389         /* bit rate = sample rate x PCM block align (= 4) x 8 */
390         st->codec->bit_rate = st->codec->sample_rate * 32;
391         st->codec->bits_per_coded_sample =
392             av_get_bits_per_sample(st->codec->codec_id);
393         avpriv_set_pts_info(st, 64, 1, st->codec->sample_rate);
394         break;
395     default:
396         av_log(s, AV_LOG_ERROR, "Unsupported codec %d!\n", buf[32]);
397         return AVERROR(ENOSYS);
398     }
399
400     st->codec->block_align = framesize;
401
402     return 0;
403 }
404
405
406 static int oma_read_packet(AVFormatContext *s, AVPacket *pkt)
407 {
408     OMAContext *oc = s->priv_data;
409     int packet_size = s->streams[0]->codec->block_align;
410     int ret = av_get_packet(s->pb, pkt, packet_size);
411
412     if (ret < packet_size)
413         pkt->flags |= AV_PKT_FLAG_CORRUPT;
414
415     if (ret < 0)
416         return ret;
417     if (!ret)
418         return AVERROR_EOF;
419
420     pkt->stream_index = 0;
421
422     if (oc->encrypted) {
423         /* previous unencrypted block saved in IV for
424          * the next packet (CBC mode) */
425         if (ret == packet_size)
426             av_des_crypt(&oc->av_des, pkt->data, pkt->data,
427                          (packet_size >> 3), oc->iv, 1);
428         else
429             memset(oc->iv, 0, 8);
430     }
431
432     return ret;
433 }
434
435 static int oma_read_probe(AVProbeData *p)
436 {
437     const uint8_t *buf;
438     unsigned tag_len = 0;
439
440     buf = p->buf;
441
442     if (p->buf_size < ID3v2_HEADER_SIZE ||
443         !ff_id3v2_match(buf, ID3v2_EA3_MAGIC) ||
444         buf[3] != 3 || // version must be 3
445         buf[4]) // flags byte zero
446         return 0;
447
448     tag_len = ff_id3v2_tag_len(buf);
449
450     /* This check cannot overflow as tag_len has at most 28 bits */
451     if (p->buf_size < tag_len + 5)
452         /* EA3 header comes late, might be outside of the probe buffer */
453         return AVPROBE_SCORE_EXTENSION;
454
455     buf += tag_len;
456
457     if (!memcmp(buf, "EA3", 3) && !buf[4] && buf[5] == EA3_HEADER_SIZE)
458         return AVPROBE_SCORE_MAX;
459     else
460         return 0;
461 }
462
463 static int oma_read_seek(struct AVFormatContext *s,
464                          int stream_index, int64_t timestamp, int flags)
465 {
466     OMAContext *oc = s->priv_data;
467     int err = ff_pcm_read_seek(s, stream_index, timestamp, flags);
468
469     if (!oc->encrypted)
470         return err;
471
472     /* readjust IV for CBC */
473     if (err || avio_tell(s->pb) < oc->content_start)
474         goto wipe;
475     if ((err = avio_seek(s->pb, -8, SEEK_CUR)) < 0)
476         goto wipe;
477     if ((err = avio_read(s->pb, oc->iv, 8)) < 8) {
478         if (err >= 0)
479             err = AVERROR_EOF;
480         goto wipe;
481     }
482
483     return 0;
484 wipe:
485     memset(oc->iv, 0, 8);
486     return err;
487 }
488
489 AVInputFormat ff_oma_demuxer = {
490     .name           = "oma",
491     .long_name      = NULL_IF_CONFIG_SMALL("Sony OpenMG audio"),
492     .priv_data_size = sizeof(OMAContext),
493     .read_probe     = oma_read_probe,
494     .read_header    = oma_read_header,
495     .read_packet    = oma_read_packet,
496     .read_seek      = oma_read_seek,
497     .flags          = AVFMT_GENERIC_INDEX,
498     .extensions     = "oma,omg,aa3",
499     .codec_tag      = (const AVCodecTag* const []){ff_oma_codec_tags, 0},
500 };