aasc: fix out of array write
[ffmpeg.git] / libavcodec / aasc.c
1 /*
2  * Autodesk RLE Decoder
3  * Copyright (C) 2005 the ffmpeg project
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Autodesk RLE Video Decoder by Konstantin Shishkov
25  */
26
27 #include <stdio.h>
28 #include <stdlib.h>
29 #include <string.h>
30
31 #include "avcodec.h"
32 #include "dsputil.h"
33 #include "msrledec.h"
34
35 typedef struct AascContext {
36     AVCodecContext *avctx;
37     GetByteContext gb;
38     AVFrame frame;
39 } AascContext;
40
41 static av_cold int aasc_decode_init(AVCodecContext *avctx)
42 {
43     AascContext *s = avctx->priv_data;
44
45     s->avctx = avctx;
46     switch (avctx->bits_per_coded_sample) {
47     case 16:
48         avctx->pix_fmt = PIX_FMT_RGB555;
49         break;
50     case 24:
51         avctx->pix_fmt = PIX_FMT_BGR24;
52         break;
53     default:
54         av_log(avctx, AV_LOG_ERROR, "Unsupported bit depth: %d\n", avctx->bits_per_coded_sample);
55         return -1;
56     }
57     avcodec_get_frame_defaults(&s->frame);
58
59     return 0;
60 }
61
62 static int aasc_decode_frame(AVCodecContext *avctx,
63                               void *data, int *data_size,
64                               AVPacket *avpkt)
65 {
66     const uint8_t *buf = avpkt->data;
67     int buf_size = avpkt->size;
68     AascContext *s = avctx->priv_data;
69     int compr, i, stride, psize;
70
71     s->frame.reference = 3;
72     s->frame.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE | FF_BUFFER_HINTS_REUSABLE;
73     if (avctx->reget_buffer(avctx, &s->frame)) {
74         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
75         return -1;
76     }
77
78     compr = AV_RL32(buf);
79     buf += 4;
80     buf_size -= 4;
81     psize = avctx->bits_per_coded_sample / 8;
82     switch (avctx->codec_tag) {
83     case MKTAG('A', 'A', 'S', '4'):
84         bytestream2_init(&s->gb, buf - 4, buf_size + 4);
85         ff_msrle_decode(avctx, (AVPicture*)&s->frame, 8, &s->gb);
86         break;
87     case MKTAG('A', 'A', 'S', 'C'):
88     switch(compr){
89     case 0:
90         stride = (avctx->width * psize + psize) & ~psize;
91         for(i = avctx->height - 1; i >= 0; i--){
92             if(avctx->width * psize > buf_size){
93                 av_log(avctx, AV_LOG_ERROR, "Next line is beyond buffer bounds\n");
94                 break;
95             }
96             memcpy(s->frame.data[0] + i*s->frame.linesize[0], buf, avctx->width * psize);
97             buf += stride;
98             buf_size -= stride;
99         }
100         break;
101     case 1:
102         bytestream2_init(&s->gb, buf, buf_size);
103         ff_msrle_decode(avctx, (AVPicture*)&s->frame, 8, &s->gb);
104         break;
105     default:
106         av_log(avctx, AV_LOG_ERROR, "Unknown compression type %d\n", compr);
107         return -1;
108     }
109         break;
110     default:
111         av_log(avctx, AV_LOG_ERROR, "Unknown FourCC: %X\n", avctx->codec_tag);
112         return -1;
113     }
114
115     *data_size = sizeof(AVFrame);
116     *(AVFrame*)data = s->frame;
117
118     /* report that the buffer was completely consumed */
119     return buf_size;
120 }
121
122 static av_cold int aasc_decode_end(AVCodecContext *avctx)
123 {
124     AascContext *s = avctx->priv_data;
125
126     /* release the last frame */
127     if (s->frame.data[0])
128         avctx->release_buffer(avctx, &s->frame);
129
130     return 0;
131 }
132
133 AVCodec ff_aasc_decoder = {
134     .name           = "aasc",
135     .type           = AVMEDIA_TYPE_VIDEO,
136     .id             = AV_CODEC_ID_AASC,
137     .priv_data_size = sizeof(AascContext),
138     .init           = aasc_decode_init,
139     .close          = aasc_decode_end,
140     .decode         = aasc_decode_frame,
141     .capabilities   = CODEC_CAP_DR1,
142     .long_name      = NULL_IF_CONFIG_SMALL("Autodesk RLE"),
143 };