tscc2: Fix an out of array access
[ffmpeg.git] / libavcodec / xl.c
1 /*
2  * Miro VideoXL codec
3  * Copyright (c) 2004 Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Miro VideoXL codec.
25  */
26
27 #include "libavutil/common.h"
28 #include "libavutil/intreadwrite.h"
29 #include "avcodec.h"
30
31 typedef struct VideoXLContext{
32     AVCodecContext *avctx;
33     AVFrame pic;
34 } VideoXLContext;
35
36 static const int xl_table[32] = {
37    0,   1,   2,   3,   4,   5,   6,   7,
38    8,   9,  12,  15,  20,  25,  34,  46,
39   64,  82,  94, 103, 108, 113, 116, 119,
40  120, 121, 122, 123, 124, 125, 126, 127};
41
42 static int decode_frame(AVCodecContext *avctx,
43                         void *data, int *data_size,
44                         AVPacket *avpkt)
45 {
46     const uint8_t *buf = avpkt->data;
47     int buf_size = avpkt->size;
48     VideoXLContext * const a = avctx->priv_data;
49     AVFrame * const p = &a->pic;
50     uint8_t *Y, *U, *V;
51     int i, j;
52     int stride;
53     uint32_t val;
54     int y0, y1, y2, y3 = 0, c0 = 0, c1 = 0;
55
56     if(p->data[0])
57         avctx->release_buffer(avctx, p);
58
59     p->reference = 0;
60     if(avctx->get_buffer(avctx, p) < 0){
61         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
62         return -1;
63     }
64     p->pict_type= AV_PICTURE_TYPE_I;
65     p->key_frame= 1;
66
67     Y = a->pic.data[0];
68     U = a->pic.data[1];
69     V = a->pic.data[2];
70
71     stride = avctx->width - 4;
72
73     if (buf_size < avctx->width * avctx->height) {
74         av_log(avctx, AV_LOG_ERROR, "Packet is too small\n");
75         return AVERROR_INVALIDDATA;
76     }
77
78     for (i = 0; i < avctx->height; i++) {
79         /* lines are stored in reversed order */
80         buf += stride;
81
82         for (j = 0; j < avctx->width; j += 4) {
83             /* value is stored in LE dword with word swapped */
84             val = AV_RL32(buf);
85             buf -= 4;
86             val = ((val >> 16) & 0xFFFF) | ((val & 0xFFFF) << 16);
87
88             if(!j)
89                 y0 = (val & 0x1F) << 2;
90             else
91                 y0 = y3 + xl_table[val & 0x1F];
92             val >>= 5;
93             y1 = y0 + xl_table[val & 0x1F];
94             val >>= 5;
95             y2 = y1 + xl_table[val & 0x1F];
96             val >>= 6; /* align to word */
97             y3 = y2 + xl_table[val & 0x1F];
98             val >>= 5;
99             if(!j)
100                 c0 = (val & 0x1F) << 2;
101             else
102                 c0 += xl_table[val & 0x1F];
103             val >>= 5;
104             if(!j)
105                 c1 = (val & 0x1F) << 2;
106             else
107                 c1 += xl_table[val & 0x1F];
108
109             Y[j + 0] = y0 << 1;
110             Y[j + 1] = y1 << 1;
111             Y[j + 2] = y2 << 1;
112             Y[j + 3] = y3 << 1;
113
114             U[j >> 2] = c0 << 1;
115             V[j >> 2] = c1 << 1;
116         }
117
118         buf += avctx->width + 4;
119         Y += a->pic.linesize[0];
120         U += a->pic.linesize[1];
121         V += a->pic.linesize[2];
122     }
123
124     *data_size = sizeof(AVFrame);
125     *(AVFrame*)data = a->pic;
126
127     return buf_size;
128 }
129
130 static av_cold int decode_init(AVCodecContext *avctx){
131 //    VideoXLContext * const a = avctx->priv_data;
132
133     avctx->pix_fmt= AV_PIX_FMT_YUV411P;
134
135     return 0;
136 }
137
138 static av_cold int decode_end(AVCodecContext *avctx){
139     VideoXLContext * const a = avctx->priv_data;
140     AVFrame *pic = &a->pic;
141
142     if (pic->data[0])
143         avctx->release_buffer(avctx, pic);
144
145     return 0;
146 }
147
148 AVCodec ff_xl_decoder = {
149     .name           = "xl",
150     .type           = AVMEDIA_TYPE_VIDEO,
151     .id             = AV_CODEC_ID_VIXL,
152     .priv_data_size = sizeof(VideoXLContext),
153     .init           = decode_init,
154     .close          = decode_end,
155     .decode         = decode_frame,
156     .capabilities   = CODEC_CAP_DR1,
157     .long_name      = NULL_IF_CONFIG_SMALL("Miro VideoXL"),
158 };