Support decoding right-to-left targa files.
[ffmpeg.git] / libavcodec / targa.c
1 /*
2  * Targa (.tga) image decoder
3  * Copyright (c) 2006 Konstantin Shishkov
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/intreadwrite.h"
23 #include "libavutil/imgutils.h"
24 #include "avcodec.h"
25 #include "bytestream.h"
26 #include "targa.h"
27
28 typedef struct TargaContext {
29     AVFrame picture;
30
31     int width, height;
32     int bpp;
33     int color_type;
34     int compression_type;
35 } TargaContext;
36
37 #define CHECK_BUFFER_SIZE(buf, buf_end, needed, where) \
38     if(needed > buf_end - buf){ \
39         av_log(avctx, AV_LOG_ERROR, "Problem: unexpected end of data while reading " where "\n"); \
40         return -1; \
41     } \
42
43 static int targa_decode_rle(AVCodecContext *avctx, TargaContext *s, const uint8_t *src, int src_size, uint8_t *dst, int w, int h, int stride, int bpp)
44 {
45     int i, x, y;
46     int depth = (bpp + 1) >> 3;
47     int type, count;
48     int diff;
49     const uint8_t *src_end = src + src_size;
50
51     diff = stride - w * depth;
52     x = y = 0;
53     while(y < h){
54         CHECK_BUFFER_SIZE(src, src_end, 1, "image type");
55         type = *src++;
56         count = (type & 0x7F) + 1;
57         type &= 0x80;
58         if((x + count > w) && (x + count + 1 > (h - y) * w)){
59             av_log(avctx, AV_LOG_ERROR, "Packet went out of bounds: position (%i,%i) size %i\n", x, y, count);
60             return -1;
61         }
62         if(type){
63             CHECK_BUFFER_SIZE(src, src_end, depth, "image data");
64         }else{
65             CHECK_BUFFER_SIZE(src, src_end, count * depth, "image data");
66         }
67         for(i = 0; i < count; i++){
68             switch(depth){
69             case 1:
70                 *dst = *src;
71                 break;
72             case 2:
73                 *((uint16_t*)dst) = AV_RL16(src);
74                 break;
75             case 3:
76                 dst[0] = src[0];
77                 dst[1] = src[1];
78                 dst[2] = src[2];
79                 break;
80             case 4:
81                 *((uint32_t*)dst) = AV_RL32(src);
82                 break;
83             }
84             dst += depth;
85             if(!type)
86                 src += depth;
87
88             x++;
89             if(x == w){
90                 x = 0;
91                 y++;
92                 dst += diff;
93             }
94         }
95         if(type)
96             src += depth;
97     }
98     return src_size;
99 }
100
101 static int decode_frame(AVCodecContext *avctx,
102                         void *data, int *data_size,
103                         AVPacket *avpkt)
104 {
105     const uint8_t *buf = avpkt->data;
106     const uint8_t *buf_end = avpkt->data + avpkt->size;
107     TargaContext * const s = avctx->priv_data;
108     AVFrame *picture = data;
109     AVFrame * const p= (AVFrame*)&s->picture;
110     uint8_t *dst;
111     int stride;
112     int idlen, pal, compr, y, w, h, bpp, flags;
113     int first_clr, colors, csize;
114
115     /* parse image header */
116     CHECK_BUFFER_SIZE(buf, buf_end, 18, "header");
117     idlen = *buf++;
118     pal = *buf++;
119     compr = *buf++;
120     first_clr = bytestream_get_le16(&buf);
121     colors = bytestream_get_le16(&buf);
122     csize = *buf++;
123     if (!pal && (first_clr || colors || csize)) {
124         av_log(avctx, AV_LOG_WARNING, "File without colormap has colormap information set.\n");
125         // specification says we should ignore those value in this case
126         first_clr = colors = csize = 0;
127     }
128     buf += 2; /* x */
129     y = bytestream_get_le16(&buf);
130     w = bytestream_get_le16(&buf);
131     h = bytestream_get_le16(&buf);
132     bpp = *buf++;
133     flags = *buf++;
134     //skip identifier if any
135     CHECK_BUFFER_SIZE(buf, buf_end, idlen, "identifiers");
136     buf += idlen;
137     s->bpp = bpp;
138     s->width = w;
139     s->height = h;
140     switch(s->bpp){
141     case 8:
142         avctx->pix_fmt = ((compr & (~TGA_RLE)) == TGA_BW) ? PIX_FMT_GRAY8 : PIX_FMT_PAL8;
143         break;
144     case 15:
145         avctx->pix_fmt = PIX_FMT_RGB555;
146         break;
147     case 16:
148         avctx->pix_fmt = PIX_FMT_RGB555;
149         break;
150     case 24:
151         avctx->pix_fmt = PIX_FMT_BGR24;
152         break;
153     case 32:
154         avctx->pix_fmt = PIX_FMT_RGB32;
155         break;
156     default:
157         av_log(avctx, AV_LOG_ERROR, "Bit depth %i is not supported\n", s->bpp);
158         return -1;
159     }
160
161     if(s->picture.data[0])
162         avctx->release_buffer(avctx, &s->picture);
163
164     if(av_image_check_size(w, h, 0, avctx))
165         return -1;
166     if(w != avctx->width || h != avctx->height)
167         avcodec_set_dimensions(avctx, w, h);
168     if(avctx->get_buffer(avctx, p) < 0){
169         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
170         return -1;
171     }
172     if(flags & 0x20){
173         dst = p->data[0];
174         stride = p->linesize[0];
175     }else{ //image is upside-down
176         dst = p->data[0] + p->linesize[0] * (h - 1);
177         stride = -p->linesize[0];
178     }
179
180     if(colors){
181         size_t pal_size;
182         if((colors + first_clr) > 256){
183             av_log(avctx, AV_LOG_ERROR, "Incorrect palette: %i colors with offset %i\n", colors, first_clr);
184             return -1;
185         }
186         if(csize != 24){
187             av_log(avctx, AV_LOG_ERROR, "Palette entry size %i bits is not supported\n", csize);
188             return -1;
189         }
190         pal_size = colors * ((csize + 1) >> 3);
191         CHECK_BUFFER_SIZE(buf, buf_end, pal_size, "color table");
192         if(avctx->pix_fmt != PIX_FMT_PAL8)//should not occur but skip palette anyway
193             buf += pal_size;
194         else{
195             int t;
196             int32_t *pal = ((int32_t*)p->data[1]) + first_clr;
197             for(t = 0; t < colors; t++){
198                 *pal++ = (0xff<<24) | bytestream_get_le24(&buf);
199             }
200             p->palette_has_changed = 1;
201         }
202     }
203     if((compr & (~TGA_RLE)) == TGA_NODATA)
204         memset(p->data[0], 0, p->linesize[0] * s->height);
205     else{
206         if(compr & TGA_RLE){
207             int res = targa_decode_rle(avctx, s, buf, buf_end - buf, dst, avctx->width, avctx->height, stride, bpp);
208             if (res < 0)
209                 return -1;
210             buf += res;
211         }else{
212             size_t img_size = s->width * ((s->bpp + 1) >> 3);
213             CHECK_BUFFER_SIZE(buf, buf_end, img_size, "image data");
214             for(y = 0; y < s->height; y++){
215 #if HAVE_BIGENDIAN
216                 int x;
217                 if((s->bpp + 1) >> 3 == 2){
218                     uint16_t *dst16 = (uint16_t*)dst;
219                     for(x = 0; x < s->width; x++)
220                         dst16[x] = AV_RL16(buf + x * 2);
221                 }else if((s->bpp + 1) >> 3 == 4){
222                     uint32_t *dst32 = (uint32_t*)dst;
223                     for(x = 0; x < s->width; x++)
224                         dst32[x] = AV_RL32(buf + x * 4);
225                 }else
226 #endif
227                     memcpy(dst, buf, img_size);
228
229                 dst += stride;
230                 buf += img_size;
231             }
232         }
233     }
234     if(flags & 0x10){ // right-to-left, needs horizontal flip
235         int x;
236         for(y = 0; y < s->height; y++){
237             void *line = &p->data[0][y * p->linesize[0]];
238             for(x = 0; x < s->width >> 1; x++){
239                 switch(s->bpp){
240                 case 32:
241                     FFSWAP(uint32_t, ((uint32_t *)line)[x], ((uint32_t *)line)[s->width - x]);
242                     break;
243                 case 24:
244                     FFSWAP(uint8_t, ((uint8_t *)line)[3 * x    ], ((uint8_t *)line)[3 * s->width - 3 * x    ]);
245                     FFSWAP(uint8_t, ((uint8_t *)line)[3 * x + 1], ((uint8_t *)line)[3 * s->width - 3 * x + 1]);
246                     FFSWAP(uint8_t, ((uint8_t *)line)[3 * x + 2], ((uint8_t *)line)[3 * s->width - 3 * x + 2]);
247                     break;
248                 case 16:
249                     FFSWAP(uint16_t, ((uint16_t *)line)[x], ((uint16_t *)line)[s->width - x]);
250                     break;
251                 case 8:
252                     FFSWAP(uint8_t, ((uint8_t *)line)[x], ((uint8_t *)line)[s->width - x]);
253                 }
254             }
255         }
256     }
257
258     *picture= *(AVFrame*)&s->picture;
259     *data_size = sizeof(AVPicture);
260
261     return avpkt->size;
262 }
263
264 static av_cold int targa_init(AVCodecContext *avctx){
265     TargaContext *s = avctx->priv_data;
266
267     avcodec_get_frame_defaults((AVFrame*)&s->picture);
268     avctx->coded_frame= (AVFrame*)&s->picture;
269
270     return 0;
271 }
272
273 static av_cold int targa_end(AVCodecContext *avctx){
274     TargaContext *s = avctx->priv_data;
275
276     if(s->picture.data[0])
277         avctx->release_buffer(avctx, &s->picture);
278
279     return 0;
280 }
281
282 AVCodec ff_targa_decoder = {
283     .name           = "targa",
284     .type           = AVMEDIA_TYPE_VIDEO,
285     .id             = CODEC_ID_TARGA,
286     .priv_data_size = sizeof(TargaContext),
287     .init           = targa_init,
288     .close          = targa_end,
289     .decode         = decode_frame,
290     .capabilities   = CODEC_CAP_DR1,
291     .long_name = NULL_IF_CONFIG_SMALL("Truevision Targa image"),
292 };