hevc_deblock: Fix compilation with nasm
[ffmpeg.git] / libavcodec / sgidec.c
1 /*
2  * SGI image decoder
3  * Todd Kirby <doubleshot@pacbell.net>
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 #include "libavutil/imgutils.h"
23 #include "avcodec.h"
24 #include "bytestream.h"
25 #include "internal.h"
26 #include "sgi.h"
27
28 typedef struct SgiState {
29     AVCodecContext *avctx;
30     unsigned int width;
31     unsigned int height;
32     unsigned int depth;
33     unsigned int bytes_per_channel;
34     int linesize;
35     GetByteContext g;
36 } SgiState;
37
38 /**
39  * Expand an RLE row into a channel.
40  * @param s the current image state
41  * @param out_buf Points to one line after the output buffer.
42  * @param len length of out_buf in bytes
43  * @param pixelstride pixel stride of input buffer
44  * @return size of output in bytes, -1 if buffer overflows
45  */
46 static int expand_rle_row8(SgiState *s, uint8_t *out_buf,
47                            int len, int pixelstride)
48 {
49     unsigned char pixel, count;
50     unsigned char *orig = out_buf;
51     uint8_t *out_end = out_buf + len;
52
53     while (out_buf < out_end) {
54         if (bytestream2_get_bytes_left(&s->g) < 1)
55             return AVERROR_INVALIDDATA;
56         pixel = bytestream2_get_byteu(&s->g);
57         if (!(count = (pixel & 0x7f))) {
58             break;
59         }
60
61         /* Check for buffer overflow. */
62         if (pixelstride * (count - 1) >= len) {
63             av_log(s->avctx, AV_LOG_ERROR, "Invalid pixel count.\n");
64             return AVERROR_INVALIDDATA;
65         }
66
67         if (pixel & 0x80) {
68             while (count--) {
69                 *out_buf = bytestream2_get_byte(&s->g);
70                 out_buf += pixelstride;
71             }
72         } else {
73             pixel = bytestream2_get_byte(&s->g);
74
75             while (count--) {
76                 *out_buf = pixel;
77                 out_buf += pixelstride;
78             }
79         }
80     }
81     return (out_buf - orig) / pixelstride;
82 }
83
84 static int expand_rle_row16(SgiState *s, uint16_t *out_buf,
85                             int len, int pixelstride)
86 {
87     unsigned short pixel;
88     unsigned char count;
89     unsigned short *orig = out_buf;
90     uint16_t *out_end = out_buf + len;
91
92     while (out_buf < out_end) {
93         if (bytestream2_get_bytes_left(&s->g) < 2)
94             return AVERROR_INVALIDDATA;
95         pixel = bytestream2_get_be16u(&s->g);
96         if (!(count = (pixel & 0x7f)))
97             break;
98
99         /* Check for buffer overflow. */
100         if (pixelstride * (count - 1) >= len) {
101             av_log(s->avctx, AV_LOG_ERROR, "Invalid pixel count.\n");
102             return AVERROR_INVALIDDATA;
103         }
104
105         if (pixel & 0x80) {
106             while (count--) {
107                 pixel = bytestream2_get_ne16(&s->g);
108                 AV_WN16A(out_buf, pixel);
109                 out_buf += pixelstride;
110             }
111         } else {
112             pixel = bytestream2_get_ne16(&s->g);
113
114             while (count--) {
115                 AV_WN16A(out_buf, pixel);
116                 out_buf += pixelstride;
117             }
118         }
119     }
120     return (out_buf - orig) / pixelstride;
121 }
122
123
124 /**
125  * Read a run length encoded SGI image.
126  * @param out_buf output buffer
127  * @param s the current image state
128  * @return 0 if no error, else return error number.
129  */
130 static int read_rle_sgi(uint8_t *out_buf, SgiState *s)
131 {
132     uint8_t *dest_row;
133     unsigned int len = s->height * s->depth * 4;
134     GetByteContext g_table = s->g;
135     unsigned int y, z;
136     unsigned int start_offset;
137     int linesize, ret;
138
139     /* size of  RLE offset and length tables */
140     if (len * 2 > bytestream2_get_bytes_left(&s->g)) {
141         return AVERROR_INVALIDDATA;
142     }
143
144     for (z = 0; z < s->depth; z++) {
145         dest_row = out_buf;
146         for (y = 0; y < s->height; y++) {
147             linesize = s->width * s->depth * s->bytes_per_channel;
148             dest_row -= s->linesize;
149             start_offset = bytestream2_get_be32(&g_table);
150             bytestream2_seek(&s->g, start_offset, SEEK_SET);
151             if (s->bytes_per_channel == 1)
152                 ret = expand_rle_row8(s, dest_row + z, linesize, s->depth);
153             else
154                 ret = expand_rle_row16(s, (uint16_t *)dest_row + z, linesize, s->depth);
155             if (ret != s->width)
156                 return AVERROR_INVALIDDATA;
157         }
158     }
159     return 0;
160 }
161
162 /**
163  * Read an uncompressed SGI image.
164  * @param out_buf output buffer
165  * @param s the current image state
166  * @return 0 if read success, otherwise return -1.
167  */
168 static int read_uncompressed_sgi(unsigned char *out_buf, SgiState *s)
169 {
170     int x, y, z;
171     unsigned int offset = s->height * s->width * s->bytes_per_channel;
172     GetByteContext gp[4];
173     uint8_t *out_end;
174
175     /* Test buffer size. */
176     if (offset * s->depth > bytestream2_get_bytes_left(&s->g))
177         return AVERROR_INVALIDDATA;
178
179     /* Create a reader for each plane */
180     for (z = 0; z < s->depth; z++) {
181         gp[z] = s->g;
182         bytestream2_skip(&gp[z], z * offset);
183     }
184
185     for (y = s->height - 1; y >= 0; y--) {
186         out_end = out_buf + (y * s->linesize);
187         if (s->bytes_per_channel == 1) {
188             for (x = s->width; x > 0; x--)
189                 for (z = 0; z < s->depth; z++)
190                     *out_end++ = bytestream2_get_byteu(&gp[z]);
191         } else {
192             uint16_t *out16 = (uint16_t *)out_end;
193             for (x = s->width; x > 0; x--)
194                 for (z = 0; z < s->depth; z++)
195                     *out16++ = bytestream2_get_ne16u(&gp[z]);
196         }
197     }
198     return 0;
199 }
200
201 static int decode_frame(AVCodecContext *avctx,
202                         void *data, int *got_frame,
203                         AVPacket *avpkt)
204 {
205     SgiState *s = avctx->priv_data;
206     AVFrame *p = data;
207     unsigned int dimension, rle;
208     int ret = 0;
209     uint8_t *out_buf, *out_end;
210
211     bytestream2_init(&s->g, avpkt->data, avpkt->size);
212     if (bytestream2_get_bytes_left(&s->g) < SGI_HEADER_SIZE) {
213         av_log(avctx, AV_LOG_ERROR, "buf_size too small (%d)\n", avpkt->size);
214         return AVERROR_INVALIDDATA;
215     }
216
217     /* Test for SGI magic. */
218     if (bytestream2_get_be16(&s->g) != SGI_MAGIC) {
219         av_log(avctx, AV_LOG_ERROR, "bad magic number\n");
220         return AVERROR_INVALIDDATA;
221     }
222
223     rle                  = bytestream2_get_byte(&s->g);
224     s->bytes_per_channel = bytestream2_get_byte(&s->g);
225     dimension            = bytestream2_get_be16(&s->g);
226     s->width             = bytestream2_get_be16(&s->g);
227     s->height            = bytestream2_get_be16(&s->g);
228     s->depth             = bytestream2_get_be16(&s->g);
229
230     if (s->bytes_per_channel != 1 && s->bytes_per_channel != 2) {
231         av_log(avctx, AV_LOG_ERROR, "wrong channel number\n");
232         return -1;
233     }
234
235     /* Check for supported image dimensions. */
236     if (dimension != 2 && dimension != 3) {
237         av_log(avctx, AV_LOG_ERROR, "wrong dimension number\n");
238         return -1;
239     }
240
241     if (s->depth == SGI_GRAYSCALE) {
242         avctx->pix_fmt = s->bytes_per_channel == 2 ? AV_PIX_FMT_GRAY16BE : AV_PIX_FMT_GRAY8;
243     } else if (s->depth == SGI_RGB) {
244         avctx->pix_fmt = s->bytes_per_channel == 2 ? AV_PIX_FMT_RGB48BE : AV_PIX_FMT_RGB24;
245     } else if (s->depth == SGI_RGBA) {
246         avctx->pix_fmt = s->bytes_per_channel == 2 ? AV_PIX_FMT_RGBA64BE : AV_PIX_FMT_RGBA;
247     } else {
248         av_log(avctx, AV_LOG_ERROR, "wrong picture format\n");
249         return -1;
250     }
251
252     ret = ff_set_dimensions(avctx, s->width, s->height);
253     if (ret < 0)
254         return ret;
255
256     if (ff_get_buffer(avctx, p, 0) < 0) {
257         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed.\n");
258         return -1;
259     }
260
261     p->pict_type = AV_PICTURE_TYPE_I;
262     p->key_frame = 1;
263     out_buf = p->data[0];
264
265     out_end = out_buf + p->linesize[0] * s->height;
266
267     s->linesize = p->linesize[0];
268
269     /* Skip header. */
270     bytestream2_seek(&s->g, SGI_HEADER_SIZE, SEEK_SET);
271     if (rle) {
272         ret = read_rle_sgi(out_end, s);
273     } else {
274         ret = read_uncompressed_sgi(out_buf, s);
275     }
276
277     if (ret == 0) {
278         *got_frame = 1;
279         return avpkt->size;
280     } else {
281         return ret;
282     }
283 }
284
285 static av_cold int sgi_decode_init(AVCodecContext *avctx)
286 {
287     SgiState *s = avctx->priv_data;
288
289     s->avctx = avctx;
290
291     return 0;
292 }
293
294 AVCodec ff_sgi_decoder = {
295     .name           = "sgi",
296     .long_name      = NULL_IF_CONFIG_SMALL("SGI image"),
297     .type           = AVMEDIA_TYPE_VIDEO,
298     .id             = AV_CODEC_ID_SGI,
299     .priv_data_size = sizeof(SgiState),
300     .decode         = decode_frame,
301     .init           = sgi_decode_init,
302     .capabilities   = CODEC_CAP_DR1,
303 };