tiffdec: use a single strip if RowsPerStrip is 0
[ffmpeg.git] / libavcodec / tiff.c
1 /*
2  * TIFF image decoder
3  * Copyright (c) 2006 Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * TIFF image decoder
25  * @author Konstantin Shishkov
26  */
27
28 #include "config.h"
29 #if CONFIG_ZLIB
30 #include <zlib.h>
31 #endif
32
33 #include "libavutil/attributes.h"
34 #include "libavutil/intreadwrite.h"
35 #include "libavutil/imgutils.h"
36 #include "avcodec.h"
37 #include "bytestream.h"
38 #include "faxcompr.h"
39 #include "internal.h"
40 #include "lzw.h"
41 #include "mathops.h"
42 #include "tiff.h"
43
44 typedef struct TiffContext {
45     AVCodecContext *avctx;
46     GetByteContext gb;
47
48     int width, height;
49     unsigned int bpp, bppcount;
50     uint32_t palette[256];
51     int palette_is_set;
52     int le;
53     enum TiffCompr compr;
54     int invert;
55     int fax_opts;
56     int predictor;
57     int fill_order;
58
59     int strips, rps, sstype;
60     int sot;
61     int stripsizesoff, stripsize, stripoff, strippos;
62     LZWState *lzw;
63 } TiffContext;
64
65 static unsigned tget_short(GetByteContext *gb, int le)
66 {
67     return le ? bytestream2_get_le16(gb) : bytestream2_get_be16(gb);
68 }
69
70 static unsigned tget_long(GetByteContext *gb, int le)
71 {
72     return le ? bytestream2_get_le32(gb) : bytestream2_get_be32(gb);
73 }
74
75 static unsigned tget(GetByteContext *gb, int type, int le)
76 {
77     switch (type) {
78     case TIFF_BYTE:  return bytestream2_get_byte(gb);
79     case TIFF_SHORT: return tget_short(gb, le);
80     case TIFF_LONG:  return tget_long(gb, le);
81     default:         return UINT_MAX;
82     }
83 }
84
85 #if CONFIG_ZLIB
86 static int tiff_uncompress(uint8_t *dst, unsigned long *len, const uint8_t *src,
87                            int size)
88 {
89     z_stream zstream = { 0 };
90     int zret;
91
92     zstream.next_in   = src;
93     zstream.avail_in  = size;
94     zstream.next_out  = dst;
95     zstream.avail_out = *len;
96     zret              = inflateInit(&zstream);
97     if (zret != Z_OK) {
98         av_log(NULL, AV_LOG_ERROR, "Inflate init error: %d\n", zret);
99         return zret;
100     }
101     zret = inflate(&zstream, Z_SYNC_FLUSH);
102     inflateEnd(&zstream);
103     *len = zstream.total_out;
104     return zret == Z_STREAM_END ? Z_OK : zret;
105 }
106
107 static int tiff_unpack_zlib(TiffContext *s, uint8_t *dst, int stride,
108                             const uint8_t *src, int size,
109                             int width, int lines)
110 {
111     uint8_t *zbuf;
112     unsigned long outlen;
113     int ret, line;
114     outlen = width * lines;
115     zbuf   = av_malloc(outlen);
116     if (!zbuf)
117         return AVERROR(ENOMEM);
118     ret = tiff_uncompress(zbuf, &outlen, src, size);
119     if (ret != Z_OK) {
120         av_log(s->avctx, AV_LOG_ERROR,
121                "Uncompressing failed (%lu of %lu) with error %d\n", outlen,
122                (unsigned long)width * lines, ret);
123         av_free(zbuf);
124         return AVERROR_UNKNOWN;
125     }
126     src = zbuf;
127     for (line = 0; line < lines; line++) {
128         memcpy(dst, src, width);
129         dst += stride;
130         src += width;
131     }
132     av_free(zbuf);
133     return 0;
134 }
135 #endif
136
137
138 static int tiff_unpack_fax(TiffContext *s, uint8_t *dst, int stride,
139                            const uint8_t *src, int size, int lines)
140 {
141     int i, ret = 0;
142     uint8_t *src2 = av_malloc((unsigned)size +
143                               FF_INPUT_BUFFER_PADDING_SIZE);
144
145     if (!src2) {
146         av_log(s->avctx, AV_LOG_ERROR,
147                "Error allocating temporary buffer\n");
148         return AVERROR(ENOMEM);
149     }
150     if (s->fax_opts & 2) {
151         avpriv_request_sample(s->avctx, "Uncompressed fax mode");
152         av_free(src2);
153         return AVERROR_PATCHWELCOME;
154     }
155     if (!s->fill_order) {
156         memcpy(src2, src, size);
157     } else {
158         for (i = 0; i < size; i++)
159             src2[i] = ff_reverse[src[i]];
160     }
161     memset(src2 + size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
162     ret = ff_ccitt_unpack(s->avctx, src2, size, dst, lines, stride,
163                           s->compr, s->fax_opts);
164     av_free(src2);
165     return ret;
166 }
167
168 static int tiff_unpack_strip(TiffContext *s, uint8_t *dst, int stride,
169                              const uint8_t *src, int size, int lines)
170 {
171     PutByteContext pb;
172     int c, line, pixels, code, ret;
173     int width = ((s->width * s->bpp) + 7) >> 3;
174
175     if (size <= 0)
176         return AVERROR_INVALIDDATA;
177
178     if (s->compr == TIFF_DEFLATE || s->compr == TIFF_ADOBE_DEFLATE) {
179 #if CONFIG_ZLIB
180         return tiff_unpack_zlib(s, dst, stride, src, size, width, lines);
181 #else
182         av_log(s->avctx, AV_LOG_ERROR,
183                "zlib support not enabled, "
184                "deflate compression not supported\n");
185         return AVERROR(ENOSYS);
186 #endif
187     }
188     if (s->compr == TIFF_LZW) {
189         if ((ret = ff_lzw_decode_init(s->lzw, 8, src, size, FF_LZW_TIFF)) < 0) {
190             av_log(s->avctx, AV_LOG_ERROR, "Error initializing LZW decoder\n");
191             return ret;
192         }
193         for (line = 0; line < lines; line++) {
194             pixels = ff_lzw_decode(s->lzw, dst, width);
195             if (pixels < width) {
196                 av_log(s->avctx, AV_LOG_ERROR, "Decoded only %i bytes of %i\n",
197                        pixels, width);
198                 return AVERROR_INVALIDDATA;
199             }
200             dst += stride;
201         }
202         return 0;
203     }
204     if (s->compr == TIFF_CCITT_RLE ||
205         s->compr == TIFF_G3        ||
206         s->compr == TIFF_G4) {
207         return tiff_unpack_fax(s, dst, stride, src, size, lines);
208     }
209
210     bytestream2_init(&s->gb, src, size);
211     bytestream2_init_writer(&pb, dst, stride * lines);
212
213     for (line = 0; line < lines; line++) {
214         if (bytestream2_get_bytes_left(&s->gb) == 0 || bytestream2_get_eof(&pb))
215             break;
216         bytestream2_seek_p(&pb, stride * line, SEEK_SET);
217         switch (s->compr) {
218         case TIFF_RAW:
219             if (!s->fill_order) {
220                 bytestream2_copy_buffer(&pb, &s->gb, width);
221             } else {
222                 int i;
223                 for (i = 0; i < width; i++)
224                     bytestream2_put_byte(&pb, ff_reverse[bytestream2_get_byte(&s->gb)]);
225             }
226             break;
227         case TIFF_PACKBITS:
228             for (pixels = 0; pixels < width;) {
229                 code = ff_u8_to_s8(bytestream2_get_byte(&s->gb));
230                 if (code >= 0) {
231                     code++;
232                     bytestream2_copy_buffer(&pb, &s->gb, code);
233                     pixels += code;
234                 } else if (code != -128) { // -127..-1
235                     code = (-code) + 1;
236                     c    = bytestream2_get_byte(&s->gb);
237                     bytestream2_set_buffer(&pb, c, code);
238                     pixels += code;
239                 }
240             }
241             break;
242         }
243     }
244     return 0;
245 }
246
247 static int init_image(TiffContext *s, AVFrame *frame)
248 {
249     int i, ret;
250     uint32_t *pal;
251
252     switch (s->bpp * 10 + s->bppcount) {
253     case 11:
254         s->avctx->pix_fmt = AV_PIX_FMT_MONOBLACK;
255         break;
256     case 81:
257         s->avctx->pix_fmt = AV_PIX_FMT_PAL8;
258         break;
259     case 243:
260         s->avctx->pix_fmt = AV_PIX_FMT_RGB24;
261         break;
262     case 161:
263         s->avctx->pix_fmt = s->le ? AV_PIX_FMT_GRAY16LE : AV_PIX_FMT_GRAY16BE;
264         break;
265     case 324:
266         s->avctx->pix_fmt = AV_PIX_FMT_RGBA;
267         break;
268     case 483:
269         s->avctx->pix_fmt = s->le ? AV_PIX_FMT_RGB48LE : AV_PIX_FMT_RGB48BE;
270         break;
271     default:
272         av_log(s->avctx, AV_LOG_ERROR,
273                "This format is not supported (bpp=%d, bppcount=%d)\n",
274                s->bpp, s->bppcount);
275         return AVERROR_INVALIDDATA;
276     }
277     if (s->width != s->avctx->width || s->height != s->avctx->height) {
278         ret = ff_set_dimensions(s->avctx, s->width, s->height);
279         if (ret < 0)
280             return ret;
281     }
282     if ((ret = ff_get_buffer(s->avctx, frame, 0)) < 0) {
283         av_log(s->avctx, AV_LOG_ERROR, "get_buffer() failed\n");
284         return ret;
285     }
286     if (s->avctx->pix_fmt == AV_PIX_FMT_PAL8) {
287         if (s->palette_is_set) {
288             memcpy(frame->data[1], s->palette, sizeof(s->palette));
289         } else {
290             /* make default grayscale pal */
291             pal = (uint32_t *) frame->data[1];
292             for (i = 0; i < 256; i++)
293                 pal[i] = i * 0x010101;
294         }
295     }
296     return 0;
297 }
298
299 static int tiff_decode_tag(TiffContext *s)
300 {
301     unsigned tag, type, count, off, value = 0;
302     int i, start;
303     uint32_t *pal;
304
305     if (bytestream2_get_bytes_left(&s->gb) < 12)
306         return AVERROR_INVALIDDATA;
307     tag   = tget_short(&s->gb, s->le);
308     type  = tget_short(&s->gb, s->le);
309     count = tget_long(&s->gb, s->le);
310     off   = tget_long(&s->gb, s->le);
311     start = bytestream2_tell(&s->gb);
312
313     if (type == 0 || type >= FF_ARRAY_ELEMS(type_sizes)) {
314         av_log(s->avctx, AV_LOG_DEBUG, "Unknown tiff type (%u) encountered\n",
315                type);
316         return 0;
317     }
318
319     if (count == 1) {
320         switch (type) {
321         case TIFF_BYTE:
322         case TIFF_SHORT:
323             bytestream2_seek(&s->gb, -4, SEEK_CUR);
324             value = tget(&s->gb, type, s->le);
325             break;
326         case TIFF_LONG:
327             value = off;
328             break;
329         case TIFF_STRING:
330             if (count <= 4) {
331                 bytestream2_seek(&s->gb, -4, SEEK_CUR);
332                 break;
333             }
334         default:
335             value = UINT_MAX;
336             bytestream2_seek(&s->gb, off, SEEK_SET);
337         }
338     } else {
339         if (count <= 4 && type_sizes[type] * count <= 4)
340             bytestream2_seek(&s->gb, -4, SEEK_CUR);
341         else
342             bytestream2_seek(&s->gb, off, SEEK_SET);
343     }
344
345     switch (tag) {
346     case TIFF_WIDTH:
347         s->width = value;
348         break;
349     case TIFF_HEIGHT:
350         s->height = value;
351         break;
352     case TIFF_BPP:
353         s->bppcount = count;
354         if (count > 4) {
355             av_log(s->avctx, AV_LOG_ERROR,
356                    "This format is not supported (bpp=%d, %d components)\n",
357                    s->bpp, count);
358             return AVERROR_INVALIDDATA;
359         }
360         if (count == 1)
361             s->bpp = value;
362         else {
363             switch (type) {
364             case TIFF_BYTE:
365                 s->bpp = (off & 0xFF) + ((off >> 8) & 0xFF) +
366                          ((off >> 16) & 0xFF) + ((off >> 24) & 0xFF);
367                 break;
368             case TIFF_SHORT:
369             case TIFF_LONG:
370                 s->bpp = 0;
371                 for (i = 0; i < count; i++)
372                     s->bpp += tget(&s->gb, type, s->le);
373                 break;
374             default:
375                 s->bpp = -1;
376             }
377         }
378         break;
379     case TIFF_SAMPLES_PER_PIXEL:
380         if (count != 1) {
381             av_log(s->avctx, AV_LOG_ERROR,
382                    "Samples per pixel requires a single value, many provided\n");
383             return AVERROR_INVALIDDATA;
384         }
385         if (s->bppcount == 1)
386             s->bpp *= value;
387         s->bppcount = value;
388         break;
389     case TIFF_COMPR:
390         s->compr     = value;
391         s->predictor = 0;
392         switch (s->compr) {
393         case TIFF_RAW:
394         case TIFF_PACKBITS:
395         case TIFF_LZW:
396         case TIFF_CCITT_RLE:
397             break;
398         case TIFF_G3:
399         case TIFF_G4:
400             s->fax_opts = 0;
401             break;
402         case TIFF_DEFLATE:
403         case TIFF_ADOBE_DEFLATE:
404 #if CONFIG_ZLIB
405             break;
406 #else
407             av_log(s->avctx, AV_LOG_ERROR, "Deflate: ZLib not compiled in\n");
408             return AVERROR(ENOSYS);
409 #endif
410         case TIFF_JPEG:
411         case TIFF_NEWJPEG:
412             avpriv_report_missing_feature(s->avctx, "JPEG compression");
413             return AVERROR_PATCHWELCOME;
414         default:
415             av_log(s->avctx, AV_LOG_ERROR, "Unknown compression method %i\n",
416                    s->compr);
417             return AVERROR_INVALIDDATA;
418         }
419         break;
420     case TIFF_ROWSPERSTRIP:
421         if (!value || (type == TIFF_LONG && value == UINT_MAX))
422             value = s->height;
423         s->rps = FFMIN(value, s->height);
424         break;
425     case TIFF_STRIP_OFFS:
426         if (count == 1) {
427             s->strippos = 0;
428             s->stripoff = value;
429         } else
430             s->strippos = off;
431         s->strips = count;
432         if (s->strips == 1)
433             s->rps = s->height;
434         s->sot = type;
435         break;
436     case TIFF_STRIP_SIZE:
437         if (count == 1) {
438             s->stripsizesoff = 0;
439             s->stripsize     = value;
440             s->strips        = 1;
441         } else {
442             s->stripsizesoff = off;
443         }
444         s->strips = count;
445         s->sstype = type;
446         break;
447     case TIFF_PREDICTOR:
448         s->predictor = value;
449         break;
450     case TIFF_INVERT:
451         switch (value) {
452         case 0:
453             s->invert = 1;
454             break;
455         case 1:
456             s->invert = 0;
457             break;
458         case 2:
459         case 3:
460             break;
461         default:
462             av_log(s->avctx, AV_LOG_ERROR, "Color mode %d is not supported\n",
463                    value);
464             return AVERROR_INVALIDDATA;
465         }
466         break;
467     case TIFF_FILL_ORDER:
468         if (value < 1 || value > 2) {
469             av_log(s->avctx, AV_LOG_ERROR,
470                    "Unknown FillOrder value %d, trying default one\n", value);
471             value = 1;
472         }
473         s->fill_order = value - 1;
474         break;
475     case TIFF_PAL: {
476         GetByteContext pal_gb[3];
477         pal = (uint32_t *) s->palette;
478         off = type_sizes[type];
479         if (count / 3 > 256 ||
480             bytestream2_get_bytes_left(&s->gb) < count / 3 * off * 3)
481             return AVERROR_INVALIDDATA;
482         pal_gb[0] = pal_gb[1] = pal_gb[2] = s->gb;
483         bytestream2_skip(&pal_gb[1], count / 3 * off);
484         bytestream2_skip(&pal_gb[2], count / 3 * off * 2);
485         off = (type_sizes[type] - 1) << 3;
486         for (i = 0; i < count / 3; i++) {
487             uint32_t p = 0xFF000000;
488             p |= (tget(&pal_gb[0], type, s->le) >> off) << 16;
489             p |= (tget(&pal_gb[1], type, s->le) >> off) << 8;
490             p |=  tget(&pal_gb[2], type, s->le) >> off;
491             pal[i] = p;
492         }
493         s->palette_is_set = 1;
494         break;
495     }
496     case TIFF_PLANAR:
497         if (value == 2) {
498             avpriv_report_missing_feature(s->avctx, "Planar format");
499             return AVERROR_PATCHWELCOME;
500         }
501         break;
502     case TIFF_T4OPTIONS:
503         if (s->compr == TIFF_G3)
504             s->fax_opts = value;
505         break;
506     case TIFF_T6OPTIONS:
507         if (s->compr == TIFF_G4)
508             s->fax_opts = value;
509         break;
510     default:
511         if (s->avctx->err_recognition & AV_EF_EXPLODE) {
512             av_log(s->avctx, AV_LOG_ERROR,
513                    "Unknown or unsupported tag %d/0X%0X\n",
514                    tag, tag);
515             return AVERROR_INVALIDDATA;
516         }
517     }
518     bytestream2_seek(&s->gb, start, SEEK_SET);
519     return 0;
520 }
521
522 static int decode_frame(AVCodecContext *avctx,
523                         void *data, int *got_frame, AVPacket *avpkt)
524 {
525     TiffContext *const s = avctx->priv_data;
526     AVFrame *const p = data;
527     unsigned off;
528     int id, le, ret;
529     int i, j, entries, stride;
530     unsigned soff, ssize;
531     uint8_t *dst;
532     GetByteContext stripsizes;
533     GetByteContext stripdata;
534
535     bytestream2_init(&s->gb, avpkt->data, avpkt->size);
536
537     // parse image header
538     if (avpkt->size < 8)
539         return AVERROR_INVALIDDATA;
540     id = bytestream2_get_le16(&s->gb);
541     if (id == 0x4949)
542         le = 1;
543     else if (id == 0x4D4D)
544         le = 0;
545     else {
546         av_log(avctx, AV_LOG_ERROR, "TIFF header not found\n");
547         return AVERROR_INVALIDDATA;
548     }
549     s->le         = le;
550     s->invert     = 0;
551     s->compr      = TIFF_RAW;
552     s->fill_order = 0;
553     // As TIFF 6.0 specification puts it "An arbitrary but carefully chosen number
554     // that further identifies the file as a TIFF file"
555     if (tget_short(&s->gb, le) != 42) {
556         av_log(avctx, AV_LOG_ERROR,
557                "The answer to life, universe and everything is not correct!\n");
558         return AVERROR_INVALIDDATA;
559     }
560     // Reset these offsets so we can tell if they were set this frame
561     s->stripsizesoff = s->strippos = 0;
562     /* parse image file directory */
563     off = tget_long(&s->gb, le);
564     if (off >= UINT_MAX - 14 || avpkt->size < off + 14) {
565         av_log(avctx, AV_LOG_ERROR, "IFD offset is greater than image size\n");
566         return AVERROR_INVALIDDATA;
567     }
568     bytestream2_seek(&s->gb, off, SEEK_SET);
569     entries = tget_short(&s->gb, le);
570     for (i = 0; i < entries; i++) {
571         if ((ret = tiff_decode_tag(s)) < 0)
572             return ret;
573     }
574     if (!s->strippos && !s->stripoff) {
575         av_log(avctx, AV_LOG_ERROR, "Image data is missing\n");
576         return AVERROR_INVALIDDATA;
577     }
578     /* now we have the data and may start decoding */
579     if ((ret = init_image(s, p)) < 0)
580         return ret;
581
582     if (s->strips == 1 && !s->stripsize) {
583         av_log(avctx, AV_LOG_WARNING, "Image data size missing\n");
584         s->stripsize = avpkt->size - s->stripoff;
585     }
586     stride = p->linesize[0];
587     dst    = p->data[0];
588
589     if (s->stripsizesoff) {
590         if (s->stripsizesoff >= avpkt->size)
591             return AVERROR_INVALIDDATA;
592         bytestream2_init(&stripsizes, avpkt->data + s->stripsizesoff,
593                          avpkt->size - s->stripsizesoff);
594     }
595     if (s->strippos) {
596         if (s->strippos >= avpkt->size)
597             return AVERROR_INVALIDDATA;
598         bytestream2_init(&stripdata, avpkt->data + s->strippos,
599                          avpkt->size - s->strippos);
600     }
601
602     for (i = 0; i < s->height; i += s->rps) {
603         if (s->stripsizesoff)
604             ssize = tget(&stripsizes, s->sstype, le);
605         else
606             ssize = s->stripsize;
607
608         if (s->strippos)
609             soff = tget(&stripdata, s->sot, le);
610         else
611             soff = s->stripoff;
612
613         if (soff > avpkt->size || ssize > avpkt->size - soff) {
614             av_log(avctx, AV_LOG_ERROR, "Invalid strip size/offset\n");
615             return AVERROR_INVALIDDATA;
616         }
617         if ((ret = tiff_unpack_strip(s, dst, stride, avpkt->data + soff, ssize,
618                                      FFMIN(s->rps, s->height - i))) < 0) {
619             if (avctx->err_recognition & AV_EF_EXPLODE)
620                 return ret;
621             break;
622         }
623         dst += s->rps * stride;
624     }
625     if (s->predictor == 2) {
626         dst   = p->data[0];
627         soff  = s->bpp >> 3;
628         ssize = s->width * soff;
629         for (i = 0; i < s->height; i++) {
630             for (j = soff; j < ssize; j++)
631                 dst[j] += dst[j - soff];
632             dst += stride;
633         }
634     }
635
636     if (s->invert) {
637         dst = p->data[0];
638         for (i = 0; i < s->height; i++) {
639             for (j = 0; j < p->linesize[0]; j++)
640                 dst[j] = 255 - dst[j];
641             dst += stride;
642         }
643     }
644     *got_frame = 1;
645
646     return avpkt->size;
647 }
648
649 static av_cold int tiff_init(AVCodecContext *avctx)
650 {
651     TiffContext *s = avctx->priv_data;
652
653     s->width  = 0;
654     s->height = 0;
655     s->avctx  = avctx;
656     ff_lzw_decode_open(&s->lzw);
657     ff_ccitt_unpack_init();
658
659     return 0;
660 }
661
662 static av_cold int tiff_end(AVCodecContext *avctx)
663 {
664     TiffContext *const s = avctx->priv_data;
665
666     ff_lzw_decode_close(&s->lzw);
667     return 0;
668 }
669
670 AVCodec ff_tiff_decoder = {
671     .name           = "tiff",
672     .long_name      = NULL_IF_CONFIG_SMALL("TIFF image"),
673     .type           = AVMEDIA_TYPE_VIDEO,
674     .id             = AV_CODEC_ID_TIFF,
675     .priv_data_size = sizeof(TiffContext),
676     .init           = tiff_init,
677     .close          = tiff_end,
678     .decode         = decode_frame,
679     .capabilities   = CODEC_CAP_DR1,
680 };