vda: Check the correct pointer for buffer allocation
[ffmpeg.git] / libavcodec / tiffenc.c
1 /*
2  * TIFF image encoder
3  * Copyright (c) 2007 Bartlomiej Wolowiec
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * TIFF image encoder
25  * @author Bartlomiej Wolowiec
26  */
27
28 #include "config.h"
29 #if CONFIG_ZLIB
30 #include <zlib.h>
31 #endif
32
33 #include "libavutil/log.h"
34 #include "libavutil/opt.h"
35 #include "libavutil/pixdesc.h"
36 #include "avcodec.h"
37 #include "bytestream.h"
38 #include "lzw.h"
39 #include "put_bits.h"
40 #include "rle.h"
41 #include "tiff.h"
42
43 #define TIFF_MAX_ENTRY 32
44
45 /** sizes of various TIFF field types (string size = 1)*/
46 static const uint8_t type_sizes2[6] = {
47     0, 1, 1, 2, 4, 8
48 };
49
50 typedef struct TiffEncoderContext {
51     AVClass *class;                         ///< for private options
52     AVCodecContext *avctx;
53
54     int width;                              ///< picture width
55     int height;                             ///< picture height
56     unsigned int bpp;                       ///< bits per pixel
57     int compr;                              ///< compression level
58     int bpp_tab_size;                       ///< bpp_tab size
59     enum TiffPhotometric photometric_interpretation;  ///< photometric interpretation
60     int strips;                             ///< number of strips
61     int rps;                                ///< row per strip
62     uint8_t entries[TIFF_MAX_ENTRY * 12];   ///< entries in header
63     int num_entries;                        ///< number of entries
64     uint8_t **buf;                          ///< actual position in buffer
65     uint8_t *buf_start;                     ///< pointer to first byte in buffer
66     int buf_size;                           ///< buffer size
67     uint16_t subsampling[2];                ///< YUV subsampling factors
68     struct LZWEncodeState *lzws;            ///< LZW encode state
69 } TiffEncoderContext;
70
71 /**
72  * Check free space in buffer
73  * @param s Tiff context
74  * @param need Needed bytes
75  * @return 0 - ok, 1 - no free space
76  */
77 static inline int check_size(TiffEncoderContext *s, uint64_t need)
78 {
79     if (s->buf_size < *s->buf - s->buf_start + need) {
80         *s->buf = s->buf_start + s->buf_size + 1;
81         av_log(s->avctx, AV_LOG_ERROR, "Buffer is too small\n");
82         return 1;
83     }
84     return 0;
85 }
86
87 /**
88  * Put n values to buffer
89  *
90  * @param p Pointer to pointer to output buffer
91  * @param n Number of values
92  * @param val Pointer to values
93  * @param type Type of values
94  * @param flip =0 - normal copy, >0 - flip
95  */
96 static void tnput(uint8_t **p, int n, const uint8_t *val, enum TiffTypes type,
97                   int flip)
98 {
99     int i;
100 #if HAVE_BIGENDIAN
101     flip ^= ((int[]) { 0, 0, 0, 1, 3, 3 })[type];
102 #endif
103     for (i = 0; i < n * type_sizes2[type]; i++)
104         *(*p)++ = val[i ^ flip];
105 }
106
107 /**
108  * Add entry to directory in tiff header.
109  * @param s Tiff context
110  * @param tag Tag that identifies the entry
111  * @param type Entry type
112  * @param count The number of values
113  * @param ptr_val Pointer to values
114  */
115 static int add_entry(TiffEncoderContext *s, enum TiffTags tag,
116                      enum TiffTypes type, int count, const void *ptr_val)
117 {
118     uint8_t *entries_ptr = s->entries + 12 * s->num_entries;
119
120     assert(s->num_entries < TIFF_MAX_ENTRY);
121
122     bytestream_put_le16(&entries_ptr, tag);
123     bytestream_put_le16(&entries_ptr, type);
124     bytestream_put_le32(&entries_ptr, count);
125
126     if (type_sizes[type] * count <= 4) {
127         tnput(&entries_ptr, count, ptr_val, type, 0);
128     } else {
129         bytestream_put_le32(&entries_ptr, *s->buf - s->buf_start);
130         if (check_size(s, count * type_sizes2[type]))
131             return AVERROR_INVALIDDATA;
132         tnput(s->buf, count, ptr_val, type, 0);
133     }
134
135     s->num_entries++;
136     return 0;
137 }
138
139 static int add_entry1(TiffEncoderContext *s,
140                       enum TiffTags tag, enum TiffTypes type, int val)
141 {
142     uint16_t w  = val;
143     uint32_t dw = val;
144     return add_entry(s, tag, type, 1,
145                      type == TIFF_SHORT ? (void *)&w : (void *)&dw);
146 }
147
148 /**
149  * Encode one strip in tiff file
150  *
151  * @param s Tiff context
152  * @param src Input buffer
153  * @param dst Output buffer
154  * @param n Size of input buffer
155  * @param compr Compression method
156  * @return Number of output bytes. If an output error is encountered, a negative
157  * value corresponding to an AVERROR error code is returned.
158  */
159 static int encode_strip(TiffEncoderContext *s, const int8_t *src,
160                         uint8_t *dst, int n, int compr)
161 {
162     switch (compr) {
163 #if CONFIG_ZLIB
164     case TIFF_DEFLATE:
165     case TIFF_ADOBE_DEFLATE:
166     {
167         unsigned long zlen = s->buf_size - (*s->buf - s->buf_start);
168         if (compress(dst, &zlen, src, n) != Z_OK) {
169             av_log(s->avctx, AV_LOG_ERROR, "Compressing failed\n");
170             return AVERROR_UNKNOWN;
171         }
172         return zlen;
173     }
174 #endif
175     case TIFF_RAW:
176         if (check_size(s, n))
177             return AVERROR(EINVAL);
178         memcpy(dst, src, n);
179         return n;
180     case TIFF_PACKBITS:
181         return ff_rle_encode(dst, s->buf_size - (*s->buf - s->buf_start),
182                              src, 1, n, 2, 0xff, -1, 0);
183     case TIFF_LZW:
184         return ff_lzw_encode(s->lzws, src, n);
185     default:
186         return AVERROR(EINVAL);
187     }
188 }
189
190 static void pack_yuv(TiffEncoderContext *s, const AVFrame *p,
191                      uint8_t *dst, int lnum)
192 {
193     int i, j, k;
194     int w       = (s->width - 1) / s->subsampling[0] + 1;
195     uint8_t *pu = &p->data[1][lnum / s->subsampling[1] * p->linesize[1]];
196     uint8_t *pv = &p->data[2][lnum / s->subsampling[1] * p->linesize[2]];
197     for (i = 0; i < w; i++) {
198         for (j = 0; j < s->subsampling[1]; j++)
199             for (k = 0; k < s->subsampling[0]; k++)
200                 *dst++ = p->data[0][(lnum + j) * p->linesize[0] +
201                                     i * s->subsampling[0] + k];
202         *dst++ = *pu++;
203         *dst++ = *pv++;
204     }
205 }
206
207 #define ADD_ENTRY(s, tag, type, count, ptr_val)         \
208     do {                                                \
209         ret = add_entry(s, tag, type, count, ptr_val);  \
210         if (ret < 0)                                    \
211             goto fail;                                  \
212     } while(0);
213
214 #define ADD_ENTRY1(s, tag, type, val)           \
215     do {                                        \
216         ret = add_entry1(s, tag, type, val);    \
217         if (ret < 0)                            \
218             goto fail;                          \
219     } while(0);
220
221 static int encode_frame(AVCodecContext *avctx, AVPacket *pkt,
222                         const AVFrame *pict, int *got_packet)
223 {
224     TiffEncoderContext *s = avctx->priv_data;
225     const AVFrame *const p = pict;
226     int i;
227     uint8_t *ptr;
228     uint8_t *offset;
229     uint32_t strips;
230     uint32_t *strip_sizes   = NULL;
231     uint32_t *strip_offsets = NULL;
232     int bytes_per_row;
233     uint32_t res[2]    = { 72, 1 };     // image resolution (72/1)
234     uint16_t bpp_tab[] = { 8, 8, 8, 8 };
235     int ret = 0;
236     int is_yuv = 0;
237     uint8_t *yuv_line = NULL;
238     int shift_h, shift_v;
239     int packet_size;
240     const AVPixFmtDescriptor *pfd;
241
242     s->avctx = avctx;
243
244     s->width          = avctx->width;
245     s->height         = avctx->height;
246     s->subsampling[0] = 1;
247     s->subsampling[1] = 1;
248
249     switch (avctx->pix_fmt) {
250     case AV_PIX_FMT_RGBA64LE:
251     case AV_PIX_FMT_RGB48LE:
252     case AV_PIX_FMT_GRAY16LE:
253     case AV_PIX_FMT_RGBA:
254     case AV_PIX_FMT_RGB24:
255     case AV_PIX_FMT_GRAY8:
256     case AV_PIX_FMT_PAL8:
257         pfd    = av_pix_fmt_desc_get(avctx->pix_fmt);
258         s->bpp = av_get_bits_per_pixel(pfd);
259         if (pfd->flags & AV_PIX_FMT_FLAG_PAL)
260             s->photometric_interpretation = TIFF_PHOTOMETRIC_PALETTE;
261         else if (pfd->flags & AV_PIX_FMT_FLAG_RGB)
262             s->photometric_interpretation = TIFF_PHOTOMETRIC_RGB;
263         else
264             s->photometric_interpretation = TIFF_PHOTOMETRIC_BLACK_IS_ZERO;
265         s->bpp_tab_size = pfd->nb_components;
266         for (i = 0; i < s->bpp_tab_size; i++)
267             bpp_tab[i] = s->bpp / s->bpp_tab_size;
268         break;
269     case AV_PIX_FMT_MONOBLACK:
270         s->bpp                        = 1;
271         s->photometric_interpretation = TIFF_PHOTOMETRIC_BLACK_IS_ZERO;
272         s->bpp_tab_size               = 0;
273         break;
274     case AV_PIX_FMT_MONOWHITE:
275         s->bpp                        = 1;
276         s->photometric_interpretation = TIFF_PHOTOMETRIC_WHITE_IS_ZERO;
277         s->bpp_tab_size               = 0;
278         break;
279     case AV_PIX_FMT_YUV420P:
280     case AV_PIX_FMT_YUV422P:
281     case AV_PIX_FMT_YUV444P:
282     case AV_PIX_FMT_YUV410P:
283     case AV_PIX_FMT_YUV411P:
284         av_pix_fmt_get_chroma_sub_sample(avctx->pix_fmt, &shift_h, &shift_v);
285         s->photometric_interpretation = TIFF_PHOTOMETRIC_YCBCR;
286         s->bpp                        = 8 + (16 >> (shift_h + shift_v));
287         s->subsampling[0]             = 1 << shift_h;
288         s->subsampling[1]             = 1 << shift_v;
289         s->bpp_tab_size               = 3;
290         is_yuv                        = 1;
291         break;
292     default:
293         av_log(s->avctx, AV_LOG_ERROR,
294                "This colors format is not supported\n");
295         return AVERROR(EINVAL);
296     }
297
298     if (s->compr == TIFF_DEFLATE       ||
299         s->compr == TIFF_ADOBE_DEFLATE ||
300         s->compr == TIFF_LZW)
301         // best choice for DEFLATE
302         s->rps = s->height;
303     else
304         // suggest size of strip
305         s->rps = FFMAX(8192 / (((s->width * s->bpp) >> 3) + 1), 1);
306     // round rps up
307     s->rps = ((s->rps - 1) / s->subsampling[1] + 1) * s->subsampling[1];
308
309     strips = (s->height - 1) / s->rps + 1;
310
311     packet_size = avctx->height * ((avctx->width * s->bpp + 7) >> 3) * 2 +
312                   avctx->height * 4 + FF_MIN_BUFFER_SIZE;
313
314     if (!pkt->data &&
315         (ret = av_new_packet(pkt, packet_size)) < 0) {
316         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
317         return ret;
318     }
319     ptr          = pkt->data;
320     s->buf_start = pkt->data;
321     s->buf       = &ptr;
322     s->buf_size  = pkt->size;
323
324     if (check_size(s, 8)) {
325         ret = AVERROR(EINVAL);
326         goto fail;
327     }
328
329     // write header
330     bytestream_put_le16(&ptr, 0x4949);
331     bytestream_put_le16(&ptr, 42);
332
333     offset = ptr;
334     bytestream_put_le32(&ptr, 0);
335
336     strip_sizes   = av_mallocz_array(strips, sizeof(*strip_sizes));
337     strip_offsets = av_mallocz_array(strips, sizeof(*strip_offsets));
338     if (!strip_sizes || !strip_offsets) {
339         ret = AVERROR(ENOMEM);
340         goto fail;
341     }
342
343     bytes_per_row = (((s->width - 1) / s->subsampling[0] + 1) * s->bpp *
344                      s->subsampling[0] * s->subsampling[1] + 7) >> 3;
345     if (is_yuv) {
346         yuv_line = av_malloc(bytes_per_row);
347         if (!yuv_line) {
348             av_log(s->avctx, AV_LOG_ERROR, "Not enough memory\n");
349             ret = AVERROR(ENOMEM);
350             goto fail;
351         }
352     }
353
354 #if CONFIG_ZLIB
355     if (s->compr == TIFF_DEFLATE || s->compr == TIFF_ADOBE_DEFLATE) {
356         uint8_t *zbuf;
357         int zlen, zn;
358         int j;
359
360         zlen = bytes_per_row * s->rps;
361         zbuf = av_malloc(zlen);
362         if (!zbuf) {
363             ret = AVERROR(ENOMEM);
364             goto fail;
365         }
366         strip_offsets[0] = ptr - pkt->data;
367         zn               = 0;
368         for (j = 0; j < s->rps; j++) {
369             if (is_yuv) {
370                 pack_yuv(s, p, yuv_line, j);
371                 memcpy(zbuf + zn, yuv_line, bytes_per_row);
372                 j += s->subsampling[1] - 1;
373             } else
374                 memcpy(zbuf + j * bytes_per_row,
375                        p->data[0] + j * p->linesize[0], bytes_per_row);
376             zn += bytes_per_row;
377         }
378         ret = encode_strip(s, zbuf, ptr, zn, s->compr);
379         av_free(zbuf);
380         if (ret < 0) {
381             av_log(s->avctx, AV_LOG_ERROR, "Encode strip failed\n");
382             goto fail;
383         }
384         ptr           += ret;
385         strip_sizes[0] = ptr - pkt->data - strip_offsets[0];
386     } else
387 #endif
388     if (s->compr == TIFF_LZW) {
389         s->lzws = av_malloc(ff_lzw_encode_state_size);
390         if (!s->lzws) {
391             ret = AVERROR(ENOMEM);
392             goto fail;
393         }
394     }
395     for (i = 0; i < s->height; i++) {
396         if (strip_sizes[i / s->rps] == 0) {
397             if (s->compr == TIFF_LZW) {
398                 ff_lzw_encode_init(s->lzws, ptr,
399                                    s->buf_size - (*s->buf - s->buf_start),
400                                    12, FF_LZW_TIFF, put_bits);
401             }
402             strip_offsets[i / s->rps] = ptr - pkt->data;
403         }
404         if (is_yuv) {
405             pack_yuv(s, p, yuv_line, i);
406             ret = encode_strip(s, yuv_line, ptr, bytes_per_row, s->compr);
407             i  += s->subsampling[1] - 1;
408         } else
409             ret = encode_strip(s, p->data[0] + i * p->linesize[0],
410                                ptr, bytes_per_row, s->compr);
411         if (ret < 0) {
412             av_log(s->avctx, AV_LOG_ERROR, "Encode strip failed\n");
413             goto fail;
414         }
415         strip_sizes[i / s->rps] += ret;
416         ptr                     += ret;
417         if (s->compr == TIFF_LZW &&
418             (i == s->height - 1 || i % s->rps == s->rps - 1)) {
419             ret = ff_lzw_encode_flush(s->lzws, flush_put_bits);
420             strip_sizes[(i / s->rps)] += ret;
421             ptr                       += ret;
422         }
423     }
424     if (s->compr == TIFF_LZW)
425         av_free(s->lzws);
426
427     s->num_entries = 0;
428
429     ADD_ENTRY1(s, TIFF_SUBFILE, TIFF_LONG, 0);
430     ADD_ENTRY1(s, TIFF_WIDTH,   TIFF_LONG, s->width);
431     ADD_ENTRY1(s, TIFF_HEIGHT,  TIFF_LONG, s->height);
432
433     if (s->bpp_tab_size)
434         ADD_ENTRY(s, TIFF_BPP, TIFF_SHORT, s->bpp_tab_size, bpp_tab);
435
436     ADD_ENTRY1(s, TIFF_COMPR,       TIFF_SHORT, s->compr);
437     ADD_ENTRY1(s, TIFF_PHOTOMETRIC, TIFF_SHORT, s->photometric_interpretation);
438     ADD_ENTRY(s,  TIFF_STRIP_OFFS,  TIFF_LONG,  strips, strip_offsets);
439
440     if (s->bpp_tab_size)
441         ADD_ENTRY1(s, TIFF_SAMPLES_PER_PIXEL, TIFF_SHORT, s->bpp_tab_size);
442
443     ADD_ENTRY1(s, TIFF_ROWSPERSTRIP, TIFF_LONG,     s->rps);
444     ADD_ENTRY(s,  TIFF_STRIP_SIZE,   TIFF_LONG,     strips, strip_sizes);
445     ADD_ENTRY(s,  TIFF_XRES,         TIFF_RATIONAL, 1,      res);
446     ADD_ENTRY(s,  TIFF_YRES,         TIFF_RATIONAL, 1,      res);
447     ADD_ENTRY1(s, TIFF_RES_UNIT,     TIFF_SHORT,    2);
448
449     if (!(avctx->flags & CODEC_FLAG_BITEXACT))
450         ADD_ENTRY(s, TIFF_SOFTWARE_NAME, TIFF_STRING,
451                   strlen(LIBAVCODEC_IDENT) + 1, LIBAVCODEC_IDENT);
452
453     if (avctx->pix_fmt == AV_PIX_FMT_PAL8) {
454         uint16_t pal[256 * 3];
455         for (i = 0; i < 256; i++) {
456             uint32_t rgb = *(uint32_t *) (p->data[1] + i * 4);
457             pal[i]       = ((rgb >> 16) & 0xff) * 257;
458             pal[i + 256] = ((rgb >>  8) & 0xff) * 257;
459             pal[i + 512] =  (rgb        & 0xff) * 257;
460         }
461         ADD_ENTRY(s, TIFF_PAL, TIFF_SHORT, 256 * 3, pal);
462     }
463     if (is_yuv) {
464         /** according to CCIR Recommendation 601.1 */
465         uint32_t refbw[12] = { 15, 1, 235, 1, 128, 1, 240, 1, 128, 1, 240, 1 };
466         ADD_ENTRY(s, TIFF_YCBCR_SUBSAMPLING, TIFF_SHORT,    2, s->subsampling);
467         ADD_ENTRY(s, TIFF_REFERENCE_BW,      TIFF_RATIONAL, 6, refbw);
468     }
469     // write offset to dir
470     bytestream_put_le32(&offset, ptr - pkt->data);
471
472     if (check_size(s, 6 + s->num_entries * 12)) {
473         ret = AVERROR(EINVAL);
474         goto fail;
475     }
476     bytestream_put_le16(&ptr, s->num_entries);  // write tag count
477     bytestream_put_buffer(&ptr, s->entries, s->num_entries * 12);
478     bytestream_put_le32(&ptr, 0);
479
480     pkt->size   = ptr - pkt->data;
481     pkt->flags |= AV_PKT_FLAG_KEY;
482     *got_packet = 1;
483
484 fail:
485     av_free(strip_sizes);
486     av_free(strip_offsets);
487     av_free(yuv_line);
488     return ret;
489 }
490
491 static av_cold int encode_init(AVCodecContext *avctx)
492 {
493     avctx->coded_frame = av_frame_alloc();
494     if (!avctx->coded_frame)
495         return AVERROR(ENOMEM);
496
497     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
498     avctx->coded_frame->key_frame = 1;
499
500     return 0;
501 }
502
503 static av_cold int encode_close(AVCodecContext *avctx)
504 {
505     av_frame_free(&avctx->coded_frame);
506     return 0;
507 }
508
509 #define OFFSET(x) offsetof(TiffEncoderContext, x)
510 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
511 static const AVOption options[] = {
512     { "compression_algo", NULL, OFFSET(compr), AV_OPT_TYPE_INT,   { .i64 = TIFF_PACKBITS }, TIFF_RAW, TIFF_DEFLATE, VE, "compression_algo" },
513     { "packbits",         NULL, 0,             AV_OPT_TYPE_CONST, { .i64 = TIFF_PACKBITS }, 0,        0,            VE, "compression_algo" },
514     { "raw",              NULL, 0,             AV_OPT_TYPE_CONST, { .i64 = TIFF_RAW      }, 0,        0,            VE, "compression_algo" },
515     { "lzw",              NULL, 0,             AV_OPT_TYPE_CONST, { .i64 = TIFF_LZW      }, 0,        0,            VE, "compression_algo" },
516 #if CONFIG_ZLIB
517     { "deflate",          NULL, 0,             AV_OPT_TYPE_CONST, { .i64 = TIFF_DEFLATE  }, 0,        0,            VE, "compression_algo" },
518 #endif
519     { NULL },
520 };
521
522 static const AVClass tiffenc_class = {
523     .class_name = "TIFF encoder",
524     .item_name  = av_default_item_name,
525     .option     = options,
526     .version    = LIBAVUTIL_VERSION_INT,
527 };
528
529 AVCodec ff_tiff_encoder = {
530     .name           = "tiff",
531     .long_name      = NULL_IF_CONFIG_SMALL("TIFF image"),
532     .type           = AVMEDIA_TYPE_VIDEO,
533     .id             = AV_CODEC_ID_TIFF,
534     .priv_data_size = sizeof(TiffEncoderContext),
535     .init           = encode_init,
536     .close          = encode_close,
537     .encode2        = encode_frame,
538     .pix_fmts       = (const enum AVPixelFormat[]) {
539         AV_PIX_FMT_RGB24, AV_PIX_FMT_RGB48LE, AV_PIX_FMT_PAL8,
540         AV_PIX_FMT_RGBA, AV_PIX_FMT_RGBA64LE,
541         AV_PIX_FMT_GRAY8, AV_PIX_FMT_GRAY16LE,
542         AV_PIX_FMT_MONOBLACK, AV_PIX_FMT_MONOWHITE,
543         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUV422P, AV_PIX_FMT_YUV444P,
544         AV_PIX_FMT_YUV410P, AV_PIX_FMT_YUV411P,
545         AV_PIX_FMT_NONE
546     },
547     .priv_class     = &tiffenc_class,
548 };