exr: fix out-of-bounds read
[ffmpeg.git] / libavcodec / exr.c
1 /*
2  * OpenEXR (.exr) image decoder
3  * Copyright (c) 2006 Industrial Light & Magic, a division of Lucas Digital Ltd. LLC
4  * Copyright (c) 2009 Jimmy Christensen
5  *
6  * B44/B44A, Tile added by Jokyo Images support by CNC - French National Center for Cinema
7  *
8  * This file is part of FFmpeg.
9  *
10  * FFmpeg is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU Lesser General Public
12  * License as published by the Free Software Foundation; either
13  * version 2.1 of the License, or (at your option) any later version.
14  *
15  * FFmpeg is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * Lesser General Public License for more details.
19  *
20  * You should have received a copy of the GNU Lesser General Public
21  * License along with FFmpeg; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
23  */
24
25 /**
26  * @file
27  * OpenEXR decoder
28  * @author Jimmy Christensen
29  *
30  * For more information on the OpenEXR format, visit:
31  *  http://openexr.com/
32  *
33  * exr_flt2uint() and exr_halflt2uint() is credited to Reimar Döffinger.
34  * exr_half2float() is credited to Aaftab Munshi, Dan Ginsburg, Dave Shreiner.
35  */
36
37 #include <float.h>
38 #include <zlib.h>
39
40 #include "libavutil/common.h"
41 #include "libavutil/imgutils.h"
42 #include "libavutil/intfloat.h"
43 #include "libavutil/opt.h"
44 #include "libavutil/color_utils.h"
45
46 #include "avcodec.h"
47 #include "bytestream.h"
48 #include "get_bits.h"
49 #include "internal.h"
50 #include "mathops.h"
51 #include "thread.h"
52
53 enum ExrCompr {
54     EXR_RAW,
55     EXR_RLE,
56     EXR_ZIP1,
57     EXR_ZIP16,
58     EXR_PIZ,
59     EXR_PXR24,
60     EXR_B44,
61     EXR_B44A,
62     EXR_UNKN,
63 };
64
65 enum ExrPixelType {
66     EXR_UINT,
67     EXR_HALF,
68     EXR_FLOAT,
69     EXR_UNKNOWN,
70 };
71
72 enum ExrTileLevelMode {
73     EXR_TILE_LEVEL_ONE,
74     EXR_TILE_LEVEL_MIPMAP,
75     EXR_TILE_LEVEL_RIPMAP,
76     EXR_TILE_LEVEL_UNKNOWN,
77 };
78
79 enum ExrTileLevelRound {
80     EXR_TILE_ROUND_UP,
81     EXR_TILE_ROUND_DOWN,
82     EXR_TILE_ROUND_UNKNOWN,
83 };
84
85 typedef struct EXRChannel {
86     int xsub, ysub;
87     enum ExrPixelType pixel_type;
88 } EXRChannel;
89
90 typedef struct EXRTileAttribute {
91     int32_t xSize;
92     int32_t ySize;
93     enum ExrTileLevelMode level_mode;
94     enum ExrTileLevelRound level_round;
95 } EXRTileAttribute;
96
97 typedef struct EXRThreadData {
98     uint8_t *uncompressed_data;
99     int uncompressed_size;
100
101     uint8_t *tmp;
102     int tmp_size;
103
104     uint8_t *bitmap;
105     uint16_t *lut;
106
107     int ysize, xsize;
108
109     int channel_line_size;
110 } EXRThreadData;
111
112 typedef struct EXRContext {
113     AVClass *class;
114     AVFrame *picture;
115     AVCodecContext *avctx;
116
117     enum ExrCompr compression;
118     enum ExrPixelType pixel_type;
119     int channel_offsets[4]; // 0 = red, 1 = green, 2 = blue and 3 = alpha
120     const AVPixFmtDescriptor *desc;
121
122     int w, h;
123     uint32_t xmax, xmin;
124     uint32_t ymax, ymin;
125     uint32_t xdelta, ydelta;
126
127     int scan_lines_per_block;
128
129     EXRTileAttribute tile_attr; /* header data attribute of tile */
130     int is_tile; /* 0 if scanline, 1 if tile */
131
132     int is_luma;/* 1 if there is an Y plane */
133
134     GetByteContext gb;
135     const uint8_t *buf;
136     int buf_size;
137
138     EXRChannel *channels;
139     int nb_channels;
140     int current_channel_offset;
141
142     EXRThreadData *thread_data;
143
144     const char *layer;
145
146     enum AVColorTransferCharacteristic apply_trc_type;
147     float gamma;
148     uint16_t gamma_table[65536];
149 } EXRContext;
150
151 /* -15 stored using a single precision bias of 127 */
152 #define HALF_FLOAT_MIN_BIASED_EXP_AS_SINGLE_FP_EXP 0x38000000
153
154 /* max exponent value in single precision that will be converted
155  * to Inf or Nan when stored as a half-float */
156 #define HALF_FLOAT_MAX_BIASED_EXP_AS_SINGLE_FP_EXP 0x47800000
157
158 /* 255 is the max exponent biased value */
159 #define FLOAT_MAX_BIASED_EXP (0xFF << 23)
160
161 #define HALF_FLOAT_MAX_BIASED_EXP (0x1F << 10)
162
163 /**
164  * Convert a half float as a uint16_t into a full float.
165  *
166  * @param hf half float as uint16_t
167  *
168  * @return float value
169  */
170 static union av_intfloat32 exr_half2float(uint16_t hf)
171 {
172     unsigned int sign = (unsigned int) (hf >> 15);
173     unsigned int mantissa = (unsigned int) (hf & ((1 << 10) - 1));
174     unsigned int exp = (unsigned int) (hf & HALF_FLOAT_MAX_BIASED_EXP);
175     union av_intfloat32 f;
176
177     if (exp == HALF_FLOAT_MAX_BIASED_EXP) {
178         // we have a half-float NaN or Inf
179         // half-float NaNs will be converted to a single precision NaN
180         // half-float Infs will be converted to a single precision Inf
181         exp = FLOAT_MAX_BIASED_EXP;
182         if (mantissa)
183             mantissa = (1 << 23) - 1;    // set all bits to indicate a NaN
184     } else if (exp == 0x0) {
185         // convert half-float zero/denorm to single precision value
186         if (mantissa) {
187             mantissa <<= 1;
188             exp = HALF_FLOAT_MIN_BIASED_EXP_AS_SINGLE_FP_EXP;
189             // check for leading 1 in denorm mantissa
190             while ((mantissa & (1 << 10))) {
191                 // for every leading 0, decrement single precision exponent by 1
192                 // and shift half-float mantissa value to the left
193                 mantissa <<= 1;
194                 exp -= (1 << 23);
195             }
196             // clamp the mantissa to 10 bits
197             mantissa &= ((1 << 10) - 1);
198             // shift left to generate single-precision mantissa of 23 bits
199             mantissa <<= 13;
200         }
201     } else {
202         // shift left to generate single-precision mantissa of 23 bits
203         mantissa <<= 13;
204         // generate single precision biased exponent value
205         exp = (exp << 13) + HALF_FLOAT_MIN_BIASED_EXP_AS_SINGLE_FP_EXP;
206     }
207
208     f.i = (sign << 31) | exp | mantissa;
209
210     return f;
211 }
212
213
214 /**
215  * Convert from 32-bit float as uint32_t to uint16_t.
216  *
217  * @param v 32-bit float
218  *
219  * @return normalized 16-bit unsigned int
220  */
221 static inline uint16_t exr_flt2uint(uint32_t v)
222 {
223     unsigned int exp = v >> 23;
224     // "HACK": negative values result in exp<  0, so clipping them to 0
225     // is also handled by this condition, avoids explicit check for sign bit.
226     if (exp <= 127 + 7 - 24) // we would shift out all bits anyway
227         return 0;
228     if (exp >= 127)
229         return 0xffff;
230     v &= 0x007fffff;
231     return (v + (1 << 23)) >> (127 + 7 - exp);
232 }
233
234 /**
235  * Convert from 16-bit float as uint16_t to uint16_t.
236  *
237  * @param v 16-bit float
238  *
239  * @return normalized 16-bit unsigned int
240  */
241 static inline uint16_t exr_halflt2uint(uint16_t v)
242 {
243     unsigned exp = 14 - (v >> 10);
244     if (exp >= 14) {
245         if (exp == 14)
246             return (v >> 9) & 1;
247         else
248             return (v & 0x8000) ? 0 : 0xffff;
249     }
250     v <<= 6;
251     return (v + (1 << 16)) >> (exp + 1);
252 }
253
254 static void predictor(uint8_t *src, int size)
255 {
256     uint8_t *t    = src + 1;
257     uint8_t *stop = src + size;
258
259     while (t < stop) {
260         int d = (int) t[-1] + (int) t[0] - 128;
261         t[0] = d;
262         ++t;
263     }
264 }
265
266 static void reorder_pixels(uint8_t *src, uint8_t *dst, int size)
267 {
268     const int8_t *t1 = src;
269     const int8_t *t2 = src + (size + 1) / 2;
270     int8_t *s        = dst;
271     int8_t *stop     = s + size;
272
273     while (1) {
274         if (s < stop)
275             *(s++) = *(t1++);
276         else
277             break;
278
279         if (s < stop)
280             *(s++) = *(t2++);
281         else
282             break;
283     }
284 }
285
286 static int zip_uncompress(const uint8_t *src, int compressed_size,
287                           int uncompressed_size, EXRThreadData *td)
288 {
289     unsigned long dest_len = uncompressed_size;
290
291     if (uncompress(td->tmp, &dest_len, src, compressed_size) != Z_OK ||
292         dest_len != uncompressed_size)
293         return AVERROR_INVALIDDATA;
294
295     predictor(td->tmp, uncompressed_size);
296     reorder_pixels(td->tmp, td->uncompressed_data, uncompressed_size);
297
298     return 0;
299 }
300
301 static int rle_uncompress(const uint8_t *src, int compressed_size,
302                           int uncompressed_size, EXRThreadData *td)
303 {
304     uint8_t *d      = td->tmp;
305     const int8_t *s = src;
306     int ssize       = compressed_size;
307     int dsize       = uncompressed_size;
308     uint8_t *dend   = d + dsize;
309     int count;
310
311     while (ssize > 0) {
312         count = *s++;
313
314         if (count < 0) {
315             count = -count;
316
317             if ((dsize -= count) < 0 ||
318                 (ssize -= count + 1) < 0)
319                 return AVERROR_INVALIDDATA;
320
321             while (count--)
322                 *d++ = *s++;
323         } else {
324             count++;
325
326             if ((dsize -= count) < 0 ||
327                 (ssize -= 2) < 0)
328                 return AVERROR_INVALIDDATA;
329
330             while (count--)
331                 *d++ = *s;
332
333             s++;
334         }
335     }
336
337     if (dend != d)
338         return AVERROR_INVALIDDATA;
339
340     predictor(td->tmp, uncompressed_size);
341     reorder_pixels(td->tmp, td->uncompressed_data, uncompressed_size);
342
343     return 0;
344 }
345
346 #define USHORT_RANGE (1 << 16)
347 #define BITMAP_SIZE  (1 << 13)
348
349 static uint16_t reverse_lut(const uint8_t *bitmap, uint16_t *lut)
350 {
351     int i, k = 0;
352
353     for (i = 0; i < USHORT_RANGE; i++)
354         if ((i == 0) || (bitmap[i >> 3] & (1 << (i & 7))))
355             lut[k++] = i;
356
357     i = k - 1;
358
359     memset(lut + k, 0, (USHORT_RANGE - k) * 2);
360
361     return i;
362 }
363
364 static void apply_lut(const uint16_t *lut, uint16_t *dst, int dsize)
365 {
366     int i;
367
368     for (i = 0; i < dsize; ++i)
369         dst[i] = lut[dst[i]];
370 }
371
372 #define HUF_ENCBITS 16  // literal (value) bit length
373 #define HUF_DECBITS 14  // decoding bit size (>= 8)
374
375 #define HUF_ENCSIZE ((1 << HUF_ENCBITS) + 1)  // encoding table size
376 #define HUF_DECSIZE (1 << HUF_DECBITS)        // decoding table size
377 #define HUF_DECMASK (HUF_DECSIZE - 1)
378
379 typedef struct HufDec {
380     int len;
381     int lit;
382     int *p;
383 } HufDec;
384
385 static void huf_canonical_code_table(uint64_t *hcode)
386 {
387     uint64_t c, n[59] = { 0 };
388     int i;
389
390     for (i = 0; i < HUF_ENCSIZE; ++i)
391         n[hcode[i]] += 1;
392
393     c = 0;
394     for (i = 58; i > 0; --i) {
395         uint64_t nc = ((c + n[i]) >> 1);
396         n[i] = c;
397         c    = nc;
398     }
399
400     for (i = 0; i < HUF_ENCSIZE; ++i) {
401         int l = hcode[i];
402
403         if (l > 0)
404             hcode[i] = l | (n[l]++ << 6);
405     }
406 }
407
408 #define SHORT_ZEROCODE_RUN  59
409 #define LONG_ZEROCODE_RUN   63
410 #define SHORTEST_LONG_RUN   (2 + LONG_ZEROCODE_RUN - SHORT_ZEROCODE_RUN)
411 #define LONGEST_LONG_RUN    (255 + SHORTEST_LONG_RUN)
412
413 static int huf_unpack_enc_table(GetByteContext *gb,
414                                 int32_t im, int32_t iM, uint64_t *hcode)
415 {
416     GetBitContext gbit;
417     int ret = init_get_bits8(&gbit, gb->buffer, bytestream2_get_bytes_left(gb));
418     if (ret < 0)
419         return ret;
420
421     for (; im <= iM; im++) {
422         uint64_t l = hcode[im] = get_bits(&gbit, 6);
423
424         if (l == LONG_ZEROCODE_RUN) {
425             int zerun = get_bits(&gbit, 8) + SHORTEST_LONG_RUN;
426
427             if (im + zerun > iM + 1)
428                 return AVERROR_INVALIDDATA;
429
430             while (zerun--)
431                 hcode[im++] = 0;
432
433             im--;
434         } else if (l >= SHORT_ZEROCODE_RUN) {
435             int zerun = l - SHORT_ZEROCODE_RUN + 2;
436
437             if (im + zerun > iM + 1)
438                 return AVERROR_INVALIDDATA;
439
440             while (zerun--)
441                 hcode[im++] = 0;
442
443             im--;
444         }
445     }
446
447     bytestream2_skip(gb, (get_bits_count(&gbit) + 7) / 8);
448     huf_canonical_code_table(hcode);
449
450     return 0;
451 }
452
453 static int huf_build_dec_table(const uint64_t *hcode, int im,
454                                int iM, HufDec *hdecod)
455 {
456     for (; im <= iM; im++) {
457         uint64_t c = hcode[im] >> 6;
458         int i, l = hcode[im] & 63;
459
460         if (c >> l)
461             return AVERROR_INVALIDDATA;
462
463         if (l > HUF_DECBITS) {
464             HufDec *pl = hdecod + (c >> (l - HUF_DECBITS));
465             if (pl->len)
466                 return AVERROR_INVALIDDATA;
467
468             pl->lit++;
469
470             pl->p = av_realloc(pl->p, pl->lit * sizeof(int));
471             if (!pl->p)
472                 return AVERROR(ENOMEM);
473
474             pl->p[pl->lit - 1] = im;
475         } else if (l) {
476             HufDec *pl = hdecod + (c << (HUF_DECBITS - l));
477
478             for (i = 1 << (HUF_DECBITS - l); i > 0; i--, pl++) {
479                 if (pl->len || pl->p)
480                     return AVERROR_INVALIDDATA;
481                 pl->len = l;
482                 pl->lit = im;
483             }
484         }
485     }
486
487     return 0;
488 }
489
490 #define get_char(c, lc, gb)                                                   \
491 {                                                                             \
492         c   = (c << 8) | bytestream2_get_byte(gb);                            \
493         lc += 8;                                                              \
494 }
495
496 #define get_code(po, rlc, c, lc, gb, out, oe, outb)                           \
497 {                                                                             \
498         if (po == rlc) {                                                      \
499             if (lc < 8)                                                       \
500                 get_char(c, lc, gb);                                          \
501             lc -= 8;                                                          \
502                                                                               \
503             cs = c >> lc;                                                     \
504                                                                               \
505             if (out + cs > oe || out == outb)                                 \
506                 return AVERROR_INVALIDDATA;                                   \
507                                                                               \
508             s = out[-1];                                                      \
509                                                                               \
510             while (cs-- > 0)                                                  \
511                 *out++ = s;                                                   \
512         } else if (out < oe) {                                                \
513             *out++ = po;                                                      \
514         } else {                                                              \
515             return AVERROR_INVALIDDATA;                                       \
516         }                                                                     \
517 }
518
519 static int huf_decode(const uint64_t *hcode, const HufDec *hdecod,
520                       GetByteContext *gb, int nbits,
521                       int rlc, int no, uint16_t *out)
522 {
523     uint64_t c        = 0;
524     uint16_t *outb    = out;
525     uint16_t *oe      = out + no;
526     const uint8_t *ie = gb->buffer + (nbits + 7) / 8; // input byte size
527     uint8_t cs;
528     uint16_t s;
529     int i, lc = 0;
530
531     while (gb->buffer < ie) {
532         get_char(c, lc, gb);
533
534         while (lc >= HUF_DECBITS) {
535             const HufDec pl = hdecod[(c >> (lc - HUF_DECBITS)) & HUF_DECMASK];
536
537             if (pl.len) {
538                 lc -= pl.len;
539                 get_code(pl.lit, rlc, c, lc, gb, out, oe, outb);
540             } else {
541                 int j;
542
543                 if (!pl.p)
544                     return AVERROR_INVALIDDATA;
545
546                 for (j = 0; j < pl.lit; j++) {
547                     int l = hcode[pl.p[j]] & 63;
548
549                     while (lc < l && bytestream2_get_bytes_left(gb) > 0)
550                         get_char(c, lc, gb);
551
552                     if (lc >= l) {
553                         if ((hcode[pl.p[j]] >> 6) ==
554                             ((c >> (lc - l)) & ((1LL << l) - 1))) {
555                             lc -= l;
556                             get_code(pl.p[j], rlc, c, lc, gb, out, oe, outb);
557                             break;
558                         }
559                     }
560                 }
561
562                 if (j == pl.lit)
563                     return AVERROR_INVALIDDATA;
564             }
565         }
566     }
567
568     i   = (8 - nbits) & 7;
569     c >>= i;
570     lc -= i;
571
572     while (lc > 0) {
573         const HufDec pl = hdecod[(c << (HUF_DECBITS - lc)) & HUF_DECMASK];
574
575         if (pl.len) {
576             lc -= pl.len;
577             get_code(pl.lit, rlc, c, lc, gb, out, oe, outb);
578         } else {
579             return AVERROR_INVALIDDATA;
580         }
581     }
582
583     if (out - outb != no)
584         return AVERROR_INVALIDDATA;
585     return 0;
586 }
587
588 static int huf_uncompress(GetByteContext *gb,
589                           uint16_t *dst, int dst_size)
590 {
591     int32_t src_size, im, iM;
592     uint32_t nBits;
593     uint64_t *freq;
594     HufDec *hdec;
595     int ret, i;
596
597     src_size = bytestream2_get_le32(gb);
598     im       = bytestream2_get_le32(gb);
599     iM       = bytestream2_get_le32(gb);
600     bytestream2_skip(gb, 4);
601     nBits = bytestream2_get_le32(gb);
602     if (im < 0 || im >= HUF_ENCSIZE ||
603         iM < 0 || iM >= HUF_ENCSIZE ||
604         src_size < 0)
605         return AVERROR_INVALIDDATA;
606
607     bytestream2_skip(gb, 4);
608
609     freq = av_mallocz_array(HUF_ENCSIZE, sizeof(*freq));
610     hdec = av_mallocz_array(HUF_DECSIZE, sizeof(*hdec));
611     if (!freq || !hdec) {
612         ret = AVERROR(ENOMEM);
613         goto fail;
614     }
615
616     if ((ret = huf_unpack_enc_table(gb, im, iM, freq)) < 0)
617         goto fail;
618
619     if (nBits > 8 * bytestream2_get_bytes_left(gb)) {
620         ret = AVERROR_INVALIDDATA;
621         goto fail;
622     }
623
624     if ((ret = huf_build_dec_table(freq, im, iM, hdec)) < 0)
625         goto fail;
626     ret = huf_decode(freq, hdec, gb, nBits, iM, dst_size, dst);
627
628 fail:
629     for (i = 0; i < HUF_DECSIZE; i++)
630         if (hdec)
631             av_freep(&hdec[i].p);
632
633     av_free(freq);
634     av_free(hdec);
635
636     return ret;
637 }
638
639 static inline void wdec14(uint16_t l, uint16_t h, uint16_t *a, uint16_t *b)
640 {
641     int16_t ls = l;
642     int16_t hs = h;
643     int hi     = hs;
644     int ai     = ls + (hi & 1) + (hi >> 1);
645     int16_t as = ai;
646     int16_t bs = ai - hi;
647
648     *a = as;
649     *b = bs;
650 }
651
652 #define NBITS      16
653 #define A_OFFSET  (1 << (NBITS - 1))
654 #define MOD_MASK  ((1 << NBITS) - 1)
655
656 static inline void wdec16(uint16_t l, uint16_t h, uint16_t *a, uint16_t *b)
657 {
658     int m  = l;
659     int d  = h;
660     int bb = (m - (d >> 1)) & MOD_MASK;
661     int aa = (d + bb - A_OFFSET) & MOD_MASK;
662     *b = bb;
663     *a = aa;
664 }
665
666 static void wav_decode(uint16_t *in, int nx, int ox,
667                        int ny, int oy, uint16_t mx)
668 {
669     int w14 = (mx < (1 << 14));
670     int n   = (nx > ny) ? ny : nx;
671     int p   = 1;
672     int p2;
673
674     while (p <= n)
675         p <<= 1;
676
677     p >>= 1;
678     p2  = p;
679     p >>= 1;
680
681     while (p >= 1) {
682         uint16_t *py = in;
683         uint16_t *ey = in + oy * (ny - p2);
684         uint16_t i00, i01, i10, i11;
685         int oy1 = oy * p;
686         int oy2 = oy * p2;
687         int ox1 = ox * p;
688         int ox2 = ox * p2;
689
690         for (; py <= ey; py += oy2) {
691             uint16_t *px = py;
692             uint16_t *ex = py + ox * (nx - p2);
693
694             for (; px <= ex; px += ox2) {
695                 uint16_t *p01 = px + ox1;
696                 uint16_t *p10 = px + oy1;
697                 uint16_t *p11 = p10 + ox1;
698
699                 if (w14) {
700                     wdec14(*px, *p10, &i00, &i10);
701                     wdec14(*p01, *p11, &i01, &i11);
702                     wdec14(i00, i01, px, p01);
703                     wdec14(i10, i11, p10, p11);
704                 } else {
705                     wdec16(*px, *p10, &i00, &i10);
706                     wdec16(*p01, *p11, &i01, &i11);
707                     wdec16(i00, i01, px, p01);
708                     wdec16(i10, i11, p10, p11);
709                 }
710             }
711
712             if (nx & p) {
713                 uint16_t *p10 = px + oy1;
714
715                 if (w14)
716                     wdec14(*px, *p10, &i00, p10);
717                 else
718                     wdec16(*px, *p10, &i00, p10);
719
720                 *px = i00;
721             }
722         }
723
724         if (ny & p) {
725             uint16_t *px = py;
726             uint16_t *ex = py + ox * (nx - p2);
727
728             for (; px <= ex; px += ox2) {
729                 uint16_t *p01 = px + ox1;
730
731                 if (w14)
732                     wdec14(*px, *p01, &i00, p01);
733                 else
734                     wdec16(*px, *p01, &i00, p01);
735
736                 *px = i00;
737             }
738         }
739
740         p2  = p;
741         p >>= 1;
742     }
743 }
744
745 static int piz_uncompress(EXRContext *s, const uint8_t *src, int ssize,
746                           int dsize, EXRThreadData *td)
747 {
748     GetByteContext gb;
749     uint16_t maxval, min_non_zero, max_non_zero;
750     uint16_t *ptr;
751     uint16_t *tmp = (uint16_t *)td->tmp;
752     uint8_t *out;
753     int ret, i, j;
754     int pixel_half_size;/* 1 for half, 2 for float and uint32 */
755     EXRChannel *channel;
756     int tmp_offset;
757
758     if (!td->bitmap)
759         td->bitmap = av_malloc(BITMAP_SIZE);
760     if (!td->lut)
761         td->lut = av_malloc(1 << 17);
762     if (!td->bitmap || !td->lut) {
763         av_freep(&td->bitmap);
764         av_freep(&td->lut);
765         return AVERROR(ENOMEM);
766     }
767
768     bytestream2_init(&gb, src, ssize);
769     min_non_zero = bytestream2_get_le16(&gb);
770     max_non_zero = bytestream2_get_le16(&gb);
771
772     if (max_non_zero >= BITMAP_SIZE)
773         return AVERROR_INVALIDDATA;
774
775     memset(td->bitmap, 0, FFMIN(min_non_zero, BITMAP_SIZE));
776     if (min_non_zero <= max_non_zero)
777         bytestream2_get_buffer(&gb, td->bitmap + min_non_zero,
778                                max_non_zero - min_non_zero + 1);
779     memset(td->bitmap + max_non_zero + 1, 0, BITMAP_SIZE - max_non_zero - 1);
780
781     maxval = reverse_lut(td->bitmap, td->lut);
782
783     ret = huf_uncompress(&gb, tmp, dsize / sizeof(uint16_t));
784     if (ret)
785         return ret;
786
787     ptr = tmp;
788     for (i = 0; i < s->nb_channels; i++) {
789         channel = &s->channels[i];
790
791         if (channel->pixel_type == EXR_HALF)
792             pixel_half_size = 1;
793         else
794             pixel_half_size = 2;
795
796         for (j = 0; j < pixel_half_size; j++)
797             wav_decode(ptr + j, td->xsize, pixel_half_size, td->ysize,
798                        td->xsize * pixel_half_size, maxval);
799         ptr += td->xsize * td->ysize * pixel_half_size;
800     }
801
802     apply_lut(td->lut, tmp, dsize / sizeof(uint16_t));
803
804     out = td->uncompressed_data;
805     for (i = 0; i < td->ysize; i++) {
806         tmp_offset = 0;
807         for (j = 0; j < s->nb_channels; j++) {
808             uint16_t *in;
809             EXRChannel *channel = &s->channels[j];
810             if (channel->pixel_type == EXR_HALF)
811                 pixel_half_size = 1;
812             else
813                 pixel_half_size = 2;
814
815             in = tmp + tmp_offset * td->xsize * td->ysize + i * td->xsize * pixel_half_size;
816             tmp_offset += pixel_half_size;
817             memcpy(out, in, td->xsize * 2 * pixel_half_size);
818             out += td->xsize * 2 * pixel_half_size;
819         }
820     }
821
822     return 0;
823 }
824
825 static int pxr24_uncompress(EXRContext *s, const uint8_t *src,
826                             int compressed_size, int uncompressed_size,
827                             EXRThreadData *td)
828 {
829     unsigned long dest_len, expected_len = 0;
830     const uint8_t *in = td->tmp;
831     uint8_t *out;
832     int c, i, j;
833
834     for (i = 0; i < s->nb_channels; i++) {
835         if (s->channels[i].pixel_type == EXR_FLOAT) {
836             expected_len += (td->xsize * td->ysize * 3);/* PRX 24 store float in 24 bit instead of 32 */
837         } else if (s->channels[i].pixel_type == EXR_HALF) {
838             expected_len += (td->xsize * td->ysize * 2);
839         } else {//UINT 32
840             expected_len += (td->xsize * td->ysize * 4);
841         }
842     }
843
844     dest_len = expected_len;
845
846     if (uncompress(td->tmp, &dest_len, src, compressed_size) != Z_OK) {
847         return AVERROR_INVALIDDATA;
848     } else if (dest_len != expected_len) {
849         return AVERROR_INVALIDDATA;
850     }
851
852     out = td->uncompressed_data;
853     for (i = 0; i < td->ysize; i++)
854         for (c = 0; c < s->nb_channels; c++) {
855             EXRChannel *channel = &s->channels[c];
856             const uint8_t *ptr[4];
857             uint32_t pixel = 0;
858
859             switch (channel->pixel_type) {
860             case EXR_FLOAT:
861                 ptr[0] = in;
862                 ptr[1] = ptr[0] + td->xsize;
863                 ptr[2] = ptr[1] + td->xsize;
864                 in     = ptr[2] + td->xsize;
865
866                 for (j = 0; j < td->xsize; ++j) {
867                     uint32_t diff = (*(ptr[0]++) << 24) |
868                                     (*(ptr[1]++) << 16) |
869                                     (*(ptr[2]++) << 8);
870                     pixel += diff;
871                     bytestream_put_le32(&out, pixel);
872                 }
873                 break;
874             case EXR_HALF:
875                 ptr[0] = in;
876                 ptr[1] = ptr[0] + td->xsize;
877                 in     = ptr[1] + td->xsize;
878                 for (j = 0; j < td->xsize; j++) {
879                     uint32_t diff = (*(ptr[0]++) << 8) | *(ptr[1]++);
880
881                     pixel += diff;
882                     bytestream_put_le16(&out, pixel);
883                 }
884                 break;
885             default:
886                 return AVERROR_INVALIDDATA;
887             }
888         }
889
890     return 0;
891 }
892
893 static void unpack_14(const uint8_t b[14], uint16_t s[16])
894 {
895     unsigned short shift = (b[ 2] >> 2);
896     unsigned short bias = (0x20 << shift);
897     int i;
898
899     s[ 0] = (b[0] << 8) | b[1];
900
901     s[ 4] = s[ 0] + ((((b[ 2] << 4) | (b[ 3] >> 4)) & 0x3f) << shift) - bias;
902     s[ 8] = s[ 4] + ((((b[ 3] << 2) | (b[ 4] >> 6)) & 0x3f) << shift) - bias;
903     s[12] = s[ 8] +   ((b[ 4]                       & 0x3f) << shift) - bias;
904
905     s[ 1] = s[ 0] +   ((b[ 5] >> 2)                         << shift) - bias;
906     s[ 5] = s[ 4] + ((((b[ 5] << 4) | (b[ 6] >> 4)) & 0x3f) << shift) - bias;
907     s[ 9] = s[ 8] + ((((b[ 6] << 2) | (b[ 7] >> 6)) & 0x3f) << shift) - bias;
908     s[13] = s[12] +   ((b[ 7]                       & 0x3f) << shift) - bias;
909
910     s[ 2] = s[ 1] +   ((b[ 8] >> 2)                         << shift) - bias;
911     s[ 6] = s[ 5] + ((((b[ 8] << 4) | (b[ 9] >> 4)) & 0x3f) << shift) - bias;
912     s[10] = s[ 9] + ((((b[ 9] << 2) | (b[10] >> 6)) & 0x3f) << shift) - bias;
913     s[14] = s[13] +   ((b[10]                       & 0x3f) << shift) - bias;
914
915     s[ 3] = s[ 2] +   ((b[11] >> 2)                         << shift) - bias;
916     s[ 7] = s[ 6] + ((((b[11] << 4) | (b[12] >> 4)) & 0x3f) << shift) - bias;
917     s[11] = s[10] + ((((b[12] << 2) | (b[13] >> 6)) & 0x3f) << shift) - bias;
918     s[15] = s[14] +   ((b[13]                       & 0x3f) << shift) - bias;
919
920     for (i = 0; i < 16; ++i) {
921         if (s[i] & 0x8000)
922             s[i] &= 0x7fff;
923         else
924             s[i] = ~s[i];
925     }
926 }
927
928 static void unpack_3(const uint8_t b[3], uint16_t s[16])
929 {
930     int i;
931
932     s[0] = (b[0] << 8) | b[1];
933
934     if (s[0] & 0x8000)
935         s[0] &= 0x7fff;
936     else
937         s[0] = ~s[0];
938
939     for (i = 1; i < 16; i++)
940         s[i] = s[0];
941 }
942
943
944 static int b44_uncompress(EXRContext *s, const uint8_t *src, int compressed_size,
945                           int uncompressed_size, EXRThreadData *td) {
946     const int8_t *sr = src;
947     int stay_to_uncompress = compressed_size;
948     int nb_b44_block_w, nb_b44_block_h;
949     int index_tl_x, index_tl_y, index_out, index_tmp;
950     uint16_t tmp_buffer[16]; /* B44 use 4x4 half float pixel */
951     int c, iY, iX, y, x;
952     int target_channel_offset = 0;
953
954     /* calc B44 block count */
955     nb_b44_block_w = td->xsize / 4;
956     if ((td->xsize % 4) != 0)
957         nb_b44_block_w++;
958
959     nb_b44_block_h = td->ysize / 4;
960     if ((td->ysize % 4) != 0)
961         nb_b44_block_h++;
962
963     for (c = 0; c < s->nb_channels; c++) {
964         if (s->channels[c].pixel_type == EXR_HALF) {/* B44 only compress half float data */
965             for (iY = 0; iY < nb_b44_block_h; iY++) {
966                 for (iX = 0; iX < nb_b44_block_w; iX++) {/* For each B44 block */
967                     if (stay_to_uncompress < 3) {
968                         av_log(s, AV_LOG_ERROR, "Not enough data for B44A block: %d", stay_to_uncompress);
969                         return AVERROR_INVALIDDATA;
970                     }
971
972                     if (src[compressed_size - stay_to_uncompress + 2] == 0xfc) { /* B44A block */
973                         unpack_3(sr, tmp_buffer);
974                         sr += 3;
975                         stay_to_uncompress -= 3;
976                     }  else {/* B44 Block */
977                         if (stay_to_uncompress < 14) {
978                             av_log(s, AV_LOG_ERROR, "Not enough data for B44 block: %d", stay_to_uncompress);
979                             return AVERROR_INVALIDDATA;
980                         }
981                         unpack_14(sr, tmp_buffer);
982                         sr += 14;
983                         stay_to_uncompress -= 14;
984                     }
985
986                     /* copy data to uncompress buffer (B44 block can exceed target resolution)*/
987                     index_tl_x = iX * 4;
988                     index_tl_y = iY * 4;
989
990                     for (y = index_tl_y; y < FFMIN(index_tl_y + 4, td->ysize); y++) {
991                         for (x = index_tl_x; x < FFMIN(index_tl_x + 4, td->xsize); x++) {
992                             index_out = target_channel_offset * td->xsize + y * td->channel_line_size + 2 * x;
993                             index_tmp = (y-index_tl_y) * 4 + (x-index_tl_x);
994                             td->uncompressed_data[index_out] = tmp_buffer[index_tmp] & 0xff;
995                             td->uncompressed_data[index_out + 1] = tmp_buffer[index_tmp] >> 8;
996                         }
997                     }
998                 }
999             }
1000             target_channel_offset += 2;
1001         } else {/* Float or UINT 32 channel */
1002             if (stay_to_uncompress < td->ysize * td->xsize * 4) {
1003                 av_log(s, AV_LOG_ERROR, "Not enough data for uncompress channel: %d", stay_to_uncompress);
1004                 return AVERROR_INVALIDDATA;
1005             }
1006
1007             for (y = 0; y < td->ysize; y++) {
1008                 index_out = target_channel_offset * td->xsize + y * td->channel_line_size;
1009                 memcpy(&td->uncompressed_data[index_out], sr, td->xsize * 4);
1010                 sr += td->xsize * 4;
1011             }
1012             target_channel_offset += 4;
1013
1014             stay_to_uncompress -= td->ysize * td->xsize * 4;
1015         }
1016     }
1017
1018     return 0;
1019 }
1020
1021 static int decode_block(AVCodecContext *avctx, void *tdata,
1022                         int jobnr, int threadnr)
1023 {
1024     EXRContext *s = avctx->priv_data;
1025     AVFrame *const p = s->picture;
1026     EXRThreadData *td = &s->thread_data[threadnr];
1027     const uint8_t *channel_buffer[4] = { 0 };
1028     const uint8_t *buf = s->buf;
1029     uint64_t line_offset, uncompressed_size;
1030     uint16_t *ptr_x;
1031     uint8_t *ptr;
1032     uint32_t data_size;
1033     uint64_t line, col = 0;
1034     uint64_t tileX, tileY, tileLevelX, tileLevelY;
1035     const uint8_t *src;
1036     int axmax = (avctx->width - (s->xmax + 1)) * 2 * s->desc->nb_components; /* nb pixel to add at the right of the datawindow */
1037     int bxmin = s->xmin * 2 * s->desc->nb_components; /* nb pixel to add at the left of the datawindow */
1038     int i, x, buf_size = s->buf_size;
1039     int c, rgb_channel_count;
1040     float one_gamma = 1.0f / s->gamma;
1041     avpriv_trc_function trc_func = avpriv_get_trc_function_from_trc(s->apply_trc_type);
1042     int ret;
1043
1044     line_offset = AV_RL64(s->gb.buffer + jobnr * 8);
1045
1046     if (s->is_tile) {
1047         if (line_offset > buf_size - 20)
1048             return AVERROR_INVALIDDATA;
1049
1050         src  = buf + line_offset + 20;
1051
1052         tileX = AV_RL32(src - 20);
1053         tileY = AV_RL32(src - 16);
1054         tileLevelX = AV_RL32(src - 12);
1055         tileLevelY = AV_RL32(src - 8);
1056
1057         data_size = AV_RL32(src - 4);
1058         if (data_size <= 0 || data_size > buf_size)
1059             return AVERROR_INVALIDDATA;
1060
1061         if (tileLevelX || tileLevelY) { /* tile level, is not the full res level */
1062             avpriv_report_missing_feature(s->avctx, "Subres tile before full res tile");
1063             return AVERROR_PATCHWELCOME;
1064         }
1065
1066         if (s->xmin || s->ymin) {
1067             avpriv_report_missing_feature(s->avctx, "Tiles with xmin/ymin");
1068             return AVERROR_PATCHWELCOME;
1069         }
1070
1071         line = s->tile_attr.ySize * tileY;
1072         col = s->tile_attr.xSize * tileX;
1073
1074         if (line < s->ymin || line > s->ymax ||
1075             col  < s->xmin || col  > s->xmax)
1076             return AVERROR_INVALIDDATA;
1077
1078         td->ysize = FFMIN(s->tile_attr.ySize, s->ydelta - tileY * s->tile_attr.ySize);
1079         td->xsize = FFMIN(s->tile_attr.xSize, s->xdelta - tileX * s->tile_attr.xSize);
1080
1081         if (col) { /* not the first tile of the line */
1082             bxmin = 0; /* doesn't add pixel at the left of the datawindow */
1083         }
1084
1085         if ((col + td->xsize) != s->xdelta)/* not the last tile of the line */
1086             axmax = 0; /* doesn't add pixel at the right of the datawindow */
1087
1088         td->channel_line_size = td->xsize * s->current_channel_offset;/* uncompress size of one line */
1089         uncompressed_size = td->channel_line_size * (uint64_t)td->ysize;/* uncompress size of the block */
1090     } else {
1091         if (line_offset > buf_size - 8)
1092             return AVERROR_INVALIDDATA;
1093
1094         src  = buf + line_offset + 8;
1095         line = AV_RL32(src - 8);
1096
1097         if (line < s->ymin || line > s->ymax)
1098             return AVERROR_INVALIDDATA;
1099
1100         data_size = AV_RL32(src - 4);
1101         if (data_size <= 0 || data_size > buf_size)
1102             return AVERROR_INVALIDDATA;
1103
1104         td->ysize          = FFMIN(s->scan_lines_per_block, s->ymax - line + 1); /* s->ydelta - line ?? */
1105         td->xsize          = s->xdelta;
1106
1107         td->channel_line_size = td->xsize * s->current_channel_offset;/* uncompress size of one line */
1108         uncompressed_size = td->channel_line_size * (uint64_t)td->ysize;/* uncompress size of the block */
1109
1110         if ((s->compression == EXR_RAW && (data_size != uncompressed_size ||
1111                                            line_offset > buf_size - uncompressed_size)) ||
1112             (s->compression != EXR_RAW && (data_size > uncompressed_size ||
1113                                            line_offset > buf_size - data_size))) {
1114             return AVERROR_INVALIDDATA;
1115         }
1116     }
1117
1118     if (data_size < uncompressed_size || s->is_tile) { /* td->tmp is use for tile reorganization */
1119         av_fast_padded_malloc(&td->tmp, &td->tmp_size, uncompressed_size);
1120         if (!td->tmp)
1121             return AVERROR(ENOMEM);
1122     }
1123
1124     if (data_size < uncompressed_size) {
1125         av_fast_padded_malloc(&td->uncompressed_data,
1126                               &td->uncompressed_size, uncompressed_size);
1127
1128         if (!td->uncompressed_data)
1129             return AVERROR(ENOMEM);
1130
1131         ret = AVERROR_INVALIDDATA;
1132         switch (s->compression) {
1133         case EXR_ZIP1:
1134         case EXR_ZIP16:
1135             ret = zip_uncompress(src, data_size, uncompressed_size, td);
1136             break;
1137         case EXR_PIZ:
1138             ret = piz_uncompress(s, src, data_size, uncompressed_size, td);
1139             break;
1140         case EXR_PXR24:
1141             ret = pxr24_uncompress(s, src, data_size, uncompressed_size, td);
1142             break;
1143         case EXR_RLE:
1144             ret = rle_uncompress(src, data_size, uncompressed_size, td);
1145             break;
1146         case EXR_B44:
1147         case EXR_B44A:
1148             ret = b44_uncompress(s, src, data_size, uncompressed_size, td);
1149             break;
1150         }
1151         if (ret < 0) {
1152             av_log(avctx, AV_LOG_ERROR, "decode_block() failed.\n");
1153             return ret;
1154         }
1155         src = td->uncompressed_data;
1156     }
1157
1158     if (!s->is_luma) {
1159         channel_buffer[0] = src + td->xsize * s->channel_offsets[0];
1160         channel_buffer[1] = src + td->xsize * s->channel_offsets[1];
1161         channel_buffer[2] = src + td->xsize * s->channel_offsets[2];
1162         rgb_channel_count = 3;
1163     } else { /* put y data in the first channel_buffer */
1164         channel_buffer[0] = src + td->xsize * s->channel_offsets[1];
1165         rgb_channel_count = 1;
1166     }
1167     if (s->channel_offsets[3] >= 0)
1168         channel_buffer[3] = src + td->xsize * s->channel_offsets[3];
1169
1170     ptr = p->data[0] + line * p->linesize[0] + (col * s->desc->nb_components * 2);
1171
1172     for (i = 0;
1173          i < td->ysize; i++, ptr += p->linesize[0]) {
1174
1175         const uint8_t * a;
1176         const uint8_t *rgb[3];
1177
1178         for (c = 0; c < rgb_channel_count; c++){
1179             rgb[c] = channel_buffer[c];
1180         }
1181
1182         if (channel_buffer[3])
1183             a = channel_buffer[3];
1184
1185         ptr_x = (uint16_t *) ptr;
1186
1187         // Zero out the start if xmin is not 0
1188         memset(ptr_x, 0, bxmin);
1189         ptr_x += s->xmin * s->desc->nb_components;
1190
1191         if (s->pixel_type == EXR_FLOAT) {
1192             // 32-bit
1193             if (trc_func) {
1194                 for (x = 0; x < td->xsize; x++) {
1195                     union av_intfloat32 t;
1196
1197                     for (c = 0; c < rgb_channel_count; c++) {
1198                         t.i = bytestream_get_le32(&rgb[c]);
1199                         t.f = trc_func(t.f);
1200                         *ptr_x++ = exr_flt2uint(t.i);
1201                     }
1202                     if (channel_buffer[3])
1203                         *ptr_x++ = exr_flt2uint(bytestream_get_le32(&a));
1204                 }
1205             } else {
1206                 for (x = 0; x < td->xsize; x++) {
1207                     union av_intfloat32 t;
1208                     int c;
1209
1210                     for (c = 0; c < rgb_channel_count; c++) {
1211                         t.i = bytestream_get_le32(&rgb[c]);
1212                         if (t.f > 0.0f)  /* avoid negative values */
1213                             t.f = powf(t.f, one_gamma);
1214                         *ptr_x++ = exr_flt2uint(t.i);
1215                     }
1216
1217                     if (channel_buffer[3])
1218                         *ptr_x++ = exr_flt2uint(bytestream_get_le32(&a));
1219                 }
1220             }
1221         } else {
1222             // 16-bit
1223             for (x = 0; x < td->xsize; x++) {
1224                 int c;
1225                 for (c = 0; c < rgb_channel_count; c++) {
1226                     *ptr_x++ = s->gamma_table[bytestream_get_le16(&rgb[c])];
1227                 }
1228
1229                 if (channel_buffer[3])
1230                     *ptr_x++ = exr_halflt2uint(bytestream_get_le16(&a));
1231             }
1232         }
1233
1234         // Zero out the end if xmax+1 is not w
1235         memset(ptr_x, 0, axmax);
1236
1237         channel_buffer[0] += td->channel_line_size;
1238         channel_buffer[1] += td->channel_line_size;
1239         channel_buffer[2] += td->channel_line_size;
1240         if (channel_buffer[3])
1241             channel_buffer[3] += td->channel_line_size;
1242     }
1243
1244     return 0;
1245 }
1246
1247 /**
1248  * Check if the variable name corresponds to its data type.
1249  *
1250  * @param s              the EXRContext
1251  * @param value_name     name of the variable to check
1252  * @param value_type     type of the variable to check
1253  * @param minimum_length minimum length of the variable data
1254  *
1255  * @return bytes to read containing variable data
1256  *         -1 if variable is not found
1257  *         0 if buffer ended prematurely
1258  */
1259 static int check_header_variable(EXRContext *s,
1260                                  const char *value_name,
1261                                  const char *value_type,
1262                                  unsigned int minimum_length)
1263 {
1264     int var_size = -1;
1265
1266     if (bytestream2_get_bytes_left(&s->gb) >= minimum_length &&
1267         !strcmp(s->gb.buffer, value_name)) {
1268         // found value_name, jump to value_type (null terminated strings)
1269         s->gb.buffer += strlen(value_name) + 1;
1270         if (!strcmp(s->gb.buffer, value_type)) {
1271             s->gb.buffer += strlen(value_type) + 1;
1272             var_size = bytestream2_get_le32(&s->gb);
1273             // don't go read past boundaries
1274             if (var_size > bytestream2_get_bytes_left(&s->gb))
1275                 var_size = 0;
1276         } else {
1277             // value_type not found, reset the buffer
1278             s->gb.buffer -= strlen(value_name) + 1;
1279             av_log(s->avctx, AV_LOG_WARNING,
1280                    "Unknown data type %s for header variable %s.\n",
1281                    value_type, value_name);
1282         }
1283     }
1284
1285     return var_size;
1286 }
1287
1288 static int decode_header(EXRContext *s)
1289 {
1290     int magic_number, version, i, flags, sar = 0;
1291     int layer_match = 0;
1292
1293     s->current_channel_offset = 0;
1294     s->xmin               = ~0;
1295     s->xmax               = ~0;
1296     s->ymin               = ~0;
1297     s->ymax               = ~0;
1298     s->xdelta             = ~0;
1299     s->ydelta             = ~0;
1300     s->channel_offsets[0] = -1;
1301     s->channel_offsets[1] = -1;
1302     s->channel_offsets[2] = -1;
1303     s->channel_offsets[3] = -1;
1304     s->pixel_type         = EXR_UNKNOWN;
1305     s->compression        = EXR_UNKN;
1306     s->nb_channels        = 0;
1307     s->w                  = 0;
1308     s->h                  = 0;
1309     s->tile_attr.xSize    = -1;
1310     s->tile_attr.ySize    = -1;
1311     s->is_tile            = 0;
1312     s->is_luma            = 0;
1313
1314     if (bytestream2_get_bytes_left(&s->gb) < 10) {
1315         av_log(s->avctx, AV_LOG_ERROR, "Header too short to parse.\n");
1316         return AVERROR_INVALIDDATA;
1317     }
1318
1319     magic_number = bytestream2_get_le32(&s->gb);
1320     if (magic_number != 20000630) {
1321         /* As per documentation of OpenEXR, it is supposed to be
1322          * int 20000630 little-endian */
1323         av_log(s->avctx, AV_LOG_ERROR, "Wrong magic number %d.\n", magic_number);
1324         return AVERROR_INVALIDDATA;
1325     }
1326
1327     version = bytestream2_get_byte(&s->gb);
1328     if (version != 2) {
1329         avpriv_report_missing_feature(s->avctx, "Version %d", version);
1330         return AVERROR_PATCHWELCOME;
1331     }
1332
1333     flags = bytestream2_get_le24(&s->gb);
1334
1335     if (flags == 0x00)
1336         s->is_tile = 0;
1337     else if (flags & 0x02)
1338         s->is_tile = 1;
1339     else{
1340         avpriv_report_missing_feature(s->avctx, "flags %d", flags);
1341         return AVERROR_PATCHWELCOME;
1342     }
1343
1344     // Parse the header
1345     while (bytestream2_get_bytes_left(&s->gb) > 0 && *s->gb.buffer) {
1346         int var_size;
1347         if ((var_size = check_header_variable(s, "channels",
1348                                               "chlist", 38)) >= 0) {
1349             GetByteContext ch_gb;
1350             if (!var_size)
1351                 return AVERROR_INVALIDDATA;
1352
1353             bytestream2_init(&ch_gb, s->gb.buffer, var_size);
1354
1355             while (bytestream2_get_bytes_left(&ch_gb) >= 19) {
1356                 EXRChannel *channel;
1357                 enum ExrPixelType current_pixel_type;
1358                 int channel_index = -1;
1359                 int xsub, ysub;
1360
1361                 if (strcmp(s->layer, "") != 0) {
1362                     if (strncmp(ch_gb.buffer, s->layer, strlen(s->layer)) == 0) {
1363                         layer_match = 1;
1364                         av_log(s->avctx, AV_LOG_INFO,
1365                                "Channel match layer : %s.\n", ch_gb.buffer);
1366                         ch_gb.buffer += strlen(s->layer);
1367                         if (*ch_gb.buffer == '.')
1368                             ch_gb.buffer++;         /* skip dot if not given */
1369                     } else {
1370                         av_log(s->avctx, AV_LOG_INFO,
1371                                "Channel doesn't match layer : %s.\n", ch_gb.buffer);
1372                     }
1373                 } else {
1374                     layer_match = 1;
1375                 }
1376
1377                 if (layer_match) { /* only search channel if the layer match is valid */
1378                     if (!strcmp(ch_gb.buffer, "R") ||
1379                         !strcmp(ch_gb.buffer, "X") ||
1380                         !strcmp(ch_gb.buffer, "U")) {
1381                         channel_index = 0;
1382                         s->is_luma = 0;
1383                     } else if (!strcmp(ch_gb.buffer, "G") ||
1384                                !strcmp(ch_gb.buffer, "V")) {
1385                         channel_index = 1;
1386                         s->is_luma = 0;
1387                     } else if (!strcmp(ch_gb.buffer, "Y")) {
1388                         channel_index = 1;
1389                         s->is_luma = 1;
1390                     } else if (!strcmp(ch_gb.buffer, "B") ||
1391                                !strcmp(ch_gb.buffer, "Z") ||
1392                                !strcmp(ch_gb.buffer, "W")){
1393                                channel_index = 2;
1394                         s->is_luma = 0;
1395                     } else if (!strcmp(ch_gb.buffer, "A")) {
1396                         channel_index = 3;
1397                     } else {
1398                         av_log(s->avctx, AV_LOG_WARNING,
1399                                "Unsupported channel %.256s.\n", ch_gb.buffer);
1400                     }
1401                 }
1402
1403                 /* skip until you get a 0 */
1404                 while (bytestream2_get_bytes_left(&ch_gb) > 0 &&
1405                        bytestream2_get_byte(&ch_gb))
1406                     continue;
1407
1408                 if (bytestream2_get_bytes_left(&ch_gb) < 4) {
1409                     av_log(s->avctx, AV_LOG_ERROR, "Incomplete header.\n");
1410                     return AVERROR_INVALIDDATA;
1411                 }
1412
1413                 current_pixel_type = bytestream2_get_le32(&ch_gb);
1414                 if (current_pixel_type >= EXR_UNKNOWN) {
1415                     avpriv_report_missing_feature(s->avctx, "Pixel type %d",
1416                                                   current_pixel_type);
1417                     return AVERROR_PATCHWELCOME;
1418                 }
1419
1420                 bytestream2_skip(&ch_gb, 4);
1421                 xsub = bytestream2_get_le32(&ch_gb);
1422                 ysub = bytestream2_get_le32(&ch_gb);
1423
1424                 if (xsub != 1 || ysub != 1) {
1425                     avpriv_report_missing_feature(s->avctx,
1426                                                   "Subsampling %dx%d",
1427                                                   xsub, ysub);
1428                     return AVERROR_PATCHWELCOME;
1429                 }
1430
1431                 if (channel_index >= 0 && s->channel_offsets[channel_index] == -1) { /* channel has not been previously assigned */
1432                         if (s->pixel_type != EXR_UNKNOWN &&
1433                             s->pixel_type != current_pixel_type) {
1434                             av_log(s->avctx, AV_LOG_ERROR,
1435                                    "RGB channels not of the same depth.\n");
1436                             return AVERROR_INVALIDDATA;
1437                         }
1438                         s->pixel_type                     = current_pixel_type;
1439                         s->channel_offsets[channel_index] = s->current_channel_offset;
1440                 }
1441
1442                 s->channels = av_realloc(s->channels,
1443                                          ++s->nb_channels * sizeof(EXRChannel));
1444                 if (!s->channels)
1445                     return AVERROR(ENOMEM);
1446                 channel             = &s->channels[s->nb_channels - 1];
1447                 channel->pixel_type = current_pixel_type;
1448                 channel->xsub       = xsub;
1449                 channel->ysub       = ysub;
1450
1451                 s->current_channel_offset += 1 << current_pixel_type;
1452             }
1453
1454             /* Check if all channels are set with an offset or if the channels
1455              * are causing an overflow  */
1456             if (!s->is_luma){/* if we expected to have at least 3 channels */
1457                 if (FFMIN3(s->channel_offsets[0],
1458                            s->channel_offsets[1],
1459                            s->channel_offsets[2]) < 0) {
1460                     if (s->channel_offsets[0] < 0)
1461                         av_log(s->avctx, AV_LOG_ERROR, "Missing red channel.\n");
1462                     if (s->channel_offsets[1] < 0)
1463                         av_log(s->avctx, AV_LOG_ERROR, "Missing green channel.\n");
1464                     if (s->channel_offsets[2] < 0)
1465                         av_log(s->avctx, AV_LOG_ERROR, "Missing blue channel.\n");
1466                     return AVERROR_INVALIDDATA;
1467                 }
1468             }
1469
1470             // skip one last byte and update main gb
1471             s->gb.buffer = ch_gb.buffer + 1;
1472             continue;
1473         } else if ((var_size = check_header_variable(s, "dataWindow", "box2i",
1474                                                      31)) >= 0) {
1475             if (!var_size)
1476                 return AVERROR_INVALIDDATA;
1477
1478             s->xmin   = bytestream2_get_le32(&s->gb);
1479             s->ymin   = bytestream2_get_le32(&s->gb);
1480             s->xmax   = bytestream2_get_le32(&s->gb);
1481             s->ymax   = bytestream2_get_le32(&s->gb);
1482             s->xdelta = (s->xmax - s->xmin) + 1;
1483             s->ydelta = (s->ymax - s->ymin) + 1;
1484
1485             continue;
1486         } else if ((var_size = check_header_variable(s, "displayWindow",
1487                                                      "box2i", 34)) >= 0) {
1488             if (!var_size)
1489                 return AVERROR_INVALIDDATA;
1490
1491             bytestream2_skip(&s->gb, 8);
1492             s->w = bytestream2_get_le32(&s->gb) + 1;
1493             s->h = bytestream2_get_le32(&s->gb) + 1;
1494
1495             continue;
1496         } else if ((var_size = check_header_variable(s, "lineOrder",
1497                                                      "lineOrder", 25)) >= 0) {
1498             int line_order;
1499             if (!var_size)
1500                 return AVERROR_INVALIDDATA;
1501
1502             line_order = bytestream2_get_byte(&s->gb);
1503             av_log(s->avctx, AV_LOG_DEBUG, "line order: %d.\n", line_order);
1504             if (line_order > 2) {
1505                 av_log(s->avctx, AV_LOG_ERROR, "Unknown line order.\n");
1506                 return AVERROR_INVALIDDATA;
1507             }
1508
1509             continue;
1510         } else if ((var_size = check_header_variable(s, "pixelAspectRatio",
1511                                                      "float", 31)) >= 0) {
1512             if (!var_size)
1513                 return AVERROR_INVALIDDATA;
1514
1515             sar = bytestream2_get_le32(&s->gb);
1516
1517             continue;
1518         } else if ((var_size = check_header_variable(s, "compression",
1519                                                      "compression", 29)) >= 0) {
1520             if (!var_size)
1521                 return AVERROR_INVALIDDATA;
1522
1523             if (s->compression == EXR_UNKN)
1524                 s->compression = bytestream2_get_byte(&s->gb);
1525             else
1526                 av_log(s->avctx, AV_LOG_WARNING,
1527                        "Found more than one compression attribute.\n");
1528
1529             continue;
1530         } else if ((var_size = check_header_variable(s, "tiles",
1531                                                      "tiledesc", 22)) >= 0) {
1532             char tileLevel;
1533
1534             if (!s->is_tile)
1535                 av_log(s->avctx, AV_LOG_WARNING,
1536                        "Found tile attribute and scanline flags. Exr will be interpreted as scanline.\n");
1537
1538             s->tile_attr.xSize = bytestream2_get_le32(&s->gb);
1539             s->tile_attr.ySize = bytestream2_get_le32(&s->gb);
1540
1541             tileLevel = bytestream2_get_byte(&s->gb);
1542             s->tile_attr.level_mode = tileLevel & 0x0f;
1543             s->tile_attr.level_round = (tileLevel >> 4) & 0x0f;
1544
1545             if (s->tile_attr.level_mode >= EXR_TILE_LEVEL_UNKNOWN){
1546                 avpriv_report_missing_feature(s->avctx, "Tile level mode %d",
1547                                               s->tile_attr.level_mode);
1548                 return AVERROR_PATCHWELCOME;
1549             }
1550
1551             if (s->tile_attr.level_round >= EXR_TILE_ROUND_UNKNOWN) {
1552                 avpriv_report_missing_feature(s->avctx, "Tile level round %d",
1553                                               s->tile_attr.level_round);
1554                 return AVERROR_PATCHWELCOME;
1555             }
1556
1557             continue;
1558         }
1559
1560         // Check if there are enough bytes for a header
1561         if (bytestream2_get_bytes_left(&s->gb) <= 9) {
1562             av_log(s->avctx, AV_LOG_ERROR, "Incomplete header\n");
1563             return AVERROR_INVALIDDATA;
1564         }
1565
1566         // Process unknown variables
1567         for (i = 0; i < 2; i++) // value_name and value_type
1568             while (bytestream2_get_byte(&s->gb) != 0);
1569
1570         // Skip variable length
1571         bytestream2_skip(&s->gb, bytestream2_get_le32(&s->gb));
1572     }
1573
1574     ff_set_sar(s->avctx, av_d2q(av_int2float(sar), 255));
1575
1576     if (s->compression == EXR_UNKN) {
1577         av_log(s->avctx, AV_LOG_ERROR, "Missing compression attribute.\n");
1578         return AVERROR_INVALIDDATA;
1579     }
1580
1581     if (s->is_tile) {
1582         if (s->tile_attr.xSize < 1 || s->tile_attr.ySize < 1) {
1583             av_log(s->avctx, AV_LOG_ERROR, "Invalid tile attribute.\n");
1584             return AVERROR_INVALIDDATA;
1585         }
1586     }
1587
1588     if (bytestream2_get_bytes_left(&s->gb) <= 0) {
1589         av_log(s->avctx, AV_LOG_ERROR, "Incomplete frame.\n");
1590         return AVERROR_INVALIDDATA;
1591     }
1592
1593     // aaand we are done
1594     bytestream2_skip(&s->gb, 1);
1595     return 0;
1596 }
1597
1598 static int decode_frame(AVCodecContext *avctx, void *data,
1599                         int *got_frame, AVPacket *avpkt)
1600 {
1601     EXRContext *s = avctx->priv_data;
1602     ThreadFrame frame = { .f = data };
1603     AVFrame *picture = data;
1604     uint8_t *ptr;
1605
1606     int y, ret;
1607     int out_line_size;
1608     int nb_blocks;/* nb scanline or nb tile */
1609
1610     bytestream2_init(&s->gb, avpkt->data, avpkt->size);
1611
1612     if ((ret = decode_header(s)) < 0)
1613         return ret;
1614
1615     switch (s->pixel_type) {
1616     case EXR_FLOAT:
1617     case EXR_HALF:
1618         if (s->channel_offsets[3] >= 0) {
1619             if (!s->is_luma) {
1620                 avctx->pix_fmt = AV_PIX_FMT_RGBA64;
1621             } else {
1622                 avctx->pix_fmt = AV_PIX_FMT_YA16;
1623             }
1624         } else {
1625             if (!s->is_luma) {
1626                 avctx->pix_fmt = AV_PIX_FMT_RGB48;
1627             } else {
1628                 avctx->pix_fmt = AV_PIX_FMT_GRAY16;
1629             }
1630         }
1631         break;
1632     case EXR_UINT:
1633         avpriv_request_sample(avctx, "32-bit unsigned int");
1634         return AVERROR_PATCHWELCOME;
1635     default:
1636         av_log(avctx, AV_LOG_ERROR, "Missing channel list.\n");
1637         return AVERROR_INVALIDDATA;
1638     }
1639
1640     if (s->apply_trc_type != AVCOL_TRC_UNSPECIFIED)
1641         avctx->color_trc = s->apply_trc_type;
1642
1643     switch (s->compression) {
1644     case EXR_RAW:
1645     case EXR_RLE:
1646     case EXR_ZIP1:
1647         s->scan_lines_per_block = 1;
1648         break;
1649     case EXR_PXR24:
1650     case EXR_ZIP16:
1651         s->scan_lines_per_block = 16;
1652         break;
1653     case EXR_PIZ:
1654     case EXR_B44:
1655     case EXR_B44A:
1656         s->scan_lines_per_block = 32;
1657         break;
1658     default:
1659         avpriv_report_missing_feature(avctx, "Compression %d", s->compression);
1660         return AVERROR_PATCHWELCOME;
1661     }
1662
1663     /* Verify the xmin, xmax, ymin, ymax and xdelta before setting
1664      * the actual image size. */
1665     if (s->xmin > s->xmax                  ||
1666         s->ymin > s->ymax                  ||
1667         s->xdelta != s->xmax - s->xmin + 1 ||
1668         s->xmax >= s->w                    ||
1669         s->ymax >= s->h) {
1670         av_log(avctx, AV_LOG_ERROR, "Wrong or missing size information.\n");
1671         return AVERROR_INVALIDDATA;
1672     }
1673
1674     if ((ret = ff_set_dimensions(avctx, s->w, s->h)) < 0)
1675         return ret;
1676
1677     s->desc          = av_pix_fmt_desc_get(avctx->pix_fmt);
1678     if (!s->desc)
1679         return AVERROR_INVALIDDATA;
1680     out_line_size    = avctx->width * 2 * s->desc->nb_components;
1681
1682     if (s->is_tile) {
1683         nb_blocks = ((s->xdelta + s->tile_attr.xSize - 1) / s->tile_attr.xSize) *
1684         ((s->ydelta + s->tile_attr.ySize - 1) / s->tile_attr.ySize);
1685     } else { /* scanline */
1686         nb_blocks = (s->ydelta + s->scan_lines_per_block - 1) /
1687         s->scan_lines_per_block;
1688     }
1689
1690     if ((ret = ff_thread_get_buffer(avctx, &frame, 0)) < 0)
1691         return ret;
1692
1693     if (bytestream2_get_bytes_left(&s->gb) < nb_blocks * 8)
1694         return AVERROR_INVALIDDATA;
1695
1696     // save pointer we are going to use in decode_block
1697     s->buf      = avpkt->data;
1698     s->buf_size = avpkt->size;
1699     ptr         = picture->data[0];
1700
1701     // Zero out the start if ymin is not 0
1702     for (y = 0; y < s->ymin; y++) {
1703         memset(ptr, 0, out_line_size);
1704         ptr += picture->linesize[0];
1705     }
1706
1707     s->picture = picture;
1708
1709     avctx->execute2(avctx, decode_block, s->thread_data, NULL, nb_blocks);
1710
1711     // Zero out the end if ymax+1 is not h
1712     for (y = s->ymax + 1; y < avctx->height; y++) {
1713         memset(ptr, 0, out_line_size);
1714         ptr += picture->linesize[0];
1715     }
1716
1717     picture->pict_type = AV_PICTURE_TYPE_I;
1718     *got_frame = 1;
1719
1720     return avpkt->size;
1721 }
1722
1723 static av_cold int decode_init(AVCodecContext *avctx)
1724 {
1725     EXRContext *s = avctx->priv_data;
1726     uint32_t i;
1727     union av_intfloat32 t;
1728     float one_gamma = 1.0f / s->gamma;
1729     avpriv_trc_function trc_func = NULL;
1730
1731     s->avctx              = avctx;
1732
1733     trc_func = avpriv_get_trc_function_from_trc(s->apply_trc_type);
1734     if (trc_func) {
1735         for (i = 0; i < 65536; ++i) {
1736             t = exr_half2float(i);
1737             t.f = trc_func(t.f);
1738             s->gamma_table[i] = exr_flt2uint(t.i);
1739         }
1740     } else {
1741         if (one_gamma > 0.9999f && one_gamma < 1.0001f) {
1742             for (i = 0; i < 65536; ++i)
1743                 s->gamma_table[i] = exr_halflt2uint(i);
1744         } else {
1745             for (i = 0; i < 65536; ++i) {
1746                 t = exr_half2float(i);
1747                 /* If negative value we reuse half value */
1748                 if (t.f <= 0.0f) {
1749                     s->gamma_table[i] = exr_halflt2uint(i);
1750                 } else {
1751                     t.f = powf(t.f, one_gamma);
1752                     s->gamma_table[i] = exr_flt2uint(t.i);
1753                 }
1754             }
1755         }
1756     }
1757
1758     // allocate thread data, used for non EXR_RAW compression types
1759     s->thread_data = av_mallocz_array(avctx->thread_count, sizeof(EXRThreadData));
1760     if (!s->thread_data)
1761         return AVERROR_INVALIDDATA;
1762
1763     return 0;
1764 }
1765
1766 #if HAVE_THREADS
1767 static int decode_init_thread_copy(AVCodecContext *avctx)
1768 {    EXRContext *s = avctx->priv_data;
1769
1770     // allocate thread data, used for non EXR_RAW compression types
1771     s->thread_data = av_mallocz_array(avctx->thread_count, sizeof(EXRThreadData));
1772     if (!s->thread_data)
1773         return AVERROR_INVALIDDATA;
1774
1775     return 0;
1776 }
1777 #endif
1778
1779 static av_cold int decode_end(AVCodecContext *avctx)
1780 {
1781     EXRContext *s = avctx->priv_data;
1782     int i;
1783     for (i = 0; i < avctx->thread_count; i++) {
1784         EXRThreadData *td = &s->thread_data[i];
1785         av_freep(&td->uncompressed_data);
1786         av_freep(&td->tmp);
1787         av_freep(&td->bitmap);
1788         av_freep(&td->lut);
1789     }
1790
1791     av_freep(&s->thread_data);
1792     av_freep(&s->channels);
1793
1794     return 0;
1795 }
1796
1797 #define OFFSET(x) offsetof(EXRContext, x)
1798 #define VD AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_DECODING_PARAM
1799 static const AVOption options[] = {
1800     { "layer", "Set the decoding layer", OFFSET(layer),
1801         AV_OPT_TYPE_STRING, { .str = "" }, 0, 0, VD },
1802     { "gamma", "Set the float gamma value when decoding", OFFSET(gamma),
1803         AV_OPT_TYPE_FLOAT, { .dbl = 1.0f }, 0.001, FLT_MAX, VD },
1804
1805     // XXX: Note the abuse of the enum using AVCOL_TRC_UNSPECIFIED to subsume the existing gamma option
1806     { "apply_trc", "color transfer characteristics to apply to EXR linear input", OFFSET(apply_trc_type),
1807         AV_OPT_TYPE_INT, {.i64 = AVCOL_TRC_UNSPECIFIED }, 1, AVCOL_TRC_NB-1, VD, "apply_trc_type"},
1808     { "bt709",        "BT.709",           0,
1809         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_BT709 },        INT_MIN, INT_MAX, VD, "apply_trc_type"},
1810     { "gamma",        "gamma",            0,
1811         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_UNSPECIFIED },  INT_MIN, INT_MAX, VD, "apply_trc_type"},
1812     { "gamma22",      "BT.470 M",         0,
1813         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_GAMMA22 },      INT_MIN, INT_MAX, VD, "apply_trc_type"},
1814     { "gamma28",      "BT.470 BG",        0,
1815         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_GAMMA28 },      INT_MIN, INT_MAX, VD, "apply_trc_type"},
1816     { "smpte170m",    "SMPTE 170 M",      0,
1817         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_SMPTE170M },    INT_MIN, INT_MAX, VD, "apply_trc_type"},
1818     { "smpte240m",    "SMPTE 240 M",      0,
1819         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_SMPTE240M },    INT_MIN, INT_MAX, VD, "apply_trc_type"},
1820     { "linear",       "Linear",           0,
1821         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_LINEAR },       INT_MIN, INT_MAX, VD, "apply_trc_type"},
1822     { "log",          "Log",              0,
1823         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_LOG },          INT_MIN, INT_MAX, VD, "apply_trc_type"},
1824     { "log_sqrt",     "Log square root",  0,
1825         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_LOG_SQRT },     INT_MIN, INT_MAX, VD, "apply_trc_type"},
1826     { "iec61966_2_4", "IEC 61966-2-4",    0,
1827         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_IEC61966_2_4 }, INT_MIN, INT_MAX, VD, "apply_trc_type"},
1828     { "bt1361",       "BT.1361",          0,
1829         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_BT1361_ECG },   INT_MIN, INT_MAX, VD, "apply_trc_type"},
1830     { "iec61966_2_1", "IEC 61966-2-1",    0,
1831         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_IEC61966_2_1 }, INT_MIN, INT_MAX, VD, "apply_trc_type"},
1832     { "bt2020_10bit", "BT.2020 - 10 bit", 0,
1833         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_BT2020_10 },    INT_MIN, INT_MAX, VD, "apply_trc_type"},
1834     { "bt2020_12bit", "BT.2020 - 12 bit", 0,
1835         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_BT2020_12 },    INT_MIN, INT_MAX, VD, "apply_trc_type"},
1836     { "smpte2084",    "SMPTE ST 2084",    0,
1837         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_SMPTEST2084 },  INT_MIN, INT_MAX, VD, "apply_trc_type"},
1838     { "smpte428_1",   "SMPTE ST 428-1",   0,
1839         AV_OPT_TYPE_CONST, {.i64 = AVCOL_TRC_SMPTEST428_1 }, INT_MIN, INT_MAX, VD, "apply_trc_type"},
1840
1841     { NULL },
1842 };
1843
1844 static const AVClass exr_class = {
1845     .class_name = "EXR",
1846     .item_name  = av_default_item_name,
1847     .option     = options,
1848     .version    = LIBAVUTIL_VERSION_INT,
1849 };
1850
1851 AVCodec ff_exr_decoder = {
1852     .name             = "exr",
1853     .long_name        = NULL_IF_CONFIG_SMALL("OpenEXR image"),
1854     .type             = AVMEDIA_TYPE_VIDEO,
1855     .id               = AV_CODEC_ID_EXR,
1856     .priv_data_size   = sizeof(EXRContext),
1857     .init             = decode_init,
1858     .init_thread_copy = ONLY_IF_THREADS_ENABLED(decode_init_thread_copy),
1859     .close            = decode_end,
1860     .decode           = decode_frame,
1861     .capabilities     = AV_CODEC_CAP_DR1 | AV_CODEC_CAP_FRAME_THREADS |
1862                         AV_CODEC_CAP_SLICE_THREADS,
1863     .priv_class       = &exr_class,
1864 };