avutil: Add av_image_check_size2()
[ffmpeg.git] / libavutil / imgutils.c
1 /*
2  * This file is part of FFmpeg.
3  *
4  * FFmpeg is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * FFmpeg is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with FFmpeg; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17  */
18
19 /**
20  * @file
21  * misc image utilities
22  */
23
24 #include "avassert.h"
25 #include "common.h"
26 #include "imgutils.h"
27 #include "internal.h"
28 #include "intreadwrite.h"
29 #include "log.h"
30 #include "mathematics.h"
31 #include "pixdesc.h"
32 #include "rational.h"
33
34 void av_image_fill_max_pixsteps(int max_pixsteps[4], int max_pixstep_comps[4],
35                                 const AVPixFmtDescriptor *pixdesc)
36 {
37     int i;
38     memset(max_pixsteps, 0, 4*sizeof(max_pixsteps[0]));
39     if (max_pixstep_comps)
40         memset(max_pixstep_comps, 0, 4*sizeof(max_pixstep_comps[0]));
41
42     for (i = 0; i < 4; i++) {
43         const AVComponentDescriptor *comp = &(pixdesc->comp[i]);
44         if (comp->step > max_pixsteps[comp->plane]) {
45             max_pixsteps[comp->plane] = comp->step;
46             if (max_pixstep_comps)
47                 max_pixstep_comps[comp->plane] = i;
48         }
49     }
50 }
51
52 static inline
53 int image_get_linesize(int width, int plane,
54                        int max_step, int max_step_comp,
55                        const AVPixFmtDescriptor *desc)
56 {
57     int s, shifted_w, linesize;
58
59     if (!desc)
60         return AVERROR(EINVAL);
61
62     if (width < 0)
63         return AVERROR(EINVAL);
64     s = (max_step_comp == 1 || max_step_comp == 2) ? desc->log2_chroma_w : 0;
65     shifted_w = ((width + (1 << s) - 1)) >> s;
66     if (shifted_w && max_step > INT_MAX / shifted_w)
67         return AVERROR(EINVAL);
68     linesize = max_step * shifted_w;
69
70     if (desc->flags & AV_PIX_FMT_FLAG_BITSTREAM)
71         linesize = (linesize + 7) >> 3;
72     return linesize;
73 }
74
75 int av_image_get_linesize(enum AVPixelFormat pix_fmt, int width, int plane)
76 {
77     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
78     int max_step     [4];       /* max pixel step for each plane */
79     int max_step_comp[4];       /* the component for each plane which has the max pixel step */
80
81     if (!desc || desc->flags & AV_PIX_FMT_FLAG_HWACCEL)
82         return AVERROR(EINVAL);
83
84     av_image_fill_max_pixsteps(max_step, max_step_comp, desc);
85     return image_get_linesize(width, plane, max_step[plane], max_step_comp[plane], desc);
86 }
87
88 int av_image_fill_linesizes(int linesizes[4], enum AVPixelFormat pix_fmt, int width)
89 {
90     int i, ret;
91     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
92     int max_step     [4];       /* max pixel step for each plane */
93     int max_step_comp[4];       /* the component for each plane which has the max pixel step */
94
95     memset(linesizes, 0, 4*sizeof(linesizes[0]));
96
97     if (!desc || desc->flags & AV_PIX_FMT_FLAG_HWACCEL)
98         return AVERROR(EINVAL);
99
100     av_image_fill_max_pixsteps(max_step, max_step_comp, desc);
101     for (i = 0; i < 4; i++) {
102         if ((ret = image_get_linesize(width, i, max_step[i], max_step_comp[i], desc)) < 0)
103             return ret;
104         linesizes[i] = ret;
105     }
106
107     return 0;
108 }
109
110 int av_image_fill_pointers(uint8_t *data[4], enum AVPixelFormat pix_fmt, int height,
111                            uint8_t *ptr, const int linesizes[4])
112 {
113     int i, total_size, size[4] = { 0 }, has_plane[4] = { 0 };
114
115     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
116     memset(data     , 0, sizeof(data[0])*4);
117
118     if (!desc || desc->flags & AV_PIX_FMT_FLAG_HWACCEL)
119         return AVERROR(EINVAL);
120
121     data[0] = ptr;
122     if (linesizes[0] > (INT_MAX - 1024) / height)
123         return AVERROR(EINVAL);
124     size[0] = linesizes[0] * height;
125
126     if (desc->flags & AV_PIX_FMT_FLAG_PAL ||
127         desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL) {
128         data[1] = ptr + size[0]; /* palette is stored here as 256 32 bits words */
129         return size[0] + 256 * 4;
130     }
131
132     for (i = 0; i < 4; i++)
133         has_plane[desc->comp[i].plane] = 1;
134
135     total_size = size[0];
136     for (i = 1; i < 4 && has_plane[i]; i++) {
137         int h, s = (i == 1 || i == 2) ? desc->log2_chroma_h : 0;
138         data[i] = data[i-1] + size[i-1];
139         h = (height + (1 << s) - 1) >> s;
140         if (linesizes[i] > INT_MAX / h)
141             return AVERROR(EINVAL);
142         size[i] = h * linesizes[i];
143         if (total_size > INT_MAX - size[i])
144             return AVERROR(EINVAL);
145         total_size += size[i];
146     }
147
148     return total_size;
149 }
150
151 int avpriv_set_systematic_pal2(uint32_t pal[256], enum AVPixelFormat pix_fmt)
152 {
153     int i;
154
155     for (i = 0; i < 256; i++) {
156         int r, g, b;
157
158         switch (pix_fmt) {
159         case AV_PIX_FMT_RGB8:
160             r = (i>>5    )*36;
161             g = ((i>>2)&7)*36;
162             b = (i&3     )*85;
163             break;
164         case AV_PIX_FMT_BGR8:
165             b = (i>>6    )*85;
166             g = ((i>>3)&7)*36;
167             r = (i&7     )*36;
168             break;
169         case AV_PIX_FMT_RGB4_BYTE:
170             r = (i>>3    )*255;
171             g = ((i>>1)&3)*85;
172             b = (i&1     )*255;
173             break;
174         case AV_PIX_FMT_BGR4_BYTE:
175             b = (i>>3    )*255;
176             g = ((i>>1)&3)*85;
177             r = (i&1     )*255;
178             break;
179         case AV_PIX_FMT_GRAY8:
180             r = b = g = i;
181             break;
182         default:
183             return AVERROR(EINVAL);
184         }
185         pal[i] = b + (g << 8) + (r << 16) + (0xFFU << 24);
186     }
187
188     return 0;
189 }
190
191 int av_image_alloc(uint8_t *pointers[4], int linesizes[4],
192                    int w, int h, enum AVPixelFormat pix_fmt, int align)
193 {
194     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
195     int i, ret;
196     uint8_t *buf;
197
198     if (!desc)
199         return AVERROR(EINVAL);
200
201     if ((ret = av_image_check_size(w, h, 0, NULL)) < 0)
202         return ret;
203     if ((ret = av_image_fill_linesizes(linesizes, pix_fmt, align>7 ? FFALIGN(w, 8) : w)) < 0)
204         return ret;
205
206     for (i = 0; i < 4; i++)
207         linesizes[i] = FFALIGN(linesizes[i], align);
208
209     if ((ret = av_image_fill_pointers(pointers, pix_fmt, h, NULL, linesizes)) < 0)
210         return ret;
211     buf = av_malloc(ret + align);
212     if (!buf)
213         return AVERROR(ENOMEM);
214     if ((ret = av_image_fill_pointers(pointers, pix_fmt, h, buf, linesizes)) < 0) {
215         av_free(buf);
216         return ret;
217     }
218     if (desc->flags & AV_PIX_FMT_FLAG_PAL || desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL) {
219         avpriv_set_systematic_pal2((uint32_t*)pointers[1], pix_fmt);
220         if (align < 4) {
221             av_log(NULL, AV_LOG_ERROR, "Formats with a palette require a minimum alignment of 4\n");
222             return AVERROR(EINVAL);
223         }
224     }
225
226     if ((desc->flags & AV_PIX_FMT_FLAG_PAL ||
227          desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL) &&
228         pointers[1] - pointers[0] > linesizes[0] * h) {
229         /* zero-initialize the padding before the palette */
230         memset(pointers[0] + linesizes[0] * h, 0,
231                pointers[1] - pointers[0] - linesizes[0] * h);
232     }
233
234     return ret;
235 }
236
237 typedef struct ImgUtils {
238     const AVClass *class;
239     int   log_offset;
240     void *log_ctx;
241 } ImgUtils;
242
243 static const AVClass imgutils_class = {
244     .class_name = "IMGUTILS",
245     .item_name  = av_default_item_name,
246     .version    = LIBAVUTIL_VERSION_INT,
247     .log_level_offset_offset   = offsetof(ImgUtils, log_offset),
248     .parent_log_context_offset = offsetof(ImgUtils, log_ctx),
249 };
250
251 int av_image_check_size2(unsigned int w, unsigned int h, int64_t max_pixels, enum AVPixelFormat pix_fmt, int log_offset, void *log_ctx)
252 {
253     ImgUtils imgutils = {
254         .class      = &imgutils_class,
255         .log_offset = log_offset,
256         .log_ctx    = log_ctx,
257     };
258     int64_t stride = av_image_get_linesize(pix_fmt, w, 0);
259     if (stride <= 0)
260         stride = 8LL*w;
261     stride += 128*8;
262
263     if ((int)w<=0 || (int)h<=0 || stride >= INT_MAX || stride*(uint64_t)(h+128) >= INT_MAX) {
264         av_log(&imgutils, AV_LOG_ERROR, "Picture size %ux%u is invalid\n", w, h);
265         return AVERROR(EINVAL);
266     }
267
268     if (max_pixels < INT64_MAX) {
269         if (w*(int64_t)h > max_pixels) {
270             av_log(&imgutils, AV_LOG_ERROR,
271                     "Picture size %ux%u exceeds specified max pixel count %"PRId64", see the documentation if you wish to increase it\n",
272                     w, h, max_pixels);
273             return AVERROR(EINVAL);
274         }
275     }
276
277     return 0;
278 }
279
280 int av_image_check_size(unsigned int w, unsigned int h, int log_offset, void *log_ctx)
281 {
282     return av_image_check_size2(w, h, INT64_MAX, AV_PIX_FMT_NONE, log_offset, log_ctx);
283 }
284
285 int av_image_check_sar(unsigned int w, unsigned int h, AVRational sar)
286 {
287     int64_t scaled_dim;
288
289     if (sar.den <= 0 || sar.num < 0)
290         return AVERROR(EINVAL);
291
292     if (!sar.num || sar.num == sar.den)
293         return 0;
294
295     if (sar.num < sar.den)
296         scaled_dim = av_rescale_rnd(w, sar.num, sar.den, AV_ROUND_ZERO);
297     else
298         scaled_dim = av_rescale_rnd(h, sar.den, sar.num, AV_ROUND_ZERO);
299
300     if (scaled_dim > 0)
301         return 0;
302
303     return AVERROR(EINVAL);
304 }
305
306 void av_image_copy_plane(uint8_t       *dst, int dst_linesize,
307                          const uint8_t *src, int src_linesize,
308                          int bytewidth, int height)
309 {
310     if (!dst || !src)
311         return;
312     av_assert0(abs(src_linesize) >= bytewidth);
313     av_assert0(abs(dst_linesize) >= bytewidth);
314     for (;height > 0; height--) {
315         memcpy(dst, src, bytewidth);
316         dst += dst_linesize;
317         src += src_linesize;
318     }
319 }
320
321 void av_image_copy(uint8_t *dst_data[4], int dst_linesizes[4],
322                    const uint8_t *src_data[4], const int src_linesizes[4],
323                    enum AVPixelFormat pix_fmt, int width, int height)
324 {
325     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
326
327     if (!desc || desc->flags & AV_PIX_FMT_FLAG_HWACCEL)
328         return;
329
330     if (desc->flags & AV_PIX_FMT_FLAG_PAL ||
331         desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL) {
332         av_image_copy_plane(dst_data[0], dst_linesizes[0],
333                             src_data[0], src_linesizes[0],
334                             width, height);
335         /* copy the palette */
336         memcpy(dst_data[1], src_data[1], 4*256);
337     } else {
338         int i, planes_nb = 0;
339
340         for (i = 0; i < desc->nb_components; i++)
341             planes_nb = FFMAX(planes_nb, desc->comp[i].plane + 1);
342
343         for (i = 0; i < planes_nb; i++) {
344             int h = height;
345             int bwidth = av_image_get_linesize(pix_fmt, width, i);
346             if (bwidth < 0) {
347                 av_log(NULL, AV_LOG_ERROR, "av_image_get_linesize failed\n");
348                 return;
349             }
350             if (i == 1 || i == 2) {
351                 h = AV_CEIL_RSHIFT(height, desc->log2_chroma_h);
352             }
353             av_image_copy_plane(dst_data[i], dst_linesizes[i],
354                                 src_data[i], src_linesizes[i],
355                                 bwidth, h);
356         }
357     }
358 }
359
360 int av_image_fill_arrays(uint8_t *dst_data[4], int dst_linesize[4],
361                          const uint8_t *src, enum AVPixelFormat pix_fmt,
362                          int width, int height, int align)
363 {
364     int ret, i;
365
366     ret = av_image_check_size(width, height, 0, NULL);
367     if (ret < 0)
368         return ret;
369
370     ret = av_image_fill_linesizes(dst_linesize, pix_fmt, width);
371     if (ret < 0)
372         return ret;
373
374     for (i = 0; i < 4; i++)
375         dst_linesize[i] = FFALIGN(dst_linesize[i], align);
376
377     return av_image_fill_pointers(dst_data, pix_fmt, height, (uint8_t *)src, dst_linesize);
378 }
379
380 int av_image_get_buffer_size(enum AVPixelFormat pix_fmt,
381                              int width, int height, int align)
382 {
383     uint8_t *data[4];
384     int linesize[4];
385     int ret;
386     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
387     if (!desc)
388         return AVERROR(EINVAL);
389
390     ret = av_image_check_size(width, height, 0, NULL);
391     if (ret < 0)
392         return ret;
393
394     // do not include palette for these pseudo-paletted formats
395     if (desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL)
396         return FFALIGN(width, align) * height;
397
398     return av_image_fill_arrays(data, linesize, NULL, pix_fmt,
399                                 width, height, align);
400 }
401
402 int av_image_copy_to_buffer(uint8_t *dst, int dst_size,
403                             const uint8_t * const src_data[4],
404                             const int src_linesize[4],
405                             enum AVPixelFormat pix_fmt,
406                             int width, int height, int align)
407 {
408     int i, j, nb_planes = 0, linesize[4];
409     int size = av_image_get_buffer_size(pix_fmt, width, height, align);
410     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);
411     int ret;
412
413     if (size > dst_size || size < 0 || !desc)
414         return AVERROR(EINVAL);
415
416     for (i = 0; i < desc->nb_components; i++)
417         nb_planes = FFMAX(desc->comp[i].plane, nb_planes);
418
419     nb_planes++;
420
421     ret = av_image_fill_linesizes(linesize, pix_fmt, width);
422     av_assert0(ret >= 0); // was checked previously
423
424     for (i = 0; i < nb_planes; i++) {
425         int h, shift = (i == 1 || i == 2) ? desc->log2_chroma_h : 0;
426         const uint8_t *src = src_data[i];
427         h = (height + (1 << shift) - 1) >> shift;
428
429         for (j = 0; j < h; j++) {
430             memcpy(dst, src, linesize[i]);
431             dst += FFALIGN(linesize[i], align);
432             src += src_linesize[i];
433         }
434     }
435
436     if (desc->flags & AV_PIX_FMT_FLAG_PAL) {
437         uint32_t *d32 = (uint32_t *)dst;
438
439         for (i = 0; i<256; i++)
440             AV_WL32(d32 + i, AV_RN32(src_data[1] + 4*i));
441     }
442
443     return size;
444 }