swscale: fix ticket #4881
[ffmpeg.git] / libswscale / slice.c
1 /*
2  * Copyright (C) 2015 Pedro Arthur <bygrandao@gmail.com>
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "swscale_internal.h"
22
23 static void free_lines(SwsSlice *s)
24 {
25     int i;
26     for (i = 0; i < 2; ++i) {
27         int n = s->plane[i].available_lines;
28         int j;
29         for (j = 0; j < n; ++j) {
30             av_freep(&s->plane[i].line[j]);
31             if (s->is_ring)
32                s->plane[i].line[j+n] = NULL;
33         }
34     }
35
36     for (i = 0; i < 4; ++i)
37         memset(s->plane[i].line, 0, sizeof(uint8_t*) * s->plane[i].available_lines * (s->is_ring ? 3 : 1));
38     s->should_free_lines = 0;
39 }
40
41 /*
42  slice lines contains extra bytes for vetorial code thus @size
43  is the allocated memory size and @width is the number of pixels
44 */
45 static int alloc_lines(SwsSlice *s, int size, int width)
46 {
47     int i;
48     int idx[2] = {3, 2};
49
50     s->should_free_lines = 1;
51     s->width = width;
52
53     for (i = 0; i < 2; ++i) {
54         int n = s->plane[i].available_lines;
55         int j;
56         int ii = idx[i];
57
58         av_assert0(n == s->plane[ii].available_lines);
59         for (j = 0; j < n; ++j) {
60             // chroma plane line U and V are expected to be contiguous in memory
61             // by mmx vertical scaler code
62             s->plane[i].line[j] = av_malloc(size * 2 + 32);
63             if (!s->plane[i].line[j]) {
64                 free_lines(s);
65                 return AVERROR(ENOMEM);
66             }
67             s->plane[ii].line[j] = s->plane[i].line[j] + size + 16;
68             if (s->is_ring) {
69                s->plane[i].line[j+n] = s->plane[i].line[j];
70                s->plane[ii].line[j+n] = s->plane[ii].line[j];
71             }
72         }
73     }
74
75     return 0;
76 }
77
78 static int alloc_slice(SwsSlice *s, enum AVPixelFormat fmt, int lumLines, int chrLines, int h_sub_sample, int v_sub_sample, int ring)
79 {
80     int i;
81     int size[4] = { lumLines,
82                     chrLines,
83                     chrLines,
84                     lumLines };
85
86     s->h_chr_sub_sample = h_sub_sample;
87     s->v_chr_sub_sample = v_sub_sample;
88     s->fmt = fmt;
89     s->is_ring = ring;
90     s->should_free_lines = 0;
91
92     for (i = 0; i < 4; ++i) {
93         int n = size[i] * ( ring == 0 ? 1 : 3);
94         s->plane[i].line = av_mallocz_array(sizeof(uint8_t*), n);
95         if (!s->plane[i].line)
96             return AVERROR(ENOMEM);
97
98         s->plane[i].tmp = ring ? s->plane[i].line + size[i] * 2 : NULL;
99         s->plane[i].available_lines = size[i];
100         s->plane[i].sliceY = 0;
101         s->plane[i].sliceH = 0;
102     }
103     return 0;
104 }
105
106 static void free_slice(SwsSlice *s)
107 {
108     int i;
109     if (s) {
110         if (s->should_free_lines)
111             free_lines(s);
112         for (i = 0; i < 4; ++i) {
113             av_freep(&s->plane[i].line);
114             s->plane[i].tmp = NULL;
115         }
116     }
117 }
118
119 int ff_rotate_slice(SwsSlice *s, int lum, int chr)
120 {
121     int i;
122     if (lum) {
123         for (i = 0; i < 4; i+=3) {
124             int n = s->plane[i].available_lines;
125             int l = lum - s->plane[i].sliceY;
126
127             if (l >= n * 2) {
128                 s->plane[i].sliceY += n;
129                 s->plane[i].sliceH -= n;
130             }
131         }
132     }
133     if (chr) {
134         for (i = 1; i < 3; ++i) {
135             int n = s->plane[i].available_lines;
136             int l = chr - s->plane[i].sliceY;
137
138             if (l >= n * 2) {
139                 s->plane[i].sliceY += n;
140                 s->plane[i].sliceH -= n;
141             }
142         }
143     }
144     return 0;
145 }
146
147 int ff_init_slice_from_src(SwsSlice * s, uint8_t *src[4], int stride[4], int srcW, int lumY, int lumH, int chrY, int chrH, int relative)
148 {
149     int i = 0;
150
151     const int start[4] = {lumY,
152                     chrY,
153                     chrY,
154                     lumY};
155
156     const int end[4] = {lumY +lumH,
157                         chrY + chrH,
158                         chrY + chrH,
159                         lumY + lumH};
160
161     const uint8_t *src_[4] = {src[0] + (relative ? 0 : start[0]) * stride[0],
162                              src[1] + (relative ? 0 : start[1]) * stride[0],
163                              src[2] + (relative ? 0 : start[2]) * stride[0],
164                              src[3] + (relative ? 0 : start[3]) * stride[0]};
165
166     s->width = srcW;
167
168     for (i = 0; i < 4; ++i) {
169         int j;
170         int first = s->plane[i].sliceY;
171         int n = s->plane[i].available_lines;
172         int lines = end[i] - start[i];
173         int tot_lines = end[i] - first;
174
175         if (start[i] >= first && n >= tot_lines) {
176             s->plane[i].sliceH = FFMAX(tot_lines, s->plane[i].sliceH);
177             for (j = 0; j < lines; j+= 1)
178                 s->plane[i].line[start[i] - first + j] = src_[i] +  j * stride[i];
179         } else {
180             s->plane[i].sliceY = start[i];
181             lines = lines > n ? n : lines;
182             s->plane[i].sliceH = lines;
183             for (j = 0; j < lines; j+= 1)
184                 s->plane[i].line[j] = src_[i] +  j * stride[i];
185         }
186
187     }
188
189     return 0;
190 }
191
192 static void fill_ones(SwsSlice *s, int n, int is16bit)
193 {
194     int i;
195     for (i = 0; i < 4; ++i) {
196         int j;
197         int size = s->plane[i].available_lines;
198         for (j = 0; j < size; ++j) {
199             int k;
200             int end = is16bit ? n>>1: n;
201             // fill also one extra element
202             end += 1;
203             if (is16bit)
204                 for (k = 0; k < end; ++k)
205                     ((int32_t*)(s->plane[i].line[j]))[k] = 1<<18;
206             else
207                 for (k = 0; k < end; ++k)
208                     ((int16_t*)(s->plane[i].line[j]))[k] = 1<<14;
209         }
210     }
211 }
212
213 int ff_init_filters(SwsContext * c)
214 {
215     int i;
216     int index;
217     int num_ydesc;
218     int num_cdesc;
219     int num_vdesc = isPlanarYUV(c->dstFormat) && !isGray(c->dstFormat) ? 2 : 1;
220     int need_lum_conv = c->lumToYV12 || c->readLumPlanar || c->alpToYV12 || c->readAlpPlanar;
221     int need_chr_conv = c->chrToYV12 || c->readChrPlanar;
222     int need_gamma = c->is_internal_gamma;
223     int srcIdx, dstIdx;
224     int dst_stride = FFALIGN(c->dstW * sizeof(int16_t) + 66, 16);
225
226     uint32_t * pal = usePal(c->srcFormat) ? c->pal_yuv : (uint32_t*)c->input_rgb2yuv_table;
227     int res = 0;
228
229     if (c->dstBpc == 16)
230         dst_stride <<= 1;
231
232     num_ydesc = need_lum_conv ? 2 : 1;
233     num_cdesc = need_chr_conv ? 2 : 1;
234
235     c->numSlice = FFMAX(num_ydesc, num_cdesc) + 2;
236     c->numDesc = num_ydesc + num_cdesc + num_vdesc + (need_gamma ? 2 : 0);
237     c->descIndex[0] = num_ydesc + (need_gamma ? 1 : 0);
238     c->descIndex[1] = num_ydesc + num_cdesc + (need_gamma ? 1 : 0);
239
240
241
242     c->desc = av_mallocz_array(sizeof(SwsFilterDescriptor), c->numDesc);
243     if (!c->desc)
244         return AVERROR(ENOMEM);
245     c->slice = av_mallocz_array(sizeof(SwsSlice), c->numSlice);
246
247
248     res = alloc_slice(&c->slice[0], c->srcFormat, c->srcH, c->chrSrcH, c->chrSrcHSubSample, c->chrSrcVSubSample, 0);
249     if (res < 0) goto cleanup;
250     for (i = 1; i < c->numSlice-2; ++i) {
251         res = alloc_slice(&c->slice[i], c->srcFormat, c->vLumFilterSize + MAX_LINES_AHEAD, c->vChrFilterSize + MAX_LINES_AHEAD, c->chrSrcHSubSample, c->chrSrcVSubSample, 0);
252         if (res < 0) goto cleanup;
253         res = alloc_lines(&c->slice[i], FFALIGN(c->srcW*2+78, 16), c->srcW);
254         if (res < 0) goto cleanup;
255     }
256     // horizontal scaler output
257     res = alloc_slice(&c->slice[i], c->srcFormat, c->vLumFilterSize + MAX_LINES_AHEAD, c->vChrFilterSize + MAX_LINES_AHEAD, c->chrDstHSubSample, c->chrDstVSubSample, 1);
258     if (res < 0) goto cleanup;
259     res = alloc_lines(&c->slice[i], dst_stride, c->dstW);
260     if (res < 0) goto cleanup;
261
262     fill_ones(&c->slice[i], dst_stride>>1, c->dstBpc == 16);
263
264     // vertical scaler output
265     ++i;
266     res = alloc_slice(&c->slice[i], c->dstFormat, c->dstH, c->chrDstH, c->chrDstHSubSample, c->chrDstVSubSample, 0);
267     if (res < 0) goto cleanup;
268
269     index = 0;
270     srcIdx = 0;
271     dstIdx = 1;
272
273     if (need_gamma) {
274         res = ff_init_gamma_convert(c->desc + index, c->slice + srcIdx, c->inv_gamma);
275         if (res < 0) goto cleanup;
276         ++index;
277     }
278
279     if (need_lum_conv) {
280         res = ff_init_desc_fmt_convert(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], pal);
281         if (res < 0) goto cleanup;
282         c->desc[index].alpha = c->alpPixBuf != 0;
283         ++index;
284         srcIdx = dstIdx;
285     }
286
287
288     dstIdx = FFMAX(num_ydesc, num_cdesc);
289     res = ff_init_desc_hscale(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], c->hLumFilter, c->hLumFilterPos, c->hLumFilterSize, c->lumXInc);
290     if (res < 0) goto cleanup;
291     c->desc[index].alpha = c->alpPixBuf != 0;
292
293
294     ++index;
295     {
296         srcIdx = 0;
297         dstIdx = 1;
298         if (need_chr_conv) {
299             res = ff_init_desc_cfmt_convert(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], pal);
300             if (res < 0) goto cleanup;
301             ++index;
302             srcIdx = dstIdx;
303         }
304
305         dstIdx = FFMAX(num_ydesc, num_cdesc);
306         if (c->needs_hcscale)
307             res = ff_init_desc_chscale(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], c->hChrFilter, c->hChrFilterPos, c->hChrFilterSize, c->chrXInc);
308         else
309             res = ff_init_desc_no_chr(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx]);
310         if (res < 0) goto cleanup;
311     }
312
313     ++index;
314     {
315         srcIdx = c->numSlice - 2;
316         dstIdx = c->numSlice - 1;
317         res = ff_init_vscale(c, c->desc + index, c->slice + srcIdx, c->slice + dstIdx);
318         if (res < 0) goto cleanup;
319     }
320
321     ++index;
322     if (need_gamma) {
323         res = ff_init_gamma_convert(c->desc + index, c->slice + dstIdx, c->gamma);
324         if (res < 0) goto cleanup;
325     }
326
327     return 0;
328
329 cleanup:
330     ff_free_filters(c);
331     return res;
332 }
333
334 int ff_free_filters(SwsContext *c)
335 {
336     int i;
337     if (c->desc) {
338         for (i = 0; i < c->numDesc; ++i)
339             av_freep(&c->desc[i].instance);
340         av_freep(&c->desc);
341     }
342
343     if (c->slice) {
344         for (i = 0; i < c->numSlice; ++i)
345             free_slice(&c->slice[i]);
346         av_freep(&c->slice);
347     }
348     return 0;
349 }