swscale: refactor horizontal scaling
[ffmpeg.git] / libswscale / slice.c
1 #include "swscale_internal.h"
2
3 static void free_lines(SwsSlice *s)
4 {
5     int i;
6     for (i = 0; i < 2; ++i) {
7         int n = s->plane[i].available_lines;
8         int j;
9         for (j = 0; j < n; ++j) {
10             av_freep(&s->plane[i].line[j]);
11             if (s->is_ring)
12                s->plane[i].line[j+n] = NULL;
13         }
14     }
15
16     for (i = 0; i < 4; ++i)
17         memset(s->plane[i].line, 0, sizeof(uint8_t*) * s->plane[i].available_lines * (s->is_ring ? 3 : 1));
18     s->should_free_lines = 0;
19 }
20
21 /*
22  slice lines contains extra bytes for vetorial code thus @size
23  is the allocated memory size and @width is the number of pixels
24 */
25 static int alloc_lines(SwsSlice *s, int size, int width)
26 {
27     int i;
28     int idx[2] = {3, 2};
29
30     s->should_free_lines = 1;
31     s->width = width;
32
33     for (i = 0; i < 2; ++i) {
34         int n = s->plane[i].available_lines;
35         int j;
36         int ii = idx[i];
37
38         av_assert0(n == s->plane[ii].available_lines);
39         for (j = 0; j < n; ++j) {
40             // chroma plane line U and V are expected to be contiguous in memory
41             // by mmx vertical scaler code
42             s->plane[i].line[j] = av_malloc(size * 2 + 32);
43             if (!s->plane[i].line[j]) {
44                 free_lines(s);
45                 return AVERROR(ENOMEM);
46             }
47             s->plane[ii].line[j] = s->plane[i].line[j] + size + 16;
48             if (s->is_ring) {
49                s->plane[i].line[j+n] = s->plane[i].line[j];
50                s->plane[ii].line[j+n] = s->plane[ii].line[j];
51             }
52         }
53     }
54
55     return 0;
56 }
57
58 static int alloc_slice(SwsSlice *s, enum AVPixelFormat fmt, int lumLines, int chrLines, int h_sub_sample, int v_sub_sample, int ring)
59 {
60     int i;
61     int size[4] = { lumLines,
62                     chrLines,
63                     chrLines,
64                     lumLines };
65
66     s->h_chr_sub_sample = h_sub_sample;
67     s->v_chr_sub_sample = v_sub_sample;
68     s->fmt = fmt;
69     s->is_ring = ring;
70     s->should_free_lines = 0;
71
72     for (i = 0; i < 4; ++i) {
73         int n = size[i] * ( ring == 0 ? 1 : 3);
74         s->plane[i].line = av_mallocz_array(sizeof(uint8_t*), n);
75         if (!s->plane[i].line)
76             return AVERROR(ENOMEM);
77
78         s->plane[i].tmp = ring ? s->plane[i].line + size[i] * 2 : NULL;
79         s->plane[i].available_lines = size[i];
80         s->plane[i].sliceY = 0;
81         s->plane[i].sliceH = 0;
82     }
83     return 0;
84 }
85
86 static void free_slice(SwsSlice *s)
87 {
88     int i;
89     if (s) {
90         if (s->should_free_lines)
91             free_lines(s);
92         for (i = 0; i < 4; ++i) {
93             av_freep(&s->plane[i].line);
94             s->plane[i].tmp = NULL;
95         }
96     }
97 }
98
99 int ff_rotate_slice(SwsSlice *s, int lum, int chr)
100 {
101     int i;
102     if (lum) {
103         for (i = 0; i < 4; i+=3) {
104             int n = s->plane[i].available_lines;
105             int l = lum - s->plane[i].sliceY;
106
107             if (l >= n * 2) {
108                 s->plane[i].sliceY += n;
109                 s->plane[i].sliceH -= n;
110             }
111         }
112     }
113     if (chr) {
114         for (i = 1; i < 3; ++i) {
115             int n = s->plane[i].available_lines;
116             int l = chr - s->plane[i].sliceY;
117
118             if (l >= n * 2) {
119                 s->plane[i].sliceY += n;
120                 s->plane[i].sliceH -= n;
121             }
122         }
123     }
124     return 0;
125 }
126
127 int ff_init_slice_from_src(SwsSlice * s, uint8_t *src[4], int stride[4], int srcW, int lumY, int lumH, int chrY, int chrH)
128 {
129     int i = 0;
130
131     const int start[4] = {lumY,
132                     chrY,
133                     chrY,
134                     lumY};
135
136     const int end[4] = {lumY +lumH,
137                         chrY + chrH,
138                         chrY + chrH,
139                         lumY + lumH};
140
141     s->width = srcW;
142
143     for (i = 0; i < 4; ++i) {
144         int j;
145         int lines = end[i];
146         lines = s->plane[i].available_lines < lines ? s->plane[i].available_lines : lines;
147
148         if (end[i] > s->plane[i].sliceY+s->plane[i].sliceH) {
149             if (start[i] <= s->plane[i].sliceY+1)
150                 s->plane[i].sliceY = FFMIN(start[i], s->plane[i].sliceY);
151             else
152                 s->plane[i].sliceY = start[i];
153             s->plane[i].sliceH = end[i] - s->plane[i].sliceY;
154         } else {
155             if (end[i] >= s->plane[i].sliceY)
156                 s->plane[i].sliceH = s->plane[i].sliceY + s->plane[i].sliceH - start[i];
157             else
158                 s->plane[i].sliceH = end[i] - start[i];
159             s->plane[i].sliceY = start[i];
160         }
161
162         for (j = start[i]; j < lines; j+= 1)
163             s->plane[i].line[j] = src[i] + (start[i] + j) * stride[i];
164
165     }
166
167     return 0;
168 }
169
170 static void fill_ones(SwsSlice *s, int n, int is16bit)
171 {
172     int i;
173     for (i = 0; i < 4; ++i) {
174         int j;
175         int size = s->plane[i].available_lines;
176         for (j = 0; j < size; ++j) {
177             int k;
178             int end = is16bit ? n>>1: n;
179             // fill also one extra element
180             end += 1;
181             if (is16bit)
182                 for (k = 0; k < end; ++k)
183                     ((int32_t*)(s->plane[i].line[j]))[k] = 1<<18;
184             else
185                 for (k = 0; k < end; ++k)
186                     ((int16_t*)(s->plane[i].line[j]))[k] = 1<<14;
187         }
188     }
189 }
190
191 int ff_init_filters(SwsContext * c)
192 {
193     int i;
194     int index;
195     int num_ydesc;
196     int num_cdesc;
197     int need_lum_conv = c->lumToYV12 || c->readLumPlanar || c->alpToYV12 || c->readAlpPlanar;
198     int need_chr_conv = c->chrToYV12 || c->readChrPlanar;
199     int srcIdx, dstIdx;
200     int dst_stride = FFALIGN(c->dstW * sizeof(int16_t) + 66, 16);
201
202     uint32_t * pal = usePal(c->srcFormat) ? c->pal_yuv : (uint32_t*)c->input_rgb2yuv_table;
203     int res = 0;
204
205     if (c->dstBpc == 16)
206         dst_stride <<= 1;
207
208     num_ydesc = need_lum_conv ? 2 : 1;
209     num_cdesc = need_chr_conv ? 2 : 1;
210
211     c->numSlice = FFMAX(num_ydesc, num_cdesc) + 1;
212     c->numDesc = num_ydesc + num_cdesc;
213     c->descIndex[0] = num_ydesc;
214     c->descIndex[1] = num_ydesc + num_cdesc;
215
216
217
218     c->desc = av_mallocz_array(sizeof(SwsFilterDescriptor), c->numDesc);
219     if (!c->desc)
220         return AVERROR(ENOMEM);
221     c->slice = av_mallocz_array(sizeof(SwsSlice), c->numSlice);
222
223
224     res = alloc_slice(&c->slice[0], c->srcFormat, c->srcH, c->chrSrcH, c->chrSrcHSubSample, c->chrSrcVSubSample, 0);
225     if (res < 0) goto cleanup;
226     for (i = 1; i < c->numSlice-1; ++i) {
227         res = alloc_slice(&c->slice[i], c->srcFormat, c->vLumFilterSize, c->vChrFilterSize, c->chrSrcHSubSample, c->chrSrcVSubSample, 0);
228         if (res < 0) goto cleanup;
229         res = alloc_lines(&c->slice[i], FFALIGN(c->srcW*2+78, 16), c->srcW);
230         if (res < 0) goto cleanup;
231     }
232     res = alloc_slice(&c->slice[i], c->srcFormat, c->vLumFilterSize, c->vChrFilterSize, c->chrDstHSubSample, c->chrDstVSubSample, 1);
233     if (res < 0) goto cleanup;
234     res = alloc_lines(&c->slice[i], dst_stride, c->dstW);
235     if (res < 0) goto cleanup;
236
237     fill_ones(&c->slice[i], dst_stride>>1, c->dstBpc == 16);
238
239     index = 0;
240     srcIdx = 0;
241     dstIdx = 1;
242
243     if (need_lum_conv) {
244         ff_init_desc_fmt_convert(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], pal);
245         c->desc[index].alpha = c->alpPixBuf != 0;
246         ++index;
247         srcIdx = dstIdx;
248     }
249
250
251     dstIdx = FFMAX(num_ydesc, num_cdesc);
252     ff_init_desc_hscale(&c->desc[index], &c->slice[index], &c->slice[dstIdx], c->hLumFilter, c->hLumFilterPos, c->hLumFilterSize, c->lumXInc);
253     c->desc[index].alpha = c->alpPixBuf != 0;
254
255
256     ++index;
257     {
258         srcIdx = 0;
259         dstIdx = 1;
260         if (need_chr_conv) {
261             ff_init_desc_cfmt_convert(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], pal);
262             ++index;
263             srcIdx = dstIdx;
264         }
265
266         dstIdx = FFMAX(num_ydesc, num_cdesc);
267         if (c->needs_hcscale)
268             ff_init_desc_chscale(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx], c->hChrFilter, c->hChrFilterPos, c->hChrFilterSize, c->chrXInc);
269         else
270             ff_init_desc_no_chr(&c->desc[index], &c->slice[srcIdx], &c->slice[dstIdx]);
271     }
272
273     return 0;
274
275 cleanup:
276     ff_free_filters(c);
277     return res;
278 }
279
280 int ff_free_filters(SwsContext *c)
281 {
282     int i;
283     if (c->desc) {
284         for (i = 0; i < c->numDesc; ++i)
285             av_freep(&c->desc[i].instance);
286         av_freep(&c->desc);
287     }
288
289     if (c->slice) {
290         for (i = 0; i < c->numSlice; ++i)
291             free_slice(&c->slice[i]);
292         av_freep(&c->slice);
293     }
294     return 0;
295 }