Don't include common.h from avutil.h
[ffmpeg.git] / libavcodec / dwt.c
1 /*
2  * Copyright (C) 2004-2010 Michael Niedermayer <michaelni@gmx.at>
3  *
4  * This file is part of Libav.
5  *
6  * Libav is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * Libav is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with Libav; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "libavutil/attributes.h"
22 #include "libavutil/common.h"
23 #include "dsputil.h"
24 #include "dwt.h"
25
26 int ff_slice_buffer_init(slice_buffer *buf, int line_count,
27                          int max_allocated_lines, int line_width,
28                          IDWTELEM *base_buffer)
29 {
30     int i;
31
32     buf->base_buffer = base_buffer;
33     buf->line_count  = line_count;
34     buf->line_width  = line_width;
35     buf->data_count  = max_allocated_lines;
36     buf->line        = av_mallocz(sizeof(IDWTELEM *) * line_count);
37     if (!buf->line)
38         return AVERROR(ENOMEM);
39     buf->data_stack  = av_malloc(sizeof(IDWTELEM *) * max_allocated_lines);
40     if (!buf->data_stack) {
41         av_free(buf->line);
42         return AVERROR(ENOMEM);
43     }
44
45     for (i = 0; i < max_allocated_lines; i++) {
46         buf->data_stack[i] = av_malloc(sizeof(IDWTELEM) * line_width);
47         if (!buf->data_stack[i]) {
48             for (i--; i >=0; i--)
49                 av_free(buf->data_stack[i]);
50             av_free(buf->data_stack);
51             av_free(buf->line);
52             return AVERROR(ENOMEM);
53         }
54     }
55
56     buf->data_stack_top = max_allocated_lines - 1;
57     return 0;
58 }
59
60 IDWTELEM *ff_slice_buffer_load_line(slice_buffer *buf, int line)
61 {
62     IDWTELEM *buffer;
63
64     assert(buf->data_stack_top >= 0);
65 //  assert(!buf->line[line]);
66     if (buf->line[line])
67         return buf->line[line];
68
69     buffer = buf->data_stack[buf->data_stack_top];
70     buf->data_stack_top--;
71     buf->line[line] = buffer;
72
73     return buffer;
74 }
75
76 void ff_slice_buffer_release(slice_buffer *buf, int line)
77 {
78     IDWTELEM *buffer;
79
80     assert(line >= 0 && line < buf->line_count);
81     assert(buf->line[line]);
82
83     buffer = buf->line[line];
84     buf->data_stack_top++;
85     buf->data_stack[buf->data_stack_top] = buffer;
86     buf->line[line]                      = NULL;
87 }
88
89 void ff_slice_buffer_flush(slice_buffer *buf)
90 {
91     int i;
92     for (i = 0; i < buf->line_count; i++)
93         if (buf->line[i])
94             ff_slice_buffer_release(buf, i);
95 }
96
97 void ff_slice_buffer_destroy(slice_buffer *buf)
98 {
99     int i;
100     ff_slice_buffer_flush(buf);
101
102     for (i = buf->data_count - 1; i >= 0; i--)
103         av_freep(&buf->data_stack[i]);
104     av_freep(&buf->data_stack);
105     av_freep(&buf->line);
106 }
107
108 static inline int mirror(int v, int m)
109 {
110     while ((unsigned)v > (unsigned)m) {
111         v = -v;
112         if (v < 0)
113             v += 2 * m;
114     }
115     return v;
116 }
117
118 static av_always_inline void lift(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
119                                   int dst_step, int src_step, int ref_step,
120                                   int width, int mul, int add, int shift,
121                                   int highpass, int inverse)
122 {
123     const int mirror_left  = !highpass;
124     const int mirror_right = (width & 1) ^ highpass;
125     const int w            = (width >> 1) - 1 + (highpass & width);
126     int i;
127
128 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
129     if (mirror_left) {
130         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
131         dst   += dst_step;
132         src   += src_step;
133     }
134
135     for (i = 0; i < w; i++)
136         dst[i * dst_step] = LIFT(src[i * src_step],
137                                  ((mul * (ref[i * ref_step] +
138                                           ref[(i + 1) * ref_step]) +
139                                    add) >> shift),
140                                  inverse);
141
142     if (mirror_right)
143         dst[w * dst_step] = LIFT(src[w * src_step],
144                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
145                                  inverse);
146 }
147
148 static av_always_inline void inv_lift(IDWTELEM *dst, IDWTELEM *src, IDWTELEM *ref,
149                                       int dst_step, int src_step, int ref_step,
150                                       int width, int mul, int add, int shift,
151                                       int highpass, int inverse)
152 {
153     const int mirror_left  = !highpass;
154     const int mirror_right = (width & 1) ^ highpass;
155     const int w            = (width >> 1) - 1 + (highpass & width);
156     int i;
157
158 #define LIFT(src, ref, inv) ((src) + ((inv) ? -(ref) : +(ref)))
159     if (mirror_left) {
160         dst[0] = LIFT(src[0], ((mul * 2 * ref[0] + add) >> shift), inverse);
161         dst   += dst_step;
162         src   += src_step;
163     }
164
165     for (i = 0; i < w; i++)
166         dst[i * dst_step] = LIFT(src[i * src_step],
167                                  ((mul * (ref[i * ref_step] +
168                                           ref[(i + 1) * ref_step]) +
169                                    add) >> shift),
170                                  inverse);
171
172     if (mirror_right) {
173         dst[w * dst_step] = LIFT(src[w * src_step],
174                                  ((mul * 2 * ref[w * ref_step] + add) >> shift),
175                                  inverse);
176     }
177 }
178
179 #ifndef liftS
180 static av_always_inline void liftS(DWTELEM *dst, DWTELEM *src, DWTELEM *ref,
181                                    int dst_step, int src_step, int ref_step,
182                                    int width, int mul, int add, int shift,
183                                    int highpass, int inverse)
184 {
185     const int mirror_left  = !highpass;
186     const int mirror_right = (width & 1) ^ highpass;
187     const int w            = (width >> 1) - 1 + (highpass & width);
188     int i;
189
190     assert(shift == 4);
191 #define LIFTS(src, ref, inv)                                            \
192     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
193            : -((-16 * (src) + (ref) + add /                             \
194                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
195     if (mirror_left) {
196         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
197         dst   += dst_step;
198         src   += src_step;
199     }
200
201     for (i = 0; i < w; i++)
202         dst[i * dst_step] = LIFTS(src[i * src_step],
203                                   mul * (ref[i * ref_step] +
204                                          ref[(i + 1) * ref_step]) + add,
205                                   inverse);
206
207     if (mirror_right)
208         dst[w * dst_step] = LIFTS(src[w * src_step],
209                                   mul * 2 * ref[w * ref_step] + add,
210                                   inverse);
211 }
212
213 static av_always_inline void inv_liftS(IDWTELEM *dst, IDWTELEM *src,
214                                        IDWTELEM *ref, int dst_step,
215                                        int src_step, int ref_step,
216                                        int width, int mul, int add, int shift,
217                                        int highpass, int inverse)
218 {
219     const int mirror_left  = !highpass;
220     const int mirror_right = (width & 1) ^ highpass;
221     const int w            = (width >> 1) - 1 + (highpass & width);
222     int i;
223
224     assert(shift == 4);
225 #define LIFTS(src, ref, inv)                                            \
226     ((inv) ? (src) + (((ref) + 4 * (src)) >> shift)                     \
227            : -((-16 * (src) + (ref) + add /                             \
228                 4 + 1 + (5 << 25)) / (5 * 4) - (1 << 23)))
229     if (mirror_left) {
230         dst[0] = LIFTS(src[0], mul * 2 * ref[0] + add, inverse);
231         dst   += dst_step;
232         src   += src_step;
233     }
234
235     for (i = 0; i < w; i++)
236         dst[i * dst_step] = LIFTS(src[i * src_step],
237                                   mul * (ref[i * ref_step] +
238                                          ref[(i + 1) * ref_step]) + add,
239                                   inverse);
240
241     if (mirror_right)
242         dst[w * dst_step] = LIFTS(src[w * src_step],
243                                   mul * 2 * ref[w * ref_step] + add, inverse);
244 }
245 #endif /* ! liftS */
246
247 static void horizontal_decompose53i(DWTELEM *b, DWTELEM *temp, int width)
248 {
249     const int width2 = width >> 1;
250     int x;
251     const int w2 = (width + 1) >> 1;
252
253     for (x = 0; x < width2; x++) {
254         temp[x]      = b[2 * x];
255         temp[x + w2] = b[2 * x + 1];
256     }
257     if (width & 1)
258         temp[x] = b[2 * x];
259 #if 0
260     {
261         int A1, A2, A3, A4;
262         A2             = temp[1];
263         A4             = temp[0];
264         A1             = temp[0 + width2];
265         A1            -= (A2 + A4) >> 1;
266         A4            += (A1 +  1) >> 1;
267         b[0 + width2]  = A1;
268         b[0]           = A4;
269         for (x = 1; x + 1 < width2; x += 2) {
270             A3                 = temp[x + width2];
271             A4                 = temp[x + 1];
272             A3                -= (A2 + A4)     >> 1;
273             A2                += (A1 + A3 + 2) >> 2;
274             b[x + width2]      = A3;
275             b[x]               = A2;
276
277             A1                 = temp[x + 1 + width2];
278             A2                 = temp[x + 2];
279             A1                -= (A2 + A4)     >> 1;
280             A4                += (A1 + A3 + 2) >> 2;
281             b[x + 1 + width2]  = A1;
282             b[x + 1]           = A4;
283         }
284         A3            = temp[width - 1];
285         A3           -= A2;
286         A2           += (A1 + A3 + 2) >> 2;
287         b[width  - 1] = A3;
288         b[width2 - 1] = A2;
289     }
290 #else
291     lift(b + w2, temp + w2, temp,   1, 1, 1, width, -1, 0, 1, 1, 0);
292     lift(b,      temp,      b + w2, 1, 1, 1, width,  1, 2, 2, 0, 0);
293 #endif /* 0 */
294 }
295
296 static void vertical_decompose53iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
297                                     int width)
298 {
299     int i;
300
301     for (i = 0; i < width; i++)
302         b1[i] -= (b0[i] + b2[i]) >> 1;
303 }
304
305 static void vertical_decompose53iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
306                                     int width)
307 {
308     int i;
309
310     for (i = 0; i < width; i++)
311         b1[i] += (b0[i] + b2[i] + 2) >> 2;
312 }
313
314 static void spatial_decompose53i(DWTELEM *buffer, DWTELEM *temp,
315                                  int width, int height, int stride)
316 {
317     int y;
318     DWTELEM *b0 = buffer + mirror(-2 - 1, height - 1) * stride;
319     DWTELEM *b1 = buffer + mirror(-2,     height - 1) * stride;
320
321     for (y = -2; y < height; y += 2) {
322         DWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
323         DWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
324
325         if (y + 1 < (unsigned)height)
326             horizontal_decompose53i(b2, temp, width);
327         if (y + 2 < (unsigned)height)
328             horizontal_decompose53i(b3, temp, width);
329
330         if (y + 1 < (unsigned)height)
331             vertical_decompose53iH0(b1, b2, b3, width);
332         if (y + 0 < (unsigned)height)
333             vertical_decompose53iL0(b0, b1, b2, width);
334
335         b0 = b2;
336         b1 = b3;
337     }
338 }
339
340 static void horizontal_decompose97i(DWTELEM *b, DWTELEM *temp, int width)
341 {
342     const int w2 = (width + 1) >> 1;
343
344     lift(temp + w2, b + 1, b,         1, 2, 2, width, W_AM, W_AO, W_AS, 1, 1);
345     liftS(temp,     b,     temp + w2, 1, 2, 1, width, W_BM, W_BO, W_BS, 0, 0);
346     lift(b + w2, temp + w2, temp,     1, 1, 1, width, W_CM, W_CO, W_CS, 1, 0);
347     lift(b,      temp,      b + w2,   1, 1, 1, width, W_DM, W_DO, W_DS, 0, 0);
348 }
349
350 static void vertical_decompose97iH0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
351                                     int width)
352 {
353     int i;
354
355     for (i = 0; i < width; i++)
356         b1[i] -= (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
357 }
358
359 static void vertical_decompose97iH1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
360                                     int width)
361 {
362     int i;
363
364     for (i = 0; i < width; i++)
365         b1[i] += (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
366 }
367
368 static void vertical_decompose97iL0(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
369                                     int width)
370 {
371     int i;
372
373     for (i = 0; i < width; i++)
374 #ifdef liftS
375         b1[i] -= (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
376 #else
377         b1[i] = (16 * 4 * b1[i] - 4 * (b0[i] + b2[i]) + W_BO * 5 + (5 << 27)) /
378                 (5 * 16) - (1 << 23);
379 #endif
380 }
381
382 static void vertical_decompose97iL1(DWTELEM *b0, DWTELEM *b1, DWTELEM *b2,
383                                     int width)
384 {
385     int i;
386
387     for (i = 0; i < width; i++)
388         b1[i] += (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
389 }
390
391 static void spatial_decompose97i(DWTELEM *buffer, DWTELEM *temp,
392                                  int width, int height, int stride)
393 {
394     int y;
395     DWTELEM *b0 = buffer + mirror(-4 - 1, height - 1) * stride;
396     DWTELEM *b1 = buffer + mirror(-4,     height - 1) * stride;
397     DWTELEM *b2 = buffer + mirror(-4 + 1, height - 1) * stride;
398     DWTELEM *b3 = buffer + mirror(-4 + 2, height - 1) * stride;
399
400     for (y = -4; y < height; y += 2) {
401         DWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
402         DWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
403
404         if (y + 3 < (unsigned)height)
405             horizontal_decompose97i(b4, temp, width);
406         if (y + 4 < (unsigned)height)
407             horizontal_decompose97i(b5, temp, width);
408
409         if (y + 3 < (unsigned)height)
410             vertical_decompose97iH0(b3, b4, b5, width);
411         if (y + 2 < (unsigned)height)
412             vertical_decompose97iL0(b2, b3, b4, width);
413         if (y + 1 < (unsigned)height)
414             vertical_decompose97iH1(b1, b2, b3, width);
415         if (y + 0 < (unsigned)height)
416             vertical_decompose97iL1(b0, b1, b2, width);
417
418         b0 = b2;
419         b1 = b3;
420         b2 = b4;
421         b3 = b5;
422     }
423 }
424
425 void ff_spatial_dwt(DWTELEM *buffer, DWTELEM *temp, int width, int height,
426                     int stride, int type, int decomposition_count)
427 {
428     int level;
429
430     for (level = 0; level < decomposition_count; level++) {
431         switch (type) {
432         case DWT_97:
433             spatial_decompose97i(buffer, temp,
434                                  width >> level, height >> level,
435                                  stride << level);
436             break;
437         case DWT_53:
438             spatial_decompose53i(buffer, temp,
439                                  width >> level, height >> level,
440                                  stride << level);
441             break;
442         }
443     }
444 }
445
446 static void horizontal_compose53i(IDWTELEM *b, IDWTELEM *temp, int width)
447 {
448     const int width2 = width >> 1;
449     const int w2     = (width + 1) >> 1;
450     int x;
451
452     for (x = 0; x < width2; x++) {
453         temp[2 * x]     = b[x];
454         temp[2 * x + 1] = b[x + w2];
455     }
456     if (width & 1)
457         temp[2 * x] = b[x];
458
459     b[0] = temp[0] - ((temp[1] + 1) >> 1);
460     for (x = 2; x < width - 1; x += 2) {
461         b[x]     = temp[x]     - ((temp[x - 1] + temp[x + 1] + 2) >> 2);
462         b[x - 1] = temp[x - 1] + ((b[x - 2]    + b[x]        + 1) >> 1);
463     }
464     if (width & 1) {
465         b[x]     = temp[x]     - ((temp[x - 1]     + 1) >> 1);
466         b[x - 1] = temp[x - 1] + ((b[x - 2] + b[x] + 1) >> 1);
467     } else
468         b[x - 1] = temp[x - 1] + b[x - 2];
469 }
470
471 static void vertical_compose53iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
472                                   int width)
473 {
474     int i;
475
476     for (i = 0; i < width; i++)
477         b1[i] += (b0[i] + b2[i]) >> 1;
478 }
479
480 static void vertical_compose53iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
481                                   int width)
482 {
483     int i;
484
485     for (i = 0; i < width; i++)
486         b1[i] -= (b0[i] + b2[i] + 2) >> 2;
487 }
488
489 static void spatial_compose53i_buffered_init(DWTCompose *cs, slice_buffer *sb,
490                                              int height, int stride_line)
491 {
492     cs->b0 = slice_buffer_get_line(sb,
493                                    mirror(-1 - 1, height - 1) * stride_line);
494     cs->b1 = slice_buffer_get_line(sb, mirror(-1, height - 1) * stride_line);
495     cs->y  = -1;
496 }
497
498 static void spatial_compose53i_init(DWTCompose *cs, IDWTELEM *buffer,
499                                     int height, int stride)
500 {
501     cs->b0 = buffer + mirror(-1 - 1, height - 1) * stride;
502     cs->b1 = buffer + mirror(-1,     height - 1) * stride;
503     cs->y  = -1;
504 }
505
506 static void spatial_compose53i_dy_buffered(DWTCompose *cs, slice_buffer *sb,
507                                            IDWTELEM *temp,
508                                            int width, int height,
509                                            int stride_line)
510 {
511     int y = cs->y;
512
513     IDWTELEM *b0 = cs->b0;
514     IDWTELEM *b1 = cs->b1;
515     IDWTELEM *b2 = slice_buffer_get_line(sb,
516                                          mirror(y + 1, height - 1) *
517                                          stride_line);
518     IDWTELEM *b3 = slice_buffer_get_line(sb,
519                                          mirror(y + 2, height - 1) *
520                                          stride_line);
521
522     if (y + 1 < (unsigned)height && y < (unsigned)height) {
523         int x;
524
525         for (x = 0; x < width; x++) {
526             b2[x] -= (b1[x] + b3[x] + 2) >> 2;
527             b1[x] += (b0[x] + b2[x])     >> 1;
528         }
529     } else {
530         if (y + 1 < (unsigned)height)
531             vertical_compose53iL0(b1, b2, b3, width);
532         if (y + 0 < (unsigned)height)
533             vertical_compose53iH0(b0, b1, b2, width);
534     }
535
536     if (y - 1 < (unsigned)height)
537         horizontal_compose53i(b0, temp, width);
538     if (y + 0 < (unsigned)height)
539         horizontal_compose53i(b1, temp, width);
540
541     cs->b0  = b2;
542     cs->b1  = b3;
543     cs->y  += 2;
544 }
545
546 static void spatial_compose53i_dy(DWTCompose *cs, IDWTELEM *buffer,
547                                   IDWTELEM *temp, int width, int height,
548                                   int stride)
549 {
550     int y        = cs->y;
551     IDWTELEM *b0 = cs->b0;
552     IDWTELEM *b1 = cs->b1;
553     IDWTELEM *b2 = buffer + mirror(y + 1, height - 1) * stride;
554     IDWTELEM *b3 = buffer + mirror(y + 2, height - 1) * stride;
555
556     if (y + 1 < (unsigned)height)
557         vertical_compose53iL0(b1, b2, b3, width);
558     if (y + 0 < (unsigned)height)
559         vertical_compose53iH0(b0, b1, b2, width);
560
561     if (y - 1 < (unsigned)height)
562         horizontal_compose53i(b0, temp, width);
563     if (y + 0 < (unsigned)height)
564         horizontal_compose53i(b1, temp, width);
565
566     cs->b0  = b2;
567     cs->b1  = b3;
568     cs->y  += 2;
569 }
570
571 static void av_unused spatial_compose53i(IDWTELEM *buffer, IDWTELEM *temp,
572                                          int width, int height, int stride)
573 {
574     DWTCompose cs;
575     spatial_compose53i_init(&cs, buffer, height, stride);
576     while (cs.y <= height)
577         spatial_compose53i_dy(&cs, buffer, temp, width, height, stride);
578 }
579
580 void ff_snow_horizontal_compose97i(IDWTELEM *b, IDWTELEM *temp, int width)
581 {
582     const int w2 = (width + 1) >> 1;
583
584 #if 0 //maybe more understadable but slower
585     inv_lift(temp,     b,      b + w2, 2, 1, 1, width, W_DM, W_DO, W_DS, 0, 1);
586     inv_lift(temp + 1, b + w2, temp,   2, 1, 2, width, W_CM, W_CO, W_CS, 1, 1);
587
588     inv_liftS(b,    temp,     temp + 1, 2, 2, 2, width, W_BM, W_BO, W_BS, 0, 1);
589     inv_lift(b + 1, temp + 1, b,        2, 2, 2, width, W_AM, W_AO, W_AS, 1, 0);
590 #else
591     int x;
592     temp[0] = b[0] - ((3 * b[w2] + 2) >> 2);
593     for (x = 1; x < (width >> 1); x++) {
594         temp[2 * x]     = b[x] - ((3 * (b[x + w2 - 1] + b[x + w2]) + 4) >> 3);
595         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
596     }
597     if (width & 1) {
598         temp[2 * x]     = b[x] - ((3 * b[x + w2 - 1] + 2) >> 2);
599         temp[2 * x - 1] = b[x + w2 - 1] - temp[2 * x - 2] - temp[2 * x];
600     } else
601         temp[2 * x - 1] = b[x + w2 - 1] - 2 * temp[2 * x - 2];
602
603     b[0] = temp[0] + ((2 * temp[0] + temp[1] + 4) >> 3);
604     for (x = 2; x < width - 1; x += 2) {
605         b[x]     = temp[x] + ((4 * temp[x] + temp[x - 1] + temp[x + 1] + 8) >> 4);
606         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
607     }
608     if (width & 1) {
609         b[x]     = temp[x] + ((2 * temp[x] + temp[x - 1] + 4) >> 3);
610         b[x - 1] = temp[x - 1] + ((3 * (b[x - 2] + b[x])) >> 1);
611     } else
612         b[x - 1] = temp[x - 1] + 3 * b[x - 2];
613 #endif
614 }
615
616 static void vertical_compose97iH0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
617                                   int width)
618 {
619     int i;
620
621     for (i = 0; i < width; i++)
622         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
623 }
624
625 static void vertical_compose97iH1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
626                                   int width)
627 {
628     int i;
629
630     for (i = 0; i < width; i++)
631         b1[i] -= (W_CM * (b0[i] + b2[i]) + W_CO) >> W_CS;
632 }
633
634 static void vertical_compose97iL0(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
635                                   int width)
636 {
637     int i;
638
639     for (i = 0; i < width; i++)
640 #ifdef liftS
641         b1[i] += (W_BM * (b0[i] + b2[i]) + W_BO) >> W_BS;
642 #else
643         b1[i] += (W_BM * (b0[i] + b2[i]) + 4 * b1[i] + W_BO) >> W_BS;
644 #endif
645 }
646
647 static void vertical_compose97iL1(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
648                                   int width)
649 {
650     int i;
651
652     for (i = 0; i < width; i++)
653         b1[i] -= (W_DM * (b0[i] + b2[i]) + W_DO) >> W_DS;
654 }
655
656 void ff_snow_vertical_compose97i(IDWTELEM *b0, IDWTELEM *b1, IDWTELEM *b2,
657                                  IDWTELEM *b3, IDWTELEM *b4, IDWTELEM *b5,
658                                  int width)
659 {
660     int i;
661
662     for (i = 0; i < width; i++) {
663         b4[i] -= (W_DM * (b3[i] + b5[i]) + W_DO) >> W_DS;
664         b3[i] -= (W_CM * (b2[i] + b4[i]) + W_CO) >> W_CS;
665 #ifdef liftS
666         b2[i] += (W_BM * (b1[i] + b3[i]) + W_BO) >> W_BS;
667 #else
668         b2[i] += (W_BM * (b1[i] + b3[i]) + 4 * b2[i] + W_BO) >> W_BS;
669 #endif
670         b1[i] += (W_AM * (b0[i] + b2[i]) + W_AO) >> W_AS;
671     }
672 }
673
674 static void spatial_compose97i_buffered_init(DWTCompose *cs, slice_buffer *sb,
675                                              int height, int stride_line)
676 {
677     cs->b0 = slice_buffer_get_line(sb, mirror(-3 - 1, height - 1) * stride_line);
678     cs->b1 = slice_buffer_get_line(sb, mirror(-3,     height - 1) * stride_line);
679     cs->b2 = slice_buffer_get_line(sb, mirror(-3 + 1, height - 1) * stride_line);
680     cs->b3 = slice_buffer_get_line(sb, mirror(-3 + 2, height - 1) * stride_line);
681     cs->y  = -3;
682 }
683
684 static void spatial_compose97i_init(DWTCompose *cs, IDWTELEM *buffer, int height,
685                                     int stride)
686 {
687     cs->b0 = buffer + mirror(-3 - 1, height - 1) * stride;
688     cs->b1 = buffer + mirror(-3,     height - 1) * stride;
689     cs->b2 = buffer + mirror(-3 + 1, height - 1) * stride;
690     cs->b3 = buffer + mirror(-3 + 2, height - 1) * stride;
691     cs->y  = -3;
692 }
693
694 static void spatial_compose97i_dy_buffered(DWTContext *dsp, DWTCompose *cs,
695                                            slice_buffer * sb, IDWTELEM *temp,
696                                            int width, int height,
697                                            int stride_line)
698 {
699     int y = cs->y;
700
701     IDWTELEM *b0 = cs->b0;
702     IDWTELEM *b1 = cs->b1;
703     IDWTELEM *b2 = cs->b2;
704     IDWTELEM *b3 = cs->b3;
705     IDWTELEM *b4 = slice_buffer_get_line(sb,
706                                          mirror(y + 3, height - 1) *
707                                          stride_line);
708     IDWTELEM *b5 = slice_buffer_get_line(sb,
709                                          mirror(y + 4, height - 1) *
710                                          stride_line);
711
712     if (y > 0 && y + 4 < height) {
713         dsp->vertical_compose97i(b0, b1, b2, b3, b4, b5, width);
714     } else {
715         if (y + 3 < (unsigned)height)
716             vertical_compose97iL1(b3, b4, b5, width);
717         if (y + 2 < (unsigned)height)
718             vertical_compose97iH1(b2, b3, b4, width);
719         if (y + 1 < (unsigned)height)
720             vertical_compose97iL0(b1, b2, b3, width);
721         if (y + 0 < (unsigned)height)
722             vertical_compose97iH0(b0, b1, b2, width);
723     }
724
725     if (y - 1 < (unsigned)height)
726         dsp->horizontal_compose97i(b0, temp, width);
727     if (y + 0 < (unsigned)height)
728         dsp->horizontal_compose97i(b1, temp, width);
729
730     cs->b0  = b2;
731     cs->b1  = b3;
732     cs->b2  = b4;
733     cs->b3  = b5;
734     cs->y  += 2;
735 }
736
737 static void spatial_compose97i_dy(DWTCompose *cs, IDWTELEM *buffer,
738                                   IDWTELEM *temp, int width, int height,
739                                   int stride)
740 {
741     int y        = cs->y;
742     IDWTELEM *b0 = cs->b0;
743     IDWTELEM *b1 = cs->b1;
744     IDWTELEM *b2 = cs->b2;
745     IDWTELEM *b3 = cs->b3;
746     IDWTELEM *b4 = buffer + mirror(y + 3, height - 1) * stride;
747     IDWTELEM *b5 = buffer + mirror(y + 4, height - 1) * stride;
748
749     if (y + 3 < (unsigned)height)
750         vertical_compose97iL1(b3, b4, b5, width);
751     if (y + 2 < (unsigned)height)
752         vertical_compose97iH1(b2, b3, b4, width);
753     if (y + 1 < (unsigned)height)
754         vertical_compose97iL0(b1, b2, b3, width);
755     if (y + 0 < (unsigned)height)
756         vertical_compose97iH0(b0, b1, b2, width);
757
758     if (y - 1 < (unsigned)height)
759         ff_snow_horizontal_compose97i(b0, temp, width);
760     if (y + 0 < (unsigned)height)
761         ff_snow_horizontal_compose97i(b1, temp, width);
762
763     cs->b0  = b2;
764     cs->b1  = b3;
765     cs->b2  = b4;
766     cs->b3  = b5;
767     cs->y  += 2;
768 }
769
770 static void av_unused spatial_compose97i(IDWTELEM *buffer, IDWTELEM *temp,
771                                          int width, int height, int stride)
772 {
773     DWTCompose cs;
774     spatial_compose97i_init(&cs, buffer, height, stride);
775     while (cs.y <= height)
776         spatial_compose97i_dy(&cs, buffer, temp, width, height, stride);
777 }
778
779 void ff_spatial_idwt_buffered_init(DWTCompose *cs, slice_buffer *sb, int width,
780                                    int height, int stride_line, int type,
781                                    int decomposition_count)
782 {
783     int level;
784     for (level = decomposition_count - 1; level >= 0; level--) {
785         switch (type) {
786         case DWT_97:
787             spatial_compose97i_buffered_init(cs + level, sb, height >> level,
788                                              stride_line << level);
789             break;
790         case DWT_53:
791             spatial_compose53i_buffered_init(cs + level, sb, height >> level,
792                                              stride_line << level);
793             break;
794         }
795     }
796 }
797
798 void ff_spatial_idwt_buffered_slice(DWTContext *dsp, DWTCompose *cs,
799                                     slice_buffer *slice_buf, IDWTELEM *temp,
800                                     int width, int height, int stride_line,
801                                     int type, int decomposition_count, int y)
802 {
803     const int support = type == 1 ? 3 : 5;
804     int level;
805     if (type == 2)
806         return;
807
808     for (level = decomposition_count - 1; level >= 0; level--)
809         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
810             switch (type) {
811             case DWT_97:
812                 spatial_compose97i_dy_buffered(dsp, cs + level, slice_buf, temp,
813                                                width >> level,
814                                                height >> level,
815                                                stride_line << level);
816                 break;
817             case DWT_53:
818                 spatial_compose53i_dy_buffered(cs + level, slice_buf, temp,
819                                                width >> level,
820                                                height >> level,
821                                                stride_line << level);
822                 break;
823             }
824         }
825 }
826
827 static void ff_spatial_idwt_init(DWTCompose *cs, IDWTELEM *buffer, int width,
828                                  int height, int stride, int type,
829                                  int decomposition_count)
830 {
831     int level;
832     for (level = decomposition_count - 1; level >= 0; level--) {
833         switch (type) {
834         case DWT_97:
835             spatial_compose97i_init(cs + level, buffer, height >> level,
836                                     stride << level);
837             break;
838         case DWT_53:
839             spatial_compose53i_init(cs + level, buffer, height >> level,
840                                     stride << level);
841             break;
842         }
843     }
844 }
845
846 static void ff_spatial_idwt_slice(DWTCompose *cs, IDWTELEM *buffer,
847                                   IDWTELEM *temp, int width, int height,
848                                   int stride, int type,
849                                   int decomposition_count, int y)
850 {
851     const int support = type == 1 ? 3 : 5;
852     int level;
853     if (type == 2)
854         return;
855
856     for (level = decomposition_count - 1; level >= 0; level--)
857         while (cs[level].y <= FFMIN((y >> level) + support, height >> level)) {
858             switch (type) {
859             case DWT_97:
860                 spatial_compose97i_dy(cs + level, buffer, temp, width >> level,
861                                       height >> level, stride << level);
862                 break;
863             case DWT_53:
864                 spatial_compose53i_dy(cs + level, buffer, temp, width >> level,
865                                       height >> level, stride << level);
866                 break;
867             }
868         }
869 }
870
871 void ff_spatial_idwt(IDWTELEM *buffer, IDWTELEM *temp, int width, int height,
872                      int stride, int type, int decomposition_count)
873 {
874     DWTCompose cs[MAX_DECOMPOSITIONS];
875     int y;
876     ff_spatial_idwt_init(cs, buffer, width, height, stride, type,
877                          decomposition_count);
878     for (y = 0; y < height; y += 4)
879         ff_spatial_idwt_slice(cs, buffer, temp, width, height, stride, type,
880                               decomposition_count, y);
881 }
882
883 static inline int w_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size,
884                       int w, int h, int type)
885 {
886     int s, i, j;
887     const int dec_count = w == 8 ? 3 : 4;
888     int tmp[32 * 32], tmp2[32];
889     int level, ori;
890     static const int scale[2][2][4][4] = {
891         {
892             { // 9/7 8x8 dec=3
893                 { 268, 239, 239, 213 },
894                 { 0,   224, 224, 152 },
895                 { 0,   135, 135, 110 },
896             },
897             { // 9/7 16x16 or 32x32 dec=4
898                 { 344, 310, 310, 280 },
899                 { 0,   320, 320, 228 },
900                 { 0,   175, 175, 136 },
901                 { 0,   129, 129, 102 },
902             }
903         },
904         {
905             { // 5/3 8x8 dec=3
906                 { 275, 245, 245, 218 },
907                 { 0,   230, 230, 156 },
908                 { 0,   138, 138, 113 },
909             },
910             { // 5/3 16x16 or 32x32 dec=4
911                 { 352, 317, 317, 286 },
912                 { 0,   328, 328, 233 },
913                 { 0,   180, 180, 140 },
914                 { 0,   132, 132, 105 },
915             }
916         }
917     };
918
919     for (i = 0; i < h; i++) {
920         for (j = 0; j < w; j += 4) {
921             tmp[32 * i + j + 0] = (pix1[j + 0] - pix2[j + 0]) << 4;
922             tmp[32 * i + j + 1] = (pix1[j + 1] - pix2[j + 1]) << 4;
923             tmp[32 * i + j + 2] = (pix1[j + 2] - pix2[j + 2]) << 4;
924             tmp[32 * i + j + 3] = (pix1[j + 3] - pix2[j + 3]) << 4;
925         }
926         pix1 += line_size;
927         pix2 += line_size;
928     }
929
930     ff_spatial_dwt(tmp, tmp2, w, h, 32, type, dec_count);
931
932     s = 0;
933     assert(w == h);
934     for (level = 0; level < dec_count; level++)
935         for (ori = level ? 1 : 0; ori < 4; ori++) {
936             int size   = w >> (dec_count - level);
937             int sx     = (ori & 1) ? size : 0;
938             int stride = 32 << (dec_count - level);
939             int sy     = (ori & 2) ? stride >> 1 : 0;
940
941             for (i = 0; i < size; i++)
942                 for (j = 0; j < size; j++) {
943                     int v = tmp[sx + sy + i * stride + j] *
944                             scale[type][dec_count - 3][level][ori];
945                     s += FFABS(v);
946                 }
947         }
948     assert(s >= 0);
949     return s >> 9;
950 }
951
952 static int w53_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
953 {
954     return w_c(v, pix1, pix2, line_size, 8, h, 1);
955 }
956
957 static int w97_8_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
958 {
959     return w_c(v, pix1, pix2, line_size, 8, h, 0);
960 }
961
962 static int w53_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
963 {
964     return w_c(v, pix1, pix2, line_size, 16, h, 1);
965 }
966
967 static int w97_16_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
968 {
969     return w_c(v, pix1, pix2, line_size, 16, h, 0);
970 }
971
972 int ff_w53_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
973 {
974     return w_c(v, pix1, pix2, line_size, 32, h, 1);
975 }
976
977 int ff_w97_32_c(void *v, uint8_t *pix1, uint8_t *pix2, int line_size, int h)
978 {
979     return w_c(v, pix1, pix2, line_size, 32, h, 0);
980 }
981
982 void ff_dsputil_init_dwt(DSPContext *c)
983 {
984     c->w53[0] = w53_16_c;
985     c->w53[1] = w53_8_c;
986     c->w97[0] = w97_16_c;
987     c->w97[1] = w97_8_c;
988 }
989
990 void ff_dwt_init(DWTContext *c)
991 {
992     c->vertical_compose97i   = ff_snow_vertical_compose97i;
993     c->horizontal_compose97i = ff_snow_horizontal_compose97i;
994     c->inner_add_yblock      = ff_snow_inner_add_yblock;
995
996     if (HAVE_MMX)
997         ff_dwt_init_x86(c);
998 }