swr: add double precision support to the rematrix code
[ffmpeg.git] / libpostproc / postprocess.c
1 /*
2  * Copyright (C) 2001-2003 Michael Niedermayer (michaelni@gmx.at)
3  *
4  * AltiVec optimizations (C) 2004 Romain Dolbeau <romain@dolbeau.org>
5  *
6  * This file is part of FFmpeg.
7  *
8  * FFmpeg is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * FFmpeg is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with FFmpeg; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * postprocessing.
26  */
27
28 /*
29                         C       MMX     MMX2    3DNow   AltiVec
30 isVertDC                Ec      Ec                      Ec
31 isVertMinMaxOk          Ec      Ec                      Ec
32 doVertLowPass           E               e       e       Ec
33 doVertDefFilter         Ec      Ec      e       e       Ec
34 isHorizDC               Ec      Ec                      Ec
35 isHorizMinMaxOk         a       E                       Ec
36 doHorizLowPass          E               e       e       Ec
37 doHorizDefFilter        Ec      Ec      e       e       Ec
38 do_a_deblock            Ec      E       Ec      E
39 deRing                  E               e       e*      Ecp
40 Vertical RKAlgo1        E               a       a
41 Horizontal RKAlgo1                      a       a
42 Vertical X1#            a               E       E
43 Horizontal X1#          a               E       E
44 LinIpolDeinterlace      e               E       E*
45 CubicIpolDeinterlace    a               e       e*
46 LinBlendDeinterlace     e               E       E*
47 MedianDeinterlace#      E       Ec      Ec
48 TempDeNoiser#           E               e       e       Ec
49
50 * I do not have a 3DNow! CPU -> it is untested, but no one said it does not work so it seems to work
51 # more or less selfinvented filters so the exactness is not too meaningful
52 E = Exact implementation
53 e = almost exact implementation (slightly different rounding,...)
54 a = alternative / approximate impl
55 c = checked against the other implementations (-vo md5)
56 p = partially optimized, still some work to do
57 */
58
59 /*
60 TODO:
61 reduce the time wasted on the mem transfer
62 unroll stuff if instructions depend too much on the prior one
63 move YScale thing to the end instead of fixing QP
64 write a faster and higher quality deblocking filter :)
65 make the mainloop more flexible (variable number of blocks at once
66         (the if/else stuff per block is slowing things down)
67 compare the quality & speed of all filters
68 split this huge file
69 optimize c versions
70 try to unroll inner for(x=0 ... loop to avoid these damn if(x ... checks
71 ...
72 */
73
74 //Changelog: use git log
75
76 #include "config.h"
77 #include "libavutil/avutil.h"
78 #include "libavutil/avassert.h"
79 #include <inttypes.h>
80 #include <stdio.h>
81 #include <stdlib.h>
82 #include <string.h>
83 //#undef HAVE_MMX2
84 //#define HAVE_AMD3DNOW
85 //#undef HAVE_MMX
86 //#undef ARCH_X86
87 //#define DEBUG_BRIGHTNESS
88 #include "postprocess.h"
89 #include "postprocess_internal.h"
90 #include "libavutil/avstring.h"
91
92 unsigned postproc_version(void)
93 {
94     av_assert0(LIBPOSTPROC_VERSION_MICRO >= 100);
95     return LIBPOSTPROC_VERSION_INT;
96 }
97
98 const char *postproc_configuration(void)
99 {
100     return FFMPEG_CONFIGURATION;
101 }
102
103 const char *postproc_license(void)
104 {
105 #define LICENSE_PREFIX "libpostproc license: "
106     return LICENSE_PREFIX FFMPEG_LICENSE + sizeof(LICENSE_PREFIX) - 1;
107 }
108
109 #if HAVE_ALTIVEC_H
110 #include <altivec.h>
111 #endif
112
113 #define GET_MODE_BUFFER_SIZE 500
114 #define OPTIONS_ARRAY_SIZE 10
115 #define BLOCK_SIZE 8
116 #define TEMP_STRIDE 8
117 //#define NUM_BLOCKS_AT_ONCE 16 //not used yet
118
119 #if ARCH_X86
120 DECLARE_ASM_CONST(8, uint64_t, w05)= 0x0005000500050005LL;
121 DECLARE_ASM_CONST(8, uint64_t, w04)= 0x0004000400040004LL;
122 DECLARE_ASM_CONST(8, uint64_t, w20)= 0x0020002000200020LL;
123 DECLARE_ASM_CONST(8, uint64_t, b00)= 0x0000000000000000LL;
124 DECLARE_ASM_CONST(8, uint64_t, b01)= 0x0101010101010101LL;
125 DECLARE_ASM_CONST(8, uint64_t, b02)= 0x0202020202020202LL;
126 DECLARE_ASM_CONST(8, uint64_t, b08)= 0x0808080808080808LL;
127 DECLARE_ASM_CONST(8, uint64_t, b80)= 0x8080808080808080LL;
128 #endif
129
130 DECLARE_ASM_CONST(8, int, deringThreshold)= 20;
131
132
133 static struct PPFilter filters[]=
134 {
135     {"hb", "hdeblock",              1, 1, 3, H_DEBLOCK},
136     {"vb", "vdeblock",              1, 2, 4, V_DEBLOCK},
137 /*  {"hr", "rkhdeblock",            1, 1, 3, H_RK1_FILTER},
138     {"vr", "rkvdeblock",            1, 2, 4, V_RK1_FILTER},*/
139     {"h1", "x1hdeblock",            1, 1, 3, H_X1_FILTER},
140     {"v1", "x1vdeblock",            1, 2, 4, V_X1_FILTER},
141     {"ha", "ahdeblock",             1, 1, 3, H_A_DEBLOCK},
142     {"va", "avdeblock",             1, 2, 4, V_A_DEBLOCK},
143     {"dr", "dering",                1, 5, 6, DERING},
144     {"al", "autolevels",            0, 1, 2, LEVEL_FIX},
145     {"lb", "linblenddeint",         1, 1, 4, LINEAR_BLEND_DEINT_FILTER},
146     {"li", "linipoldeint",          1, 1, 4, LINEAR_IPOL_DEINT_FILTER},
147     {"ci", "cubicipoldeint",        1, 1, 4, CUBIC_IPOL_DEINT_FILTER},
148     {"md", "mediandeint",           1, 1, 4, MEDIAN_DEINT_FILTER},
149     {"fd", "ffmpegdeint",           1, 1, 4, FFMPEG_DEINT_FILTER},
150     {"l5", "lowpass5",              1, 1, 4, LOWPASS5_DEINT_FILTER},
151     {"tn", "tmpnoise",              1, 7, 8, TEMP_NOISE_FILTER},
152     {"fq", "forcequant",            1, 0, 0, FORCE_QUANT},
153     {"be", "bitexact",              1, 0, 0, BITEXACT},
154     {NULL, NULL,0,0,0,0} //End Marker
155 };
156
157 static const char *replaceTable[]=
158 {
159     "default",      "hb:a,vb:a,dr:a",
160     "de",           "hb:a,vb:a,dr:a",
161     "fast",         "h1:a,v1:a,dr:a",
162     "fa",           "h1:a,v1:a,dr:a",
163     "ac",           "ha:a:128:7,va:a,dr:a",
164     NULL //End Marker
165 };
166
167
168 #if ARCH_X86
169 static inline void prefetchnta(void *p)
170 {
171     __asm__ volatile(   "prefetchnta (%0)\n\t"
172         : : "r" (p)
173     );
174 }
175
176 static inline void prefetcht0(void *p)
177 {
178     __asm__ volatile(   "prefetcht0 (%0)\n\t"
179         : : "r" (p)
180     );
181 }
182
183 static inline void prefetcht1(void *p)
184 {
185     __asm__ volatile(   "prefetcht1 (%0)\n\t"
186         : : "r" (p)
187     );
188 }
189
190 static inline void prefetcht2(void *p)
191 {
192     __asm__ volatile(   "prefetcht2 (%0)\n\t"
193         : : "r" (p)
194     );
195 }
196 #endif
197
198 /* The horizontal functions exist only in C because the MMX
199  * code is faster with vertical filters and transposing. */
200
201 /**
202  * Check if the given 8x8 Block is mostly "flat"
203  */
204 static inline int isHorizDC_C(uint8_t src[], int stride, PPContext *c)
205 {
206     int numEq= 0;
207     int y;
208     const int dcOffset= ((c->nonBQP*c->ppMode.baseDcDiff)>>8) + 1;
209     const int dcThreshold= dcOffset*2 + 1;
210
211     for(y=0; y<BLOCK_SIZE; y++){
212         if(((unsigned)(src[0] - src[1] + dcOffset)) < dcThreshold) numEq++;
213         if(((unsigned)(src[1] - src[2] + dcOffset)) < dcThreshold) numEq++;
214         if(((unsigned)(src[2] - src[3] + dcOffset)) < dcThreshold) numEq++;
215         if(((unsigned)(src[3] - src[4] + dcOffset)) < dcThreshold) numEq++;
216         if(((unsigned)(src[4] - src[5] + dcOffset)) < dcThreshold) numEq++;
217         if(((unsigned)(src[5] - src[6] + dcOffset)) < dcThreshold) numEq++;
218         if(((unsigned)(src[6] - src[7] + dcOffset)) < dcThreshold) numEq++;
219         src+= stride;
220     }
221     return numEq > c->ppMode.flatnessThreshold;
222 }
223
224 /**
225  * Check if the middle 8x8 Block in the given 8x16 block is flat
226  */
227 static inline int isVertDC_C(uint8_t src[], int stride, PPContext *c)
228 {
229     int numEq= 0;
230     int y;
231     const int dcOffset= ((c->nonBQP*c->ppMode.baseDcDiff)>>8) + 1;
232     const int dcThreshold= dcOffset*2 + 1;
233
234     src+= stride*4; // src points to begin of the 8x8 Block
235     for(y=0; y<BLOCK_SIZE-1; y++){
236         if(((unsigned)(src[0] - src[0+stride] + dcOffset)) < dcThreshold) numEq++;
237         if(((unsigned)(src[1] - src[1+stride] + dcOffset)) < dcThreshold) numEq++;
238         if(((unsigned)(src[2] - src[2+stride] + dcOffset)) < dcThreshold) numEq++;
239         if(((unsigned)(src[3] - src[3+stride] + dcOffset)) < dcThreshold) numEq++;
240         if(((unsigned)(src[4] - src[4+stride] + dcOffset)) < dcThreshold) numEq++;
241         if(((unsigned)(src[5] - src[5+stride] + dcOffset)) < dcThreshold) numEq++;
242         if(((unsigned)(src[6] - src[6+stride] + dcOffset)) < dcThreshold) numEq++;
243         if(((unsigned)(src[7] - src[7+stride] + dcOffset)) < dcThreshold) numEq++;
244         src+= stride;
245     }
246     return numEq > c->ppMode.flatnessThreshold;
247 }
248
249 static inline int isHorizMinMaxOk_C(uint8_t src[], int stride, int QP)
250 {
251     int i;
252     for(i=0; i<2; i++){
253         if((unsigned)(src[0] - src[5] + 2*QP) > 4*QP) return 0;
254         src += stride;
255         if((unsigned)(src[2] - src[7] + 2*QP) > 4*QP) return 0;
256         src += stride;
257         if((unsigned)(src[4] - src[1] + 2*QP) > 4*QP) return 0;
258         src += stride;
259         if((unsigned)(src[6] - src[3] + 2*QP) > 4*QP) return 0;
260         src += stride;
261     }
262     return 1;
263 }
264
265 static inline int isVertMinMaxOk_C(uint8_t src[], int stride, int QP)
266 {
267     int x;
268     src+= stride*4;
269     for(x=0; x<BLOCK_SIZE; x+=4){
270         if((unsigned)(src[  x + 0*stride] - src[  x + 5*stride] + 2*QP) > 4*QP) return 0;
271         if((unsigned)(src[1+x + 2*stride] - src[1+x + 7*stride] + 2*QP) > 4*QP) return 0;
272         if((unsigned)(src[2+x + 4*stride] - src[2+x + 1*stride] + 2*QP) > 4*QP) return 0;
273         if((unsigned)(src[3+x + 6*stride] - src[3+x + 3*stride] + 2*QP) > 4*QP) return 0;
274     }
275     return 1;
276 }
277
278 static inline int horizClassify_C(uint8_t src[], int stride, PPContext *c)
279 {
280     if( isHorizDC_C(src, stride, c) ){
281         if( isHorizMinMaxOk_C(src, stride, c->QP) )
282             return 1;
283         else
284             return 0;
285     }else{
286         return 2;
287     }
288 }
289
290 static inline int vertClassify_C(uint8_t src[], int stride, PPContext *c)
291 {
292     if( isVertDC_C(src, stride, c) ){
293         if( isVertMinMaxOk_C(src, stride, c->QP) )
294             return 1;
295         else
296             return 0;
297     }else{
298         return 2;
299     }
300 }
301
302 static inline void doHorizDefFilter_C(uint8_t dst[], int stride, PPContext *c)
303 {
304     int y;
305     for(y=0; y<BLOCK_SIZE; y++){
306         const int middleEnergy= 5*(dst[4] - dst[3]) + 2*(dst[2] - dst[5]);
307
308         if(FFABS(middleEnergy) < 8*c->QP){
309             const int q=(dst[3] - dst[4])/2;
310             const int leftEnergy=  5*(dst[2] - dst[1]) + 2*(dst[0] - dst[3]);
311             const int rightEnergy= 5*(dst[6] - dst[5]) + 2*(dst[4] - dst[7]);
312
313             int d= FFABS(middleEnergy) - FFMIN( FFABS(leftEnergy), FFABS(rightEnergy) );
314             d= FFMAX(d, 0);
315
316             d= (5*d + 32) >> 6;
317             d*= FFSIGN(-middleEnergy);
318
319             if(q>0)
320             {
321                 d= d<0 ? 0 : d;
322                 d= d>q ? q : d;
323             }
324             else
325             {
326                 d= d>0 ? 0 : d;
327                 d= d<q ? q : d;
328             }
329
330             dst[3]-= d;
331             dst[4]+= d;
332         }
333         dst+= stride;
334     }
335 }
336
337 /**
338  * Do a horizontal low pass filter on the 10x8 block (dst points to middle 8x8 Block)
339  * using the 9-Tap Filter (1,1,2,2,4,2,2,1,1)/16 (C version)
340  */
341 static inline void doHorizLowPass_C(uint8_t dst[], int stride, PPContext *c)
342 {
343     int y;
344     for(y=0; y<BLOCK_SIZE; y++){
345         const int first= FFABS(dst[-1] - dst[0]) < c->QP ? dst[-1] : dst[0];
346         const int last= FFABS(dst[8] - dst[7]) < c->QP ? dst[8] : dst[7];
347
348         int sums[10];
349         sums[0] = 4*first + dst[0] + dst[1] + dst[2] + 4;
350         sums[1] = sums[0] - first  + dst[3];
351         sums[2] = sums[1] - first  + dst[4];
352         sums[3] = sums[2] - first  + dst[5];
353         sums[4] = sums[3] - first  + dst[6];
354         sums[5] = sums[4] - dst[0] + dst[7];
355         sums[6] = sums[5] - dst[1] + last;
356         sums[7] = sums[6] - dst[2] + last;
357         sums[8] = sums[7] - dst[3] + last;
358         sums[9] = sums[8] - dst[4] + last;
359
360         dst[0]= (sums[0] + sums[2] + 2*dst[0])>>4;
361         dst[1]= (sums[1] + sums[3] + 2*dst[1])>>4;
362         dst[2]= (sums[2] + sums[4] + 2*dst[2])>>4;
363         dst[3]= (sums[3] + sums[5] + 2*dst[3])>>4;
364         dst[4]= (sums[4] + sums[6] + 2*dst[4])>>4;
365         dst[5]= (sums[5] + sums[7] + 2*dst[5])>>4;
366         dst[6]= (sums[6] + sums[8] + 2*dst[6])>>4;
367         dst[7]= (sums[7] + sums[9] + 2*dst[7])>>4;
368
369         dst+= stride;
370     }
371 }
372
373 /**
374  * Experimental Filter 1 (Horizontal)
375  * will not damage linear gradients
376  * Flat blocks should look like they were passed through the (1,1,2,2,4,2,2,1,1) 9-Tap filter
377  * can only smooth blocks at the expected locations (it cannot smooth them if they did move)
378  * MMX2 version does correct clipping C version does not
379  * not identical with the vertical one
380  */
381 static inline void horizX1Filter(uint8_t *src, int stride, int QP)
382 {
383     int y;
384     static uint64_t *lut= NULL;
385     if(lut==NULL)
386     {
387         int i;
388         lut = av_malloc(256*8);
389         for(i=0; i<256; i++)
390         {
391             int v= i < 128 ? 2*i : 2*(i-256);
392 /*
393 //Simulate 112242211 9-Tap filter
394             uint64_t a= (v/16)  & 0xFF;
395             uint64_t b= (v/8)   & 0xFF;
396             uint64_t c= (v/4)   & 0xFF;
397             uint64_t d= (3*v/8) & 0xFF;
398 */
399 //Simulate piecewise linear interpolation
400             uint64_t a= (v/16)   & 0xFF;
401             uint64_t b= (v*3/16) & 0xFF;
402             uint64_t c= (v*5/16) & 0xFF;
403             uint64_t d= (7*v/16) & 0xFF;
404             uint64_t A= (0x100 - a)&0xFF;
405             uint64_t B= (0x100 - b)&0xFF;
406             uint64_t C= (0x100 - c)&0xFF;
407             uint64_t D= (0x100 - c)&0xFF;
408
409             lut[i]   = (a<<56) | (b<<48) | (c<<40) | (d<<32) |
410                        (D<<24) | (C<<16) | (B<<8)  | (A);
411             //lut[i] = (v<<32) | (v<<24);
412         }
413     }
414
415     for(y=0; y<BLOCK_SIZE; y++){
416         int a= src[1] - src[2];
417         int b= src[3] - src[4];
418         int c= src[5] - src[6];
419
420         int d= FFMAX(FFABS(b) - (FFABS(a) + FFABS(c))/2, 0);
421
422         if(d < QP){
423             int v = d * FFSIGN(-b);
424
425             src[1] +=v/8;
426             src[2] +=v/4;
427             src[3] +=3*v/8;
428             src[4] -=3*v/8;
429             src[5] -=v/4;
430             src[6] -=v/8;
431         }
432         src+=stride;
433     }
434 }
435
436 /**
437  * accurate deblock filter
438  */
439 static av_always_inline void do_a_deblock_C(uint8_t *src, int step, int stride, PPContext *c){
440     int y;
441     const int QP= c->QP;
442     const int dcOffset= ((c->nonBQP*c->ppMode.baseDcDiff)>>8) + 1;
443     const int dcThreshold= dcOffset*2 + 1;
444 //START_TIMER
445     src+= step*4; // src points to begin of the 8x8 Block
446     for(y=0; y<8; y++){
447         int numEq= 0;
448
449         if(((unsigned)(src[-1*step] - src[0*step] + dcOffset)) < dcThreshold) numEq++;
450         if(((unsigned)(src[ 0*step] - src[1*step] + dcOffset)) < dcThreshold) numEq++;
451         if(((unsigned)(src[ 1*step] - src[2*step] + dcOffset)) < dcThreshold) numEq++;
452         if(((unsigned)(src[ 2*step] - src[3*step] + dcOffset)) < dcThreshold) numEq++;
453         if(((unsigned)(src[ 3*step] - src[4*step] + dcOffset)) < dcThreshold) numEq++;
454         if(((unsigned)(src[ 4*step] - src[5*step] + dcOffset)) < dcThreshold) numEq++;
455         if(((unsigned)(src[ 5*step] - src[6*step] + dcOffset)) < dcThreshold) numEq++;
456         if(((unsigned)(src[ 6*step] - src[7*step] + dcOffset)) < dcThreshold) numEq++;
457         if(((unsigned)(src[ 7*step] - src[8*step] + dcOffset)) < dcThreshold) numEq++;
458         if(numEq > c->ppMode.flatnessThreshold){
459             int min, max, x;
460
461             if(src[0] > src[step]){
462                 max= src[0];
463                 min= src[step];
464             }else{
465                 max= src[step];
466                 min= src[0];
467             }
468             for(x=2; x<8; x+=2){
469                 if(src[x*step] > src[(x+1)*step]){
470                         if(src[x    *step] > max) max= src[ x   *step];
471                         if(src[(x+1)*step] < min) min= src[(x+1)*step];
472                 }else{
473                         if(src[(x+1)*step] > max) max= src[(x+1)*step];
474                         if(src[ x   *step] < min) min= src[ x   *step];
475                 }
476             }
477             if(max-min < 2*QP){
478                 const int first= FFABS(src[-1*step] - src[0]) < QP ? src[-1*step] : src[0];
479                 const int last= FFABS(src[8*step] - src[7*step]) < QP ? src[8*step] : src[7*step];
480
481                 int sums[10];
482                 sums[0] = 4*first + src[0*step] + src[1*step] + src[2*step] + 4;
483                 sums[1] = sums[0] - first       + src[3*step];
484                 sums[2] = sums[1] - first       + src[4*step];
485                 sums[3] = sums[2] - first       + src[5*step];
486                 sums[4] = sums[3] - first       + src[6*step];
487                 sums[5] = sums[4] - src[0*step] + src[7*step];
488                 sums[6] = sums[5] - src[1*step] + last;
489                 sums[7] = sums[6] - src[2*step] + last;
490                 sums[8] = sums[7] - src[3*step] + last;
491                 sums[9] = sums[8] - src[4*step] + last;
492
493                 src[0*step]= (sums[0] + sums[2] + 2*src[0*step])>>4;
494                 src[1*step]= (sums[1] + sums[3] + 2*src[1*step])>>4;
495                 src[2*step]= (sums[2] + sums[4] + 2*src[2*step])>>4;
496                 src[3*step]= (sums[3] + sums[5] + 2*src[3*step])>>4;
497                 src[4*step]= (sums[4] + sums[6] + 2*src[4*step])>>4;
498                 src[5*step]= (sums[5] + sums[7] + 2*src[5*step])>>4;
499                 src[6*step]= (sums[6] + sums[8] + 2*src[6*step])>>4;
500                 src[7*step]= (sums[7] + sums[9] + 2*src[7*step])>>4;
501             }
502         }else{
503             const int middleEnergy= 5*(src[4*step] - src[3*step]) + 2*(src[2*step] - src[5*step]);
504
505             if(FFABS(middleEnergy) < 8*QP){
506                 const int q=(src[3*step] - src[4*step])/2;
507                 const int leftEnergy=  5*(src[2*step] - src[1*step]) + 2*(src[0*step] - src[3*step]);
508                 const int rightEnergy= 5*(src[6*step] - src[5*step]) + 2*(src[4*step] - src[7*step]);
509
510                 int d= FFABS(middleEnergy) - FFMIN( FFABS(leftEnergy), FFABS(rightEnergy) );
511                 d= FFMAX(d, 0);
512
513                 d= (5*d + 32) >> 6;
514                 d*= FFSIGN(-middleEnergy);
515
516                 if(q>0){
517                     d= d<0 ? 0 : d;
518                     d= d>q ? q : d;
519                 }else{
520                     d= d>0 ? 0 : d;
521                     d= d<q ? q : d;
522                 }
523
524                 src[3*step]-= d;
525                 src[4*step]+= d;
526             }
527         }
528
529         src += stride;
530     }
531 /*if(step==16){
532     STOP_TIMER("step16")
533 }else{
534     STOP_TIMER("stepX")
535 }*/
536 }
537
538 //Note: we have C, MMX, MMX2, 3DNOW version there is no 3DNOW+MMX2 one
539 //Plain C versions
540 //we always compile C for testing which needs bitexactness
541 #define COMPILE_C
542
543 #if HAVE_ALTIVEC
544 #define COMPILE_ALTIVEC
545 #endif //HAVE_ALTIVEC
546
547 #if ARCH_X86
548
549 #if (HAVE_MMX && !HAVE_AMD3DNOW && !HAVE_MMX2) || CONFIG_RUNTIME_CPUDETECT
550 #define COMPILE_MMX
551 #endif
552
553 #if HAVE_MMX2 || CONFIG_RUNTIME_CPUDETECT
554 #define COMPILE_MMX2
555 #endif
556
557 #if (HAVE_AMD3DNOW && !HAVE_MMX2) || CONFIG_RUNTIME_CPUDETECT
558 #define COMPILE_3DNOW
559 #endif
560 #endif /* ARCH_X86 */
561
562 #undef HAVE_MMX
563 #define HAVE_MMX 0
564 #undef HAVE_MMX2
565 #define HAVE_MMX2 0
566 #undef HAVE_AMD3DNOW
567 #define HAVE_AMD3DNOW 0
568 #undef HAVE_ALTIVEC
569 #define HAVE_ALTIVEC 0
570
571 #ifdef COMPILE_C
572 #define RENAME(a) a ## _C
573 #include "postprocess_template.c"
574 #endif
575
576 #ifdef COMPILE_ALTIVEC
577 #undef RENAME
578 #undef HAVE_ALTIVEC
579 #define HAVE_ALTIVEC 1
580 #define RENAME(a) a ## _altivec
581 #include "postprocess_altivec_template.c"
582 #include "postprocess_template.c"
583 #endif
584
585 //MMX versions
586 #ifdef COMPILE_MMX
587 #undef RENAME
588 #undef HAVE_MMX
589 #define HAVE_MMX 1
590 #define RENAME(a) a ## _MMX
591 #include "postprocess_template.c"
592 #endif
593
594 //MMX2 versions
595 #ifdef COMPILE_MMX2
596 #undef RENAME
597 #undef HAVE_MMX
598 #undef HAVE_MMX2
599 #define HAVE_MMX 1
600 #define HAVE_MMX2 1
601 #define RENAME(a) a ## _MMX2
602 #include "postprocess_template.c"
603 #endif
604
605 //3DNOW versions
606 #ifdef COMPILE_3DNOW
607 #undef RENAME
608 #undef HAVE_MMX
609 #undef HAVE_MMX2
610 #undef HAVE_AMD3DNOW
611 #define HAVE_MMX 1
612 #define HAVE_MMX2 0
613 #define HAVE_AMD3DNOW 1
614 #define RENAME(a) a ## _3DNow
615 #include "postprocess_template.c"
616 #endif
617
618 // minor note: the HAVE_xyz is messed up after that line so do not use it.
619
620 static inline void postProcess(const uint8_t src[], int srcStride, uint8_t dst[], int dstStride, int width, int height,
621         const QP_STORE_T QPs[], int QPStride, int isColor, pp_mode *vm, pp_context *vc)
622 {
623     PPContext *c= (PPContext *)vc;
624     PPMode *ppMode= (PPMode *)vm;
625     c->ppMode= *ppMode; //FIXME
626
627     if(ppMode->lumMode & BITEXACT)
628         return postProcess_C(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
629
630     // Using ifs here as they are faster than function pointers although the
631     // difference would not be measurable here but it is much better because
632     // someone might exchange the CPU whithout restarting MPlayer ;)
633 #if CONFIG_RUNTIME_CPUDETECT
634 #if ARCH_X86
635     // ordered per speed fastest first
636     if(c->cpuCaps & PP_CPU_CAPS_MMX2)
637         postProcess_MMX2(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
638     else if(c->cpuCaps & PP_CPU_CAPS_3DNOW)
639         postProcess_3DNow(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
640     else if(c->cpuCaps & PP_CPU_CAPS_MMX)
641         postProcess_MMX(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
642     else
643         postProcess_C(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
644 #else
645 #if HAVE_ALTIVEC
646     if(c->cpuCaps & PP_CPU_CAPS_ALTIVEC)
647             postProcess_altivec(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
648     else
649 #endif
650             postProcess_C(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
651 #endif
652 #else /* CONFIG_RUNTIME_CPUDETECT */
653 #if   HAVE_MMX2
654             postProcess_MMX2(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
655 #elif HAVE_AMD3DNOW
656             postProcess_3DNow(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
657 #elif HAVE_MMX
658             postProcess_MMX(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
659 #elif HAVE_ALTIVEC
660             postProcess_altivec(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
661 #else
662             postProcess_C(src, srcStride, dst, dstStride, width, height, QPs, QPStride, isColor, c);
663 #endif
664 #endif /* !CONFIG_RUNTIME_CPUDETECT */
665 }
666
667 //static void postProcess(uint8_t src[], int srcStride, uint8_t dst[], int dstStride, int width, int height,
668 //        QP_STORE_T QPs[], int QPStride, int isColor, struct PPMode *ppMode);
669
670 /* -pp Command line Help
671 */
672 #if LIBPOSTPROC_VERSION_INT < (52<<16)
673 const char *const pp_help=
674 #else
675 const char pp_help[] =
676 #endif
677 "Available postprocessing filters:\n"
678 "Filters                        Options\n"
679 "short  long name       short   long option     Description\n"
680 "*      *               a       autoq           CPU power dependent enabler\n"
681 "                       c       chrom           chrominance filtering enabled\n"
682 "                       y       nochrom         chrominance filtering disabled\n"
683 "                       n       noluma          luma filtering disabled\n"
684 "hb     hdeblock        (2 threshold)           horizontal deblocking filter\n"
685 "       1. difference factor: default=32, higher -> more deblocking\n"
686 "       2. flatness threshold: default=39, lower -> more deblocking\n"
687 "                       the h & v deblocking filters share these\n"
688 "                       so you can't set different thresholds for h / v\n"
689 "vb     vdeblock        (2 threshold)           vertical deblocking filter\n"
690 "ha     hadeblock       (2 threshold)           horizontal deblocking filter\n"
691 "va     vadeblock       (2 threshold)           vertical deblocking filter\n"
692 "h1     x1hdeblock                              experimental h deblock filter 1\n"
693 "v1     x1vdeblock                              experimental v deblock filter 1\n"
694 "dr     dering                                  deringing filter\n"
695 "al     autolevels                              automatic brightness / contrast\n"
696 "                       f        fullyrange     stretch luminance to (0..255)\n"
697 "lb     linblenddeint                           linear blend deinterlacer\n"
698 "li     linipoldeint                            linear interpolating deinterlace\n"
699 "ci     cubicipoldeint                          cubic interpolating deinterlacer\n"
700 "md     mediandeint                             median deinterlacer\n"
701 "fd     ffmpegdeint                             ffmpeg deinterlacer\n"
702 "l5     lowpass5                                FIR lowpass deinterlacer\n"
703 "de     default                                 hb:a,vb:a,dr:a\n"
704 "fa     fast                                    h1:a,v1:a,dr:a\n"
705 "ac                                             ha:a:128:7,va:a,dr:a\n"
706 "tn     tmpnoise        (3 threshold)           temporal noise reducer\n"
707 "                     1. <= 2. <= 3.            larger -> stronger filtering\n"
708 "fq     forceQuant      <quantizer>             force quantizer\n"
709 "Usage:\n"
710 "<filterName>[:<option>[:<option>...]][[,|/][-]<filterName>[:<option>...]]...\n"
711 "long form example:\n"
712 "vdeblock:autoq/hdeblock:autoq/linblenddeint    default,-vdeblock\n"
713 "short form example:\n"
714 "vb:a/hb:a/lb                                   de,-vb\n"
715 "more examples:\n"
716 "tn:64:128:256\n"
717 "\n"
718 ;
719
720 pp_mode *pp_get_mode_by_name_and_quality(const char *name, int quality)
721 {
722     char temp[GET_MODE_BUFFER_SIZE];
723     char *p= temp;
724     static const char filterDelimiters[] = ",/";
725     static const char optionDelimiters[] = ":";
726     struct PPMode *ppMode;
727     char *filterToken;
728
729     if (!strcmp(name, "help")) {
730         const char *p;
731         for (p = pp_help; strchr(p, '\n'); p = strchr(p, '\n') + 1) {
732             av_strlcpy(temp, p, FFMIN(sizeof(temp), strchr(p, '\n') - p + 2));
733             av_log(NULL, AV_LOG_INFO, "%s", temp);
734         }
735         return NULL;
736     }
737
738     ppMode= av_malloc(sizeof(PPMode));
739
740     ppMode->lumMode= 0;
741     ppMode->chromMode= 0;
742     ppMode->maxTmpNoise[0]= 700;
743     ppMode->maxTmpNoise[1]= 1500;
744     ppMode->maxTmpNoise[2]= 3000;
745     ppMode->maxAllowedY= 234;
746     ppMode->minAllowedY= 16;
747     ppMode->baseDcDiff= 256/8;
748     ppMode->flatnessThreshold= 56-16-1;
749     ppMode->maxClippedThreshold= 0.01;
750     ppMode->error=0;
751
752     memset(temp, 0, GET_MODE_BUFFER_SIZE);
753     av_strlcpy(temp, name, GET_MODE_BUFFER_SIZE - 1);
754
755     av_log(NULL, AV_LOG_DEBUG, "pp: %s\n", name);
756
757     for(;;){
758         char *filterName;
759         int q= 1000000; //PP_QUALITY_MAX;
760         int chrom=-1;
761         int luma=-1;
762         char *option;
763         char *options[OPTIONS_ARRAY_SIZE];
764         int i;
765         int filterNameOk=0;
766         int numOfUnknownOptions=0;
767         int enable=1; //does the user want us to enabled or disabled the filter
768
769         filterToken= strtok(p, filterDelimiters);
770         if(filterToken == NULL) break;
771         p+= strlen(filterToken) + 1; // p points to next filterToken
772         filterName= strtok(filterToken, optionDelimiters);
773         av_log(NULL, AV_LOG_DEBUG, "pp: %s::%s\n", filterToken, filterName);
774
775         if(*filterName == '-'){
776             enable=0;
777             filterName++;
778         }
779
780         for(;;){ //for all options
781             option= strtok(NULL, optionDelimiters);
782             if(option == NULL) break;
783
784             av_log(NULL, AV_LOG_DEBUG, "pp: option: %s\n", option);
785             if(!strcmp("autoq", option) || !strcmp("a", option)) q= quality;
786             else if(!strcmp("nochrom", option) || !strcmp("y", option)) chrom=0;
787             else if(!strcmp("chrom", option) || !strcmp("c", option)) chrom=1;
788             else if(!strcmp("noluma", option) || !strcmp("n", option)) luma=0;
789             else{
790                 options[numOfUnknownOptions] = option;
791                 numOfUnknownOptions++;
792             }
793             if(numOfUnknownOptions >= OPTIONS_ARRAY_SIZE-1) break;
794         }
795         options[numOfUnknownOptions] = NULL;
796
797         /* replace stuff from the replace Table */
798         for(i=0; replaceTable[2*i]!=NULL; i++){
799             if(!strcmp(replaceTable[2*i], filterName)){
800                 int newlen= strlen(replaceTable[2*i + 1]);
801                 int plen;
802                 int spaceLeft;
803
804                 p--, *p=',';
805
806                 plen= strlen(p);
807                 spaceLeft= p - temp + plen;
808                 if(spaceLeft + newlen  >= GET_MODE_BUFFER_SIZE - 1){
809                     ppMode->error++;
810                     break;
811                 }
812                 memmove(p + newlen, p, plen+1);
813                 memcpy(p, replaceTable[2*i + 1], newlen);
814                 filterNameOk=1;
815             }
816         }
817
818         for(i=0; filters[i].shortName!=NULL; i++){
819             if(   !strcmp(filters[i].longName, filterName)
820                || !strcmp(filters[i].shortName, filterName)){
821                 ppMode->lumMode &= ~filters[i].mask;
822                 ppMode->chromMode &= ~filters[i].mask;
823
824                 filterNameOk=1;
825                 if(!enable) break; // user wants to disable it
826
827                 if(q >= filters[i].minLumQuality && luma)
828                     ppMode->lumMode|= filters[i].mask;
829                 if(chrom==1 || (chrom==-1 && filters[i].chromDefault))
830                     if(q >= filters[i].minChromQuality)
831                             ppMode->chromMode|= filters[i].mask;
832
833                 if(filters[i].mask == LEVEL_FIX){
834                     int o;
835                     ppMode->minAllowedY= 16;
836                     ppMode->maxAllowedY= 234;
837                     for(o=0; options[o]!=NULL; o++){
838                         if(  !strcmp(options[o],"fullyrange")
839                            ||!strcmp(options[o],"f")){
840                             ppMode->minAllowedY= 0;
841                             ppMode->maxAllowedY= 255;
842                             numOfUnknownOptions--;
843                         }
844                     }
845                 }
846                 else if(filters[i].mask == TEMP_NOISE_FILTER)
847                 {
848                     int o;
849                     int numOfNoises=0;
850
851                     for(o=0; options[o]!=NULL; o++){
852                         char *tail;
853                         ppMode->maxTmpNoise[numOfNoises]=
854                             strtol(options[o], &tail, 0);
855                         if(tail!=options[o]){
856                             numOfNoises++;
857                             numOfUnknownOptions--;
858                             if(numOfNoises >= 3) break;
859                         }
860                     }
861                 }
862                 else if(filters[i].mask == V_DEBLOCK   || filters[i].mask == H_DEBLOCK
863                      || filters[i].mask == V_A_DEBLOCK || filters[i].mask == H_A_DEBLOCK){
864                     int o;
865
866                     for(o=0; options[o]!=NULL && o<2; o++){
867                         char *tail;
868                         int val= strtol(options[o], &tail, 0);
869                         if(tail==options[o]) break;
870
871                         numOfUnknownOptions--;
872                         if(o==0) ppMode->baseDcDiff= val;
873                         else ppMode->flatnessThreshold= val;
874                     }
875                 }
876                 else if(filters[i].mask == FORCE_QUANT){
877                     int o;
878                     ppMode->forcedQuant= 15;
879
880                     for(o=0; options[o]!=NULL && o<1; o++){
881                         char *tail;
882                         int val= strtol(options[o], &tail, 0);
883                         if(tail==options[o]) break;
884
885                         numOfUnknownOptions--;
886                         ppMode->forcedQuant= val;
887                     }
888                 }
889             }
890         }
891         if(!filterNameOk) ppMode->error++;
892         ppMode->error += numOfUnknownOptions;
893     }
894
895     av_log(NULL, AV_LOG_DEBUG, "pp: lumMode=%X, chromMode=%X\n", ppMode->lumMode, ppMode->chromMode);
896     if(ppMode->error){
897         av_log(NULL, AV_LOG_ERROR, "%d errors in postprocess string \"%s\"\n", ppMode->error, name);
898         av_free(ppMode);
899         return NULL;
900     }
901     return ppMode;
902 }
903
904 void pp_free_mode(pp_mode *mode){
905     av_free(mode);
906 }
907
908 static void reallocAlign(void **p, int alignment, int size){
909     av_free(*p);
910     *p= av_mallocz(size);
911 }
912
913 static void reallocBuffers(PPContext *c, int width, int height, int stride, int qpStride){
914     int mbWidth = (width+15)>>4;
915     int mbHeight= (height+15)>>4;
916     int i;
917
918     c->stride= stride;
919     c->qpStride= qpStride;
920
921     reallocAlign((void **)&c->tempDst, 8, stride*24);
922     reallocAlign((void **)&c->tempSrc, 8, stride*24);
923     reallocAlign((void **)&c->tempBlocks, 8, 2*16*8);
924     reallocAlign((void **)&c->yHistogram, 8, 256*sizeof(uint64_t));
925     for(i=0; i<256; i++)
926             c->yHistogram[i]= width*height/64*15/256;
927
928     for(i=0; i<3; i++){
929         //Note: The +17*1024 is just there so I do not have to worry about r/w over the end.
930         reallocAlign((void **)&c->tempBlurred[i], 8, stride*mbHeight*16 + 17*1024);
931         reallocAlign((void **)&c->tempBlurredPast[i], 8, 256*((height+7)&(~7))/2 + 17*1024);//FIXME size
932     }
933
934     reallocAlign((void **)&c->deintTemp, 8, 2*width+32);
935     reallocAlign((void **)&c->nonBQPTable, 8, qpStride*mbHeight*sizeof(QP_STORE_T));
936     reallocAlign((void **)&c->stdQPTable, 8, qpStride*mbHeight*sizeof(QP_STORE_T));
937     reallocAlign((void **)&c->forcedQPTable, 8, mbWidth*sizeof(QP_STORE_T));
938 }
939
940 static const char * context_to_name(void * ptr) {
941     return "postproc";
942 }
943
944 static const AVClass av_codec_context_class = { "Postproc", context_to_name, NULL };
945
946 pp_context *pp_get_context(int width, int height, int cpuCaps){
947     PPContext *c= av_malloc(sizeof(PPContext));
948     int stride= FFALIGN(width, 16);  //assumed / will realloc if needed
949     int qpStride= (width+15)/16 + 2; //assumed / will realloc if needed
950
951     memset(c, 0, sizeof(PPContext));
952     c->av_class = &av_codec_context_class;
953     c->cpuCaps= cpuCaps;
954     if(cpuCaps&PP_FORMAT){
955         c->hChromaSubSample= cpuCaps&0x3;
956         c->vChromaSubSample= (cpuCaps>>4)&0x3;
957     }else{
958         c->hChromaSubSample= 1;
959         c->vChromaSubSample= 1;
960     }
961
962     reallocBuffers(c, width, height, stride, qpStride);
963
964     c->frameNum=-1;
965
966     return c;
967 }
968
969 void pp_free_context(void *vc){
970     PPContext *c = (PPContext*)vc;
971     int i;
972
973     for(i=0; i<3; i++) av_free(c->tempBlurred[i]);
974     for(i=0; i<3; i++) av_free(c->tempBlurredPast[i]);
975
976     av_free(c->tempBlocks);
977     av_free(c->yHistogram);
978     av_free(c->tempDst);
979     av_free(c->tempSrc);
980     av_free(c->deintTemp);
981     av_free(c->stdQPTable);
982     av_free(c->nonBQPTable);
983     av_free(c->forcedQPTable);
984
985     memset(c, 0, sizeof(PPContext));
986
987     av_free(c);
988 }
989
990 void  pp_postprocess(const uint8_t * src[3], const int srcStride[3],
991                      uint8_t * dst[3], const int dstStride[3],
992                      int width, int height,
993                      const QP_STORE_T *QP_store,  int QPStride,
994                      pp_mode *vm,  void *vc, int pict_type)
995 {
996     int mbWidth = (width+15)>>4;
997     int mbHeight= (height+15)>>4;
998     PPMode *mode = (PPMode*)vm;
999     PPContext *c = (PPContext*)vc;
1000     int minStride= FFMAX(FFABS(srcStride[0]), FFABS(dstStride[0]));
1001     int absQPStride = FFABS(QPStride);
1002
1003     // c->stride and c->QPStride are always positive
1004     if(c->stride < minStride || c->qpStride < absQPStride)
1005         reallocBuffers(c, width, height,
1006                        FFMAX(minStride, c->stride),
1007                        FFMAX(c->qpStride, absQPStride));
1008
1009     if(QP_store==NULL || (mode->lumMode & FORCE_QUANT)){
1010         int i;
1011         QP_store= c->forcedQPTable;
1012         absQPStride = QPStride = 0;
1013         if(mode->lumMode & FORCE_QUANT)
1014             for(i=0; i<mbWidth; i++) c->forcedQPTable[i]= mode->forcedQuant;
1015         else
1016             for(i=0; i<mbWidth; i++) c->forcedQPTable[i]= 1;
1017     }
1018
1019     if(pict_type & PP_PICT_TYPE_QP2){
1020         int i;
1021         const int count= mbHeight * absQPStride;
1022         for(i=0; i<(count>>2); i++){
1023             ((uint32_t*)c->stdQPTable)[i] = (((const uint32_t*)QP_store)[i]>>1) & 0x7F7F7F7F;
1024         }
1025         for(i<<=2; i<count; i++){
1026             c->stdQPTable[i] = QP_store[i]>>1;
1027         }
1028         QP_store= c->stdQPTable;
1029         QPStride= absQPStride;
1030     }
1031
1032     if(0){
1033         int x,y;
1034         for(y=0; y<mbHeight; y++){
1035             for(x=0; x<mbWidth; x++){
1036                 av_log(c, AV_LOG_INFO, "%2d ", QP_store[x + y*QPStride]);
1037             }
1038             av_log(c, AV_LOG_INFO, "\n");
1039         }
1040         av_log(c, AV_LOG_INFO, "\n");
1041     }
1042
1043     if((pict_type&7)!=3){
1044         if (QPStride >= 0){
1045             int i;
1046             const int count= mbHeight * QPStride;
1047             for(i=0; i<(count>>2); i++){
1048                 ((uint32_t*)c->nonBQPTable)[i] = ((const uint32_t*)QP_store)[i] & 0x3F3F3F3F;
1049             }
1050             for(i<<=2; i<count; i++){
1051                 c->nonBQPTable[i] = QP_store[i] & 0x3F;
1052             }
1053         } else {
1054             int i,j;
1055             for(i=0; i<mbHeight; i++) {
1056                 for(j=0; j<absQPStride; j++) {
1057                     c->nonBQPTable[i*absQPStride+j] = QP_store[i*QPStride+j] & 0x3F;
1058                 }
1059             }
1060         }
1061     }
1062
1063     av_log(c, AV_LOG_DEBUG, "using npp filters 0x%X/0x%X\n",
1064            mode->lumMode, mode->chromMode);
1065
1066     postProcess(src[0], srcStride[0], dst[0], dstStride[0],
1067                 width, height, QP_store, QPStride, 0, mode, c);
1068
1069     width  = (width )>>c->hChromaSubSample;
1070     height = (height)>>c->vChromaSubSample;
1071
1072     if(mode->chromMode){
1073         postProcess(src[1], srcStride[1], dst[1], dstStride[1],
1074                     width, height, QP_store, QPStride, 1, mode, c);
1075         postProcess(src[2], srcStride[2], dst[2], dstStride[2],
1076                     width, height, QP_store, QPStride, 2, mode, c);
1077     }
1078     else if(srcStride[1] == dstStride[1] && srcStride[2] == dstStride[2]){
1079         linecpy(dst[1], src[1], height, srcStride[1]);
1080         linecpy(dst[2], src[2], height, srcStride[2]);
1081     }else{
1082         int y;
1083         for(y=0; y<height; y++){
1084             memcpy(&(dst[1][y*dstStride[1]]), &(src[1][y*srcStride[1]]), width);
1085             memcpy(&(dst[2][y*dstStride[2]]), &(src[2][y*srcStride[2]]), width);
1086         }
1087     }
1088 }