Merge commit '8e9cd81d291b1010c625b2766058aadf4affb537'
[ffmpeg.git] / libavcodec / x86 / lossless_videodsp_init.c
1 /*
2  * Lossless video DSP utils
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "config.h"
22 #include "libavutil/x86/asm.h"
23 #include "../lossless_videodsp.h"
24 #include "libavutil/x86/cpu.h"
25
26 void ff_add_bytes_mmx(uint8_t *dst, uint8_t *src, intptr_t w);
27 void ff_add_bytes_sse2(uint8_t *dst, uint8_t *src, intptr_t w);
28
29 void ff_add_median_pred_mmxext(uint8_t *dst, const uint8_t *top,
30                                const uint8_t *diff, intptr_t w,
31                                int *left, int *left_top);
32 void ff_add_median_pred_sse2(uint8_t *dst, const uint8_t *top,
33                              const uint8_t *diff, intptr_t w,
34                              int *left, int *left_top);
35
36 int  ff_add_left_pred_ssse3(uint8_t *dst, const uint8_t *src,
37                             intptr_t w, int left);
38 int  ff_add_left_pred_sse4(uint8_t *dst, const uint8_t *src,
39                             intptr_t w, int left);
40
41 int ff_add_left_pred_int16_ssse3(uint16_t *dst, const uint16_t *src, unsigned mask, int w, unsigned acc);
42 int ff_add_left_pred_int16_sse4(uint16_t *dst, const uint16_t *src, unsigned mask, int w, unsigned acc);
43
44 #if HAVE_INLINE_ASM && HAVE_7REGS && ARCH_X86_32
45 static void add_median_pred_cmov(uint8_t *dst, const uint8_t *top,
46                                  const uint8_t *diff, intptr_t w,
47                                  int *left, int *left_top)
48 {
49     x86_reg w2 = -w;
50     x86_reg x;
51     int l  = *left     & 0xff;
52     int tl = *left_top & 0xff;
53     int t;
54     __asm__ volatile (
55         "mov          %7, %3            \n"
56         "1:                             \n"
57         "movzbl (%3, %4), %2            \n"
58         "mov          %2, %k3           \n"
59         "sub         %b1, %b3           \n"
60         "add         %b0, %b3           \n"
61         "mov          %2, %1            \n"
62         "cmp          %0, %2            \n"
63         "cmovg        %0, %2            \n"
64         "cmovg        %1, %0            \n"
65         "cmp         %k3, %0            \n"
66         "cmovg       %k3, %0            \n"
67         "mov          %7, %3            \n"
68         "cmp          %2, %0            \n"
69         "cmovl        %2, %0            \n"
70         "add    (%6, %4), %b0           \n"
71         "mov         %b0, (%5, %4)      \n"
72         "inc          %4                \n"
73         "jl           1b                \n"
74         : "+&q"(l), "+&q"(tl), "=&r"(t), "=&q"(x), "+&r"(w2)
75         : "r"(dst + w), "r"(diff + w), "rm"(top + w)
76     );
77     *left     = l;
78     *left_top = tl;
79 }
80 #endif
81
82 void ff_llviddsp_init_x86(LLVidDSPContext *c)
83 {
84     int cpu_flags = av_get_cpu_flags();
85
86 #if HAVE_INLINE_ASM && HAVE_7REGS && ARCH_X86_32
87     if (cpu_flags & AV_CPU_FLAG_CMOV)
88         c->add_median_pred = add_median_pred_cmov;
89 #endif
90
91     if (ARCH_X86_32 && EXTERNAL_MMX(cpu_flags)) {
92         c->add_bytes = ff_add_bytes_mmx;
93     }
94
95     if (ARCH_X86_32 && EXTERNAL_MMXEXT(cpu_flags)) {
96         /* slower than cmov version on AMD */
97         if (!(cpu_flags & AV_CPU_FLAG_3DNOW))
98             c->add_median_pred = ff_add_median_pred_mmxext;
99     }
100
101     if (EXTERNAL_SSE2(cpu_flags)) {
102         c->add_bytes       = ff_add_bytes_sse2;
103         c->add_median_pred = ff_add_median_pred_sse2;
104     }
105
106     if (EXTERNAL_SSSE3(cpu_flags)) {
107         c->add_left_pred = ff_add_left_pred_ssse3;
108         if (cpu_flags & AV_CPU_FLAG_SSE4) // not really SSE4, just slow on Conroe
109             c->add_left_pred = ff_add_left_pred_sse4;
110
111         c->add_left_pred_int16 = ff_add_left_pred_int16_ssse3;
112     }
113
114     if (EXTERNAL_SSE4(cpu_flags)) {
115         c->add_left_pred_int16 = ff_add_left_pred_int16_sse4;
116     }
117 }