checkasm: x86: properly save rdx/edx in checked_call()
[ffmpeg.git] / tests / checkasm / x86 / checkasm.asm
1 ;*****************************************************************************
2 ;* Assembly testing and benchmarking tool
3 ;* Copyright (c) 2008 Loren Merritt
4 ;* Copyright (c) 2012 Henrik Gramner
5 ;*
6 ;* This file is part of Libav.
7 ;*
8 ;* Libav is free software; you can redistribute it and/or modify
9 ;* it under the terms of the GNU General Public License as published by
10 ;* the Free Software Foundation; either version 2 of the License, or
11 ;* (at your option) any later version.
12 ;*
13 ;* Libav is distributed in the hope that it will be useful,
14 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
15 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 ;* GNU General Public License for more details.
17 ;*
18 ;* You should have received a copy of the GNU General Public License
19 ;* along with this program; if not, write to the Free Software
20 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
21 ;*****************************************************************************
22
23 %define private_prefix checkasm
24 %include "libavutil/x86/x86inc.asm"
25
26 SECTION_RODATA
27
28 error_message: db "failed to preserve register", 0
29
30 %if ARCH_X86_64
31 ; just random numbers to reduce the chance of incidental match
32 ALIGN 16
33 x6:  dq 0x1a1b2550a612b48c,0x79445c159ce79064
34 x7:  dq 0x2eed899d5a28ddcd,0x86b2536fcd8cf636
35 x8:  dq 0xb0856806085e7943,0x3f2bf84fc0fcca4e
36 x9:  dq 0xacbd382dcf5b8de2,0xd229e1f5b281303f
37 x10: dq 0x71aeaff20b095fd9,0xab63e2e11fa38ed9
38 x11: dq 0x89b0c0765892729a,0x77d410d5c42c882d
39 x12: dq 0xc45ea11a955d8dd5,0x24b3c1d2a024048b
40 x13: dq 0x2e8ec680de14b47c,0xdd7b8919edd42786
41 x14: dq 0x135ce6888fa02cbf,0x11e53e2b2ac655ef
42 x15: dq 0x011ff554472a7a10,0x6de8f4c914c334d5
43 n7:  dq 0x21f86d66c8ca00ce
44 n8:  dq 0x75b6ba21077c48ad
45 n9:  dq 0xed56bb2dcb3c7736
46 n10: dq 0x8bda43d3fd1a7e06
47 n11: dq 0xb64a9c9e5d318408
48 n12: dq 0xdf9a54b303f1d3a3
49 n13: dq 0x4a75479abd64e097
50 n14: dq 0x249214109d5d1c88
51 %endif
52
53 SECTION .text
54
55 cextern fail_func
56
57 ; max number of args used by any asm function.
58 ; (max_args % 4) must equal 3 for stack alignment
59 %define max_args 15
60
61 %if ARCH_X86_64
62
63 ;-----------------------------------------------------------------------------
64 ; int checkasm_stack_clobber(uint64_t clobber, ...)
65 ;-----------------------------------------------------------------------------
66 cglobal stack_clobber, 1,2
67     ; Clobber the stack with junk below the stack pointer
68     %define size (max_args+6)*8
69     SUB  rsp, size
70     mov   r1, size-8
71 .loop:
72     mov [rsp+r1], r0
73     sub   r1, 8
74     jge .loop
75     ADD  rsp, size
76     RET
77
78 %if WIN64
79     %assign free_regs 7
80 %else
81     %assign free_regs 9
82 %endif
83
84 ;-----------------------------------------------------------------------------
85 ; intptr_t checkasm_checked_call(intptr_t (*func)(), ...)
86 ;-----------------------------------------------------------------------------
87 INIT_XMM
88 cglobal checked_call, 2,15,16,max_args*8+8
89     mov  r6, r0
90
91     ; All arguments have been pushed on the stack instead of registers in order to
92     ; test for incorrect assumptions that 32-bit ints are zero-extended to 64-bit.
93     mov  r0, r6mp
94     mov  r1, r7mp
95     mov  r2, r8mp
96     mov  r3, r9mp
97 %if UNIX64
98     mov  r4, r10mp
99     mov  r5, r11mp
100     %assign i 6
101     %rep max_args-6
102         mov  r9, [rsp+stack_offset+(i+1)*8]
103         mov  [rsp+(i-6)*8], r9
104         %assign i i+1
105     %endrep
106 %else
107     %assign i 4
108     %rep max_args-4
109         mov  r9, [rsp+stack_offset+(i+7)*8]
110         mov  [rsp+i*8], r9
111         %assign i i+1
112     %endrep
113 %endif
114
115 %if WIN64
116     %assign i 6
117     %rep 16-6
118         mova m %+ i, [x %+ i]
119         %assign i i+1
120     %endrep
121 %endif
122
123 %assign i 14
124 %rep 15-free_regs
125     mov r %+ i, [n %+ i]
126     %assign i i-1
127 %endrep
128     call r6
129 %assign i 14
130 %rep 15-free_regs
131     xor r %+ i, [n %+ i]
132     or  r14, r %+ i
133     %assign i i-1
134 %endrep
135
136 %if WIN64
137     %assign i 6
138     %rep 16-6
139         pxor m %+ i, [x %+ i]
140         por  m6, m %+ i
141         %assign i i+1
142     %endrep
143     packsswb m6, m6
144     movq r5, m6
145     or  r14, r5
146 %endif
147
148     ; Call fail_func() with a descriptive message to mark it as a failure
149     ; if the called function didn't preserve all callee-saved registers.
150     ; Save the return value located in rdx:rax first to prevent clobbering.
151     jz .ok
152     mov  r9, rax
153     mov r10, rdx
154     lea  r0, [error_message]
155     call fail_func
156     mov rdx, r10
157     mov rax, r9
158 .ok:
159     RET
160
161 %else
162
163 ; just random numbers to reduce the chance of incidental match
164 %define n3 dword 0x6549315c
165 %define n4 dword 0xe02f3e23
166 %define n5 dword 0xb78d0d1d
167 %define n6 dword 0x33627ba7
168
169 ;-----------------------------------------------------------------------------
170 ; intptr_t checkasm_checked_call(intptr_t (*func)(), ...)
171 ;-----------------------------------------------------------------------------
172 cglobal checked_call, 1,7
173     mov  r3, n3
174     mov  r4, n4
175     mov  r5, n5
176     mov  r6, n6
177 %rep max_args
178     PUSH dword [esp+20+max_args*4]
179 %endrep
180     call r0
181     xor  r3, n3
182     xor  r4, n4
183     xor  r5, n5
184     xor  r6, n6
185     or   r3, r4
186     or   r5, r6
187     or   r3, r5
188     jz .ok
189     mov  r3, eax
190     mov  r4, edx
191     lea  r0, [error_message]
192     mov [esp], r0
193     call fail_func
194     mov  edx, r4
195     mov  eax, r3
196 .ok:
197     add  esp, max_args*4
198     REP_RET
199
200 %endif ; ARCH_X86_64