Source release 14.1.0
This commit is contained in:
John W. Bruce
@@ -327,11 +327,11 @@ L$enc_compact_done:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.p2align 4
|
||||
.globl _asm_AES_encrypt
|
||||
.private_extern _asm_AES_encrypt
|
||||
.globl _aes_nohw_encrypt
|
||||
.private_extern _aes_nohw_encrypt
|
||||
|
||||
.private_extern _asm_AES_encrypt
|
||||
_asm_AES_encrypt:
|
||||
.private_extern _aes_nohw_encrypt
|
||||
_aes_nohw_encrypt:
|
||||
|
||||
movq %rsp,%rax
|
||||
|
||||
@@ -791,11 +791,11 @@ L$dec_compact_done:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.p2align 4
|
||||
.globl _asm_AES_decrypt
|
||||
.private_extern _asm_AES_decrypt
|
||||
.globl _aes_nohw_decrypt
|
||||
.private_extern _aes_nohw_decrypt
|
||||
|
||||
.private_extern _asm_AES_decrypt
|
||||
_asm_AES_decrypt:
|
||||
.private_extern _aes_nohw_decrypt
|
||||
_aes_nohw_decrypt:
|
||||
|
||||
movq %rsp,%rax
|
||||
|
||||
@@ -877,10 +877,10 @@ L$dec_epilogue:
|
||||
|
||||
|
||||
.p2align 4
|
||||
.globl _asm_AES_set_encrypt_key
|
||||
.private_extern _asm_AES_set_encrypt_key
|
||||
.globl _aes_nohw_set_encrypt_key
|
||||
.private_extern _aes_nohw_set_encrypt_key
|
||||
|
||||
_asm_AES_set_encrypt_key:
|
||||
_aes_nohw_set_encrypt_key:
|
||||
|
||||
pushq %rbx
|
||||
|
||||
@@ -1151,10 +1151,10 @@ L$exit:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.p2align 4
|
||||
.globl _asm_AES_set_decrypt_key
|
||||
.private_extern _asm_AES_set_decrypt_key
|
||||
.globl _aes_nohw_set_decrypt_key
|
||||
.private_extern _aes_nohw_set_decrypt_key
|
||||
|
||||
_asm_AES_set_decrypt_key:
|
||||
_aes_nohw_set_decrypt_key:
|
||||
|
||||
pushq %rbx
|
||||
|
||||
@@ -1355,12 +1355,12 @@ L$dec_key_epilogue:
|
||||
|
||||
|
||||
.p2align 4
|
||||
.globl _asm_AES_cbc_encrypt
|
||||
.private_extern _asm_AES_cbc_encrypt
|
||||
.globl _aes_nohw_cbc_encrypt
|
||||
.private_extern _aes_nohw_cbc_encrypt
|
||||
|
||||
|
||||
.private_extern _asm_AES_cbc_encrypt
|
||||
_asm_AES_cbc_encrypt:
|
||||
.private_extern _aes_nohw_cbc_encrypt
|
||||
_aes_nohw_cbc_encrypt:
|
||||
|
||||
cmpq $0,%rdx
|
||||
je L$cbc_epilogue
|
||||
|
||||
@@ -1,11 +1,11 @@
|
||||
#if defined(__x86_64__) && !defined(OPENSSL_NO_ASM)
|
||||
.text
|
||||
|
||||
.globl _aesni_encrypt
|
||||
.private_extern _aesni_encrypt
|
||||
.globl _aes_hw_encrypt
|
||||
.private_extern _aes_hw_encrypt
|
||||
|
||||
.p2align 4
|
||||
_aesni_encrypt:
|
||||
_aes_hw_encrypt:
|
||||
movups (%rdi),%xmm2
|
||||
movl 240(%rdx),%eax
|
||||
movups (%rdx),%xmm0
|
||||
@@ -26,11 +26,11 @@ L$oop_enc1_1:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.globl _aesni_decrypt
|
||||
.private_extern _aesni_decrypt
|
||||
.globl _aes_hw_decrypt
|
||||
.private_extern _aes_hw_decrypt
|
||||
|
||||
.p2align 4
|
||||
_aesni_decrypt:
|
||||
_aes_hw_decrypt:
|
||||
movups (%rdi),%xmm2
|
||||
movl 240(%rdx),%eax
|
||||
movups (%rdx),%xmm0
|
||||
@@ -492,11 +492,11 @@ L$dec_loop8_enter:
|
||||
.byte 102,68,15,56,223,200
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.globl _aesni_ecb_encrypt
|
||||
.private_extern _aesni_ecb_encrypt
|
||||
.globl _aes_hw_ecb_encrypt
|
||||
.private_extern _aes_hw_ecb_encrypt
|
||||
|
||||
.p2align 4
|
||||
_aesni_ecb_encrypt:
|
||||
_aes_hw_ecb_encrypt:
|
||||
andq $-16,%rdx
|
||||
jz L$ecb_ret
|
||||
|
||||
@@ -835,11 +835,11 @@ L$ecb_ret:
|
||||
pxor %xmm1,%xmm1
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.globl _aesni_ccm64_encrypt_blocks
|
||||
.private_extern _aesni_ccm64_encrypt_blocks
|
||||
.globl _aes_hw_ccm64_encrypt_blocks
|
||||
.private_extern _aes_hw_ccm64_encrypt_blocks
|
||||
|
||||
.p2align 4
|
||||
_aesni_ccm64_encrypt_blocks:
|
||||
_aes_hw_ccm64_encrypt_blocks:
|
||||
movl 240(%rcx),%eax
|
||||
movdqu (%r8),%xmm6
|
||||
movdqa L$increment64(%rip),%xmm9
|
||||
@@ -899,11 +899,11 @@ L$ccm64_enc2_loop:
|
||||
pxor %xmm6,%xmm6
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.globl _aesni_ccm64_decrypt_blocks
|
||||
.private_extern _aesni_ccm64_decrypt_blocks
|
||||
.globl _aes_hw_ccm64_decrypt_blocks
|
||||
.private_extern _aes_hw_ccm64_decrypt_blocks
|
||||
|
||||
.p2align 4
|
||||
_aesni_ccm64_decrypt_blocks:
|
||||
_aes_hw_ccm64_decrypt_blocks:
|
||||
movl 240(%rcx),%eax
|
||||
movups (%r8),%xmm6
|
||||
movdqu (%r9),%xmm3
|
||||
@@ -997,11 +997,11 @@ L$oop_enc1_6:
|
||||
pxor %xmm6,%xmm6
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.globl _aesni_ctr32_encrypt_blocks
|
||||
.private_extern _aesni_ctr32_encrypt_blocks
|
||||
.globl _aes_hw_ctr32_encrypt_blocks
|
||||
.private_extern _aes_hw_ctr32_encrypt_blocks
|
||||
|
||||
.p2align 4
|
||||
_aesni_ctr32_encrypt_blocks:
|
||||
_aes_hw_ctr32_encrypt_blocks:
|
||||
|
||||
cmpq $1,%rdx
|
||||
jne L$ctr32_bulk
|
||||
@@ -1577,11 +1577,11 @@ L$ctr32_epilogue:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.globl _aesni_xts_encrypt
|
||||
.private_extern _aesni_xts_encrypt
|
||||
.globl _aes_hw_xts_encrypt
|
||||
.private_extern _aes_hw_xts_encrypt
|
||||
|
||||
.p2align 4
|
||||
_aesni_xts_encrypt:
|
||||
_aes_hw_xts_encrypt:
|
||||
|
||||
leaq (%rsp),%r11
|
||||
|
||||
@@ -2048,11 +2048,11 @@ L$xts_enc_epilogue:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.globl _aesni_xts_decrypt
|
||||
.private_extern _aesni_xts_decrypt
|
||||
.globl _aes_hw_xts_decrypt
|
||||
.private_extern _aes_hw_xts_decrypt
|
||||
|
||||
.p2align 4
|
||||
_aesni_xts_decrypt:
|
||||
_aes_hw_xts_decrypt:
|
||||
|
||||
leaq (%rsp),%r11
|
||||
|
||||
@@ -2556,11 +2556,11 @@ L$xts_dec_epilogue:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.globl _aesni_ocb_encrypt
|
||||
.private_extern _aesni_ocb_encrypt
|
||||
.globl _aes_hw_ocb_encrypt
|
||||
.private_extern _aes_hw_ocb_encrypt
|
||||
|
||||
.p2align 5
|
||||
_aesni_ocb_encrypt:
|
||||
_aes_hw_ocb_encrypt:
|
||||
|
||||
leaq (%rsp),%rax
|
||||
pushq %rbx
|
||||
@@ -2973,11 +2973,11 @@ L$ocb_enc_loop1:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.globl _aesni_ocb_decrypt
|
||||
.private_extern _aesni_ocb_decrypt
|
||||
.globl _aes_hw_ocb_decrypt
|
||||
.private_extern _aes_hw_ocb_decrypt
|
||||
|
||||
.p2align 5
|
||||
_aesni_ocb_decrypt:
|
||||
_aes_hw_ocb_decrypt:
|
||||
|
||||
leaq (%rsp),%rax
|
||||
pushq %rbx
|
||||
@@ -3400,11 +3400,11 @@ L$ocb_dec_loop1:
|
||||
.byte 102,15,56,223,215
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
.globl _aesni_cbc_encrypt
|
||||
.private_extern _aesni_cbc_encrypt
|
||||
.globl _aes_hw_cbc_encrypt
|
||||
.private_extern _aes_hw_cbc_encrypt
|
||||
|
||||
.p2align 4
|
||||
_aesni_cbc_encrypt:
|
||||
_aes_hw_cbc_encrypt:
|
||||
|
||||
testq %rdx,%rdx
|
||||
jz L$cbc_ret
|
||||
@@ -3993,11 +3993,11 @@ L$cbc_ret:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.globl _aesni_set_decrypt_key
|
||||
.private_extern _aesni_set_decrypt_key
|
||||
.globl _aes_hw_set_decrypt_key
|
||||
.private_extern _aes_hw_set_decrypt_key
|
||||
|
||||
.p2align 4
|
||||
_aesni_set_decrypt_key:
|
||||
_aes_hw_set_decrypt_key:
|
||||
|
||||
.byte 0x48,0x83,0xEC,0x08
|
||||
|
||||
@@ -4038,11 +4038,11 @@ L$dec_key_ret:
|
||||
|
||||
L$SEH_end_set_decrypt_key:
|
||||
|
||||
.globl _aesni_set_encrypt_key
|
||||
.private_extern _aesni_set_encrypt_key
|
||||
.globl _aes_hw_set_encrypt_key
|
||||
.private_extern _aes_hw_set_encrypt_key
|
||||
|
||||
.p2align 4
|
||||
_aesni_set_encrypt_key:
|
||||
_aes_hw_set_encrypt_key:
|
||||
__aesni_set_encrypt_key:
|
||||
|
||||
.byte 0x48,0x83,0xEC,0x08
|
||||
|
||||
@@ -1071,9 +1071,9 @@ L$key_loop:
|
||||
_bsaes_cbc_encrypt:
|
||||
|
||||
cmpl $0,%r9d
|
||||
jne _asm_AES_cbc_encrypt
|
||||
jne _aes_nohw_cbc_encrypt
|
||||
cmpq $128,%rdx
|
||||
jb _asm_AES_cbc_encrypt
|
||||
jb _aes_nohw_cbc_encrypt
|
||||
|
||||
movq %rsp,%rax
|
||||
L$cbc_dec_prologue:
|
||||
@@ -1295,7 +1295,7 @@ L$cbc_dec_one:
|
||||
leaq (%r12),%rdi
|
||||
leaq 32(%rbp),%rsi
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_decrypt
|
||||
call _aes_nohw_decrypt
|
||||
pxor 32(%rbp),%xmm14
|
||||
movdqu %xmm14,(%r13)
|
||||
movdqa %xmm15,%xmm14
|
||||
@@ -1505,7 +1505,7 @@ L$ctr_enc_short:
|
||||
leaq 32(%rbp),%rdi
|
||||
leaq 48(%rbp),%rsi
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_encrypt
|
||||
call _aes_nohw_encrypt
|
||||
movdqu (%r12),%xmm0
|
||||
leaq 16(%r12),%r12
|
||||
movl 44(%rbp),%eax
|
||||
@@ -1581,7 +1581,7 @@ L$xts_enc_prologue:
|
||||
leaq (%r9),%rdi
|
||||
leaq 32(%rbp),%rsi
|
||||
leaq (%r8),%rdx
|
||||
call _asm_AES_encrypt
|
||||
call _aes_nohw_encrypt
|
||||
|
||||
movl 240(%r15),%eax
|
||||
movq %r14,%rbx
|
||||
@@ -1951,7 +1951,7 @@ L$xts_enc_1:
|
||||
leaq 32(%rbp),%rdi
|
||||
leaq 32(%rbp),%rsi
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_encrypt
|
||||
call _aes_nohw_encrypt
|
||||
pxor 32(%rbp),%xmm15
|
||||
|
||||
|
||||
@@ -1984,7 +1984,7 @@ L$xts_enc_steal:
|
||||
leaq 32(%rbp),%rsi
|
||||
movdqa %xmm15,32(%rbp)
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_encrypt
|
||||
call _aes_nohw_encrypt
|
||||
pxor 32(%rbp),%xmm6
|
||||
movdqu %xmm6,-16(%r13)
|
||||
|
||||
@@ -2050,7 +2050,7 @@ L$xts_dec_prologue:
|
||||
leaq (%r9),%rdi
|
||||
leaq 32(%rbp),%rsi
|
||||
leaq (%r8),%rdx
|
||||
call _asm_AES_encrypt
|
||||
call _aes_nohw_encrypt
|
||||
|
||||
movl 240(%r15),%eax
|
||||
movq %r14,%rbx
|
||||
@@ -2427,7 +2427,7 @@ L$xts_dec_1:
|
||||
leaq 32(%rbp),%rdi
|
||||
leaq 32(%rbp),%rsi
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_decrypt
|
||||
call _aes_nohw_decrypt
|
||||
pxor 32(%rbp),%xmm15
|
||||
|
||||
|
||||
@@ -2458,7 +2458,7 @@ L$xts_dec_done:
|
||||
leaq 32(%rbp),%rsi
|
||||
movdqa %xmm15,32(%rbp)
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_decrypt
|
||||
call _aes_nohw_decrypt
|
||||
pxor 32(%rbp),%xmm6
|
||||
movq %r13,%rdx
|
||||
movdqu %xmm6,(%r13)
|
||||
@@ -2479,7 +2479,7 @@ L$xts_dec_steal:
|
||||
leaq 32(%rbp),%rsi
|
||||
movdqa %xmm15,32(%rbp)
|
||||
leaq (%r15),%rdx
|
||||
call _asm_AES_decrypt
|
||||
call _aes_nohw_decrypt
|
||||
pxor 32(%rbp),%xmm5
|
||||
movdqu %xmm5,(%r13)
|
||||
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1723,6 +1723,11 @@ L$SEH_end_rsaz_1024_gather5:
|
||||
_rsaz_avx2_eligible:
|
||||
leaq _OPENSSL_ia32cap_P(%rip),%rax
|
||||
movl 8(%rax),%eax
|
||||
movl $524544,%ecx
|
||||
movl $0,%edx
|
||||
andl %eax,%ecx
|
||||
cmpl $524544,%ecx
|
||||
cmovel %edx,%eax
|
||||
andl $32,%eax
|
||||
shrl $5,%eax
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
@@ -16,6 +16,8 @@ _bn_mul_mont:
|
||||
jnz L$mul_enter
|
||||
cmpl $8,%r9d
|
||||
jb L$mul_enter
|
||||
leaq _OPENSSL_ia32cap_P(%rip),%r11
|
||||
movl 8(%r11),%r11d
|
||||
cmpq %rsi,%rdx
|
||||
jne L$mul4x_enter
|
||||
testl $7,%r9d
|
||||
@@ -207,30 +209,30 @@ L$inner_enter:
|
||||
|
||||
xorq %r14,%r14
|
||||
movq (%rsp),%rax
|
||||
leaq (%rsp),%rsi
|
||||
movq %r9,%r15
|
||||
jmp L$sub
|
||||
|
||||
.p2align 4
|
||||
L$sub: sbbq (%rcx,%r14,8),%rax
|
||||
movq %rax,(%rdi,%r14,8)
|
||||
movq 8(%rsi,%r14,8),%rax
|
||||
movq 8(%rsp,%r14,8),%rax
|
||||
leaq 1(%r14),%r14
|
||||
decq %r15
|
||||
jnz L$sub
|
||||
|
||||
sbbq $0,%rax
|
||||
movq $-1,%rbx
|
||||
xorq %rax,%rbx
|
||||
xorq %r14,%r14
|
||||
andq %rax,%rsi
|
||||
notq %rax
|
||||
movq %rdi,%rcx
|
||||
andq %rax,%rcx
|
||||
movq %r9,%r15
|
||||
orq %rcx,%rsi
|
||||
.p2align 4
|
||||
|
||||
L$copy:
|
||||
movq (%rsi,%r14,8),%rax
|
||||
movq %r14,(%rsp,%r14,8)
|
||||
movq %rax,(%rdi,%r14,8)
|
||||
movq (%rdi,%r14,8),%rcx
|
||||
movq (%rsp,%r14,8),%rdx
|
||||
andq %rbx,%rcx
|
||||
andq %rax,%rdx
|
||||
movq %r9,(%rsp,%r14,8)
|
||||
orq %rcx,%rdx
|
||||
movq %rdx,(%rdi,%r14,8)
|
||||
leaq 1(%r14),%r14
|
||||
subq $1,%r15
|
||||
jnz L$copy
|
||||
@@ -264,6 +266,9 @@ bn_mul4x_mont:
|
||||
movq %rsp,%rax
|
||||
|
||||
L$mul4x_enter:
|
||||
andl $0x80100,%r11d
|
||||
cmpl $0x80100,%r11d
|
||||
je L$mulx4x_enter
|
||||
pushq %rbx
|
||||
|
||||
pushq %rbp
|
||||
@@ -601,7 +606,6 @@ L$inner4x:
|
||||
movq 16(%rsp,%r9,8),%rdi
|
||||
leaq -4(%r9),%r15
|
||||
movq 0(%rsp),%rax
|
||||
pxor %xmm0,%xmm0
|
||||
movq 8(%rsp),%rdx
|
||||
shrq $2,%r15
|
||||
leaq (%rsp),%rsi
|
||||
@@ -611,8 +615,7 @@ L$inner4x:
|
||||
movq 16(%rsi),%rbx
|
||||
movq 24(%rsi),%rbp
|
||||
sbbq 8(%rcx),%rdx
|
||||
jmp L$sub4x
|
||||
.p2align 4
|
||||
|
||||
L$sub4x:
|
||||
movq %rax,0(%rdi,%r14,8)
|
||||
movq %rdx,8(%rdi,%r14,8)
|
||||
@@ -639,34 +642,35 @@ L$sub4x:
|
||||
|
||||
sbbq $0,%rax
|
||||
movq %rbp,24(%rdi,%r14,8)
|
||||
xorq %r14,%r14
|
||||
andq %rax,%rsi
|
||||
notq %rax
|
||||
movq %rdi,%rcx
|
||||
andq %rax,%rcx
|
||||
leaq -4(%r9),%r15
|
||||
orq %rcx,%rsi
|
||||
pxor %xmm0,%xmm0
|
||||
.byte 102,72,15,110,224
|
||||
pcmpeqd %xmm5,%xmm5
|
||||
pshufd $0,%xmm4,%xmm4
|
||||
movq %r9,%r15
|
||||
pxor %xmm4,%xmm5
|
||||
shrq $2,%r15
|
||||
xorl %eax,%eax
|
||||
|
||||
movdqu (%rsi),%xmm1
|
||||
movdqa %xmm0,(%rsp)
|
||||
movdqu %xmm1,(%rdi)
|
||||
jmp L$copy4x
|
||||
.p2align 4
|
||||
L$copy4x:
|
||||
movdqu 16(%rsi,%r14,1),%xmm2
|
||||
movdqu 32(%rsi,%r14,1),%xmm1
|
||||
movdqa %xmm0,16(%rsp,%r14,1)
|
||||
movdqu %xmm2,16(%rdi,%r14,1)
|
||||
movdqa %xmm0,32(%rsp,%r14,1)
|
||||
movdqu %xmm1,32(%rdi,%r14,1)
|
||||
leaq 32(%r14),%r14
|
||||
movdqa (%rsp,%rax,1),%xmm1
|
||||
movdqu (%rdi,%rax,1),%xmm2
|
||||
pand %xmm4,%xmm1
|
||||
pand %xmm5,%xmm2
|
||||
movdqa 16(%rsp,%rax,1),%xmm3
|
||||
movdqa %xmm0,(%rsp,%rax,1)
|
||||
por %xmm2,%xmm1
|
||||
movdqu 16(%rdi,%rax,1),%xmm2
|
||||
movdqu %xmm1,(%rdi,%rax,1)
|
||||
pand %xmm4,%xmm3
|
||||
pand %xmm5,%xmm2
|
||||
movdqa %xmm0,16(%rsp,%rax,1)
|
||||
por %xmm2,%xmm3
|
||||
movdqu %xmm3,16(%rdi,%rax,1)
|
||||
leaq 32(%rax),%rax
|
||||
decq %r15
|
||||
jnz L$copy4x
|
||||
|
||||
movdqu 16(%rsi,%r14,1),%xmm2
|
||||
movdqa %xmm0,16(%rsp,%r14,1)
|
||||
movdqu %xmm2,16(%rdi,%r14,1)
|
||||
movq 8(%rsp,%r9,8),%rsi
|
||||
|
||||
movq $1,%rax
|
||||
@@ -691,6 +695,7 @@ L$mul4x_epilogue:
|
||||
|
||||
|
||||
|
||||
|
||||
.p2align 5
|
||||
bn_sqr8x_mont:
|
||||
|
||||
@@ -771,6 +776,26 @@ L$sqr8x_body:
|
||||
pxor %xmm0,%xmm0
|
||||
.byte 102,72,15,110,207
|
||||
.byte 102,73,15,110,218
|
||||
leaq _OPENSSL_ia32cap_P(%rip),%rax
|
||||
movl 8(%rax),%eax
|
||||
andl $0x80100,%eax
|
||||
cmpl $0x80100,%eax
|
||||
jne L$sqr8x_nox
|
||||
|
||||
call _bn_sqrx8x_internal
|
||||
|
||||
|
||||
|
||||
|
||||
leaq (%r8,%rcx,1),%rbx
|
||||
movq %rcx,%r9
|
||||
movq %rcx,%rdx
|
||||
.byte 102,72,15,126,207
|
||||
sarq $3+2,%rcx
|
||||
jmp L$sqr8x_sub
|
||||
|
||||
.p2align 5
|
||||
L$sqr8x_nox:
|
||||
call _bn_sqr8x_internal
|
||||
|
||||
|
||||
@@ -858,6 +883,362 @@ L$sqr8x_epilogue:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
|
||||
.p2align 5
|
||||
bn_mulx4x_mont:
|
||||
|
||||
movq %rsp,%rax
|
||||
|
||||
L$mulx4x_enter:
|
||||
pushq %rbx
|
||||
|
||||
pushq %rbp
|
||||
|
||||
pushq %r12
|
||||
|
||||
pushq %r13
|
||||
|
||||
pushq %r14
|
||||
|
||||
pushq %r15
|
||||
|
||||
L$mulx4x_prologue:
|
||||
|
||||
shll $3,%r9d
|
||||
xorq %r10,%r10
|
||||
subq %r9,%r10
|
||||
movq (%r8),%r8
|
||||
leaq -72(%rsp,%r10,1),%rbp
|
||||
andq $-128,%rbp
|
||||
movq %rsp,%r11
|
||||
subq %rbp,%r11
|
||||
andq $-4096,%r11
|
||||
leaq (%r11,%rbp,1),%rsp
|
||||
movq (%rsp),%r10
|
||||
cmpq %rbp,%rsp
|
||||
ja L$mulx4x_page_walk
|
||||
jmp L$mulx4x_page_walk_done
|
||||
|
||||
.p2align 4
|
||||
L$mulx4x_page_walk:
|
||||
leaq -4096(%rsp),%rsp
|
||||
movq (%rsp),%r10
|
||||
cmpq %rbp,%rsp
|
||||
ja L$mulx4x_page_walk
|
||||
L$mulx4x_page_walk_done:
|
||||
|
||||
leaq (%rdx,%r9,1),%r10
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
movq %r9,0(%rsp)
|
||||
shrq $5,%r9
|
||||
movq %r10,16(%rsp)
|
||||
subq $1,%r9
|
||||
movq %r8,24(%rsp)
|
||||
movq %rdi,32(%rsp)
|
||||
movq %rax,40(%rsp)
|
||||
|
||||
movq %r9,48(%rsp)
|
||||
jmp L$mulx4x_body
|
||||
|
||||
.p2align 5
|
||||
L$mulx4x_body:
|
||||
leaq 8(%rdx),%rdi
|
||||
movq (%rdx),%rdx
|
||||
leaq 64+32(%rsp),%rbx
|
||||
movq %rdx,%r9
|
||||
|
||||
mulxq 0(%rsi),%r8,%rax
|
||||
mulxq 8(%rsi),%r11,%r14
|
||||
addq %rax,%r11
|
||||
movq %rdi,8(%rsp)
|
||||
mulxq 16(%rsi),%r12,%r13
|
||||
adcq %r14,%r12
|
||||
adcq $0,%r13
|
||||
|
||||
movq %r8,%rdi
|
||||
imulq 24(%rsp),%r8
|
||||
xorq %rbp,%rbp
|
||||
|
||||
mulxq 24(%rsi),%rax,%r14
|
||||
movq %r8,%rdx
|
||||
leaq 32(%rsi),%rsi
|
||||
adcxq %rax,%r13
|
||||
adcxq %rbp,%r14
|
||||
|
||||
mulxq 0(%rcx),%rax,%r10
|
||||
adcxq %rax,%rdi
|
||||
adoxq %r11,%r10
|
||||
mulxq 8(%rcx),%rax,%r11
|
||||
adcxq %rax,%r10
|
||||
adoxq %r12,%r11
|
||||
.byte 0xc4,0x62,0xfb,0xf6,0xa1,0x10,0x00,0x00,0x00
|
||||
movq 48(%rsp),%rdi
|
||||
movq %r10,-32(%rbx)
|
||||
adcxq %rax,%r11
|
||||
adoxq %r13,%r12
|
||||
mulxq 24(%rcx),%rax,%r15
|
||||
movq %r9,%rdx
|
||||
movq %r11,-24(%rbx)
|
||||
adcxq %rax,%r12
|
||||
adoxq %rbp,%r15
|
||||
leaq 32(%rcx),%rcx
|
||||
movq %r12,-16(%rbx)
|
||||
|
||||
jmp L$mulx4x_1st
|
||||
|
||||
.p2align 5
|
||||
L$mulx4x_1st:
|
||||
adcxq %rbp,%r15
|
||||
mulxq 0(%rsi),%r10,%rax
|
||||
adcxq %r14,%r10
|
||||
mulxq 8(%rsi),%r11,%r14
|
||||
adcxq %rax,%r11
|
||||
mulxq 16(%rsi),%r12,%rax
|
||||
adcxq %r14,%r12
|
||||
mulxq 24(%rsi),%r13,%r14
|
||||
.byte 0x67,0x67
|
||||
movq %r8,%rdx
|
||||
adcxq %rax,%r13
|
||||
adcxq %rbp,%r14
|
||||
leaq 32(%rsi),%rsi
|
||||
leaq 32(%rbx),%rbx
|
||||
|
||||
adoxq %r15,%r10
|
||||
mulxq 0(%rcx),%rax,%r15
|
||||
adcxq %rax,%r10
|
||||
adoxq %r15,%r11
|
||||
mulxq 8(%rcx),%rax,%r15
|
||||
adcxq %rax,%r11
|
||||
adoxq %r15,%r12
|
||||
mulxq 16(%rcx),%rax,%r15
|
||||
movq %r10,-40(%rbx)
|
||||
adcxq %rax,%r12
|
||||
movq %r11,-32(%rbx)
|
||||
adoxq %r15,%r13
|
||||
mulxq 24(%rcx),%rax,%r15
|
||||
movq %r9,%rdx
|
||||
movq %r12,-24(%rbx)
|
||||
adcxq %rax,%r13
|
||||
adoxq %rbp,%r15
|
||||
leaq 32(%rcx),%rcx
|
||||
movq %r13,-16(%rbx)
|
||||
|
||||
decq %rdi
|
||||
jnz L$mulx4x_1st
|
||||
|
||||
movq 0(%rsp),%rax
|
||||
movq 8(%rsp),%rdi
|
||||
adcq %rbp,%r15
|
||||
addq %r15,%r14
|
||||
sbbq %r15,%r15
|
||||
movq %r14,-8(%rbx)
|
||||
jmp L$mulx4x_outer
|
||||
|
||||
.p2align 5
|
||||
L$mulx4x_outer:
|
||||
movq (%rdi),%rdx
|
||||
leaq 8(%rdi),%rdi
|
||||
subq %rax,%rsi
|
||||
movq %r15,(%rbx)
|
||||
leaq 64+32(%rsp),%rbx
|
||||
subq %rax,%rcx
|
||||
|
||||
mulxq 0(%rsi),%r8,%r11
|
||||
xorl %ebp,%ebp
|
||||
movq %rdx,%r9
|
||||
mulxq 8(%rsi),%r14,%r12
|
||||
adoxq -32(%rbx),%r8
|
||||
adcxq %r14,%r11
|
||||
mulxq 16(%rsi),%r15,%r13
|
||||
adoxq -24(%rbx),%r11
|
||||
adcxq %r15,%r12
|
||||
adoxq -16(%rbx),%r12
|
||||
adcxq %rbp,%r13
|
||||
adoxq %rbp,%r13
|
||||
|
||||
movq %rdi,8(%rsp)
|
||||
movq %r8,%r15
|
||||
imulq 24(%rsp),%r8
|
||||
xorl %ebp,%ebp
|
||||
|
||||
mulxq 24(%rsi),%rax,%r14
|
||||
movq %r8,%rdx
|
||||
adcxq %rax,%r13
|
||||
adoxq -8(%rbx),%r13
|
||||
adcxq %rbp,%r14
|
||||
leaq 32(%rsi),%rsi
|
||||
adoxq %rbp,%r14
|
||||
|
||||
mulxq 0(%rcx),%rax,%r10
|
||||
adcxq %rax,%r15
|
||||
adoxq %r11,%r10
|
||||
mulxq 8(%rcx),%rax,%r11
|
||||
adcxq %rax,%r10
|
||||
adoxq %r12,%r11
|
||||
mulxq 16(%rcx),%rax,%r12
|
||||
movq %r10,-32(%rbx)
|
||||
adcxq %rax,%r11
|
||||
adoxq %r13,%r12
|
||||
mulxq 24(%rcx),%rax,%r15
|
||||
movq %r9,%rdx
|
||||
movq %r11,-24(%rbx)
|
||||
leaq 32(%rcx),%rcx
|
||||
adcxq %rax,%r12
|
||||
adoxq %rbp,%r15
|
||||
movq 48(%rsp),%rdi
|
||||
movq %r12,-16(%rbx)
|
||||
|
||||
jmp L$mulx4x_inner
|
||||
|
||||
.p2align 5
|
||||
L$mulx4x_inner:
|
||||
mulxq 0(%rsi),%r10,%rax
|
||||
adcxq %rbp,%r15
|
||||
adoxq %r14,%r10
|
||||
mulxq 8(%rsi),%r11,%r14
|
||||
adcxq 0(%rbx),%r10
|
||||
adoxq %rax,%r11
|
||||
mulxq 16(%rsi),%r12,%rax
|
||||
adcxq 8(%rbx),%r11
|
||||
adoxq %r14,%r12
|
||||
mulxq 24(%rsi),%r13,%r14
|
||||
movq %r8,%rdx
|
||||
adcxq 16(%rbx),%r12
|
||||
adoxq %rax,%r13
|
||||
adcxq 24(%rbx),%r13
|
||||
adoxq %rbp,%r14
|
||||
leaq 32(%rsi),%rsi
|
||||
leaq 32(%rbx),%rbx
|
||||
adcxq %rbp,%r14
|
||||
|
||||
adoxq %r15,%r10
|
||||
mulxq 0(%rcx),%rax,%r15
|
||||
adcxq %rax,%r10
|
||||
adoxq %r15,%r11
|
||||
mulxq 8(%rcx),%rax,%r15
|
||||
adcxq %rax,%r11
|
||||
adoxq %r15,%r12
|
||||
mulxq 16(%rcx),%rax,%r15
|
||||
movq %r10,-40(%rbx)
|
||||
adcxq %rax,%r12
|
||||
adoxq %r15,%r13
|
||||
mulxq 24(%rcx),%rax,%r15
|
||||
movq %r9,%rdx
|
||||
movq %r11,-32(%rbx)
|
||||
movq %r12,-24(%rbx)
|
||||
adcxq %rax,%r13
|
||||
adoxq %rbp,%r15
|
||||
leaq 32(%rcx),%rcx
|
||||
movq %r13,-16(%rbx)
|
||||
|
||||
decq %rdi
|
||||
jnz L$mulx4x_inner
|
||||
|
||||
movq 0(%rsp),%rax
|
||||
movq 8(%rsp),%rdi
|
||||
adcq %rbp,%r15
|
||||
subq 0(%rbx),%rbp
|
||||
adcq %r15,%r14
|
||||
sbbq %r15,%r15
|
||||
movq %r14,-8(%rbx)
|
||||
|
||||
cmpq 16(%rsp),%rdi
|
||||
jne L$mulx4x_outer
|
||||
|
||||
leaq 64(%rsp),%rbx
|
||||
subq %rax,%rcx
|
||||
negq %r15
|
||||
movq %rax,%rdx
|
||||
shrq $3+2,%rax
|
||||
movq 32(%rsp),%rdi
|
||||
jmp L$mulx4x_sub
|
||||
|
||||
.p2align 5
|
||||
L$mulx4x_sub:
|
||||
movq 0(%rbx),%r11
|
||||
movq 8(%rbx),%r12
|
||||
movq 16(%rbx),%r13
|
||||
movq 24(%rbx),%r14
|
||||
leaq 32(%rbx),%rbx
|
||||
sbbq 0(%rcx),%r11
|
||||
sbbq 8(%rcx),%r12
|
||||
sbbq 16(%rcx),%r13
|
||||
sbbq 24(%rcx),%r14
|
||||
leaq 32(%rcx),%rcx
|
||||
movq %r11,0(%rdi)
|
||||
movq %r12,8(%rdi)
|
||||
movq %r13,16(%rdi)
|
||||
movq %r14,24(%rdi)
|
||||
leaq 32(%rdi),%rdi
|
||||
decq %rax
|
||||
jnz L$mulx4x_sub
|
||||
|
||||
sbbq $0,%r15
|
||||
leaq 64(%rsp),%rbx
|
||||
subq %rdx,%rdi
|
||||
|
||||
.byte 102,73,15,110,207
|
||||
pxor %xmm0,%xmm0
|
||||
pshufd $0,%xmm1,%xmm1
|
||||
movq 40(%rsp),%rsi
|
||||
|
||||
jmp L$mulx4x_cond_copy
|
||||
|
||||
.p2align 5
|
||||
L$mulx4x_cond_copy:
|
||||
movdqa 0(%rbx),%xmm2
|
||||
movdqa 16(%rbx),%xmm3
|
||||
leaq 32(%rbx),%rbx
|
||||
movdqu 0(%rdi),%xmm4
|
||||
movdqu 16(%rdi),%xmm5
|
||||
leaq 32(%rdi),%rdi
|
||||
movdqa %xmm0,-32(%rbx)
|
||||
movdqa %xmm0,-16(%rbx)
|
||||
pcmpeqd %xmm1,%xmm0
|
||||
pand %xmm1,%xmm2
|
||||
pand %xmm1,%xmm3
|
||||
pand %xmm0,%xmm4
|
||||
pand %xmm0,%xmm5
|
||||
pxor %xmm0,%xmm0
|
||||
por %xmm2,%xmm4
|
||||
por %xmm3,%xmm5
|
||||
movdqu %xmm4,-32(%rdi)
|
||||
movdqu %xmm5,-16(%rdi)
|
||||
subq $32,%rdx
|
||||
jnz L$mulx4x_cond_copy
|
||||
|
||||
movq %rdx,(%rbx)
|
||||
|
||||
movq $1,%rax
|
||||
movq -48(%rsi),%r15
|
||||
|
||||
movq -40(%rsi),%r14
|
||||
|
||||
movq -32(%rsi),%r13
|
||||
|
||||
movq -24(%rsi),%r12
|
||||
|
||||
movq -16(%rsi),%rbp
|
||||
|
||||
movq -8(%rsi),%rbx
|
||||
|
||||
leaq (%rsi),%rsp
|
||||
|
||||
L$mulx4x_epilogue:
|
||||
.byte 0xf3,0xc3
|
||||
|
||||
|
||||
.byte 77,111,110,116,103,111,109,101,114,121,32,77,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,120,56,54,95,54,52,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
|
||||
.p2align 4
|
||||
#endif
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user