
@ ====================================================================
@ Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
@ project. The module is, however, dual licensed under OpenSSL and
@ CRYPTOGAMS licenses depending on where you obtain it. For further
@ details see http://www.openssl.org/~appro/cryptogams/.
@
@ Specific modes and adaptation for Linux kernel by Ard Biesheuvel
@ <ard.biesheuvel@linaro.org>. Permission to use under GPL terms is
@ granted.
@ ====================================================================

@ Bit-sliced AES for ARM NEON
@
@ February 2012.
@
@ This implementation is direct adaptation of bsaes-x86_64 module for
@ ARM NEON. Except that this module is endian-neutral [in sense that
@ it can be compiled for either endianness] by courtesy of vld1.8's
@ neutrality. Initial version doesn't implement interface to OpenSSL,
@ only low-level primitives and unsupported entry points, just enough
@ to collect performance results, which for Cortex-A8 core are:
@
@ encrypt	19.5 cycles per byte processed with 128-bit key
@ decrypt	22.1 cycles per byte processed with 128-bit key
@ key conv.	440  cycles per 128-bit key/0.18 of 8x block
@
@ Snapdragon S4 encrypts byte in 17.6 cycles and decrypts in 19.7,
@ which is [much] worse than anticipated (for further details see
@ http://www.openssl.org/~appro/Snapdragon-S4.html).
@
@ Cortex-A15 manages in 14.2/16.1 cycles [when integer-only code
@ manages in 20.0 cycles].
@
@ When comparing to x86_64 results keep in mind that NEON unit is
@ [mostly] single-issue and thus can't [fully] benefit from
@ instruction-level parallelism. And when comparing to aes-armv4
@ results keep in mind key schedule conversion overhead (see
@ bsaes-x86_64.pl for further details)...
@
@						<appro@openssl.org>

@ April-August 2013
@
@ Add CBC, CTR and XTS subroutines, adapt for kernel use.
@
@					<ard.biesheuvel@linaro.org>

#ifndef __KERNEL__
# include "arm_arch.h"

# define VFP_ABI_PUSH	vstmdb	sp!,{d8-d15}
# define VFP_ABI_POP	vldmia	sp!,{d8-d15}
# define VFP_ABI_FRAME	0x40
#else
# define VFP_ABI_PUSH
# define VFP_ABI_POP
# define VFP_ABI_FRAME	0
# define BSAES_ASM_EXTENDED_KEY
# define XTS_CHAIN_TWEAK
# define __ARM_ARCH__ __LINUX_ARM_ARCH__
#endif

#ifdef __thumb__
# define adrl adr
#endif

#if __ARM_ARCH__>=7
.text
.syntax	unified 	@ ARMv7-capable assembler is expected to handle this
#ifdef __thumb2__
.thumb
#else
.code   32
#endif

.fpu	neon

.type	_bsaes_decrypt8,%function
.align	4
_bsaes_decrypt8:
	adr	r6,_bsaes_decrypt8
	vldmia	r4!, {q9}		@ round 0 key
	add	r6,r6,#.LM0ISR-_bsaes_decrypt8

	vldmia	r6!, {q8}		@ .LM0ISR
	veor	q10, q0, q9	@ xor with round0 key
	veor	q11, q1, q9
	 vtbl.8	d0, {q10}, d16
	 vtbl.8	d1, {q10}, d17
	veor	q12, q2, q9
	 vtbl.8	d2, {q11}, d16
	 vtbl.8	d3, {q11}, d17
	veor	q13, q3, q9
	 vtbl.8	d4, {q12}, d16
	 vtbl.8	d5, {q12}, d17
	veor	q14, q4, q9
	 vtbl.8	d6, {q13}, d16
	 vtbl.8	d7, {q13}, d17
	veor	q15, q5, q9
	 vtbl.8	d8, {q14}, d16
	 vtbl.8	d9, {q14}, d17
	veor	q10, q6, q9
	 vtbl.8	d10, {q15}, d16
	 vtbl.8	d11, {q15}, d17
	veor	q11, q7, q9
	 vtbl.8	d12, {q10}, d16
	 vtbl.8	d13, {q10}, d17
	 vtbl.8	d14, {q11}, d16
	 vtbl.8	d15, {q11}, d17
	vmov.i8	q8,#0x55			@ compose .LBS0
	vmov.i8	q9,#0x33			@ compose .LBS1
	vshr.u64	q10, q6, #1
	 vshr.u64	q11, q4, #1
	veor		q10, q10, q7
	 veor		q11, q11, q5
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q7, q7, q10
	vshl.u64	q10, q10, #1
	 veor		q5, q5, q11
	 vshl.u64	q11, q11, #1
	veor		q6, q6, q10
	 veor		q4, q4, q11
	vshr.u64	q10, q2, #1
	 vshr.u64	q11, q0, #1
	veor		q10, q10, q3
	 veor		q11, q11, q1
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q3, q3, q10
	vshl.u64	q10, q10, #1
	 veor		q1, q1, q11
	 vshl.u64	q11, q11, #1
	veor		q2, q2, q10
	 veor		q0, q0, q11
	vmov.i8	q8,#0x0f			@ compose .LBS2
	vshr.u64	q10, q5, #2
	 vshr.u64	q11, q4, #2
	veor		q10, q10, q7
	 veor		q11, q11, q6
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q7, q7, q10
	vshl.u64	q10, q10, #2
	 veor		q6, q6, q11
	 vshl.u64	q11, q11, #2
	veor		q5, q5, q10
	 veor		q4, q4, q11
	vshr.u64	q10, q1, #2
	 vshr.u64	q11, q0, #2
	veor		q10, q10, q3
	 veor		q11, q11, q2
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q3, q3, q10
	vshl.u64	q10, q10, #2
	 veor		q2, q2, q11
	 vshl.u64	q11, q11, #2
	veor		q1, q1, q10
	 veor		q0, q0, q11
	vshr.u64	q10, q3, #4
	 vshr.u64	q11, q2, #4
	veor		q10, q10, q7
	 veor		q11, q11, q6
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q7, q7, q10
	vshl.u64	q10, q10, #4
	 veor		q6, q6, q11
	 vshl.u64	q11, q11, #4
	veor		q3, q3, q10
	 veor		q2, q2, q11
	vshr.u64	q10, q1, #4
	 vshr.u64	q11, q0, #4
	veor		q10, q10, q5
	 veor		q11, q11, q4
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q5, q5, q10
	vshl.u64	q10, q10, #4
	 veor		q4, q4, q11
	 vshl.u64	q11, q11, #4
	veor		q1, q1, q10
	 veor		q0, q0, q11
	sub	r5,r5,#1
	b	.Ldec_sbox
.align	4
.Ldec_loop:
	vldmia	r4!, {q8-q11}
	veor	q8, q8, q0
	veor	q9, q9, q1
	vtbl.8	d0, {q8}, d24
	vtbl.8	d1, {q8}, d25
	vldmia	r4!, {q8}
	veor	q10, q10, q2
	vtbl.8	d2, {q9}, d24
	vtbl.8	d3, {q9}, d25
	vldmia	r4!, {q9}
	veor	q11, q11, q3
	vtbl.8	d4, {q10}, d24
	vtbl.8	d5, {q10}, d25
	vldmia	r4!, {q10}
	vtbl.8	d6, {q11}, d24
	vtbl.8	d7, {q11}, d25
	vldmia	r4!, {q11}
	veor	q8, q8, q4
	veor	q9, q9, q5
	vtbl.8	d8, {q8}, d24
	vtbl.8	d9, {q8}, d25
	veor	q10, q10, q6
	vtbl.8	d10, {q9}, d24
	vtbl.8	d11, {q9}, d25
	veor	q11, q11, q7
	vtbl.8	d12, {q10}, d24
	vtbl.8	d13, {q10}, d25
	vtbl.8	d14, {q11}, d24
	vtbl.8	d15, {q11}, d25
.Ldec_sbox:
	 veor	q1, q1, q4
	veor	q3, q3, q4

	veor	q4, q4, q7
	 veor	q1, q1, q6
	veor	q2, q2, q7
	veor	q6, q6, q4

	veor	q0, q0, q1
	veor	q2, q2, q5
	 veor	q7, q7, q6
	veor	q3, q3, q0
	veor	q5, q5, q0
	veor	q1, q1, q3
	veor	q11, q3, q0
	veor	q10, q7, q4
	veor	q9, q1, q6
	veor	q13, q4, q0
	 vmov	q8, q10
	veor	q12, q5, q2

	vorr	q10, q10, q9
	veor	q15, q11, q8
	vand	q14, q11, q12
	vorr	q11, q11, q12
	veor	q12, q12, q9
	vand	q8, q8, q9
	veor	q9, q6, q2
	vand	q15, q15, q12
	vand	q13, q13, q9
	veor	q9, q3, q7
	veor	q12, q1, q5
	veor	q11, q11, q13
	veor	q10, q10, q13
	vand	q13, q9, q12
	vorr	q9, q9, q12
	veor	q11, q11, q15
	veor	q8, q8, q13
	veor	q10, q10, q14
	veor	q9, q9, q15
	veor	q8, q8, q14
	vand	q12, q4, q6
	veor	q9, q9, q14
	vand	q13, q0, q2
	vand	q14, q7, q1
	vorr	q15, q3, q5
	veor	q11, q11, q12
	veor	q9, q9, q14
	veor	q8, q8, q15
	veor	q10, q10, q13

	@ Inv_GF16 	0, 	1, 	2, 	3, s0, s1, s2, s3

	@ new smaller inversion

	vand	q14, q11, q9
	vmov	q12, q8

	veor	q13, q10, q14
	veor	q15, q8, q14
	veor	q14, q8, q14	@ q14=q15

	vbsl	q13, q9, q8
	vbsl	q15, q11, q10
	veor	q11, q11, q10

	vbsl	q12, q13, q14
	vbsl	q8, q14, q13

	vand	q14, q12, q15
	veor	q9, q9, q8

	veor	q14, q14, q11
	veor	q12, q5, q2
	veor	q8, q1, q6
	veor 	q10, q15, q14
	vand	q10, q10, q5
	veor	q5, q5, q1
	vand	q11, q1, q15
	vand	q5, q5, q14
	veor	q1, q11, q10
	veor	q5, q5, q11
	veor	q15, q15, q13
	veor	q14, q14, q9
	veor	q11, q15, q14
	 veor 	q10, q13, q9
	vand	q11, q11, q12
	 vand	q10, q10, q2
	veor	q12, q12, q8
	 veor	q2, q2, q6
	vand	q8, q8, q15
	 vand	q6, q6, q13
	vand	q12, q12, q14
	 vand	q2, q2, q9
	veor	q8, q8, q12
	 veor	q2, q2, q6
	veor	q12, q12, q11
	 veor	q6, q6, q10
	veor	q5, q5, q12
	veor	q2, q2, q12
	veor	q1, q1, q8
	veor	q6, q6, q8

	veor	q12, q3, q0
	veor	q8, q7, q4
	veor	q11, q15, q14
	 veor 	q10, q13, q9
	vand	q11, q11, q12
	 vand	q10, q10, q0
	veor	q12, q12, q8
	 veor	q0, q0, q4
	vand	q8, q8, q15
	 vand	q4, q4, q13
	vand	q12, q12, q14
	 vand	q0, q0, q9
	veor	q8, q8, q12
	 veor	q0, q0, q4
	veor	q12, q12, q11
	 veor	q4, q4, q10
	veor	q15, q15, q13
	veor	q14, q14, q9
	veor 	q10, q15, q14
	vand	q10, q10, q3
	veor	q3, q3, q7
	vand	q11, q7, q15
	vand	q3, q3, q14
	veor	q7, q11, q10
	veor	q3, q3, q11
	veor	q3, q3, q12
	veor	q0, q0, q12
	veor	q7, q7, q8
	veor	q4, q4, q8
	veor	q1, q1, q7
	veor	q6, q6, q5

	veor	q4, q4, q1
	veor	q2, q2, q7
	veor	q5, q5, q7
	veor	q4, q4, q2
	 veor 	q7, q7, q0
	veor	q4, q4, q5
	 veor	q3, q3, q6
	 veor	q6, q6, q1
	veor	q3, q3, q4

	veor	q4, q4, q0
	veor	q7, q7, q3
	subs	r5,r5,#1
	bcc	.Ldec_done
	@ multiplication by 0x05-0x00-0x04-0x00
	vext.8	q8, q0, q0, #8
	vext.8	q14, q3, q3, #8
	vext.8	q15, q5, q5, #8
	veor	q8, q8, q0
	vext.8	q9, q1, q1, #8
	veor	q14, q14, q3
	vext.8	q10, q6, q6, #8
	veor	q15, q15, q5
	vext.8	q11, q4, q4, #8
	veor	q9, q9, q1
	vext.8	q12, q2, q2, #8
	veor	q10, q10, q6
	vext.8	q13, q7, q7, #8
	veor	q11, q11, q4
	veor	q12, q12, q2
	veor	q13, q13, q7

	 veor	q0, q0, q14
	 veor	q1, q1, q14
	 veor	q6, q6, q8
	 veor	q2, q2, q10
	 veor	q4, q4, q9
	 veor	q1, q1, q15
	 veor	q6, q6, q15
	 veor	q2, q2, q14
	 veor	q7, q7, q11
	 veor	q4, q4, q14
	 veor	q3, q3, q12
	 veor	q2, q2, q15
	 veor	q7, q7, q15
	 veor	q5, q5, q13
	vext.8	q8, q0, q0, #12	@ x0 <<< 32
	vext.8	q9, q1, q1, #12
	 veor	q0, q0, q8		@ x0 ^ (x0 <<< 32)
	vext.8	q10, q6, q6, #12
	 veor	q1, q1, q9
	vext.8	q11, q4, q4, #12
	 veor	q6, q6, q10
	vext.8	q12, q2, q2, #12
	 veor	q4, q4, q11
	vext.8	q13, q7, q7, #12
	 veor	q2, q2, q12
	vext.8	q14, q3, q3, #12
	 veor	q7, q7, q13
	vext.8	q15, q5, q5, #12
	 veor	q3, q3, q14

	veor	q9, q9, q0
	 veor	q5, q5, q15
	 vext.8	q0, q0, q0, #8		@ (x0 ^ (x0 <<< 32)) <<< 64)
	veor	q10, q10, q1
	veor	q8, q8, q5
	veor	q9, q9, q5
	 vext.8	q1, q1, q1, #8
	veor	q13, q13, q2
	 veor	q0, q0, q8
	veor	q14, q14, q7
	 veor	q1, q1, q9
	 vext.8	q8, q2, q2, #8
	veor	q12, q12, q4
	 vext.8	q9, q7, q7, #8
	veor	q15, q15, q3
	 vext.8	q2, q4, q4, #8
	veor	q11, q11, q6
	 vext.8	q7, q5, q5, #8
	veor	q12, q12, q5
	 vext.8	q4, q3, q3, #8
	veor	q11, q11, q5
	 vext.8	q3, q6, q6, #8
	veor	q5, q9, q13
	veor	q11, q11, q2
	veor	q7, q7, q15
	veor	q6, q4, q14
	veor	q4, q8, q12
	veor	q2, q3, q10
	vmov	q3, q11
	 @ vmov	q5, q9
	vldmia	r6, {q12}		@ .LISR
	ite	eq				@ Thumb2 thing, sanity check in ARM
	addeq	r6,r6,#0x10
	bne	.Ldec_loop
	vldmia	r6, {q12}		@ .LISRM0
	b	.Ldec_loop
.align	4
.Ldec_done:
	vmov.i8	q8,#0x55			@ compose .LBS0
	vmov.i8	q9,#0x33			@ compose .LBS1
	vshr.u64	q10, q3, #1
	 vshr.u64	q11, q2, #1
	veor		q10, q10, q5
	 veor		q11, q11, q7
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q5, q5, q10
	vshl.u64	q10, q10, #1
	 veor		q7, q7, q11
	 vshl.u64	q11, q11, #1
	veor		q3, q3, q10
	 veor		q2, q2, q11
	vshr.u64	q10, q6, #1
	 vshr.u64	q11, q0, #1
	veor		q10, q10, q4
	 veor		q11, q11, q1
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q4, q4, q10
	vshl.u64	q10, q10, #1
	 veor		q1, q1, q11
	 vshl.u64	q11, q11, #1
	veor		q6, q6, q10
	 veor		q0, q0, q11
	vmov.i8	q8,#0x0f			@ compose .LBS2
	vshr.u64	q10, q7, #2
	 vshr.u64	q11, q2, #2
	veor		q10, q10, q5
	 veor		q11, q11, q3
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q5, q5, q10
	vshl.u64	q10, q10, #2
	 veor		q3, q3, q11
	 vshl.u64	q11, q11, #2
	veor		q7, q7, q10
	 veor		q2, q2, q11
	vshr.u64	q10, q1, #2
	 vshr.u64	q11, q0, #2
	veor		q10, q10, q4
	 veor		q11, q11, q6
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q4, q4, q10
	vshl.u64	q10, q10, #2
	 veor		q6, q6, q11
	 vshl.u64	q11, q11, #2
	veor		q1, q1, q10
	 veor		q0, q0, q11
	vshr.u64	q10, q4, #4
	 vshr.u64	q11, q6, #4
	veor		q10, q10, q5
	 veor		q11, q11, q3
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q5, q5, q10
	vshl.u64	q10, q10, #4
	 veor		q3, q3, q11
	 vshl.u64	q11, q11, #4
	veor		q4, q4, q10
	 veor		q6, q6, q11
	vshr.u64	q10, q1, #4
	 vshr.u64	q11, q0, #4
	veor		q10, q10, q7
	 veor		q11, q11, q2
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q7, q7, q10
	vshl.u64	q10, q10, #4
	 veor		q2, q2, q11
	 vshl.u64	q11, q11, #4
	veor		q1, q1, q10
	 veor		q0, q0, q11
	vldmia	r4, {q8}			@ last round key
	veor	q6, q6, q8
	veor	q4, q4, q8
	veor	q2, q2, q8
	veor	q7, q7, q8
	veor	q3, q3, q8
	veor	q5, q5, q8
	veor	q0, q0, q8
	veor	q1, q1, q8
	bx	lr
.size	_bsaes_decrypt8,.-_bsaes_decrypt8

.type	_bsaes_const,%object
.align	6
_bsaes_const:
.LM0ISR:	@ InvShiftRows constants
	.quad	0x0a0e0206070b0f03, 0x0004080c0d010509
.LISR:
	.quad	0x0504070602010003, 0x0f0e0d0c080b0a09
.LISRM0:
	.quad	0x01040b0e0205080f, 0x0306090c00070a0d
.LM0SR:		@ ShiftRows constants
	.quad	0x0a0e02060f03070b, 0x0004080c05090d01
.LSR:
	.quad	0x0504070600030201, 0x0f0e0d0c0a09080b
.LSRM0:
	.quad	0x0304090e00050a0f, 0x01060b0c0207080d
.LM0:
	.quad	0x02060a0e03070b0f, 0x0004080c0105090d
.LREVM0SR:
	.quad	0x090d01050c000408, 0x03070b0f060a0e02
.asciz	"Bit-sliced AES for NEON, CRYPTOGAMS by <appro@openssl.org>"
.align	6
.size	_bsaes_const,.-_bsaes_const

.type	_bsaes_encrypt8,%function
.align	4
_bsaes_encrypt8:
	adr	r6,_bsaes_encrypt8
	vldmia	r4!, {q9}		@ round 0 key
	sub	r6,r6,#_bsaes_encrypt8-.LM0SR

	vldmia	r6!, {q8}		@ .LM0SR
_bsaes_encrypt8_alt:
	veor	q10, q0, q9	@ xor with round0 key
	veor	q11, q1, q9
	 vtbl.8	d0, {q10}, d16
	 vtbl.8	d1, {q10}, d17
	veor	q12, q2, q9
	 vtbl.8	d2, {q11}, d16
	 vtbl.8	d3, {q11}, d17
	veor	q13, q3, q9
	 vtbl.8	d4, {q12}, d16
	 vtbl.8	d5, {q12}, d17
	veor	q14, q4, q9
	 vtbl.8	d6, {q13}, d16
	 vtbl.8	d7, {q13}, d17
	veor	q15, q5, q9
	 vtbl.8	d8, {q14}, d16
	 vtbl.8	d9, {q14}, d17
	veor	q10, q6, q9
	 vtbl.8	d10, {q15}, d16
	 vtbl.8	d11, {q15}, d17
	veor	q11, q7, q9
	 vtbl.8	d12, {q10}, d16
	 vtbl.8	d13, {q10}, d17
	 vtbl.8	d14, {q11}, d16
	 vtbl.8	d15, {q11}, d17
_bsaes_encrypt8_bitslice:
	vmov.i8	q8,#0x55			@ compose .LBS0
	vmov.i8	q9,#0x33			@ compose .LBS1
	vshr.u64	q10, q6, #1
	 vshr.u64	q11, q4, #1
	veor		q10, q10, q7
	 veor		q11, q11, q5
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q7, q7, q10
	vshl.u64	q10, q10, #1
	 veor		q5, q5, q11
	 vshl.u64	q11, q11, #1
	veor		q6, q6, q10
	 veor		q4, q4, q11
	vshr.u64	q10, q2, #1
	 vshr.u64	q11, q0, #1
	veor		q10, q10, q3
	 veor		q11, q11, q1
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q3, q3, q10
	vshl.u64	q10, q10, #1
	 veor		q1, q1, q11
	 vshl.u64	q11, q11, #1
	veor		q2, q2, q10
	 veor		q0, q0, q11
	vmov.i8	q8,#0x0f			@ compose .LBS2
	vshr.u64	q10, q5, #2
	 vshr.u64	q11, q4, #2
	veor		q10, q10, q7
	 veor		q11, q11, q6
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q7, q7, q10
	vshl.u64	q10, q10, #2
	 veor		q6, q6, q11
	 vshl.u64	q11, q11, #2
	veor		q5, q5, q10
	 veor		q4, q4, q11
	vshr.u64	q10, q1, #2
	 vshr.u64	q11, q0, #2
	veor		q10, q10, q3
	 veor		q11, q11, q2
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q3, q3, q10
	vshl.u64	q10, q10, #2
	 veor		q2, q2, q11
	 vshl.u64	q11, q11, #2
	veor		q1, q1, q10
	 veor		q0, q0, q11
	vshr.u64	q10, q3, #4
	 vshr.u64	q11, q2, #4
	veor		q10, q10, q7
	 veor		q11, q11, q6
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q7, q7, q10
	vshl.u64	q10, q10, #4
	 veor		q6, q6, q11
	 vshl.u64	q11, q11, #4
	veor		q3, q3, q10
	 veor		q2, q2, q11
	vshr.u64	q10, q1, #4
	 vshr.u64	q11, q0, #4
	veor		q10, q10, q5
	 veor		q11, q11, q4
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q5, q5, q10
	vshl.u64	q10, q10, #4
	 veor		q4, q4, q11
	 vshl.u64	q11, q11, #4
	veor		q1, q1, q10
	 veor		q0, q0, q11
	sub	r5,r5,#1
	b	.Lenc_sbox
.align	4
.Lenc_loop:
	vldmia	r4!, {q8-q11}
	veor	q8, q8, q0
	veor	q9, q9, q1
	vtbl.8	d0, {q8}, d24
	vtbl.8	d1, {q8}, d25
	vldmia	r4!, {q8}
	veor	q10, q10, q2
	vtbl.8	d2, {q9}, d24
	vtbl.8	d3, {q9}, d25
	vldmia	r4!, {q9}
	veor	q11, q11, q3
	vtbl.8	d4, {q10}, d24
	vtbl.8	d5, {q10}, d25
	vldmia	r4!, {q10}
	vtbl.8	d6, {q11}, d24
	vtbl.8	d7, {q11}, d25
	vldmia	r4!, {q11}
	veor	q8, q8, q4
	veor	q9, q9, q5
	vtbl.8	d8, {q8}, d24
	vtbl.8	d9, {q8}, d25
	veor	q10, q10, q6
	vtbl.8	d10, {q9}, d24
	vtbl.8	d11, {q9}, d25
	veor	q11, q11, q7
	vtbl.8	d12, {q10}, d24
	vtbl.8	d13, {q10}, d25
	vtbl.8	d14, {q11}, d24
	vtbl.8	d15, {q11}, d25
.Lenc_sbox:
	veor	q2, q2, q1
	veor	q5, q5, q6
	veor	q3, q3, q0
	veor	q6, q6, q2
	veor	q5, q5, q0

	veor	q6, q6, q3
	veor	q3, q3, q7
	veor	q7, q7, q5
	veor	q3, q3, q4
	veor	q4, q4, q5

	veor	q2, q2, q7
	veor	q3, q3, q1
	veor	q1, q1, q5
	veor	q11, q7, q4
	veor	q10, q1, q2
	veor	q9, q5, q3
	veor	q13, q2, q4
	 vmov	q8, q10
	veor	q12, q6, q0

	vorr	q10, q10, q9
	veor	q15, q11, q8
	vand	q14, q11, q12
	vorr	q11, q11, q12
	veor	q12, q12, q9
	vand	q8, q8, q9
	veor	q9, q3, q0
	vand	q15, q15, q12
	vand	q13, q13, q9
	veor	q9, q7, q1
	veor	q12, q5, q6
	veor	q11, q11, q13
	veor	q10, q10, q13
	vand	q13, q9, q12
	vorr	q9, q9, q12
	veor	q11, q11, q15
	veor	q8, q8, q13
	veor	q10, q10, q14
	veor	q9, q9, q15
	veor	q8, q8, q14
	vand	q12, q2, q3
	veor	q9, q9, q14
	vand	q13, q4, q0
	vand	q14, q1, q5
	vorr	q15, q7, q6
	veor	q11, q11, q12
	veor	q9, q9, q14
	veor	q8, q8, q15
	veor	q10, q10, q13

	@ Inv_GF16 	0, 	1, 	2, 	3, s0, s1, s2, s3

	@ new smaller inversion

	vand	q14, q11, q9
	vmov	q12, q8

	veor	q13, q10, q14
	veor	q15, q8, q14
	veor	q14, q8, q14	@ q14=q15

	vbsl	q13, q9, q8
	vbsl	q15, q11, q10
	veor	q11, q11, q10

	vbsl	q12, q13, q14
	vbsl	q8, q14, q13

	vand	q14, q12, q15
	veor	q9, q9, q8

	veor	q14, q14, q11
	veor	q12, q6, q0
	veor	q8, q5, q3
	veor 	q10, q15, q14
	vand	q10, q10, q6
	veor	q6, q6, q5
	vand	q11, q5, q15
	vand	q6, q6, q14
	veor	q5, q11, q10
	veor	q6, q6, q11
	veor	q15, q15, q13
	veor	q14, q14, q9
	veor	q11, q15, q14
	 veor 	q10, q13, q9
	vand	q11, q11, q12
	 vand	q10, q10, q0
	veor	q12, q12, q8
	 veor	q0, q0, q3
	vand	q8, q8, q15
	 vand	q3, q3, q13
	vand	q12, q12, q14
	 vand	q0, q0, q9
	veor	q8, q8, q12
	 veor	q0, q0, q3
	veor	q12, q12, q11
	 veor	q3, q3, q10
	veor	q6, q6, q12
	veor	q0, q0, q12
	veor	q5, q5, q8
	veor	q3, q3, q8

	veor	q12, q7, q4
	veor	q8, q1, q2
	veor	q11, q15, q14
	 veor 	q10, q13, q9
	vand	q11, q11, q12
	 vand	q10, q10, q4
	veor	q12, q12, q8
	 veor	q4, q4, q2
	vand	q8, q8, q15
	 vand	q2, q2, q13
	vand	q12, q12, q14
	 vand	q4, q4, q9
	veor	q8, q8, q12
	 veor	q4, q4, q2
	veor	q12, q12, q11
	 veor	q2, q2, q10
	veor	q15, q15, q13
	veor	q14, q14, q9
	veor 	q10, q15, q14
	vand	q10, q10, q7
	veor	q7, q7, q1
	vand	q11, q1, q15
	vand	q7, q7, q14
	veor	q1, q11, q10
	veor	q7, q7, q11
	veor	q7, q7, q12
	veor	q4, q4, q12
	veor	q1, q1, q8
	veor	q2, q2, q8
	veor	q7, q7, q0
	veor	q1, q1, q6
	veor	q6, q6, q0
	veor	q4, q4, q7
	veor	q0, q0, q1

	veor	q1, q1, q5
	veor	q5, q5, q2
	veor	q2, q2, q3
	veor	q3, q3, q5
	veor	q4, q4, q5

	veor	q6, q6, q3
	subs	r5,r5,#1
	bcc	.Lenc_done
	vext.8	q8, q0, q0, #12	@ x0 <<< 32
	vext.8	q9, q1, q1, #12
	 veor	q0, q0, q8		@ x0 ^ (x0 <<< 32)
	vext.8	q10, q4, q4, #12
	 veor	q1, q1, q9
	vext.8	q11, q6, q6, #12
	 veor	q4, q4, q10
	vext.8	q12, q3, q3, #12
	 veor	q6, q6, q11
	vext.8	q13, q7, q7, #12
	 veor	q3, q3, q12
	vext.8	q14, q2, q2, #12
	 veor	q7, q7, q13
	vext.8	q15, q5, q5, #12
	 veor	q2, q2, q14

	veor	q9, q9, q0
	 veor	q5, q5, q15
	 vext.8	q0, q0, q0, #8		@ (x0 ^ (x0 <<< 32)) <<< 64)
	veor	q10, q10, q1
	veor	q8, q8, q5
	veor	q9, q9, q5
	 vext.8	q1, q1, q1, #8
	veor	q13, q13, q3
	 veor	q0, q0, q8
	veor	q14, q14, q7
	 veor	q1, q1, q9
	 vext.8	q8, q3, q3, #8
	veor	q12, q12, q6
	 vext.8	q9, q7, q7, #8
	veor	q15, q15, q2
	 vext.8	q3, q6, q6, #8
	veor	q11, q11, q4
	 vext.8	q7, q5, q5, #8
	veor	q12, q12, q5
	 vext.8	q6, q2, q2, #8
	veor	q11, q11, q5
	 vext.8	q2, q4, q4, #8
	veor	q5, q9, q13
	veor	q4, q8, q12
	veor	q3, q3, q11
	veor	q7, q7, q15
	veor	q6, q6, q14
	 @ vmov	q4, q8
	veor	q2, q2, q10
	 @ vmov	q5, q9
	vldmia	r6, {q12}		@ .LSR
	ite	eq				@ Thumb2 thing, samity check in ARM
	addeq	r6,r6,#0x10
	bne	.Lenc_loop
	vldmia	r6, {q12}		@ .LSRM0
	b	.Lenc_loop
.align	4
.Lenc_done:
	vmov.i8	q8,#0x55			@ compose .LBS0
	vmov.i8	q9,#0x33			@ compose .LBS1
	vshr.u64	q10, q2, #1
	 vshr.u64	q11, q3, #1
	veor		q10, q10, q5
	 veor		q11, q11, q7
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q5, q5, q10
	vshl.u64	q10, q10, #1
	 veor		q7, q7, q11
	 vshl.u64	q11, q11, #1
	veor		q2, q2, q10
	 veor		q3, q3, q11
	vshr.u64	q10, q4, #1
	 vshr.u64	q11, q0, #1
	veor		q10, q10, q6
	 veor		q11, q11, q1
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q6, q6, q10
	vshl.u64	q10, q10, #1
	 veor		q1, q1, q11
	 vshl.u64	q11, q11, #1
	veor		q4, q4, q10
	 veor		q0, q0, q11
	vmov.i8	q8,#0x0f			@ compose .LBS2
	vshr.u64	q10, q7, #2
	 vshr.u64	q11, q3, #2
	veor		q10, q10, q5
	 veor		q11, q11, q2
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q5, q5, q10
	vshl.u64	q10, q10, #2
	 veor		q2, q2, q11
	 vshl.u64	q11, q11, #2
	veor		q7, q7, q10
	 veor		q3, q3, q11
	vshr.u64	q10, q1, #2
	 vshr.u64	q11, q0, #2
	veor		q10, q10, q6
	 veor		q11, q11, q4
	vand		q10, q10, q9
	 vand		q11, q11, q9
	veor		q6, q6, q10
	vshl.u64	q10, q10, #2
	 veor		q4, q4, q11
	 vshl.u64	q11, q11, #2
	veor		q1, q1, q10
	 veor		q0, q0, q11
	vshr.u64	q10, q6, #4
	 vshr.u64	q11, q4, #4
	veor		q10, q10, q5
	 veor		q11, q11, q2
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q5, q5, q10
	vshl.u64	q10, q10, #4
	 veor		q2, q2, q11
	 vshl.u64	q11, q11, #4
	veor		q6, q6, q10
	 veor		q4, q4, q11
	vshr.u64	q10, q1, #4
	 vshr.u64	q11, q0, #4
	veor		q10, q10, q7
	 veor		q11, q11, q3
	vand		q10, q10, q8
	 vand		q11, q11, q8
	veor		q7, q7, q10
	vshl.u64	q10, q10, #4
	 veor		q3, q3, q11
	 vshl.u64	q11, q11, #4
	veor		q1, q1, q10
	 veor		q0, q0, q11
	vldmia	r4, {q8}			@ last round key
	veor	q4, q4, q8
	veor	q6, q6, q8
	veor	q3, q3, q8
	veor	q7, q7, q8
	veor	q2, q2, q8
	veor	q5, q5, q8
	veor	q0, q0, q8
	veor	q1, q1, q8
	bx	lr
.size	_bsaes_encrypt8,.-_bsaes_encrypt8
.type	_bsaes_key_convert,%function
.align	4
_bsaes_key_convert:
	adr	r6,_bsaes_key_convert
	vld1.8	{q7},  [r4]!		@ load round 0 key
	sub	r6,r6,#_bsaes_key_convert-.LM0
	vld1.8	{q15}, [r4]!		@ load round 1 key

	vmov.i8	q8,  #0x01			@ bit masks
	vmov.i8	q9,  #0x02
	vmov.i8	q10, #0x04
	vmov.i8	q11, #0x08
	vmov.i8	q12, #0x10
	vmov.i8	q13, #0x20
	vldmia	r6, {q14}		@ .LM0

#ifdef __ARMEL__
	vrev32.8	q7,  q7
	vrev32.8	q15, q15
#endif
	sub	r5,r5,#1
	vstmia	r12!, {q7}		@ save round 0 key
	b	.Lkey_loop

.align	4
.Lkey_loop:
	vtbl.8	d14,{q15},d28
	vtbl.8	d15,{q15},d29
	vmov.i8	q6,  #0x40
	vmov.i8	q15, #0x80

	vtst.8	q0, q7, q8
	vtst.8	q1, q7, q9
	vtst.8	q2, q7, q10
	vtst.8	q3, q7, q11
	vtst.8	q4, q7, q12
	vtst.8	q5, q7, q13
	vtst.8	q6, q7, q6
	vtst.8	q7, q7, q15
	vld1.8	{q15}, [r4]!		@ load next round key
	vmvn	q0, q0		@ "pnot"
	vmvn	q1, q1
	vmvn	q5, q5
	vmvn	q6, q6
#ifdef __ARMEL__
	vrev32.8	q15, q15
#endif
	subs	r5,r5,#1
	vstmia	r12!,{q0-q7}		@ write bit-sliced round key
	bne	.Lkey_loop

	vmov.i8	q7,#0x63			@ compose .L63
	@ don't save last round key
	bx	lr
.size	_bsaes_key_convert,.-_bsaes_key_convert
.extern AES_cbc_encrypt
.extern AES_decrypt

.global	bsaes_cbc_encrypt
.type	bsaes_cbc_encrypt,%function
.align	5
bsaes_cbc_encrypt:
#ifndef	__KERNEL__
	cmp	r2, #128
#ifndef	__thumb__
	blo	AES_cbc_encrypt
#else
	bhs	1f
	b	AES_cbc_encrypt
1:
#endif
#endif

	@ it is up to the caller to make sure we are called with enc == 0

	mov	ip, sp
	stmdb	sp!, {r4-r10, lr}
	VFP_ABI_PUSH
	ldr	r8, [ip]			@ IV is 1st arg on the stack
	mov	r2, r2, lsr#4		@ len in 16 byte blocks
	sub	sp, #0x10			@ scratch space to carry over the IV
	mov	r9, sp				@ save sp

	ldr	r10, [r3, #240]		@ get # of rounds
#ifndef	BSAES_ASM_EXTENDED_KEY
	@ allocate the key schedule on the stack
	sub	r12, sp, r10, lsl#7		@ 128 bytes per inner round key
	add	r12, #96			@ sifze of bit-slices key schedule

	@ populate the key schedule
	mov	r4, r3			@ pass key
	mov	r5, r10			@ pass # of rounds
	mov	sp, r12				@ sp is sp
	bl	_bsaes_key_convert
	vldmia	sp, {q6}
	vstmia	r12,  {q15}		@ save last round key
	veor	q7, q7, q6	@ fix up round 0 key
	vstmia	sp, {q7}
#else
	ldr	r12, [r3, #244]
	eors	r12, #1
	beq	0f

	@ populate the key schedule
	str	r12, [r3, #244]
	mov	r4, r3			@ pass key
	mov	r5, r10			@ pass # of rounds
	add	r12, r3, #248			@ pass key schedule
	bl	_bsaes_key_convert
	add	r4, r3, #248
	vldmia	r4, {q6}
	vstmia	r12, {q15}			@ save last round key
	veor	q7, q7, q6	@ fix up round 0 key
	vstmia	r4, {q7}

.align	2
0:
#endif

	vld1.8	{q15}, [r8]		@ load IV
	b	.Lcbc_dec_loop

.align	4
.Lcbc_dec_loop:
	subs	r2, r2, #0x8
	bmi	.Lcbc_dec_loop_finish

	vld1.8	{q0-q1}, [r0]!	@ load input
	vld1.8	{q2-q3}, [r0]!
#ifndef	BSAES_ASM_EXTENDED_KEY
	mov	r4, sp			@ pass the key
#else
	add	r4, r3, #248
#endif
	vld1.8	{q4-q5}, [r0]!
	mov	r5, r10
	vld1.8	{q6-q7}, [r0]
	sub	r0, r0, #0x60
	vstmia	r9, {q15}			@ put aside IV

	bl	_bsaes_decrypt8

	vldmia	r9, {q14}			@ reload IV
	vld1.8	{q8-q9}, [r0]!	@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q10-q11}, [r0]!
	veor	q1, q1, q8
	veor	q6, q6, q9
	vld1.8	{q12-q13}, [r0]!
	veor	q4, q4, q10
	veor	q2, q2, q11
	vld1.8	{q14-q15}, [r0]!
	veor	q7, q7, q12
	vst1.8	{q0-q1}, [r1]!	@ write output
	veor	q3, q3, q13
	vst1.8	{q6}, [r1]!
	veor	q5, q5, q14
	vst1.8	{q4}, [r1]!
	vst1.8	{q2}, [r1]!
	vst1.8	{q7}, [r1]!
	vst1.8	{q3}, [r1]!
	vst1.8	{q5}, [r1]!

	b	.Lcbc_dec_loop

.Lcbc_dec_loop_finish:
	adds	r2, r2, #8
	beq	.Lcbc_dec_done

	vld1.8	{q0}, [r0]!		@ load input
	cmp	r2, #2
	blo	.Lcbc_dec_one
	vld1.8	{q1}, [r0]!
#ifndef	BSAES_ASM_EXTENDED_KEY
	mov	r4, sp			@ pass the key
#else
	add	r4, r3, #248
#endif
	mov	r5, r10
	vstmia	r9, {q15}			@ put aside IV
	beq	.Lcbc_dec_two
	vld1.8	{q2}, [r0]!
	cmp	r2, #4
	blo	.Lcbc_dec_three
	vld1.8	{q3}, [r0]!
	beq	.Lcbc_dec_four
	vld1.8	{q4}, [r0]!
	cmp	r2, #6
	blo	.Lcbc_dec_five
	vld1.8	{q5}, [r0]!
	beq	.Lcbc_dec_six
	vld1.8	{q6}, [r0]!
	sub	r0, r0, #0x70

	bl	_bsaes_decrypt8

	vldmia	r9, {q14}			@ reload IV
	vld1.8	{q8-q9}, [r0]!	@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q10-q11}, [r0]!
	veor	q1, q1, q8
	veor	q6, q6, q9
	vld1.8	{q12-q13}, [r0]!
	veor	q4, q4, q10
	veor	q2, q2, q11
	vld1.8	{q15}, [r0]!
	veor	q7, q7, q12
	vst1.8	{q0-q1}, [r1]!	@ write output
	veor	q3, q3, q13
	vst1.8	{q6}, [r1]!
	vst1.8	{q4}, [r1]!
	vst1.8	{q2}, [r1]!
	vst1.8	{q7}, [r1]!
	vst1.8	{q3}, [r1]!
	b	.Lcbc_dec_done
.align	4
.Lcbc_dec_six:
	sub	r0, r0, #0x60
	bl	_bsaes_decrypt8
	vldmia	r9,{q14}			@ reload IV
	vld1.8	{q8-q9}, [r0]!	@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q10-q11}, [r0]!
	veor	q1, q1, q8
	veor	q6, q6, q9
	vld1.8	{q12}, [r0]!
	veor	q4, q4, q10
	veor	q2, q2, q11
	vld1.8	{q15}, [r0]!
	veor	q7, q7, q12
	vst1.8	{q0-q1}, [r1]!	@ write output
	vst1.8	{q6}, [r1]!
	vst1.8	{q4}, [r1]!
	vst1.8	{q2}, [r1]!
	vst1.8	{q7}, [r1]!
	b	.Lcbc_dec_done
.align	4
.Lcbc_dec_five:
	sub	r0, r0, #0x50
	bl	_bsaes_decrypt8
	vldmia	r9, {q14}			@ reload IV
	vld1.8	{q8-q9}, [r0]!	@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q10-q11}, [r0]!
	veor	q1, q1, q8
	veor	q6, q6, q9
	vld1.8	{q15}, [r0]!
	veor	q4, q4, q10
	vst1.8	{q0-q1}, [r1]!	@ write output
	veor	q2, q2, q11
	vst1.8	{q6}, [r1]!
	vst1.8	{q4}, [r1]!
	vst1.8	{q2}, [r1]!
	b	.Lcbc_dec_done
.align	4
.Lcbc_dec_four:
	sub	r0, r0, #0x40
	bl	_bsaes_decrypt8
	vldmia	r9, {q14}			@ reload IV
	vld1.8	{q8-q9}, [r0]!	@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q10}, [r0]!
	veor	q1, q1, q8
	veor	q6, q6, q9
	vld1.8	{q15}, [r0]!
	veor	q4, q4, q10
	vst1.8	{q0-q1}, [r1]!	@ write output
	vst1.8	{q6}, [r1]!
	vst1.8	{q4}, [r1]!
	b	.Lcbc_dec_done
.align	4
.Lcbc_dec_three:
	sub	r0, r0, #0x30
	bl	_bsaes_decrypt8
	vldmia	r9, {q14}			@ reload IV
	vld1.8	{q8-q9}, [r0]!	@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q15}, [r0]!
	veor	q1, q1, q8
	veor	q6, q6, q9
	vst1.8	{q0-q1}, [r1]!	@ write output
	vst1.8	{q6}, [r1]!
	b	.Lcbc_dec_done
.align	4
.Lcbc_dec_two:
	sub	r0, r0, #0x20
	bl	_bsaes_decrypt8
	vldmia	r9, {q14}			@ reload IV
	vld1.8	{q8}, [r0]!		@ reload input
	veor	q0, q0, q14	@ ^= IV
	vld1.8	{q15}, [r0]!		@ reload input
	veor	q1, q1, q8
	vst1.8	{q0-q1}, [r1]!	@ write output
	b	.Lcbc_dec_done
.align	4
.Lcbc_dec_one:
	sub	r0, r0, #0x10
	mov	r10, r1			@ save original out pointer
	mov	r1, r9			@ use the iv scratch space as out buffer
	mov	r2, r3
	vmov	q4,q15		@ just in case ensure that IV
	vmov	q5,q0			@ and input are preserved
	bl	AES_decrypt
	vld1.8	{q0}, [r9,:64]		@ load result
	veor	q0, q0, q4	@ ^= IV
	vmov	q15, q5		@ q5 holds input
	vst1.8	{q0}, [r10]		@ write output

.Lcbc_dec_done:
#ifndef	BSAES_ASM_EXTENDED_KEY
	vmov.i32	q0, #0
	vmov.i32	q1, #0
.Lcbc_dec_bzero:				@ wipe key schedule [if any]
	vstmia		sp!, {q0-q1}
	cmp		sp, r9
	bne		.Lcbc_dec_bzero
#endif

	mov	sp, r9
	add	sp, #0x10			@ add sp,r9,#0x10 is no good for thumb
	vst1.8	{q15}, [r8]		@ return IV
	VFP_ABI_POP
	ldmia	sp!, {r4-r10, pc}
.size	bsaes_cbc_encrypt,.-bsaes_cbc_encrypt
.extern	AES_encrypt
.global	bsaes_ctr32_encrypt_blocks
.type	bsaes_ctr32_encrypt_blocks,%function
.align	5
bsaes_ctr32_encrypt_blocks:
	cmp	r2, #8			@ use plain AES for
	blo	.Lctr_enc_short			@ small sizes

	mov	ip, sp
	stmdb	sp!, {r4-r10, lr}
	VFP_ABI_PUSH
	ldr	r8, [ip]			@ ctr is 1st arg on the stack
	sub	sp, sp, #0x10			@ scratch space to carry over the ctr
	mov	r9, sp				@ save sp

	ldr	r10, [r3, #240]		@ get # of rounds
#ifndef	BSAES_ASM_EXTENDED_KEY
	@ allocate the key schedule on the stack
	sub	r12, sp, r10, lsl#7		@ 128 bytes per inner round key
	add	r12, #96			@ size of bit-sliced key schedule

	@ populate the key schedule
	mov	r4, r3			@ pass key
	mov	r5, r10			@ pass # of rounds
	mov	sp, r12				@ sp is sp
	bl	_bsaes_key_convert
	veor	q7,q7,q15	@ fix up last round key
	vstmia	r12, {q7}			@ save last round key

	vld1.8	{q0}, [r8]		@ load counter
	add	r8, r6, #.LREVM0SR-.LM0	@ borrow r8
	vldmia	sp, {q4}		@ load round0 key
#else
	ldr	r12, [r3, #244]
	eors	r12, #1
	beq	0f

	@ populate the key schedule
	str	r12, [r3, #244]
	mov	r4, r3			@ pass key
	mov	r5, r10			@ pass # of rounds
	add	r12, r3, #248			@ pass key schedule
	bl	_bsaes_key_convert
	veor	q7,q7,q15	@ fix up last round key
	vstmia	r12, {q7}			@ save last round key

.align	2
0:	add	r12, r3, #248
	vld1.8	{q0}, [r8]		@ load counter
	adrl	r8, .LREVM0SR			@ borrow r8
	vldmia	r12, {q4}			@ load round0 key
	sub	sp, #0x10			@ place for adjusted round0 key
#endif

	vmov.i32	q8,#1		@ compose 1<<96
	veor		q9,q9,q9
	vrev32.8	q0,q0
	vext.8		q8,q9,q8,#4
	vrev32.8	q4,q4
	vadd.u32	q9,q8,q8	@ compose 2<<96
	vstmia	sp, {q4}		@ save adjusted round0 key
	b	.Lctr_enc_loop

.align	4
.Lctr_enc_loop:
	vadd.u32	q10, q8, q9	@ compose 3<<96
	vadd.u32	q1, q0, q8	@ +1
	vadd.u32	q2, q0, q9	@ +2
	vadd.u32	q3, q0, q10	@ +3
	vadd.u32	q4, q1, q10
	vadd.u32	q5, q2, q10
	vadd.u32	q6, q3, q10
	vadd.u32	q7, q4, q10
	vadd.u32	q10, q5, q10	@ next counter

	@ Borrow prologue from _bsaes_encrypt8 to use the opportunity
	@ to flip byte order in 32-bit counter

	vldmia		sp, {q9}		@ load round0 key
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x10		@ pass next round key
#else
	add		r4, r3, #264
#endif
	vldmia		r8, {q8}			@ .LREVM0SR
	mov		r5, r10			@ pass rounds
	vstmia		r9, {q10}			@ save next counter
	sub		r6, r8, #.LREVM0SR-.LSR	@ pass constants

	bl		_bsaes_encrypt8_alt

	subs		r2, r2, #8
	blo		.Lctr_enc_loop_done

	vld1.8		{q8-q9}, [r0]!	@ load input
	vld1.8		{q10-q11}, [r0]!
	veor		q0, q8
	veor		q1, q9
	vld1.8		{q12-q13}, [r0]!
	veor		q4, q10
	veor		q6, q11
	vld1.8		{q14-q15}, [r0]!
	veor		q3, q12
	vst1.8		{q0-q1}, [r1]!	@ write output
	veor		q7, q13
	veor		q2, q14
	vst1.8		{q4}, [r1]!
	veor		q5, q15
	vst1.8		{q6}, [r1]!
	vmov.i32	q8, #1			@ compose 1<<96
	vst1.8		{q3}, [r1]!
	veor		q9, q9, q9
	vst1.8		{q7}, [r1]!
	vext.8		q8, q9, q8, #4
	vst1.8		{q2}, [r1]!
	vadd.u32	q9,q8,q8		@ compose 2<<96
	vst1.8		{q5}, [r1]!
	vldmia		r9, {q0}			@ load counter

	bne		.Lctr_enc_loop
	b		.Lctr_enc_done

.align	4
.Lctr_enc_loop_done:
	add		r2, r2, #8
	vld1.8		{q8}, [r0]!	@ load input
	veor		q0, q8
	vst1.8		{q0}, [r1]!	@ write output
	cmp		r2, #2
	blo		.Lctr_enc_done
	vld1.8		{q9}, [r0]!
	veor		q1, q9
	vst1.8		{q1}, [r1]!
	beq		.Lctr_enc_done
	vld1.8		{q10}, [r0]!
	veor		q4, q10
	vst1.8		{q4}, [r1]!
	cmp		r2, #4
	blo		.Lctr_enc_done
	vld1.8		{q11}, [r0]!
	veor		q6, q11
	vst1.8		{q6}, [r1]!
	beq		.Lctr_enc_done
	vld1.8		{q12}, [r0]!
	veor		q3, q12
	vst1.8		{q3}, [r1]!
	cmp		r2, #6
	blo		.Lctr_enc_done
	vld1.8		{q13}, [r0]!
	veor		q7, q13
	vst1.8		{q7}, [r1]!
	beq		.Lctr_enc_done
	vld1.8		{q14}, [r0]
	veor		q2, q14
	vst1.8		{q2}, [r1]!

.Lctr_enc_done:
	vmov.i32	q0, #0
	vmov.i32	q1, #0
#ifndef	BSAES_ASM_EXTENDED_KEY
.Lctr_enc_bzero:			@ wipe key schedule [if any]
	vstmia		sp!, {q0-q1}
	cmp		sp, r9
	bne		.Lctr_enc_bzero
#else
	vstmia		sp, {q0-q1}
#endif

	mov	sp, r9
	add	sp, #0x10		@ add sp,r9,#0x10 is no good for thumb
	VFP_ABI_POP
	ldmia	sp!, {r4-r10, pc}	@ return

.align	4
.Lctr_enc_short:
	ldr	ip, [sp]		@ ctr pointer is passed on stack
	stmdb	sp!, {r4-r8, lr}

	mov	r4, r0		@ copy arguments
	mov	r5, r1
	mov	r6, r2
	mov	r7, r3
	ldr	r8, [ip, #12]		@ load counter LSW
	vld1.8	{q1}, [ip]		@ load whole counter value
#ifdef __ARMEL__
	rev	r8, r8
#endif
	sub	sp, sp, #0x10
	vst1.8	{q1}, [sp,:64]	@ copy counter value
	sub	sp, sp, #0x10

.Lctr_enc_short_loop:
	add	r0, sp, #0x10		@ input counter value
	mov	r1, sp			@ output on the stack
	mov	r2, r7			@ key

	bl	AES_encrypt

	vld1.8	{q0}, [r4]!	@ load input
	vld1.8	{q1}, [sp,:64]	@ load encrypted counter
	add	r8, r8, #1
#ifdef __ARMEL__
	rev	r0, r8
	str	r0, [sp, #0x1c]		@ next counter value
#else
	str	r8, [sp, #0x1c]		@ next counter value
#endif
	veor	q0,q0,q1
	vst1.8	{q0}, [r5]!	@ store output
	subs	r6, r6, #1
	bne	.Lctr_enc_short_loop

	vmov.i32	q0, #0
	vmov.i32	q1, #0
	vstmia		sp!, {q0-q1}

	ldmia	sp!, {r4-r8, pc}
.size	bsaes_ctr32_encrypt_blocks,.-bsaes_ctr32_encrypt_blocks
.globl	bsaes_xts_encrypt
.type	bsaes_xts_encrypt,%function
.align	4
bsaes_xts_encrypt:
	mov	ip, sp
	stmdb	sp!, {r4-r10, lr}		@ 0x20
	VFP_ABI_PUSH
	mov	r6, sp				@ future r3

	mov	r7, r0
	mov	r8, r1
	mov	r9, r2
	mov	r10, r3

	sub	r0, sp, #0x10			@ 0x10
	bic	r0, #0xf			@ align at 16 bytes
	mov	sp, r0

#ifdef	XTS_CHAIN_TWEAK
	ldr	r0, [ip]			@ pointer to input tweak
#else
	@ generate initial tweak
	ldr	r0, [ip, #4]			@ iv[]
	mov	r1, sp
	ldr	r2, [ip, #0]			@ key2
	bl	AES_encrypt
	mov	r0,sp				@ pointer to initial tweak
#endif

	ldr	r1, [r10, #240]		@ get # of rounds
	mov	r3, r6
#ifndef	BSAES_ASM_EXTENDED_KEY
	@ allocate the key schedule on the stack
	sub	r12, sp, r1, lsl#7		@ 128 bytes per inner round key
	@ add	r12, #96			@ size of bit-sliced key schedule
	sub	r12, #48			@ place for tweak[9]

	@ populate the key schedule
	mov	r4, r10			@ pass key
	mov	r5, r1			@ pass # of rounds
	mov	sp, r12
	add	r12, #0x90			@ pass key schedule
	bl	_bsaes_key_convert
	veor	q7, q7, q15	@ fix up last round key
	vstmia	r12, {q7}			@ save last round key
#else
	ldr	r12, [r10, #244]
	eors	r12, #1
	beq	0f

	str	r12, [r10, #244]
	mov	r4, r10			@ pass key
	mov	r5, r1			@ pass # of rounds
	add	r12, r10, #248			@ pass key schedule
	bl	_bsaes_key_convert
	veor	q7, q7, q15	@ fix up last round key
	vstmia	r12, {q7}

.align	2
0:	sub	sp, #0x90			@ place for tweak[9]
#endif

	vld1.8	{q8}, [r0]			@ initial tweak
	adr	r2, .Lxts_magic

	subs	r9, #0x80
	blo	.Lxts_enc_short
	b	.Lxts_enc_loop

.align	4
.Lxts_enc_loop:
	vldmia		r2, {q5}	@ load XTS magic
	vshr.s64	q6, q8, #63
	mov		r0, sp
	vand		q6, q6, q5
	vadd.u64	q9, q8, q8
	vst1.64		{q8}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q9, #63
	veor		q9, q9, q6
	vand		q7, q7, q5
	vadd.u64	q10, q9, q9
	vst1.64		{q9}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q10, #63
	veor		q10, q10, q7
	vand		q6, q6, q5
	vld1.8		{q0}, [r7]!
	vadd.u64	q11, q10, q10
	vst1.64		{q10}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q11, #63
	veor		q11, q11, q6
	vand		q7, q7, q5
	vld1.8		{q1}, [r7]!
	veor		q0, q0, q8
	vadd.u64	q12, q11, q11
	vst1.64		{q11}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q12, #63
	veor		q12, q12, q7
	vand		q6, q6, q5
	vld1.8		{q2}, [r7]!
	veor		q1, q1, q9
	vadd.u64	q13, q12, q12
	vst1.64		{q12}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q13, #63
	veor		q13, q13, q6
	vand		q7, q7, q5
	vld1.8		{q3}, [r7]!
	veor		q2, q2, q10
	vadd.u64	q14, q13, q13
	vst1.64		{q13}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q14, #63
	veor		q14, q14, q7
	vand		q6, q6, q5
	vld1.8		{q4}, [r7]!
	veor		q3, q3, q11
	vadd.u64	q15, q14, q14
	vst1.64		{q14}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q15, #63
	veor		q15, q15, q6
	vand		q7, q7, q5
	vld1.8		{q5}, [r7]!
	veor		q4, q4, q12
	vadd.u64	q8, q15, q15
	vst1.64		{q15}, [r0,:128]!
	vswp		d15,d14
	veor		q8, q8, q7
	vst1.64		{q8}, [r0,:128]		@ next round tweak

	vld1.8		{q6-q7}, [r7]!
	veor		q5, q5, q13
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q6, q6, q14
	mov		r5, r1			@ pass rounds
	veor		q7, q7, q15
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12-q13}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q4, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q6, q11
	vld1.64		{q14-q15}, [r0,:128]!
	veor		q10, q3, q12
	vst1.8		{q8-q9}, [r8]!
	veor		q11, q7, q13
	veor		q12, q2, q14
	vst1.8		{q10-q11}, [r8]!
	veor		q13, q5, q15
	vst1.8		{q12-q13}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak

	subs		r9, #0x80
	bpl		.Lxts_enc_loop

.Lxts_enc_short:
	adds		r9, #0x70
	bmi		.Lxts_enc_done

	vldmia		r2, {q5}	@ load XTS magic
	vshr.s64	q7, q8, #63
	mov		r0, sp
	vand		q7, q7, q5
	vadd.u64	q9, q8, q8
	vst1.64		{q8}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q9, #63
	veor		q9, q9, q7
	vand		q6, q6, q5
	vadd.u64	q10, q9, q9
	vst1.64		{q9}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q10, #63
	veor		q10, q10, q6
	vand		q7, q7, q5
	vld1.8		{q0}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_enc_1
	vadd.u64	q11, q10, q10
	vst1.64		{q10}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q11, #63
	veor		q11, q11, q7
	vand		q6, q6, q5
	vld1.8		{q1}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_enc_2
	veor		q0, q0, q8
	vadd.u64	q12, q11, q11
	vst1.64		{q11}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q12, #63
	veor		q12, q12, q6
	vand		q7, q7, q5
	vld1.8		{q2}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_enc_3
	veor		q1, q1, q9
	vadd.u64	q13, q12, q12
	vst1.64		{q12}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q13, #63
	veor		q13, q13, q7
	vand		q6, q6, q5
	vld1.8		{q3}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_enc_4
	veor		q2, q2, q10
	vadd.u64	q14, q13, q13
	vst1.64		{q13}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q14, #63
	veor		q14, q14, q6
	vand		q7, q7, q5
	vld1.8		{q4}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_enc_5
	veor		q3, q3, q11
	vadd.u64	q15, q14, q14
	vst1.64		{q14}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q15, #63
	veor		q15, q15, q7
	vand		q6, q6, q5
	vld1.8		{q5}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_enc_6
	veor		q4, q4, q12
	sub		r9, #0x10
	vst1.64		{q15}, [r0,:128]		@ next round tweak

	vld1.8		{q6}, [r7]!
	veor		q5, q5, q13
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q6, q6, q14
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12-q13}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q4, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q6, q11
	vld1.64		{q14}, [r0,:128]!
	veor		q10, q3, q12
	vst1.8		{q8-q9}, [r8]!
	veor		q11, q7, q13
	veor		q12, q2, q14
	vst1.8		{q10-q11}, [r8]!
	vst1.8		{q12}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_enc_done
.align	4
.Lxts_enc_6:
	vst1.64		{q14}, [r0,:128]		@ next round tweak

	veor		q4, q4, q12
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q5, q5, q13
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12-q13}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q4, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q6, q11
	veor		q10, q3, q12
	vst1.8		{q8-q9}, [r8]!
	veor		q11, q7, q13
	vst1.8		{q10-q11}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_enc_done

@ put this in range for both ARM and Thumb mode adr instructions
.align	5
.Lxts_magic:
	.quad	1, 0x87

.align	5
.Lxts_enc_5:
	vst1.64		{q13}, [r0,:128]		@ next round tweak

	veor		q3, q3, q11
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q4, q4, q12
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q4, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q6, q11
	veor		q10, q3, q12
	vst1.8		{q8-q9}, [r8]!
	vst1.8		{q10}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_enc_done
.align	4
.Lxts_enc_4:
	vst1.64		{q12}, [r0,:128]		@ next round tweak

	veor		q2, q2, q10
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q3, q3, q11
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	veor		q1, q1, q9
	veor		q8, q4, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q6, q11
	vst1.8		{q8-q9}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_enc_done
.align	4
.Lxts_enc_3:
	vst1.64		{q11}, [r0,:128]		@ next round tweak

	veor		q1, q1, q9
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q2, q2, q10
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10}, [r0,:128]!
	veor		q0, q0, q8
	veor		q1, q1, q9
	veor		q8, q4, q10
	vst1.8		{q0-q1}, [r8]!
	vst1.8		{q8}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_enc_done
.align	4
.Lxts_enc_2:
	vst1.64		{q10}, [r0,:128]		@ next round tweak

	veor		q0, q0, q8
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q1, q1, q9
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_encrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	veor		q0, q0, q8
	veor		q1, q1, q9
	vst1.8		{q0-q1}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_enc_done
.align	4
.Lxts_enc_1:
	mov		r0, sp
	veor		q0, q8
	mov		r1, sp
	vst1.8		{q0}, [sp,:128]
	mov		r2, r10
	mov		r4, r3				@ preserve fp

	bl		AES_encrypt

	vld1.8		{q0}, [sp,:128]
	veor		q0, q0, q8
	vst1.8		{q0}, [r8]!
	mov		r3, r4

	vmov		q8, q9		@ next round tweak

.Lxts_enc_done:
#ifndef	XTS_CHAIN_TWEAK
	adds		r9, #0x10
	beq		.Lxts_enc_ret
	sub		r6, r8, #0x10

.Lxts_enc_steal:
	ldrb		r0, [r7], #1
	ldrb		r1, [r8, #-0x10]
	strb		r0, [r8, #-0x10]
	strb		r1, [r8], #1

	subs		r9, #1
	bhi		.Lxts_enc_steal

	vld1.8		{q0}, [r6]
	mov		r0, sp
	veor		q0, q0, q8
	mov		r1, sp
	vst1.8		{q0}, [sp,:128]
	mov		r2, r10
	mov		r4, r3			@ preserve fp

	bl		AES_encrypt

	vld1.8		{q0}, [sp,:128]
	veor		q0, q0, q8
	vst1.8		{q0}, [r6]
	mov		r3, r4
#endif

.Lxts_enc_ret:
	bic		r0, r3, #0xf
	vmov.i32	q0, #0
	vmov.i32	q1, #0
#ifdef	XTS_CHAIN_TWEAK
	ldr		r1, [r3, #0x20+VFP_ABI_FRAME]	@ chain tweak
#endif
.Lxts_enc_bzero:				@ wipe key schedule [if any]
	vstmia		sp!, {q0-q1}
	cmp		sp, r0
	bne		.Lxts_enc_bzero

	mov		sp, r3
#ifdef	XTS_CHAIN_TWEAK
	vst1.8		{q8}, [r1]
#endif
	VFP_ABI_POP
	ldmia		sp!, {r4-r10, pc}	@ return

.size	bsaes_xts_encrypt,.-bsaes_xts_encrypt

.globl	bsaes_xts_decrypt
.type	bsaes_xts_decrypt,%function
.align	4
bsaes_xts_decrypt:
	mov	ip, sp
	stmdb	sp!, {r4-r10, lr}		@ 0x20
	VFP_ABI_PUSH
	mov	r6, sp				@ future r3

	mov	r7, r0
	mov	r8, r1
	mov	r9, r2
	mov	r10, r3

	sub	r0, sp, #0x10			@ 0x10
	bic	r0, #0xf			@ align at 16 bytes
	mov	sp, r0

#ifdef	XTS_CHAIN_TWEAK
	ldr	r0, [ip]			@ pointer to input tweak
#else
	@ generate initial tweak
	ldr	r0, [ip, #4]			@ iv[]
	mov	r1, sp
	ldr	r2, [ip, #0]			@ key2
	bl	AES_encrypt
	mov	r0, sp				@ pointer to initial tweak
#endif

	ldr	r1, [r10, #240]		@ get # of rounds
	mov	r3, r6
#ifndef	BSAES_ASM_EXTENDED_KEY
	@ allocate the key schedule on the stack
	sub	r12, sp, r1, lsl#7		@ 128 bytes per inner round key
	@ add	r12, #96			@ size of bit-sliced key schedule
	sub	r12, #48			@ place for tweak[9]

	@ populate the key schedule
	mov	r4, r10			@ pass key
	mov	r5, r1			@ pass # of rounds
	mov	sp, r12
	add	r12, #0x90			@ pass key schedule
	bl	_bsaes_key_convert
	add	r4, sp, #0x90
	vldmia	r4, {q6}
	vstmia	r12,  {q15}		@ save last round key
	veor	q7, q7, q6	@ fix up round 0 key
	vstmia	r4, {q7}
#else
	ldr	r12, [r10, #244]
	eors	r12, #1
	beq	0f

	str	r12, [r10, #244]
	mov	r4, r10			@ pass key
	mov	r5, r1			@ pass # of rounds
	add	r12, r10, #248			@ pass key schedule
	bl	_bsaes_key_convert
	add	r4, r10, #248
	vldmia	r4, {q6}
	vstmia	r12,  {q15}		@ save last round key
	veor	q7, q7, q6	@ fix up round 0 key
	vstmia	r4, {q7}

.align	2
0:	sub	sp, #0x90			@ place for tweak[9]
#endif
	vld1.8	{q8}, [r0]			@ initial tweak
	adr	r2, .Lxts_magic

	tst	r9, #0xf			@ if not multiple of 16
	it	ne				@ Thumb2 thing, sanity check in ARM
	subne	r9, #0x10			@ subtract another 16 bytes
	subs	r9, #0x80

	blo	.Lxts_dec_short
	b	.Lxts_dec_loop

.align	4
.Lxts_dec_loop:
	vldmia		r2, {q5}	@ load XTS magic
	vshr.s64	q6, q8, #63
	mov		r0, sp
	vand		q6, q6, q5
	vadd.u64	q9, q8, q8
	vst1.64		{q8}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q9, #63
	veor		q9, q9, q6
	vand		q7, q7, q5
	vadd.u64	q10, q9, q9
	vst1.64		{q9}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q10, #63
	veor		q10, q10, q7
	vand		q6, q6, q5
	vld1.8		{q0}, [r7]!
	vadd.u64	q11, q10, q10
	vst1.64		{q10}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q11, #63
	veor		q11, q11, q6
	vand		q7, q7, q5
	vld1.8		{q1}, [r7]!
	veor		q0, q0, q8
	vadd.u64	q12, q11, q11
	vst1.64		{q11}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q12, #63
	veor		q12, q12, q7
	vand		q6, q6, q5
	vld1.8		{q2}, [r7]!
	veor		q1, q1, q9
	vadd.u64	q13, q12, q12
	vst1.64		{q12}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q13, #63
	veor		q13, q13, q6
	vand		q7, q7, q5
	vld1.8		{q3}, [r7]!
	veor		q2, q2, q10
	vadd.u64	q14, q13, q13
	vst1.64		{q13}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q14, #63
	veor		q14, q14, q7
	vand		q6, q6, q5
	vld1.8		{q4}, [r7]!
	veor		q3, q3, q11
	vadd.u64	q15, q14, q14
	vst1.64		{q14}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q15, #63
	veor		q15, q15, q6
	vand		q7, q7, q5
	vld1.8		{q5}, [r7]!
	veor		q4, q4, q12
	vadd.u64	q8, q15, q15
	vst1.64		{q15}, [r0,:128]!
	vswp		d15,d14
	veor		q8, q8, q7
	vst1.64		{q8}, [r0,:128]		@ next round tweak

	vld1.8		{q6-q7}, [r7]!
	veor		q5, q5, q13
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q6, q6, q14
	mov		r5, r1			@ pass rounds
	veor		q7, q7, q15
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12-q13}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q6, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q4, q11
	vld1.64		{q14-q15}, [r0,:128]!
	veor		q10, q2, q12
	vst1.8		{q8-q9}, [r8]!
	veor		q11, q7, q13
	veor		q12, q3, q14
	vst1.8		{q10-q11}, [r8]!
	veor		q13, q5, q15
	vst1.8		{q12-q13}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak

	subs		r9, #0x80
	bpl		.Lxts_dec_loop

.Lxts_dec_short:
	adds		r9, #0x70
	bmi		.Lxts_dec_done

	vldmia		r2, {q5}	@ load XTS magic
	vshr.s64	q7, q8, #63
	mov		r0, sp
	vand		q7, q7, q5
	vadd.u64	q9, q8, q8
	vst1.64		{q8}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q9, #63
	veor		q9, q9, q7
	vand		q6, q6, q5
	vadd.u64	q10, q9, q9
	vst1.64		{q9}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q10, #63
	veor		q10, q10, q6
	vand		q7, q7, q5
	vld1.8		{q0}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_dec_1
	vadd.u64	q11, q10, q10
	vst1.64		{q10}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q11, #63
	veor		q11, q11, q7
	vand		q6, q6, q5
	vld1.8		{q1}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_dec_2
	veor		q0, q0, q8
	vadd.u64	q12, q11, q11
	vst1.64		{q11}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q12, #63
	veor		q12, q12, q6
	vand		q7, q7, q5
	vld1.8		{q2}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_dec_3
	veor		q1, q1, q9
	vadd.u64	q13, q12, q12
	vst1.64		{q12}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q13, #63
	veor		q13, q13, q7
	vand		q6, q6, q5
	vld1.8		{q3}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_dec_4
	veor		q2, q2, q10
	vadd.u64	q14, q13, q13
	vst1.64		{q13}, [r0,:128]!
	vswp		d13,d12
	vshr.s64	q7, q14, #63
	veor		q14, q14, q6
	vand		q7, q7, q5
	vld1.8		{q4}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_dec_5
	veor		q3, q3, q11
	vadd.u64	q15, q14, q14
	vst1.64		{q14}, [r0,:128]!
	vswp		d15,d14
	vshr.s64	q6, q15, #63
	veor		q15, q15, q7
	vand		q6, q6, q5
	vld1.8		{q5}, [r7]!
	subs		r9, #0x10
	bmi		.Lxts_dec_6
	veor		q4, q4, q12
	sub		r9, #0x10
	vst1.64		{q15}, [r0,:128]		@ next round tweak

	vld1.8		{q6}, [r7]!
	veor		q5, q5, q13
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q6, q6, q14
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12-q13}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q6, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q4, q11
	vld1.64		{q14}, [r0,:128]!
	veor		q10, q2, q12
	vst1.8		{q8-q9}, [r8]!
	veor		q11, q7, q13
	veor		q12, q3, q14
	vst1.8		{q10-q11}, [r8]!
	vst1.8		{q12}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_dec_done
.align	4
.Lxts_dec_6:
	vst1.64		{q14}, [r0,:128]		@ next round tweak

	veor		q4, q4, q12
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q5, q5, q13
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12-q13}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q6, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q4, q11
	veor		q10, q2, q12
	vst1.8		{q8-q9}, [r8]!
	veor		q11, q7, q13
	vst1.8		{q10-q11}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_dec_done
.align	4
.Lxts_dec_5:
	vst1.64		{q13}, [r0,:128]		@ next round tweak

	veor		q3, q3, q11
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q4, q4, q12
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	vld1.64		{q12}, [r0,:128]!
	veor		q1, q1, q9
	veor		q8, q6, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q4, q11
	veor		q10, q2, q12
	vst1.8		{q8-q9}, [r8]!
	vst1.8		{q10}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_dec_done
.align	4
.Lxts_dec_4:
	vst1.64		{q12}, [r0,:128]		@ next round tweak

	veor		q2, q2, q10
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q3, q3, q11
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10-q11}, [r0,:128]!
	veor		q0, q0, q8
	veor		q1, q1, q9
	veor		q8, q6, q10
	vst1.8		{q0-q1}, [r8]!
	veor		q9, q4, q11
	vst1.8		{q8-q9}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_dec_done
.align	4
.Lxts_dec_3:
	vst1.64		{q11}, [r0,:128]		@ next round tweak

	veor		q1, q1, q9
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q2, q2, q10
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	vld1.64		{q10}, [r0,:128]!
	veor		q0, q0, q8
	veor		q1, q1, q9
	veor		q8, q6, q10
	vst1.8		{q0-q1}, [r8]!
	vst1.8		{q8}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_dec_done
.align	4
.Lxts_dec_2:
	vst1.64		{q10}, [r0,:128]		@ next round tweak

	veor		q0, q0, q8
#ifndef	BSAES_ASM_EXTENDED_KEY
	add		r4, sp, #0x90			@ pass key schedule
#else
	add		r4, r10, #248			@ pass key schedule
#endif
	veor		q1, q1, q9
	mov		r5, r1			@ pass rounds
	mov		r0, sp

	bl		_bsaes_decrypt8

	vld1.64		{q8-q9}, [r0,:128]!
	veor		q0, q0, q8
	veor		q1, q1, q9
	vst1.8		{q0-q1}, [r8]!

	vld1.64		{q8}, [r0,:128]		@ next round tweak
	b		.Lxts_dec_done
.align	4
.Lxts_dec_1:
	mov		r0, sp
	veor		q0, q8
	mov		r1, sp
	vst1.8		{q0}, [sp,:128]
	mov		r2, r10
	mov		r4, r3				@ preserve fp
	mov		r5, r2			@ preserve magic

	bl		AES_decrypt

	vld1.8		{q0}, [sp,:128]
	veor		q0, q0, q8
	vst1.8		{q0}, [r8]!
	mov		r3, r4
	mov		r2, r5

	vmov		q8, q9		@ next round tweak

.Lxts_dec_done:
#ifndef	XTS_CHAIN_TWEAK
	adds		r9, #0x10
	beq		.Lxts_dec_ret

	@ calculate one round of extra tweak for the stolen ciphertext
	vldmia		r2, {q5}
	vshr.s64	q6, q8, #63
	vand		q6, q6, q5
	vadd.u64	q9, q8, q8
	vswp		d13,d12
	veor		q9, q9, q6

	@ perform the final decryption with the last tweak value
	vld1.8		{q0}, [r7]!
	mov		r0, sp
	veor		q0, q0, q9
	mov		r1, sp
	vst1.8		{q0}, [sp,:128]
	mov		r2, r10
	mov		r4, r3			@ preserve fp

	bl		AES_decrypt

	vld1.8		{q0}, [sp,:128]
	veor		q0, q0, q9
	vst1.8		{q0}, [r8]

	mov		r6, r8
.Lxts_dec_steal:
	ldrb		r1, [r8]
	ldrb		r0, [r7], #1
	strb		r1, [r8, #0x10]
	strb		r0, [r8], #1

	subs		r9, #1
	bhi		.Lxts_dec_steal

	vld1.8		{q0}, [r6]
	mov		r0, sp
	veor		q0, q8
	mov		r1, sp
	vst1.8		{q0}, [sp,:128]
	mov		r2, r10

	bl		AES_decrypt

	vld1.8		{q0}, [sp,:128]
	veor		q0, q0, q8
	vst1.8		{q0}, [r6]
	mov		r3, r4
#endif

.Lxts_dec_ret:
	bic		r0, r3, #0xf
	vmov.i32	q0, #0
	vmov.i32	q1, #0
#ifdef	XTS_CHAIN_TWEAK
	ldr		r1, [r3, #0x20+VFP_ABI_FRAME]	@ chain tweak
#endif
.Lxts_dec_bzero:				@ wipe key schedule [if any]
	vstmia		sp!, {q0-q1}
	cmp		sp, r0
	bne		.Lxts_dec_bzero

	mov		sp, r3
#ifdef	XTS_CHAIN_TWEAK
	vst1.8		{q8}, [r1]
#endif
	VFP_ABI_POP
	ldmia		sp!, {r4-r10, pc}	@ return

.size	bsaes_xts_decrypt,.-bsaes_xts_decrypt
#endif