| /* SPDX-License-Identifier: GPL-2.0 OR MIT */ |
| /* |
| * Copyright (C) 2015-2019 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved. |
| * |
| * Based on public domain code from Daniel J. Bernstein and Peter Schwabe. This |
| * began from SUPERCOP's curve25519/neon2/scalarmult.s, but has subsequently been |
| * manually reworked for use in kernel space. |
| */ |
| |
| #include <linux/linkage.h> |
| |
| .text |
| .arch armv7-a |
| .fpu neon |
| .align 4 |
| |
| ENTRY(curve25519_neon) |
| push {r4-r11, lr} |
| mov ip, sp |
| sub r3, sp, #704 |
| and r3, r3, #0xfffffff0 |
| mov sp, r3 |
| movw r4, #0 |
| movw r5, #254 |
| vmov.i32 q0, #1 |
| vshr.u64 q1, q0, #7 |
| vshr.u64 q0, q0, #8 |
| vmov.i32 d4, #19 |
| vmov.i32 d5, #38 |
| add r6, sp, #480 |
| vst1.8 {d2-d3}, [r6, : 128]! |
| vst1.8 {d0-d1}, [r6, : 128]! |
| vst1.8 {d4-d5}, [r6, : 128] |
| add r6, r3, #0 |
| vmov.i32 q2, #0 |
| vst1.8 {d4-d5}, [r6, : 128]! |
| vst1.8 {d4-d5}, [r6, : 128]! |
| vst1.8 d4, [r6, : 64] |
| add r6, r3, #0 |
| movw r7, #960 |
| sub r7, r7, #2 |
| neg r7, r7 |
| sub r7, r7, r7, LSL #7 |
| str r7, [r6] |
| add r6, sp, #672 |
| vld1.8 {d4-d5}, [r1]! |
| vld1.8 {d6-d7}, [r1] |
| vst1.8 {d4-d5}, [r6, : 128]! |
| vst1.8 {d6-d7}, [r6, : 128] |
| sub r1, r6, #16 |
| ldrb r6, [r1] |
| and r6, r6, #248 |
| strb r6, [r1] |
| ldrb r6, [r1, #31] |
| and r6, r6, #127 |
| orr r6, r6, #64 |
| strb r6, [r1, #31] |
| vmov.i64 q2, #0xffffffff |
| vshr.u64 q3, q2, #7 |
| vshr.u64 q2, q2, #6 |
| vld1.8 {d8}, [r2] |
| vld1.8 {d10}, [r2] |
| add r2, r2, #6 |
| vld1.8 {d12}, [r2] |
| vld1.8 {d14}, [r2] |
| add r2, r2, #6 |
| vld1.8 {d16}, [r2] |
| add r2, r2, #4 |
| vld1.8 {d18}, [r2] |
| vld1.8 {d20}, [r2] |
| add r2, r2, #6 |
| vld1.8 {d22}, [r2] |
| add r2, r2, #2 |
| vld1.8 {d24}, [r2] |
| vld1.8 {d26}, [r2] |
| vshr.u64 q5, q5, #26 |
| vshr.u64 q6, q6, #3 |
| vshr.u64 q7, q7, #29 |
| vshr.u64 q8, q8, #6 |
| vshr.u64 q10, q10, #25 |
| vshr.u64 q11, q11, #3 |
| vshr.u64 q12, q12, #12 |
| vshr.u64 q13, q13, #38 |
| vand q4, q4, q2 |
| vand q6, q6, q2 |
| vand q8, q8, q2 |
| vand q10, q10, q2 |
| vand q2, q12, q2 |
| vand q5, q5, q3 |
| vand q7, q7, q3 |
| vand q9, q9, q3 |
| vand q11, q11, q3 |
| vand q3, q13, q3 |
| add r2, r3, #48 |
| vadd.i64 q12, q4, q1 |
| vadd.i64 q13, q10, q1 |
| vshr.s64 q12, q12, #26 |
| vshr.s64 q13, q13, #26 |
| vadd.i64 q5, q5, q12 |
| vshl.i64 q12, q12, #26 |
| vadd.i64 q14, q5, q0 |
| vadd.i64 q11, q11, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q15, q11, q0 |
| vsub.i64 q4, q4, q12 |
| vshr.s64 q12, q14, #25 |
| vsub.i64 q10, q10, q13 |
| vshr.s64 q13, q15, #25 |
| vadd.i64 q6, q6, q12 |
| vshl.i64 q12, q12, #25 |
| vadd.i64 q14, q6, q1 |
| vadd.i64 q2, q2, q13 |
| vsub.i64 q5, q5, q12 |
| vshr.s64 q12, q14, #26 |
| vshl.i64 q13, q13, #25 |
| vadd.i64 q14, q2, q1 |
| vadd.i64 q7, q7, q12 |
| vshl.i64 q12, q12, #26 |
| vadd.i64 q15, q7, q0 |
| vsub.i64 q11, q11, q13 |
| vshr.s64 q13, q14, #26 |
| vsub.i64 q6, q6, q12 |
| vshr.s64 q12, q15, #25 |
| vadd.i64 q3, q3, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q14, q3, q0 |
| vadd.i64 q8, q8, q12 |
| vshl.i64 q12, q12, #25 |
| vadd.i64 q15, q8, q1 |
| add r2, r2, #8 |
| vsub.i64 q2, q2, q13 |
| vshr.s64 q13, q14, #25 |
| vsub.i64 q7, q7, q12 |
| vshr.s64 q12, q15, #26 |
| vadd.i64 q14, q13, q13 |
| vadd.i64 q9, q9, q12 |
| vtrn.32 d12, d14 |
| vshl.i64 q12, q12, #26 |
| vtrn.32 d13, d15 |
| vadd.i64 q0, q9, q0 |
| vadd.i64 q4, q4, q14 |
| vst1.8 d12, [r2, : 64]! |
| vshl.i64 q6, q13, #4 |
| vsub.i64 q7, q8, q12 |
| vshr.s64 q0, q0, #25 |
| vadd.i64 q4, q4, q6 |
| vadd.i64 q6, q10, q0 |
| vshl.i64 q0, q0, #25 |
| vadd.i64 q8, q6, q1 |
| vadd.i64 q4, q4, q13 |
| vshl.i64 q10, q13, #25 |
| vadd.i64 q1, q4, q1 |
| vsub.i64 q0, q9, q0 |
| vshr.s64 q8, q8, #26 |
| vsub.i64 q3, q3, q10 |
| vtrn.32 d14, d0 |
| vshr.s64 q1, q1, #26 |
| vtrn.32 d15, d1 |
| vadd.i64 q0, q11, q8 |
| vst1.8 d14, [r2, : 64] |
| vshl.i64 q7, q8, #26 |
| vadd.i64 q5, q5, q1 |
| vtrn.32 d4, d6 |
| vshl.i64 q1, q1, #26 |
| vtrn.32 d5, d7 |
| vsub.i64 q3, q6, q7 |
| add r2, r2, #16 |
| vsub.i64 q1, q4, q1 |
| vst1.8 d4, [r2, : 64] |
| vtrn.32 d6, d0 |
| vtrn.32 d7, d1 |
| sub r2, r2, #8 |
| vtrn.32 d2, d10 |
| vtrn.32 d3, d11 |
| vst1.8 d6, [r2, : 64] |
| sub r2, r2, #24 |
| vst1.8 d2, [r2, : 64] |
| add r2, r3, #96 |
| vmov.i32 q0, #0 |
| vmov.i64 d2, #0xff |
| vmov.i64 d3, #0 |
| vshr.u32 q1, q1, #7 |
| vst1.8 {d2-d3}, [r2, : 128]! |
| vst1.8 {d0-d1}, [r2, : 128]! |
| vst1.8 d0, [r2, : 64] |
| add r2, r3, #144 |
| vmov.i32 q0, #0 |
| vst1.8 {d0-d1}, [r2, : 128]! |
| vst1.8 {d0-d1}, [r2, : 128]! |
| vst1.8 d0, [r2, : 64] |
| add r2, r3, #240 |
| vmov.i32 q0, #0 |
| vmov.i64 d2, #0xff |
| vmov.i64 d3, #0 |
| vshr.u32 q1, q1, #7 |
| vst1.8 {d2-d3}, [r2, : 128]! |
| vst1.8 {d0-d1}, [r2, : 128]! |
| vst1.8 d0, [r2, : 64] |
| add r2, r3, #48 |
| add r6, r3, #192 |
| vld1.8 {d0-d1}, [r2, : 128]! |
| vld1.8 {d2-d3}, [r2, : 128]! |
| vld1.8 {d4}, [r2, : 64] |
| vst1.8 {d0-d1}, [r6, : 128]! |
| vst1.8 {d2-d3}, [r6, : 128]! |
| vst1.8 d4, [r6, : 64] |
| .Lmainloop: |
| mov r2, r5, LSR #3 |
| and r6, r5, #7 |
| ldrb r2, [r1, r2] |
| mov r2, r2, LSR r6 |
| and r2, r2, #1 |
| str r5, [sp, #456] |
| eor r4, r4, r2 |
| str r2, [sp, #460] |
| neg r2, r4 |
| add r4, r3, #96 |
| add r5, r3, #192 |
| add r6, r3, #144 |
| vld1.8 {d8-d9}, [r4, : 128]! |
| add r7, r3, #240 |
| vld1.8 {d10-d11}, [r5, : 128]! |
| veor q6, q4, q5 |
| vld1.8 {d14-d15}, [r6, : 128]! |
| vdup.i32 q8, r2 |
| vld1.8 {d18-d19}, [r7, : 128]! |
| veor q10, q7, q9 |
| vld1.8 {d22-d23}, [r4, : 128]! |
| vand q6, q6, q8 |
| vld1.8 {d24-d25}, [r5, : 128]! |
| vand q10, q10, q8 |
| vld1.8 {d26-d27}, [r6, : 128]! |
| veor q4, q4, q6 |
| vld1.8 {d28-d29}, [r7, : 128]! |
| veor q5, q5, q6 |
| vld1.8 {d0}, [r4, : 64] |
| veor q6, q7, q10 |
| vld1.8 {d2}, [r5, : 64] |
| veor q7, q9, q10 |
| vld1.8 {d4}, [r6, : 64] |
| veor q9, q11, q12 |
| vld1.8 {d6}, [r7, : 64] |
| veor q10, q0, q1 |
| sub r2, r4, #32 |
| vand q9, q9, q8 |
| sub r4, r5, #32 |
| vand q10, q10, q8 |
| sub r5, r6, #32 |
| veor q11, q11, q9 |
| sub r6, r7, #32 |
| veor q0, q0, q10 |
| veor q9, q12, q9 |
| veor q1, q1, q10 |
| veor q10, q13, q14 |
| veor q12, q2, q3 |
| vand q10, q10, q8 |
| vand q8, q12, q8 |
| veor q12, q13, q10 |
| veor q2, q2, q8 |
| veor q10, q14, q10 |
| veor q3, q3, q8 |
| vadd.i32 q8, q4, q6 |
| vsub.i32 q4, q4, q6 |
| vst1.8 {d16-d17}, [r2, : 128]! |
| vadd.i32 q6, q11, q12 |
| vst1.8 {d8-d9}, [r5, : 128]! |
| vsub.i32 q4, q11, q12 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vadd.i32 q6, q0, q2 |
| vst1.8 {d8-d9}, [r5, : 128]! |
| vsub.i32 q0, q0, q2 |
| vst1.8 d12, [r2, : 64] |
| vadd.i32 q2, q5, q7 |
| vst1.8 d0, [r5, : 64] |
| vsub.i32 q0, q5, q7 |
| vst1.8 {d4-d5}, [r4, : 128]! |
| vadd.i32 q2, q9, q10 |
| vst1.8 {d0-d1}, [r6, : 128]! |
| vsub.i32 q0, q9, q10 |
| vst1.8 {d4-d5}, [r4, : 128]! |
| vadd.i32 q2, q1, q3 |
| vst1.8 {d0-d1}, [r6, : 128]! |
| vsub.i32 q0, q1, q3 |
| vst1.8 d4, [r4, : 64] |
| vst1.8 d0, [r6, : 64] |
| add r2, sp, #512 |
| add r4, r3, #96 |
| add r5, r3, #144 |
| vld1.8 {d0-d1}, [r2, : 128] |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vld1.8 {d4-d5}, [r5, : 128]! |
| vzip.i32 q1, q2 |
| vld1.8 {d6-d7}, [r4, : 128]! |
| vld1.8 {d8-d9}, [r5, : 128]! |
| vshl.i32 q5, q1, #1 |
| vzip.i32 q3, q4 |
| vshl.i32 q6, q2, #1 |
| vld1.8 {d14}, [r4, : 64] |
| vshl.i32 q8, q3, #1 |
| vld1.8 {d15}, [r5, : 64] |
| vshl.i32 q9, q4, #1 |
| vmul.i32 d21, d7, d1 |
| vtrn.32 d14, d15 |
| vmul.i32 q11, q4, q0 |
| vmul.i32 q0, q7, q0 |
| vmull.s32 q12, d2, d2 |
| vmlal.s32 q12, d11, d1 |
| vmlal.s32 q12, d12, d0 |
| vmlal.s32 q12, d13, d23 |
| vmlal.s32 q12, d16, d22 |
| vmlal.s32 q12, d7, d21 |
| vmull.s32 q10, d2, d11 |
| vmlal.s32 q10, d4, d1 |
| vmlal.s32 q10, d13, d0 |
| vmlal.s32 q10, d6, d23 |
| vmlal.s32 q10, d17, d22 |
| vmull.s32 q13, d10, d4 |
| vmlal.s32 q13, d11, d3 |
| vmlal.s32 q13, d13, d1 |
| vmlal.s32 q13, d16, d0 |
| vmlal.s32 q13, d17, d23 |
| vmlal.s32 q13, d8, d22 |
| vmull.s32 q1, d10, d5 |
| vmlal.s32 q1, d11, d4 |
| vmlal.s32 q1, d6, d1 |
| vmlal.s32 q1, d17, d0 |
| vmlal.s32 q1, d8, d23 |
| vmull.s32 q14, d10, d6 |
| vmlal.s32 q14, d11, d13 |
| vmlal.s32 q14, d4, d4 |
| vmlal.s32 q14, d17, d1 |
| vmlal.s32 q14, d18, d0 |
| vmlal.s32 q14, d9, d23 |
| vmull.s32 q11, d10, d7 |
| vmlal.s32 q11, d11, d6 |
| vmlal.s32 q11, d12, d5 |
| vmlal.s32 q11, d8, d1 |
| vmlal.s32 q11, d19, d0 |
| vmull.s32 q15, d10, d8 |
| vmlal.s32 q15, d11, d17 |
| vmlal.s32 q15, d12, d6 |
| vmlal.s32 q15, d13, d5 |
| vmlal.s32 q15, d19, d1 |
| vmlal.s32 q15, d14, d0 |
| vmull.s32 q2, d10, d9 |
| vmlal.s32 q2, d11, d8 |
| vmlal.s32 q2, d12, d7 |
| vmlal.s32 q2, d13, d6 |
| vmlal.s32 q2, d14, d1 |
| vmull.s32 q0, d15, d1 |
| vmlal.s32 q0, d10, d14 |
| vmlal.s32 q0, d11, d19 |
| vmlal.s32 q0, d12, d8 |
| vmlal.s32 q0, d13, d17 |
| vmlal.s32 q0, d6, d6 |
| add r2, sp, #480 |
| vld1.8 {d18-d19}, [r2, : 128]! |
| vmull.s32 q3, d16, d7 |
| vmlal.s32 q3, d10, d15 |
| vmlal.s32 q3, d11, d14 |
| vmlal.s32 q3, d12, d9 |
| vmlal.s32 q3, d13, d8 |
| vld1.8 {d8-d9}, [r2, : 128] |
| vadd.i64 q5, q12, q9 |
| vadd.i64 q6, q15, q9 |
| vshr.s64 q5, q5, #26 |
| vshr.s64 q6, q6, #26 |
| vadd.i64 q7, q10, q5 |
| vshl.i64 q5, q5, #26 |
| vadd.i64 q8, q7, q4 |
| vadd.i64 q2, q2, q6 |
| vshl.i64 q6, q6, #26 |
| vadd.i64 q10, q2, q4 |
| vsub.i64 q5, q12, q5 |
| vshr.s64 q8, q8, #25 |
| vsub.i64 q6, q15, q6 |
| vshr.s64 q10, q10, #25 |
| vadd.i64 q12, q13, q8 |
| vshl.i64 q8, q8, #25 |
| vadd.i64 q13, q12, q9 |
| vadd.i64 q0, q0, q10 |
| vsub.i64 q7, q7, q8 |
| vshr.s64 q8, q13, #26 |
| vshl.i64 q10, q10, #25 |
| vadd.i64 q13, q0, q9 |
| vadd.i64 q1, q1, q8 |
| vshl.i64 q8, q8, #26 |
| vadd.i64 q15, q1, q4 |
| vsub.i64 q2, q2, q10 |
| vshr.s64 q10, q13, #26 |
| vsub.i64 q8, q12, q8 |
| vshr.s64 q12, q15, #25 |
| vadd.i64 q3, q3, q10 |
| vshl.i64 q10, q10, #26 |
| vadd.i64 q13, q3, q4 |
| vadd.i64 q14, q14, q12 |
| add r2, r3, #288 |
| vshl.i64 q12, q12, #25 |
| add r4, r3, #336 |
| vadd.i64 q15, q14, q9 |
| add r2, r2, #8 |
| vsub.i64 q0, q0, q10 |
| add r4, r4, #8 |
| vshr.s64 q10, q13, #25 |
| vsub.i64 q1, q1, q12 |
| vshr.s64 q12, q15, #26 |
| vadd.i64 q13, q10, q10 |
| vadd.i64 q11, q11, q12 |
| vtrn.32 d16, d2 |
| vshl.i64 q12, q12, #26 |
| vtrn.32 d17, d3 |
| vadd.i64 q1, q11, q4 |
| vadd.i64 q4, q5, q13 |
| vst1.8 d16, [r2, : 64]! |
| vshl.i64 q5, q10, #4 |
| vst1.8 d17, [r4, : 64]! |
| vsub.i64 q8, q14, q12 |
| vshr.s64 q1, q1, #25 |
| vadd.i64 q4, q4, q5 |
| vadd.i64 q5, q6, q1 |
| vshl.i64 q1, q1, #25 |
| vadd.i64 q6, q5, q9 |
| vadd.i64 q4, q4, q10 |
| vshl.i64 q10, q10, #25 |
| vadd.i64 q9, q4, q9 |
| vsub.i64 q1, q11, q1 |
| vshr.s64 q6, q6, #26 |
| vsub.i64 q3, q3, q10 |
| vtrn.32 d16, d2 |
| vshr.s64 q9, q9, #26 |
| vtrn.32 d17, d3 |
| vadd.i64 q1, q2, q6 |
| vst1.8 d16, [r2, : 64] |
| vshl.i64 q2, q6, #26 |
| vst1.8 d17, [r4, : 64] |
| vadd.i64 q6, q7, q9 |
| vtrn.32 d0, d6 |
| vshl.i64 q7, q9, #26 |
| vtrn.32 d1, d7 |
| vsub.i64 q2, q5, q2 |
| add r2, r2, #16 |
| vsub.i64 q3, q4, q7 |
| vst1.8 d0, [r2, : 64] |
| add r4, r4, #16 |
| vst1.8 d1, [r4, : 64] |
| vtrn.32 d4, d2 |
| vtrn.32 d5, d3 |
| sub r2, r2, #8 |
| sub r4, r4, #8 |
| vtrn.32 d6, d12 |
| vtrn.32 d7, d13 |
| vst1.8 d4, [r2, : 64] |
| vst1.8 d5, [r4, : 64] |
| sub r2, r2, #24 |
| sub r4, r4, #24 |
| vst1.8 d6, [r2, : 64] |
| vst1.8 d7, [r4, : 64] |
| add r2, r3, #240 |
| add r4, r3, #96 |
| vld1.8 {d0-d1}, [r4, : 128]! |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vld1.8 {d4}, [r4, : 64] |
| add r4, r3, #144 |
| vld1.8 {d6-d7}, [r4, : 128]! |
| vtrn.32 q0, q3 |
| vld1.8 {d8-d9}, [r4, : 128]! |
| vshl.i32 q5, q0, #4 |
| vtrn.32 q1, q4 |
| vshl.i32 q6, q3, #4 |
| vadd.i32 q5, q5, q0 |
| vadd.i32 q6, q6, q3 |
| vshl.i32 q7, q1, #4 |
| vld1.8 {d5}, [r4, : 64] |
| vshl.i32 q8, q4, #4 |
| vtrn.32 d4, d5 |
| vadd.i32 q7, q7, q1 |
| vadd.i32 q8, q8, q4 |
| vld1.8 {d18-d19}, [r2, : 128]! |
| vshl.i32 q10, q2, #4 |
| vld1.8 {d22-d23}, [r2, : 128]! |
| vadd.i32 q10, q10, q2 |
| vld1.8 {d24}, [r2, : 64] |
| vadd.i32 q5, q5, q0 |
| add r2, r3, #192 |
| vld1.8 {d26-d27}, [r2, : 128]! |
| vadd.i32 q6, q6, q3 |
| vld1.8 {d28-d29}, [r2, : 128]! |
| vadd.i32 q8, q8, q4 |
| vld1.8 {d25}, [r2, : 64] |
| vadd.i32 q10, q10, q2 |
| vtrn.32 q9, q13 |
| vadd.i32 q7, q7, q1 |
| vadd.i32 q5, q5, q0 |
| vtrn.32 q11, q14 |
| vadd.i32 q6, q6, q3 |
| add r2, sp, #528 |
| vadd.i32 q10, q10, q2 |
| vtrn.32 d24, d25 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vshl.i32 q6, q13, #1 |
| vst1.8 {d20-d21}, [r2, : 128]! |
| vshl.i32 q10, q14, #1 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vshl.i32 q15, q12, #1 |
| vadd.i32 q8, q8, q4 |
| vext.32 d10, d31, d30, #0 |
| vadd.i32 q7, q7, q1 |
| vst1.8 {d16-d17}, [r2, : 128]! |
| vmull.s32 q8, d18, d5 |
| vmlal.s32 q8, d26, d4 |
| vmlal.s32 q8, d19, d9 |
| vmlal.s32 q8, d27, d3 |
| vmlal.s32 q8, d22, d8 |
| vmlal.s32 q8, d28, d2 |
| vmlal.s32 q8, d23, d7 |
| vmlal.s32 q8, d29, d1 |
| vmlal.s32 q8, d24, d6 |
| vmlal.s32 q8, d25, d0 |
| vst1.8 {d14-d15}, [r2, : 128]! |
| vmull.s32 q2, d18, d4 |
| vmlal.s32 q2, d12, d9 |
| vmlal.s32 q2, d13, d8 |
| vmlal.s32 q2, d19, d3 |
| vmlal.s32 q2, d22, d2 |
| vmlal.s32 q2, d23, d1 |
| vmlal.s32 q2, d24, d0 |
| vst1.8 {d20-d21}, [r2, : 128]! |
| vmull.s32 q7, d18, d9 |
| vmlal.s32 q7, d26, d3 |
| vmlal.s32 q7, d19, d8 |
| vmlal.s32 q7, d27, d2 |
| vmlal.s32 q7, d22, d7 |
| vmlal.s32 q7, d28, d1 |
| vmlal.s32 q7, d23, d6 |
| vmlal.s32 q7, d29, d0 |
| vst1.8 {d10-d11}, [r2, : 128]! |
| vmull.s32 q5, d18, d3 |
| vmlal.s32 q5, d19, d2 |
| vmlal.s32 q5, d22, d1 |
| vmlal.s32 q5, d23, d0 |
| vmlal.s32 q5, d12, d8 |
| vst1.8 {d16-d17}, [r2, : 128] |
| vmull.s32 q4, d18, d8 |
| vmlal.s32 q4, d26, d2 |
| vmlal.s32 q4, d19, d7 |
| vmlal.s32 q4, d27, d1 |
| vmlal.s32 q4, d22, d6 |
| vmlal.s32 q4, d28, d0 |
| vmull.s32 q8, d18, d7 |
| vmlal.s32 q8, d26, d1 |
| vmlal.s32 q8, d19, d6 |
| vmlal.s32 q8, d27, d0 |
| add r2, sp, #544 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vmlal.s32 q7, d24, d21 |
| vmlal.s32 q7, d25, d20 |
| vmlal.s32 q4, d23, d21 |
| vmlal.s32 q4, d29, d20 |
| vmlal.s32 q8, d22, d21 |
| vmlal.s32 q8, d28, d20 |
| vmlal.s32 q5, d24, d20 |
| vst1.8 {d14-d15}, [r2, : 128] |
| vmull.s32 q7, d18, d6 |
| vmlal.s32 q7, d26, d0 |
| add r2, sp, #624 |
| vld1.8 {d30-d31}, [r2, : 128] |
| vmlal.s32 q2, d30, d21 |
| vmlal.s32 q7, d19, d21 |
| vmlal.s32 q7, d27, d20 |
| add r2, sp, #592 |
| vld1.8 {d26-d27}, [r2, : 128] |
| vmlal.s32 q4, d25, d27 |
| vmlal.s32 q8, d29, d27 |
| vmlal.s32 q8, d25, d26 |
| vmlal.s32 q7, d28, d27 |
| vmlal.s32 q7, d29, d26 |
| add r2, sp, #576 |
| vld1.8 {d28-d29}, [r2, : 128] |
| vmlal.s32 q4, d24, d29 |
| vmlal.s32 q8, d23, d29 |
| vmlal.s32 q8, d24, d28 |
| vmlal.s32 q7, d22, d29 |
| vmlal.s32 q7, d23, d28 |
| vst1.8 {d8-d9}, [r2, : 128] |
| add r2, sp, #528 |
| vld1.8 {d8-d9}, [r2, : 128] |
| vmlal.s32 q7, d24, d9 |
| vmlal.s32 q7, d25, d31 |
| vmull.s32 q1, d18, d2 |
| vmlal.s32 q1, d19, d1 |
| vmlal.s32 q1, d22, d0 |
| vmlal.s32 q1, d24, d27 |
| vmlal.s32 q1, d23, d20 |
| vmlal.s32 q1, d12, d7 |
| vmlal.s32 q1, d13, d6 |
| vmull.s32 q6, d18, d1 |
| vmlal.s32 q6, d19, d0 |
| vmlal.s32 q6, d23, d27 |
| vmlal.s32 q6, d22, d20 |
| vmlal.s32 q6, d24, d26 |
| vmull.s32 q0, d18, d0 |
| vmlal.s32 q0, d22, d27 |
| vmlal.s32 q0, d23, d26 |
| vmlal.s32 q0, d24, d31 |
| vmlal.s32 q0, d19, d20 |
| add r2, sp, #608 |
| vld1.8 {d18-d19}, [r2, : 128] |
| vmlal.s32 q2, d18, d7 |
| vmlal.s32 q5, d18, d6 |
| vmlal.s32 q1, d18, d21 |
| vmlal.s32 q0, d18, d28 |
| vmlal.s32 q6, d18, d29 |
| vmlal.s32 q2, d19, d6 |
| vmlal.s32 q5, d19, d21 |
| vmlal.s32 q1, d19, d29 |
| vmlal.s32 q0, d19, d9 |
| vmlal.s32 q6, d19, d28 |
| add r2, sp, #560 |
| vld1.8 {d18-d19}, [r2, : 128] |
| add r2, sp, #480 |
| vld1.8 {d22-d23}, [r2, : 128] |
| vmlal.s32 q5, d19, d7 |
| vmlal.s32 q0, d18, d21 |
| vmlal.s32 q0, d19, d29 |
| vmlal.s32 q6, d18, d6 |
| add r2, sp, #496 |
| vld1.8 {d6-d7}, [r2, : 128] |
| vmlal.s32 q6, d19, d21 |
| add r2, sp, #544 |
| vld1.8 {d18-d19}, [r2, : 128] |
| vmlal.s32 q0, d30, d8 |
| add r2, sp, #640 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vmlal.s32 q5, d30, d29 |
| add r2, sp, #576 |
| vld1.8 {d24-d25}, [r2, : 128] |
| vmlal.s32 q1, d30, d28 |
| vadd.i64 q13, q0, q11 |
| vadd.i64 q14, q5, q11 |
| vmlal.s32 q6, d30, d9 |
| vshr.s64 q4, q13, #26 |
| vshr.s64 q13, q14, #26 |
| vadd.i64 q7, q7, q4 |
| vshl.i64 q4, q4, #26 |
| vadd.i64 q14, q7, q3 |
| vadd.i64 q9, q9, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q15, q9, q3 |
| vsub.i64 q0, q0, q4 |
| vshr.s64 q4, q14, #25 |
| vsub.i64 q5, q5, q13 |
| vshr.s64 q13, q15, #25 |
| vadd.i64 q6, q6, q4 |
| vshl.i64 q4, q4, #25 |
| vadd.i64 q14, q6, q11 |
| vadd.i64 q2, q2, q13 |
| vsub.i64 q4, q7, q4 |
| vshr.s64 q7, q14, #26 |
| vshl.i64 q13, q13, #25 |
| vadd.i64 q14, q2, q11 |
| vadd.i64 q8, q8, q7 |
| vshl.i64 q7, q7, #26 |
| vadd.i64 q15, q8, q3 |
| vsub.i64 q9, q9, q13 |
| vshr.s64 q13, q14, #26 |
| vsub.i64 q6, q6, q7 |
| vshr.s64 q7, q15, #25 |
| vadd.i64 q10, q10, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q14, q10, q3 |
| vadd.i64 q1, q1, q7 |
| add r2, r3, #144 |
| vshl.i64 q7, q7, #25 |
| add r4, r3, #96 |
| vadd.i64 q15, q1, q11 |
| add r2, r2, #8 |
| vsub.i64 q2, q2, q13 |
| add r4, r4, #8 |
| vshr.s64 q13, q14, #25 |
| vsub.i64 q7, q8, q7 |
| vshr.s64 q8, q15, #26 |
| vadd.i64 q14, q13, q13 |
| vadd.i64 q12, q12, q8 |
| vtrn.32 d12, d14 |
| vshl.i64 q8, q8, #26 |
| vtrn.32 d13, d15 |
| vadd.i64 q3, q12, q3 |
| vadd.i64 q0, q0, q14 |
| vst1.8 d12, [r2, : 64]! |
| vshl.i64 q7, q13, #4 |
| vst1.8 d13, [r4, : 64]! |
| vsub.i64 q1, q1, q8 |
| vshr.s64 q3, q3, #25 |
| vadd.i64 q0, q0, q7 |
| vadd.i64 q5, q5, q3 |
| vshl.i64 q3, q3, #25 |
| vadd.i64 q6, q5, q11 |
| vadd.i64 q0, q0, q13 |
| vshl.i64 q7, q13, #25 |
| vadd.i64 q8, q0, q11 |
| vsub.i64 q3, q12, q3 |
| vshr.s64 q6, q6, #26 |
| vsub.i64 q7, q10, q7 |
| vtrn.32 d2, d6 |
| vshr.s64 q8, q8, #26 |
| vtrn.32 d3, d7 |
| vadd.i64 q3, q9, q6 |
| vst1.8 d2, [r2, : 64] |
| vshl.i64 q6, q6, #26 |
| vst1.8 d3, [r4, : 64] |
| vadd.i64 q1, q4, q8 |
| vtrn.32 d4, d14 |
| vshl.i64 q4, q8, #26 |
| vtrn.32 d5, d15 |
| vsub.i64 q5, q5, q6 |
| add r2, r2, #16 |
| vsub.i64 q0, q0, q4 |
| vst1.8 d4, [r2, : 64] |
| add r4, r4, #16 |
| vst1.8 d5, [r4, : 64] |
| vtrn.32 d10, d6 |
| vtrn.32 d11, d7 |
| sub r2, r2, #8 |
| sub r4, r4, #8 |
| vtrn.32 d0, d2 |
| vtrn.32 d1, d3 |
| vst1.8 d10, [r2, : 64] |
| vst1.8 d11, [r4, : 64] |
| sub r2, r2, #24 |
| sub r4, r4, #24 |
| vst1.8 d0, [r2, : 64] |
| vst1.8 d1, [r4, : 64] |
| add r2, r3, #288 |
| add r4, r3, #336 |
| vld1.8 {d0-d1}, [r2, : 128]! |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vsub.i32 q0, q0, q1 |
| vld1.8 {d2-d3}, [r2, : 128]! |
| vld1.8 {d4-d5}, [r4, : 128]! |
| vsub.i32 q1, q1, q2 |
| add r5, r3, #240 |
| vld1.8 {d4}, [r2, : 64] |
| vld1.8 {d6}, [r4, : 64] |
| vsub.i32 q2, q2, q3 |
| vst1.8 {d0-d1}, [r5, : 128]! |
| vst1.8 {d2-d3}, [r5, : 128]! |
| vst1.8 d4, [r5, : 64] |
| add r2, r3, #144 |
| add r4, r3, #96 |
| add r5, r3, #144 |
| add r6, r3, #192 |
| vld1.8 {d0-d1}, [r2, : 128]! |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vsub.i32 q2, q0, q1 |
| vadd.i32 q0, q0, q1 |
| vld1.8 {d2-d3}, [r2, : 128]! |
| vld1.8 {d6-d7}, [r4, : 128]! |
| vsub.i32 q4, q1, q3 |
| vadd.i32 q1, q1, q3 |
| vld1.8 {d6}, [r2, : 64] |
| vld1.8 {d10}, [r4, : 64] |
| vsub.i32 q6, q3, q5 |
| vadd.i32 q3, q3, q5 |
| vst1.8 {d4-d5}, [r5, : 128]! |
| vst1.8 {d0-d1}, [r6, : 128]! |
| vst1.8 {d8-d9}, [r5, : 128]! |
| vst1.8 {d2-d3}, [r6, : 128]! |
| vst1.8 d12, [r5, : 64] |
| vst1.8 d6, [r6, : 64] |
| add r2, r3, #0 |
| add r4, r3, #240 |
| vld1.8 {d0-d1}, [r4, : 128]! |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vld1.8 {d4}, [r4, : 64] |
| add r4, r3, #336 |
| vld1.8 {d6-d7}, [r4, : 128]! |
| vtrn.32 q0, q3 |
| vld1.8 {d8-d9}, [r4, : 128]! |
| vshl.i32 q5, q0, #4 |
| vtrn.32 q1, q4 |
| vshl.i32 q6, q3, #4 |
| vadd.i32 q5, q5, q0 |
| vadd.i32 q6, q6, q3 |
| vshl.i32 q7, q1, #4 |
| vld1.8 {d5}, [r4, : 64] |
| vshl.i32 q8, q4, #4 |
| vtrn.32 d4, d5 |
| vadd.i32 q7, q7, q1 |
| vadd.i32 q8, q8, q4 |
| vld1.8 {d18-d19}, [r2, : 128]! |
| vshl.i32 q10, q2, #4 |
| vld1.8 {d22-d23}, [r2, : 128]! |
| vadd.i32 q10, q10, q2 |
| vld1.8 {d24}, [r2, : 64] |
| vadd.i32 q5, q5, q0 |
| add r2, r3, #288 |
| vld1.8 {d26-d27}, [r2, : 128]! |
| vadd.i32 q6, q6, q3 |
| vld1.8 {d28-d29}, [r2, : 128]! |
| vadd.i32 q8, q8, q4 |
| vld1.8 {d25}, [r2, : 64] |
| vadd.i32 q10, q10, q2 |
| vtrn.32 q9, q13 |
| vadd.i32 q7, q7, q1 |
| vadd.i32 q5, q5, q0 |
| vtrn.32 q11, q14 |
| vadd.i32 q6, q6, q3 |
| add r2, sp, #528 |
| vadd.i32 q10, q10, q2 |
| vtrn.32 d24, d25 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vshl.i32 q6, q13, #1 |
| vst1.8 {d20-d21}, [r2, : 128]! |
| vshl.i32 q10, q14, #1 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vshl.i32 q15, q12, #1 |
| vadd.i32 q8, q8, q4 |
| vext.32 d10, d31, d30, #0 |
| vadd.i32 q7, q7, q1 |
| vst1.8 {d16-d17}, [r2, : 128]! |
| vmull.s32 q8, d18, d5 |
| vmlal.s32 q8, d26, d4 |
| vmlal.s32 q8, d19, d9 |
| vmlal.s32 q8, d27, d3 |
| vmlal.s32 q8, d22, d8 |
| vmlal.s32 q8, d28, d2 |
| vmlal.s32 q8, d23, d7 |
| vmlal.s32 q8, d29, d1 |
| vmlal.s32 q8, d24, d6 |
| vmlal.s32 q8, d25, d0 |
| vst1.8 {d14-d15}, [r2, : 128]! |
| vmull.s32 q2, d18, d4 |
| vmlal.s32 q2, d12, d9 |
| vmlal.s32 q2, d13, d8 |
| vmlal.s32 q2, d19, d3 |
| vmlal.s32 q2, d22, d2 |
| vmlal.s32 q2, d23, d1 |
| vmlal.s32 q2, d24, d0 |
| vst1.8 {d20-d21}, [r2, : 128]! |
| vmull.s32 q7, d18, d9 |
| vmlal.s32 q7, d26, d3 |
| vmlal.s32 q7, d19, d8 |
| vmlal.s32 q7, d27, d2 |
| vmlal.s32 q7, d22, d7 |
| vmlal.s32 q7, d28, d1 |
| vmlal.s32 q7, d23, d6 |
| vmlal.s32 q7, d29, d0 |
| vst1.8 {d10-d11}, [r2, : 128]! |
| vmull.s32 q5, d18, d3 |
| vmlal.s32 q5, d19, d2 |
| vmlal.s32 q5, d22, d1 |
| vmlal.s32 q5, d23, d0 |
| vmlal.s32 q5, d12, d8 |
| vst1.8 {d16-d17}, [r2, : 128]! |
| vmull.s32 q4, d18, d8 |
| vmlal.s32 q4, d26, d2 |
| vmlal.s32 q4, d19, d7 |
| vmlal.s32 q4, d27, d1 |
| vmlal.s32 q4, d22, d6 |
| vmlal.s32 q4, d28, d0 |
| vmull.s32 q8, d18, d7 |
| vmlal.s32 q8, d26, d1 |
| vmlal.s32 q8, d19, d6 |
| vmlal.s32 q8, d27, d0 |
| add r2, sp, #544 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vmlal.s32 q7, d24, d21 |
| vmlal.s32 q7, d25, d20 |
| vmlal.s32 q4, d23, d21 |
| vmlal.s32 q4, d29, d20 |
| vmlal.s32 q8, d22, d21 |
| vmlal.s32 q8, d28, d20 |
| vmlal.s32 q5, d24, d20 |
| vst1.8 {d14-d15}, [r2, : 128] |
| vmull.s32 q7, d18, d6 |
| vmlal.s32 q7, d26, d0 |
| add r2, sp, #624 |
| vld1.8 {d30-d31}, [r2, : 128] |
| vmlal.s32 q2, d30, d21 |
| vmlal.s32 q7, d19, d21 |
| vmlal.s32 q7, d27, d20 |
| add r2, sp, #592 |
| vld1.8 {d26-d27}, [r2, : 128] |
| vmlal.s32 q4, d25, d27 |
| vmlal.s32 q8, d29, d27 |
| vmlal.s32 q8, d25, d26 |
| vmlal.s32 q7, d28, d27 |
| vmlal.s32 q7, d29, d26 |
| add r2, sp, #576 |
| vld1.8 {d28-d29}, [r2, : 128] |
| vmlal.s32 q4, d24, d29 |
| vmlal.s32 q8, d23, d29 |
| vmlal.s32 q8, d24, d28 |
| vmlal.s32 q7, d22, d29 |
| vmlal.s32 q7, d23, d28 |
| vst1.8 {d8-d9}, [r2, : 128] |
| add r2, sp, #528 |
| vld1.8 {d8-d9}, [r2, : 128] |
| vmlal.s32 q7, d24, d9 |
| vmlal.s32 q7, d25, d31 |
| vmull.s32 q1, d18, d2 |
| vmlal.s32 q1, d19, d1 |
| vmlal.s32 q1, d22, d0 |
| vmlal.s32 q1, d24, d27 |
| vmlal.s32 q1, d23, d20 |
| vmlal.s32 q1, d12, d7 |
| vmlal.s32 q1, d13, d6 |
| vmull.s32 q6, d18, d1 |
| vmlal.s32 q6, d19, d0 |
| vmlal.s32 q6, d23, d27 |
| vmlal.s32 q6, d22, d20 |
| vmlal.s32 q6, d24, d26 |
| vmull.s32 q0, d18, d0 |
| vmlal.s32 q0, d22, d27 |
| vmlal.s32 q0, d23, d26 |
| vmlal.s32 q0, d24, d31 |
| vmlal.s32 q0, d19, d20 |
| add r2, sp, #608 |
| vld1.8 {d18-d19}, [r2, : 128] |
| vmlal.s32 q2, d18, d7 |
| vmlal.s32 q5, d18, d6 |
| vmlal.s32 q1, d18, d21 |
| vmlal.s32 q0, d18, d28 |
| vmlal.s32 q6, d18, d29 |
| vmlal.s32 q2, d19, d6 |
| vmlal.s32 q5, d19, d21 |
| vmlal.s32 q1, d19, d29 |
| vmlal.s32 q0, d19, d9 |
| vmlal.s32 q6, d19, d28 |
| add r2, sp, #560 |
| vld1.8 {d18-d19}, [r2, : 128] |
| add r2, sp, #480 |
| vld1.8 {d22-d23}, [r2, : 128] |
| vmlal.s32 q5, d19, d7 |
| vmlal.s32 q0, d18, d21 |
| vmlal.s32 q0, d19, d29 |
| vmlal.s32 q6, d18, d6 |
| add r2, sp, #496 |
| vld1.8 {d6-d7}, [r2, : 128] |
| vmlal.s32 q6, d19, d21 |
| add r2, sp, #544 |
| vld1.8 {d18-d19}, [r2, : 128] |
| vmlal.s32 q0, d30, d8 |
| add r2, sp, #640 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vmlal.s32 q5, d30, d29 |
| add r2, sp, #576 |
| vld1.8 {d24-d25}, [r2, : 128] |
| vmlal.s32 q1, d30, d28 |
| vadd.i64 q13, q0, q11 |
| vadd.i64 q14, q5, q11 |
| vmlal.s32 q6, d30, d9 |
| vshr.s64 q4, q13, #26 |
| vshr.s64 q13, q14, #26 |
| vadd.i64 q7, q7, q4 |
| vshl.i64 q4, q4, #26 |
| vadd.i64 q14, q7, q3 |
| vadd.i64 q9, q9, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q15, q9, q3 |
| vsub.i64 q0, q0, q4 |
| vshr.s64 q4, q14, #25 |
| vsub.i64 q5, q5, q13 |
| vshr.s64 q13, q15, #25 |
| vadd.i64 q6, q6, q4 |
| vshl.i64 q4, q4, #25 |
| vadd.i64 q14, q6, q11 |
| vadd.i64 q2, q2, q13 |
| vsub.i64 q4, q7, q4 |
| vshr.s64 q7, q14, #26 |
| vshl.i64 q13, q13, #25 |
| vadd.i64 q14, q2, q11 |
| vadd.i64 q8, q8, q7 |
| vshl.i64 q7, q7, #26 |
| vadd.i64 q15, q8, q3 |
| vsub.i64 q9, q9, q13 |
| vshr.s64 q13, q14, #26 |
| vsub.i64 q6, q6, q7 |
| vshr.s64 q7, q15, #25 |
| vadd.i64 q10, q10, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q14, q10, q3 |
| vadd.i64 q1, q1, q7 |
| add r2, r3, #288 |
| vshl.i64 q7, q7, #25 |
| add r4, r3, #96 |
| vadd.i64 q15, q1, q11 |
| add r2, r2, #8 |
| vsub.i64 q2, q2, q13 |
| add r4, r4, #8 |
| vshr.s64 q13, q14, #25 |
| vsub.i64 q7, q8, q7 |
| vshr.s64 q8, q15, #26 |
| vadd.i64 q14, q13, q13 |
| vadd.i64 q12, q12, q8 |
| vtrn.32 d12, d14 |
| vshl.i64 q8, q8, #26 |
| vtrn.32 d13, d15 |
| vadd.i64 q3, q12, q3 |
| vadd.i64 q0, q0, q14 |
| vst1.8 d12, [r2, : 64]! |
| vshl.i64 q7, q13, #4 |
| vst1.8 d13, [r4, : 64]! |
| vsub.i64 q1, q1, q8 |
| vshr.s64 q3, q3, #25 |
| vadd.i64 q0, q0, q7 |
| vadd.i64 q5, q5, q3 |
| vshl.i64 q3, q3, #25 |
| vadd.i64 q6, q5, q11 |
| vadd.i64 q0, q0, q13 |
| vshl.i64 q7, q13, #25 |
| vadd.i64 q8, q0, q11 |
| vsub.i64 q3, q12, q3 |
| vshr.s64 q6, q6, #26 |
| vsub.i64 q7, q10, q7 |
| vtrn.32 d2, d6 |
| vshr.s64 q8, q8, #26 |
| vtrn.32 d3, d7 |
| vadd.i64 q3, q9, q6 |
| vst1.8 d2, [r2, : 64] |
| vshl.i64 q6, q6, #26 |
| vst1.8 d3, [r4, : 64] |
| vadd.i64 q1, q4, q8 |
| vtrn.32 d4, d14 |
| vshl.i64 q4, q8, #26 |
| vtrn.32 d5, d15 |
| vsub.i64 q5, q5, q6 |
| add r2, r2, #16 |
| vsub.i64 q0, q0, q4 |
| vst1.8 d4, [r2, : 64] |
| add r4, r4, #16 |
| vst1.8 d5, [r4, : 64] |
| vtrn.32 d10, d6 |
| vtrn.32 d11, d7 |
| sub r2, r2, #8 |
| sub r4, r4, #8 |
| vtrn.32 d0, d2 |
| vtrn.32 d1, d3 |
| vst1.8 d10, [r2, : 64] |
| vst1.8 d11, [r4, : 64] |
| sub r2, r2, #24 |
| sub r4, r4, #24 |
| vst1.8 d0, [r2, : 64] |
| vst1.8 d1, [r4, : 64] |
| add r2, sp, #512 |
| add r4, r3, #144 |
| add r5, r3, #192 |
| vld1.8 {d0-d1}, [r2, : 128] |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vld1.8 {d4-d5}, [r5, : 128]! |
| vzip.i32 q1, q2 |
| vld1.8 {d6-d7}, [r4, : 128]! |
| vld1.8 {d8-d9}, [r5, : 128]! |
| vshl.i32 q5, q1, #1 |
| vzip.i32 q3, q4 |
| vshl.i32 q6, q2, #1 |
| vld1.8 {d14}, [r4, : 64] |
| vshl.i32 q8, q3, #1 |
| vld1.8 {d15}, [r5, : 64] |
| vshl.i32 q9, q4, #1 |
| vmul.i32 d21, d7, d1 |
| vtrn.32 d14, d15 |
| vmul.i32 q11, q4, q0 |
| vmul.i32 q0, q7, q0 |
| vmull.s32 q12, d2, d2 |
| vmlal.s32 q12, d11, d1 |
| vmlal.s32 q12, d12, d0 |
| vmlal.s32 q12, d13, d23 |
| vmlal.s32 q12, d16, d22 |
| vmlal.s32 q12, d7, d21 |
| vmull.s32 q10, d2, d11 |
| vmlal.s32 q10, d4, d1 |
| vmlal.s32 q10, d13, d0 |
| vmlal.s32 q10, d6, d23 |
| vmlal.s32 q10, d17, d22 |
| vmull.s32 q13, d10, d4 |
| vmlal.s32 q13, d11, d3 |
| vmlal.s32 q13, d13, d1 |
| vmlal.s32 q13, d16, d0 |
| vmlal.s32 q13, d17, d23 |
| vmlal.s32 q13, d8, d22 |
| vmull.s32 q1, d10, d5 |
| vmlal.s32 q1, d11, d4 |
| vmlal.s32 q1, d6, d1 |
| vmlal.s32 q1, d17, d0 |
| vmlal.s32 q1, d8, d23 |
| vmull.s32 q14, d10, d6 |
| vmlal.s32 q14, d11, d13 |
| vmlal.s32 q14, d4, d4 |
| vmlal.s32 q14, d17, d1 |
| vmlal.s32 q14, d18, d0 |
| vmlal.s32 q14, d9, d23 |
| vmull.s32 q11, d10, d7 |
| vmlal.s32 q11, d11, d6 |
| vmlal.s32 q11, d12, d5 |
| vmlal.s32 q11, d8, d1 |
| vmlal.s32 q11, d19, d0 |
| vmull.s32 q15, d10, d8 |
| vmlal.s32 q15, d11, d17 |
| vmlal.s32 q15, d12, d6 |
| vmlal.s32 q15, d13, d5 |
| vmlal.s32 q15, d19, d1 |
| vmlal.s32 q15, d14, d0 |
| vmull.s32 q2, d10, d9 |
| vmlal.s32 q2, d11, d8 |
| vmlal.s32 q2, d12, d7 |
| vmlal.s32 q2, d13, d6 |
| vmlal.s32 q2, d14, d1 |
| vmull.s32 q0, d15, d1 |
| vmlal.s32 q0, d10, d14 |
| vmlal.s32 q0, d11, d19 |
| vmlal.s32 q0, d12, d8 |
| vmlal.s32 q0, d13, d17 |
| vmlal.s32 q0, d6, d6 |
| add r2, sp, #480 |
| vld1.8 {d18-d19}, [r2, : 128]! |
| vmull.s32 q3, d16, d7 |
| vmlal.s32 q3, d10, d15 |
| vmlal.s32 q3, d11, d14 |
| vmlal.s32 q3, d12, d9 |
| vmlal.s32 q3, d13, d8 |
| vld1.8 {d8-d9}, [r2, : 128] |
| vadd.i64 q5, q12, q9 |
| vadd.i64 q6, q15, q9 |
| vshr.s64 q5, q5, #26 |
| vshr.s64 q6, q6, #26 |
| vadd.i64 q7, q10, q5 |
| vshl.i64 q5, q5, #26 |
| vadd.i64 q8, q7, q4 |
| vadd.i64 q2, q2, q6 |
| vshl.i64 q6, q6, #26 |
| vadd.i64 q10, q2, q4 |
| vsub.i64 q5, q12, q5 |
| vshr.s64 q8, q8, #25 |
| vsub.i64 q6, q15, q6 |
| vshr.s64 q10, q10, #25 |
| vadd.i64 q12, q13, q8 |
| vshl.i64 q8, q8, #25 |
| vadd.i64 q13, q12, q9 |
| vadd.i64 q0, q0, q10 |
| vsub.i64 q7, q7, q8 |
| vshr.s64 q8, q13, #26 |
| vshl.i64 q10, q10, #25 |
| vadd.i64 q13, q0, q9 |
| vadd.i64 q1, q1, q8 |
| vshl.i64 q8, q8, #26 |
| vadd.i64 q15, q1, q4 |
| vsub.i64 q2, q2, q10 |
| vshr.s64 q10, q13, #26 |
| vsub.i64 q8, q12, q8 |
| vshr.s64 q12, q15, #25 |
| vadd.i64 q3, q3, q10 |
| vshl.i64 q10, q10, #26 |
| vadd.i64 q13, q3, q4 |
| vadd.i64 q14, q14, q12 |
| add r2, r3, #144 |
| vshl.i64 q12, q12, #25 |
| add r4, r3, #192 |
| vadd.i64 q15, q14, q9 |
| add r2, r2, #8 |
| vsub.i64 q0, q0, q10 |
| add r4, r4, #8 |
| vshr.s64 q10, q13, #25 |
| vsub.i64 q1, q1, q12 |
| vshr.s64 q12, q15, #26 |
| vadd.i64 q13, q10, q10 |
| vadd.i64 q11, q11, q12 |
| vtrn.32 d16, d2 |
| vshl.i64 q12, q12, #26 |
| vtrn.32 d17, d3 |
| vadd.i64 q1, q11, q4 |
| vadd.i64 q4, q5, q13 |
| vst1.8 d16, [r2, : 64]! |
| vshl.i64 q5, q10, #4 |
| vst1.8 d17, [r4, : 64]! |
| vsub.i64 q8, q14, q12 |
| vshr.s64 q1, q1, #25 |
| vadd.i64 q4, q4, q5 |
| vadd.i64 q5, q6, q1 |
| vshl.i64 q1, q1, #25 |
| vadd.i64 q6, q5, q9 |
| vadd.i64 q4, q4, q10 |
| vshl.i64 q10, q10, #25 |
| vadd.i64 q9, q4, q9 |
| vsub.i64 q1, q11, q1 |
| vshr.s64 q6, q6, #26 |
| vsub.i64 q3, q3, q10 |
| vtrn.32 d16, d2 |
| vshr.s64 q9, q9, #26 |
| vtrn.32 d17, d3 |
| vadd.i64 q1, q2, q6 |
| vst1.8 d16, [r2, : 64] |
| vshl.i64 q2, q6, #26 |
| vst1.8 d17, [r4, : 64] |
| vadd.i64 q6, q7, q9 |
| vtrn.32 d0, d6 |
| vshl.i64 q7, q9, #26 |
| vtrn.32 d1, d7 |
| vsub.i64 q2, q5, q2 |
| add r2, r2, #16 |
| vsub.i64 q3, q4, q7 |
| vst1.8 d0, [r2, : 64] |
| add r4, r4, #16 |
| vst1.8 d1, [r4, : 64] |
| vtrn.32 d4, d2 |
| vtrn.32 d5, d3 |
| sub r2, r2, #8 |
| sub r4, r4, #8 |
| vtrn.32 d6, d12 |
| vtrn.32 d7, d13 |
| vst1.8 d4, [r2, : 64] |
| vst1.8 d5, [r4, : 64] |
| sub r2, r2, #24 |
| sub r4, r4, #24 |
| vst1.8 d6, [r2, : 64] |
| vst1.8 d7, [r4, : 64] |
| add r2, r3, #336 |
| add r4, r3, #288 |
| vld1.8 {d0-d1}, [r2, : 128]! |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vadd.i32 q0, q0, q1 |
| vld1.8 {d2-d3}, [r2, : 128]! |
| vld1.8 {d4-d5}, [r4, : 128]! |
| vadd.i32 q1, q1, q2 |
| add r5, r3, #288 |
| vld1.8 {d4}, [r2, : 64] |
| vld1.8 {d6}, [r4, : 64] |
| vadd.i32 q2, q2, q3 |
| vst1.8 {d0-d1}, [r5, : 128]! |
| vst1.8 {d2-d3}, [r5, : 128]! |
| vst1.8 d4, [r5, : 64] |
| add r2, r3, #48 |
| add r4, r3, #144 |
| vld1.8 {d0-d1}, [r4, : 128]! |
| vld1.8 {d2-d3}, [r4, : 128]! |
| vld1.8 {d4}, [r4, : 64] |
| add r4, r3, #288 |
| vld1.8 {d6-d7}, [r4, : 128]! |
| vtrn.32 q0, q3 |
| vld1.8 {d8-d9}, [r4, : 128]! |
| vshl.i32 q5, q0, #4 |
| vtrn.32 q1, q4 |
| vshl.i32 q6, q3, #4 |
| vadd.i32 q5, q5, q0 |
| vadd.i32 q6, q6, q3 |
| vshl.i32 q7, q1, #4 |
| vld1.8 {d5}, [r4, : 64] |
| vshl.i32 q8, q4, #4 |
| vtrn.32 d4, d5 |
| vadd.i32 q7, q7, q1 |
| vadd.i32 q8, q8, q4 |
| vld1.8 {d18-d19}, [r2, : 128]! |
| vshl.i32 q10, q2, #4 |
| vld1.8 {d22-d23}, [r2, : 128]! |
| vadd.i32 q10, q10, q2 |
| vld1.8 {d24}, [r2, : 64] |
| vadd.i32 q5, q5, q0 |
| add r2, r3, #240 |
| vld1.8 {d26-d27}, [r2, : 128]! |
| vadd.i32 q6, q6, q3 |
| vld1.8 {d28-d29}, [r2, : 128]! |
| vadd.i32 q8, q8, q4 |
| vld1.8 {d25}, [r2, : 64] |
| vadd.i32 q10, q10, q2 |
| vtrn.32 q9, q13 |
| vadd.i32 q7, q7, q1 |
| vadd.i32 q5, q5, q0 |
| vtrn.32 q11, q14 |
| vadd.i32 q6, q6, q3 |
| add r2, sp, #528 |
| vadd.i32 q10, q10, q2 |
| vtrn.32 d24, d25 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vshl.i32 q6, q13, #1 |
| vst1.8 {d20-d21}, [r2, : 128]! |
| vshl.i32 q10, q14, #1 |
| vst1.8 {d12-d13}, [r2, : 128]! |
| vshl.i32 q15, q12, #1 |
| vadd.i32 q8, q8, q4 |
| vext.32 d10, d31, d30, #0 |
| vadd.i32 q7, q7, q1 |
| vst1.8 {d16-d17}, [r2, : 128]! |
| vmull.s32 q8, d18, d5 |
| vmlal.s32 q8, d26, d4 |
| vmlal.s32 q8, d19, d9 |
| vmlal.s32 q8, d27, d3 |
| vmlal.s32 q8, d22, d8 |
| vmlal.s32 q8, d28, d2 |
| vmlal.s32 q8, d23, d7 |
| vmlal.s32 q8, d29, d1 |
| vmlal.s32 q8, d24, d6 |
| vmlal.s32 q8, d25, d0 |
| vst1.8 {d14-d15}, [r2, : 128]! |
| vmull.s32 q2, d18, d4 |
| vmlal.s32 q2, d12, d9 |
| vmlal.s32 q2, d13, d8 |
| vmlal.s32 q2, d19, d3 |
| vmlal.s32 q2, d22, d2 |
| vmlal.s32 q2, d23, d1 |
| vmlal.s32 q2, d24, d0 |
| vst1.8 {d20-d21}, [r2, : 128]! |
| vmull.s32 q7, d18, d9 |
| vmlal.s32 q7, d26, d3 |
| vmlal.s32 q7, d19, d8 |
| vmlal.s32 q7, d27, d2 |
| vmlal.s32 q7, d22, d7 |
| vmlal.s32 q7, d28, d1 |
| vmlal.s32 q7, d23, d6 |
| vmlal.s32 q7, d29, d0 |
| vst1.8 {d10-d11}, [r2, : 128]! |
| vmull.s32 q5, d18, d3 |
| vmlal.s32 q5, d19, d2 |
| vmlal.s32 q5, d22, d1 |
| vmlal.s32 q5, d23, d0 |
| vmlal.s32 q5, d12, d8 |
| vst1.8 {d16-d17}, [r2, : 128]! |
| vmull.s32 q4, d18, d8 |
| vmlal.s32 q4, d26, d2 |
| vmlal.s32 q4, d19, d7 |
| vmlal.s32 q4, d27, d1 |
| vmlal.s32 q4, d22, d6 |
| vmlal.s32 q4, d28, d0 |
| vmull.s32 q8, d18, d7 |
| vmlal.s32 q8, d26, d1 |
| vmlal.s32 q8, d19, d6 |
| vmlal.s32 q8, d27, d0 |
| add r2, sp, #544 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vmlal.s32 q7, d24, d21 |
| vmlal.s32 q7, d25, d20 |
| vmlal.s32 q4, d23, d21 |
| vmlal.s32 q4, d29, d20 |
| vmlal.s32 q8, d22, d21 |
| vmlal.s32 q8, d28, d20 |
| vmlal.s32 q5, d24, d20 |
| vst1.8 {d14-d15}, [r2, : 128] |
| vmull.s32 q7, d18, d6 |
| vmlal.s32 q7, d26, d0 |
| add r2, sp, #624 |
| vld1.8 {d30-d31}, [r2, : 128] |
| vmlal.s32 q2, d30, d21 |
| vmlal.s32 q7, d19, d21 |
| vmlal.s32 q7, d27, d20 |
| add r2, sp, #592 |
| vld1.8 {d26-d27}, [r2, : 128] |
| vmlal.s32 q4, d25, d27 |
| vmlal.s32 q8, d29, d27 |
| vmlal.s32 q8, d25, d26 |
| vmlal.s32 q7, d28, d27 |
| vmlal.s32 q7, d29, d26 |
| add r2, sp, #576 |
| vld1.8 {d28-d29}, [r2, : 128] |
| vmlal.s32 q4, d24, d29 |
| vmlal.s32 q8, d23, d29 |
| vmlal.s32 q8, d24, d28 |
| vmlal.s32 q7, d22, d29 |
| vmlal.s32 q7, d23, d28 |
| vst1.8 {d8-d9}, [r2, : 128] |
| add r2, sp, #528 |
| vld1.8 {d8-d9}, [r2, : 128] |
| vmlal.s32 q7, d24, d9 |
| vmlal.s32 q7, d25, d31 |
| vmull.s32 q1, d18, d2 |
| vmlal.s32 q1, d19, d1 |
| vmlal.s32 q1, d22, d0 |
| vmlal.s32 q1, d24, d27 |
| vmlal.s32 q1, d23, d20 |
| vmlal.s32 q1, d12, d7 |
| vmlal.s32 q1, d13, d6 |
| vmull.s32 q6, d18, d1 |
| vmlal.s32 q6, d19, d0 |
| vmlal.s32 q6, d23, d27 |
| vmlal.s32 q6, d22, d20 |
| vmlal.s32 q6, d24, d26 |
| vmull.s32 q0, d18, d0 |
| vmlal.s32 q0, d22, d27 |
| vmlal.s32 q0, d23, d26 |
| vmlal.s32 q0, d24, d31 |
| vmlal.s32 q0, d19, d20 |
| add r2, sp, #608 |
| vld1.8 {d18-d19}, [r2, : 128] |
| vmlal.s32 q2, d18, d7 |
| vmlal.s32 q5, d18, d6 |
| vmlal.s32 q1, d18, d21 |
| vmlal.s32 q0, d18, d28 |
| vmlal.s32 q6, d18, d29 |
| vmlal.s32 q2, d19, d6 |
| vmlal.s32 q5, d19, d21 |
| vmlal.s32 q1, d19, d29 |
| vmlal.s32 q0, d19, d9 |
| vmlal.s32 q6, d19, d28 |
| add r2, sp, #560 |
| vld1.8 {d18-d19}, [r2, : 128] |
| add r2, sp, #480 |
| vld1.8 {d22-d23}, [r2, : 128] |
| vmlal.s32 q5, d19, d7 |
| vmlal.s32 q0, d18, d21 |
| vmlal.s32 q0, d19, d29 |
| vmlal.s32 q6, d18, d6 |
| add r2, sp, #496 |
| vld1.8 {d6-d7}, [r2, : 128] |
| vmlal.s32 q6, d19, d21 |
| add r2, sp, #544 |
| vld1.8 {d18-d19}, [r2, : 128] |
| vmlal.s32 q0, d30, d8 |
| add r2, sp, #640 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vmlal.s32 q5, d30, d29 |
| add r2, sp, #576 |
| vld1.8 {d24-d25}, [r2, : 128] |
| vmlal.s32 q1, d30, d28 |
| vadd.i64 q13, q0, q11 |
| vadd.i64 q14, q5, q11 |
| vmlal.s32 q6, d30, d9 |
| vshr.s64 q4, q13, #26 |
| vshr.s64 q13, q14, #26 |
| vadd.i64 q7, q7, q4 |
| vshl.i64 q4, q4, #26 |
| vadd.i64 q14, q7, q3 |
| vadd.i64 q9, q9, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q15, q9, q3 |
| vsub.i64 q0, q0, q4 |
| vshr.s64 q4, q14, #25 |
| vsub.i64 q5, q5, q13 |
| vshr.s64 q13, q15, #25 |
| vadd.i64 q6, q6, q4 |
| vshl.i64 q4, q4, #25 |
| vadd.i64 q14, q6, q11 |
| vadd.i64 q2, q2, q13 |
| vsub.i64 q4, q7, q4 |
| vshr.s64 q7, q14, #26 |
| vshl.i64 q13, q13, #25 |
| vadd.i64 q14, q2, q11 |
| vadd.i64 q8, q8, q7 |
| vshl.i64 q7, q7, #26 |
| vadd.i64 q15, q8, q3 |
| vsub.i64 q9, q9, q13 |
| vshr.s64 q13, q14, #26 |
| vsub.i64 q6, q6, q7 |
| vshr.s64 q7, q15, #25 |
| vadd.i64 q10, q10, q13 |
| vshl.i64 q13, q13, #26 |
| vadd.i64 q14, q10, q3 |
| vadd.i64 q1, q1, q7 |
| add r2, r3, #240 |
| vshl.i64 q7, q7, #25 |
| add r4, r3, #144 |
| vadd.i64 q15, q1, q11 |
| add r2, r2, #8 |
| vsub.i64 q2, q2, q13 |
| add r4, r4, #8 |
| vshr.s64 q13, q14, #25 |
| vsub.i64 q7, q8, q7 |
| vshr.s64 q8, q15, #26 |
| vadd.i64 q14, q13, q13 |
| vadd.i64 q12, q12, q8 |
| vtrn.32 d12, d14 |
| vshl.i64 q8, q8, #26 |
| vtrn.32 d13, d15 |
| vadd.i64 q3, q12, q3 |
| vadd.i64 q0, q0, q14 |
| vst1.8 d12, [r2, : 64]! |
| vshl.i64 q7, q13, #4 |
| vst1.8 d13, [r4, : 64]! |
| vsub.i64 q1, q1, q8 |
| vshr.s64 q3, q3, #25 |
| vadd.i64 q0, q0, q7 |
| vadd.i64 q5, q5, q3 |
| vshl.i64 q3, q3, #25 |
| vadd.i64 q6, q5, q11 |
| vadd.i64 q0, q0, q13 |
| vshl.i64 q7, q13, #25 |
| vadd.i64 q8, q0, q11 |
| vsub.i64 q3, q12, q3 |
| vshr.s64 q6, q6, #26 |
| vsub.i64 q7, q10, q7 |
| vtrn.32 d2, d6 |
| vshr.s64 q8, q8, #26 |
| vtrn.32 d3, d7 |
| vadd.i64 q3, q9, q6 |
| vst1.8 d2, [r2, : 64] |
| vshl.i64 q6, q6, #26 |
| vst1.8 d3, [r4, : 64] |
| vadd.i64 q1, q4, q8 |
| vtrn.32 d4, d14 |
| vshl.i64 q4, q8, #26 |
| vtrn.32 d5, d15 |
| vsub.i64 q5, q5, q6 |
| add r2, r2, #16 |
| vsub.i64 q0, q0, q4 |
| vst1.8 d4, [r2, : 64] |
| add r4, r4, #16 |
| vst1.8 d5, [r4, : 64] |
| vtrn.32 d10, d6 |
| vtrn.32 d11, d7 |
| sub r2, r2, #8 |
| sub r4, r4, #8 |
| vtrn.32 d0, d2 |
| vtrn.32 d1, d3 |
| vst1.8 d10, [r2, : 64] |
| vst1.8 d11, [r4, : 64] |
| sub r2, r2, #24 |
| sub r4, r4, #24 |
| vst1.8 d0, [r2, : 64] |
| vst1.8 d1, [r4, : 64] |
| ldr r2, [sp, #456] |
| ldr r4, [sp, #460] |
| subs r5, r2, #1 |
| bge .Lmainloop |
| add r1, r3, #144 |
| add r2, r3, #336 |
| vld1.8 {d0-d1}, [r1, : 128]! |
| vld1.8 {d2-d3}, [r1, : 128]! |
| vld1.8 {d4}, [r1, : 64] |
| vst1.8 {d0-d1}, [r2, : 128]! |
| vst1.8 {d2-d3}, [r2, : 128]! |
| vst1.8 d4, [r2, : 64] |
| movw r1, #0 |
| .Linvertloop: |
| add r2, r3, #144 |
| movw r4, #0 |
| movw r5, #2 |
| cmp r1, #1 |
| moveq r5, #1 |
| addeq r2, r3, #336 |
| addeq r4, r3, #48 |
| cmp r1, #2 |
| moveq r5, #1 |
| addeq r2, r3, #48 |
| cmp r1, #3 |
| moveq r5, #5 |
| addeq r4, r3, #336 |
| cmp r1, #4 |
| moveq r5, #10 |
| cmp r1, #5 |
| moveq r5, #20 |
| cmp r1, #6 |
| moveq r5, #10 |
| addeq r2, r3, #336 |
| addeq r4, r3, #336 |
| cmp r1, #7 |
| moveq r5, #50 |
| cmp r1, #8 |
| moveq r5, #100 |
| cmp r1, #9 |
| moveq r5, #50 |
| addeq r2, r3, #336 |
| cmp r1, #10 |
| moveq r5, #5 |
| addeq r2, r3, #48 |
| cmp r1, #11 |
| moveq r5, #0 |
| addeq r2, r3, #96 |
| add r6, r3, #144 |
| add r7, r3, #288 |
| vld1.8 {d0-d1}, [r6, : 128]! |
| vld1.8 {d2-d3}, [r6, : 128]! |
| vld1.8 {d4}, [r6, : 64] |
| vst1.8 {d0-d1}, [r7, : 128]! |
| vst1.8 {d2-d3}, [r7, : 128]! |
| vst1.8 d4, [r7, : 64] |
| cmp r5, #0 |
| beq .Lskipsquaringloop |
| .Lsquaringloop: |
| add r6, r3, #288 |
| add r7, r3, #288 |
| add r8, r3, #288 |
| vmov.i32 q0, #19 |
| vmov.i32 q1, #0 |
| vmov.i32 q2, #1 |
| vzip.i32 q1, q2 |
| vld1.8 {d4-d5}, [r7, : 128]! |
| vld1.8 {d6-d7}, [r7, : 128]! |
| vld1.8 {d9}, [r7, : 64] |
| vld1.8 {d10-d11}, [r6, : 128]! |
| add r7, sp, #384 |
| vld1.8 {d12-d13}, [r6, : 128]! |
| vmul.i32 q7, q2, q0 |
| vld1.8 {d8}, [r6, : 64] |
| vext.32 d17, d11, d10, #1 |
| vmul.i32 q9, q3, q0 |
| vext.32 d16, d10, d8, #1 |
| vshl.u32 q10, q5, q1 |
| vext.32 d22, d14, d4, #1 |
| vext.32 d24, d18, d6, #1 |
| vshl.u32 q13, q6, q1 |
| vshl.u32 d28, d8, d2 |
| vrev64.i32 d22, d22 |
| vmul.i32 d1, d9, d1 |
| vrev64.i32 d24, d24 |
| vext.32 d29, d8, d13, #1 |
| vext.32 d0, d1, d9, #1 |
| vrev64.i32 d0, d0 |
| vext.32 d2, d9, d1, #1 |
| vext.32 d23, d15, d5, #1 |
| vmull.s32 q4, d20, d4 |
| vrev64.i32 d23, d23 |
| vmlal.s32 q4, d21, d1 |
| vrev64.i32 d2, d2 |
| vmlal.s32 q4, d26, d19 |
| vext.32 d3, d5, d15, #1 |
| vmlal.s32 q4, d27, d18 |
| vrev64.i32 d3, d3 |
| vmlal.s32 q4, d28, d15 |
| vext.32 d14, d12, d11, #1 |
| vmull.s32 q5, d16, d23 |
| vext.32 d15, d13, d12, #1 |
| vmlal.s32 q5, d17, d4 |
| vst1.8 d8, [r7, : 64]! |
| vmlal.s32 q5, d14, d1 |
| vext.32 d12, d9, d8, #0 |
| vmlal.s32 q5, d15, d19 |
| vmov.i64 d13, #0 |
| vmlal.s32 q5, d29, d18 |
| vext.32 d25, d19, d7, #1 |
| vmlal.s32 q6, d20, d5 |
| vrev64.i32 d25, d25 |
| vmlal.s32 q6, d21, d4 |
| vst1.8 d11, [r7, : 64]! |
| vmlal.s32 q6, d26, d1 |
| vext.32 d9, d10, d10, #0 |
| vmlal.s32 q6, d27, d19 |
| vmov.i64 d8, #0 |
| vmlal.s32 q6, d28, d18 |
| vmlal.s32 q4, d16, d24 |
| vmlal.s32 q4, d17, d5 |
| vmlal.s32 q4, d14, d4 |
| vst1.8 d12, [r7, : 64]! |
| vmlal.s32 q4, d15, d1 |
| vext.32 d10, d13, d12, #0 |
| vmlal.s32 q4, d29, d19 |
| vmov.i64 d11, #0 |
| vmlal.s32 q5, d20, d6 |
| vmlal.s32 q5, d21, d5 |
| vmlal.s32 q5, d26, d4 |
| vext.32 d13, d8, d8, #0 |
| vmlal.s32 q5, d27, d1 |
| vmov.i64 d12, #0 |
| vmlal.s32 q5, d28, d19 |
| vst1.8 d9, [r7, : 64]! |
| vmlal.s32 q6, d16, d25 |
| vmlal.s32 q6, d17, d6 |
| vst1.8 d10, [r7, : 64] |
| vmlal.s32 q6, d14, d5 |
| vext.32 d8, d11, d10, #0 |
| vmlal.s32 q6, d15, d4 |
| vmov.i64 d9, #0 |
| vmlal.s32 q6, d29, d1 |
| vmlal.s32 q4, d20, d7 |
| vmlal.s32 q4, d21, d6 |
| vmlal.s32 q4, d26, d5 |
| vext.32 d11, d12, d12, #0 |
| vmlal.s32 q4, d27, d4 |
| vmov.i64 d10, #0 |
| vmlal.s32 q4, d28, d1 |
| vmlal.s32 q5, d16, d0 |
| sub r6, r7, #32 |
| vmlal.s32 q5, d17, d7 |
| vmlal.s32 q5, d14, d6 |
| vext.32 d30, d9, d8, #0 |
| vmlal.s32 q5, d15, d5 |
| vld1.8 {d31}, [r6, : 64]! |
| vmlal.s32 q5, d29, d4 |
| vmlal.s32 q15, d20, d0 |
| vext.32 d0, d6, d18, #1 |
| vmlal.s32 q15, d21, d25 |
| vrev64.i32 d0, d0 |
| vmlal.s32 q15, d26, d24 |
| vext.32 d1, d7, d19, #1 |
| vext.32 d7, d10, d10, #0 |
| vmlal.s32 q15, d27, d23 |
| vrev64.i32 d1, d1 |
| vld1.8 {d6}, [r6, : 64] |
| vmlal.s32 q15, d28, d22 |
| vmlal.s32 q3, d16, d4 |
| add r6, r6, #24 |
| vmlal.s32 q3, d17, d2 |
| vext.32 d4, d31, d30, #0 |
| vmov d17, d11 |
| vmlal.s32 q3, d14, d1 |
| vext.32 d11, d13, d13, #0 |
| vext.32 d13, d30, d30, #0 |
| vmlal.s32 q3, d15, d0 |
| vext.32 d1, d8, d8, #0 |
| vmlal.s32 q3, d29, d3 |
| vld1.8 {d5}, [r6, : 64] |
| sub r6, r6, #16 |
| vext.32 d10, d6, d6, #0 |
| vmov.i32 q1, #0xffffffff |
| vshl.i64 q4, q1, #25 |
| add r7, sp, #480 |
| vld1.8 {d14-d15}, [r7, : 128] |
| vadd.i64 q9, q2, q7 |
| vshl.i64 q1, q1, #26 |
| vshr.s64 q10, q9, #26 |
| vld1.8 {d0}, [r6, : 64]! |
| vadd.i64 q5, q5, q10 |
| vand q9, q9, q1 |
| vld1.8 {d16}, [r6, : 64]! |
| add r6, sp, #496 |
| vld1.8 {d20-d21}, [r6, : 128] |
| vadd.i64 q11, q5, q10 |
| vsub.i64 q2, q2, q9 |
| vshr.s64 q9, q11, #25 |
| vext.32 d12, d5, d4, #0 |
| vand q11, q11, q4 |
| vadd.i64 q0, q0, q9 |
| vmov d19, d7 |
| vadd.i64 q3, q0, q7 |
| vsub.i64 q5, q5, q11 |
| vshr.s64 q11, q3, #26 |
| vext.32 d18, d11, d10, #0 |
| vand q3, q3, q1 |
| vadd.i64 q8, q8, q11 |
| vadd.i64 q11, q8, q10 |
| vsub.i64 q0, q0, q3 |
| vshr.s64 q3, q11, #25 |
| vand q11, q11, q4 |
| vadd.i64 q3, q6, q3 |
| vadd.i64 q6, q3, q7 |
| vsub.i64 q8, q8, q11 |
| vshr.s64 q11, q6, #26 |
| vand q6, q6, q1 |
| vadd.i64 q9, q9, q11 |
| vadd.i64 d25, d19, d21 |
| vsub.i64 q3, q3, q6 |
| vshr.s64 d23, d25, #25 |
| vand q4, q12, q4 |
| vadd.i64 d21, d23, d23 |
| vshl.i64 d25, d23, #4 |
| vadd.i64 d21, d21, d23 |
| vadd.i64 d25, d25, d21 |
| vadd.i64 d4, d4, d25 |
| vzip.i32 q0, q8 |
| vadd.i64 d12, d4, d14 |
| add r6, r8, #8 |
| vst1.8 d0, [r6, : 64] |
| vsub.i64 d19, d19, d9 |
| add r6, r6, #16 |
| vst1.8 d16, [r6, : 64] |
| vshr.s64 d22, d12, #26 |
| vand q0, q6, q1 |
| vadd.i64 d10, d10, d22 |
| vzip.i32 q3, q9 |
| vsub.i64 d4, d4, d0 |
| sub r6, r6, #8 |
| vst1.8 d6, [r6, : 64] |
| add r6, r6, #16 |
| vst1.8 d18, [r6, : 64] |
| vzip.i32 q2, q5 |
| sub r6, r6, #32 |
| vst1.8 d4, [r6, : 64] |
| subs r5, r5, #1 |
| bhi .Lsquaringloop |
| .Lskipsquaringloop: |
| mov r2, r2 |
| add r5, r3, #288 |
| add r6, r3, #144 |
| vmov.i32 q0, #19 |
| vmov.i32 q1, #0 |
| vmov.i32 q2, #1 |
| vzip.i32 q1, q2 |
| vld1.8 {d4-d5}, [r5, : 128]! |
| vld1.8 {d6-d7}, [r5, : 128]! |
| vld1.8 {d9}, [r5, : 64] |
| vld1.8 {d10-d11}, [r2, : 128]! |
| add r5, sp, #384 |
| vld1.8 {d12-d13}, [r2, : 128]! |
| vmul.i32 q7, q2, q0 |
| vld1.8 {d8}, [r2, : 64] |
| vext.32 d17, d11, d10, #1 |
| vmul.i32 q9, q3, q0 |
| vext.32 d16, d10, d8, #1 |
| vshl.u32 q10, q5, q1 |
| vext.32 d22, d14, d4, #1 |
| vext.32 d24, d18, d6, #1 |
| vshl.u32 q13, q6, q1 |
| vshl.u32 d28, d8, d2 |
| vrev64.i32 d22, d22 |
| vmul.i32 d1, d9, d1 |
| vrev64.i32 d24, d24 |
| vext.32 d29, d8, d13, #1 |
| vext.32 d0, d1, d9, #1 |
| vrev64.i32 d0, d0 |
| vext.32 d2, d9, d1, #1 |
| vext.32 d23, d15, d5, #1 |
| vmull.s32 q4, d20, d4 |
| vrev64.i32 d23, d23 |
| vmlal.s32 q4, d21, d1 |
| vrev64.i32 d2, d2 |
| vmlal.s32 q4, d26, d19 |
| vext.32 d3, d5, d15, #1 |
| vmlal.s32 q4, d27, d18 |
| vrev64.i32 d3, d3 |
| vmlal.s32 q4, d28, d15 |
| vext.32 d14, d12, d11, #1 |
| vmull.s32 q5, d16, d23 |
| vext.32 d15, d13, d12, #1 |
| vmlal.s32 q5, d17, d4 |
| vst1.8 d8, [r5, : 64]! |
| vmlal.s32 q5, d14, d1 |
| vext.32 d12, d9, d8, #0 |
| vmlal.s32 q5, d15, d19 |
| vmov.i64 d13, #0 |
| vmlal.s32 q5, d29, d18 |
| vext.32 d25, d19, d7, #1 |
| vmlal.s32 q6, d20, d5 |
| vrev64.i32 d25, d25 |
| vmlal.s32 q6, d21, d4 |
| vst1.8 d11, [r5, : 64]! |
| vmlal.s32 q6, d26, d1 |
| vext.32 d9, d10, d10, #0 |
| vmlal.s32 q6, d27, d19 |
| vmov.i64 d8, #0 |
| vmlal.s32 q6, d28, d18 |
| vmlal.s32 q4, d16, d24 |
| vmlal.s32 q4, d17, d5 |
| vmlal.s32 q4, d14, d4 |
| vst1.8 d12, [r5, : 64]! |
| vmlal.s32 q4, d15, d1 |
| vext.32 d10, d13, d12, #0 |
| vmlal.s32 q4, d29, d19 |
| vmov.i64 d11, #0 |
| vmlal.s32 q5, d20, d6 |
| vmlal.s32 q5, d21, d5 |
| vmlal.s32 q5, d26, d4 |
| vext.32 d13, d8, d8, #0 |
| vmlal.s32 q5, d27, d1 |
| vmov.i64 d12, #0 |
| vmlal.s32 q5, d28, d19 |
| vst1.8 d9, [r5, : 64]! |
| vmlal.s32 q6, d16, d25 |
| vmlal.s32 q6, d17, d6 |
| vst1.8 d10, [r5, : 64] |
| vmlal.s32 q6, d14, d5 |
| vext.32 d8, d11, d10, #0 |
| vmlal.s32 q6, d15, d4 |
| vmov.i64 d9, #0 |
| vmlal.s32 q6, d29, d1 |
| vmlal.s32 q4, d20, d7 |
| vmlal.s32 q4, d21, d6 |
| vmlal.s32 q4, d26, d5 |
| vext.32 d11, d12, d12, #0 |
| vmlal.s32 q4, d27, d4 |
| vmov.i64 d10, #0 |
| vmlal.s32 q4, d28, d1 |
| vmlal.s32 q5, d16, d0 |
| sub r2, r5, #32 |
| vmlal.s32 q5, d17, d7 |
| vmlal.s32 q5, d14, d6 |
| vext.32 d30, d9, d8, #0 |
| vmlal.s32 q5, d15, d5 |
| vld1.8 {d31}, [r2, : 64]! |
| vmlal.s32 q5, d29, d4 |
| vmlal.s32 q15, d20, d0 |
| vext.32 d0, d6, d18, #1 |
| vmlal.s32 q15, d21, d25 |
| vrev64.i32 d0, d0 |
| vmlal.s32 q15, d26, d24 |
| vext.32 d1, d7, d19, #1 |
| vext.32 d7, d10, d10, #0 |
| vmlal.s32 q15, d27, d23 |
| vrev64.i32 d1, d1 |
| vld1.8 {d6}, [r2, : 64] |
| vmlal.s32 q15, d28, d22 |
| vmlal.s32 q3, d16, d4 |
| add r2, r2, #24 |
| vmlal.s32 q3, d17, d2 |
| vext.32 d4, d31, d30, #0 |
| vmov d17, d11 |
| vmlal.s32 q3, d14, d1 |
| vext.32 d11, d13, d13, #0 |
| vext.32 d13, d30, d30, #0 |
| vmlal.s32 q3, d15, d0 |
| vext.32 d1, d8, d8, #0 |
| vmlal.s32 q3, d29, d3 |
| vld1.8 {d5}, [r2, : 64] |
| sub r2, r2, #16 |
| vext.32 d10, d6, d6, #0 |
| vmov.i32 q1, #0xffffffff |
| vshl.i64 q4, q1, #25 |
| add r5, sp, #480 |
| vld1.8 {d14-d15}, [r5, : 128] |
| vadd.i64 q9, q2, q7 |
| vshl.i64 q1, q1, #26 |
| vshr.s64 q10, q9, #26 |
| vld1.8 {d0}, [r2, : 64]! |
| vadd.i64 q5, q5, q10 |
| vand q9, q9, q1 |
| vld1.8 {d16}, [r2, : 64]! |
| add r2, sp, #496 |
| vld1.8 {d20-d21}, [r2, : 128] |
| vadd.i64 q11, q5, q10 |
| vsub.i64 q2, q2, q9 |
| vshr.s64 q9, q11, #25 |
| vext.32 d12, d5, d4, #0 |
| vand q11, q11, q4 |
| vadd.i64 q0, q0, q9 |
| vmov d19, d7 |
| vadd.i64 q3, q0, q7 |
| vsub.i64 q5, q5, q11 |
| vshr.s64 q11, q3, #26 |
| vext.32 d18, d11, d10, #0 |
| vand q3, q3, q1 |
| vadd.i64 q8, q8, q11 |
| vadd.i64 q11, q8, q10 |
| vsub.i64 q0, q0, q3 |
| vshr.s64 q3, q11, #25 |
| vand q11, q11, q4 |
| vadd.i64 q3, q6, q3 |
| vadd.i64 q6, q3, q7 |
| vsub.i64 q8, q8, q11 |
| vshr.s64 q11, q6, #26 |
| vand q6, q6, q1 |
| vadd.i64 q9, q9, q11 |
| vadd.i64 d25, d19, d21 |
| vsub.i64 q3, q3, q6 |
| vshr.s64 d23, d25, #25 |
| vand q4, q12, q4 |
| vadd.i64 d21, d23, d23 |
| vshl.i64 d25, d23, #4 |
| vadd.i64 d21, d21, d23 |
| vadd.i64 d25, d25, d21 |
| vadd.i64 d4, d4, d25 |
| vzip.i32 q0, q8 |
| vadd.i64 d12, d4, d14 |
| add r2, r6, #8 |
| vst1.8 d0, [r2, : 64] |
| vsub.i64 d19, d19, d9 |
| add r2, r2, #16 |
| vst1.8 d16, [r2, : 64] |
| vshr.s64 d22, d12, #26 |
| vand q0, q6, q1 |
| vadd.i64 d10, d10, d22 |
| vzip.i32 q3, q9 |
| vsub.i64 d4, d4, d0 |
| sub r2, r2, #8 |
| vst1.8 d6, [r2, : 64] |
| add r2, r2, #16 |
| vst1.8 d18, [r2, : 64] |
| vzip.i32 q2, q5 |
| sub r2, r2, #32 |
| vst1.8 d4, [r2, : 64] |
| cmp r4, #0 |
| beq .Lskippostcopy |
| add r2, r3, #144 |
| mov r4, r4 |
| vld1.8 {d0-d1}, [r2, : 128]! |
| vld1.8 {d2-d3}, [r2, : 128]! |
| vld1.8 {d4}, [r2, : 64] |
| vst1.8 {d0-d1}, [r4, : 128]! |
| vst1.8 {d2-d3}, [r4, : 128]! |
| vst1.8 d4, [r4, : 64] |
| .Lskippostcopy: |
| cmp r1, #1 |
| bne .Lskipfinalcopy |
| add r2, r3, #288 |
| add r4, r3, #144 |
| vld1.8 {d0-d1}, [r2, : 128]! |
| vld1.8 {d2-d3}, [r2, : 128]! |
| vld1.8 {d4}, [r2, : 64] |
| vst1.8 {d0-d1}, [r4, : 128]! |
| vst1.8 {d2-d3}, [r4, : 128]! |
| vst1.8 d4, [r4, : 64] |
| .Lskipfinalcopy: |
| add r1, r1, #1 |
| cmp r1, #12 |
| blo .Linvertloop |
| add r1, r3, #144 |
| ldr r2, [r1], #4 |
| ldr r3, [r1], #4 |
| ldr r4, [r1], #4 |
| ldr r5, [r1], #4 |
| ldr r6, [r1], #4 |
| ldr r7, [r1], #4 |
| ldr r8, [r1], #4 |
| ldr r9, [r1], #4 |
| ldr r10, [r1], #4 |
| ldr r1, [r1] |
| add r11, r1, r1, LSL #4 |
| add r11, r11, r1, LSL #1 |
| add r11, r11, #16777216 |
| mov r11, r11, ASR #25 |
| add r11, r11, r2 |
| mov r11, r11, ASR #26 |
| add r11, r11, r3 |
| mov r11, r11, ASR #25 |
| add r11, r11, r4 |
| mov r11, r11, ASR #26 |
| add r11, r11, r5 |
| mov r11, r11, ASR #25 |
| add r11, r11, r6 |
| mov r11, r11, ASR #26 |
| add r11, r11, r7 |
| mov r11, r11, ASR #25 |
| add r11, r11, r8 |
| mov r11, r11, ASR #26 |
| add r11, r11, r9 |
| mov r11, r11, ASR #25 |
| add r11, r11, r10 |
| mov r11, r11, ASR #26 |
| add r11, r11, r1 |
| mov r11, r11, ASR #25 |
| add r2, r2, r11 |
| add r2, r2, r11, LSL #1 |
| add r2, r2, r11, LSL #4 |
| mov r11, r2, ASR #26 |
| add r3, r3, r11 |
| sub r2, r2, r11, LSL #26 |
| mov r11, r3, ASR #25 |
| add r4, r4, r11 |
| sub r3, r3, r11, LSL #25 |
| mov r11, r4, ASR #26 |
| add r5, r5, r11 |
| sub r4, r4, r11, LSL #26 |
| mov r11, r5, ASR #25 |
| add r6, r6, r11 |
| sub r5, r5, r11, LSL #25 |
| mov r11, r6, ASR #26 |
| add r7, r7, r11 |
| sub r6, r6, r11, LSL #26 |
| mov r11, r7, ASR #25 |
| add r8, r8, r11 |
| sub r7, r7, r11, LSL #25 |
| mov r11, r8, ASR #26 |
| add r9, r9, r11 |
| sub r8, r8, r11, LSL #26 |
| mov r11, r9, ASR #25 |
| add r10, r10, r11 |
| sub r9, r9, r11, LSL #25 |
| mov r11, r10, ASR #26 |
| add r1, r1, r11 |
| sub r10, r10, r11, LSL #26 |
| mov r11, r1, ASR #25 |
| sub r1, r1, r11, LSL #25 |
| add r2, r2, r3, LSL #26 |
| mov r3, r3, LSR #6 |
| add r3, r3, r4, LSL #19 |
| mov r4, r4, LSR #13 |
| add r4, r4, r5, LSL #13 |
| mov r5, r5, LSR #19 |
| add r5, r5, r6, LSL #6 |
| add r6, r7, r8, LSL #25 |
| mov r7, r8, LSR #7 |
| add r7, r7, r9, LSL #19 |
| mov r8, r9, LSR #13 |
| add r8, r8, r10, LSL #12 |
| mov r9, r10, LSR #20 |
| add r1, r9, r1, LSL #6 |
| str r2, [r0] |
| str r3, [r0, #4] |
| str r4, [r0, #8] |
| str r5, [r0, #12] |
| str r6, [r0, #16] |
| str r7, [r0, #20] |
| str r8, [r0, #24] |
| str r1, [r0, #28] |
| movw r0, #0 |
| mov sp, ip |
| pop {r4-r11, pc} |
| ENDPROC(curve25519_neon) |
