diff --git a/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp b/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp --- a/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp +++ b/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp @@ -6980,6 +6980,17 @@ return SDValue(); } +// Only expand vector types if we have the appropriate vector bit operations. +static bool canExpandVectorCTPOP(const TargetLowering &TLI, EVT VT) { + assert(VT.isVector() && "Expected vector type"); + unsigned Len = VT.getScalarSizeInBits(); + return TLI.isOperationLegalOrCustom(ISD::ADD, VT) && + TLI.isOperationLegalOrCustom(ISD::SUB, VT) && + TLI.isOperationLegalOrCustom(ISD::SRL, VT) && + (Len == 8 || TLI.isOperationLegalOrCustom(ISD::MUL, VT)) && + TLI.isOperationLegalOrCustomOrPromote(ISD::AND, VT); +} + bool TargetLowering::expandCTPOP(SDNode *Node, SDValue &Result, SelectionDAG &DAG) const { SDLoc dl(Node); @@ -6994,11 +7005,7 @@ return false; // Only expand vector types if we have the appropriate vector bit operations. - if (VT.isVector() && (!isOperationLegalOrCustom(ISD::ADD, VT) || - !isOperationLegalOrCustom(ISD::SUB, VT) || - !isOperationLegalOrCustom(ISD::SRL, VT) || - (Len != 8 && !isOperationLegalOrCustom(ISD::MUL, VT)) || - !isOperationLegalOrCustomOrPromote(ISD::AND, VT))) + if (VT.isVector() && !canExpandVectorCTPOP(*this, VT)) return false; // This is the "best" algorithm from @@ -7068,8 +7075,10 @@ } // Only expand vector types if we have the appropriate vector bit operations. + // This includes the operations needed to expand CTPOP if it isn't supported. if (VT.isVector() && (!isPowerOf2_32(NumBitsPerElt) || - !isOperationLegalOrCustom(ISD::CTPOP, VT) || + (!isOperationLegalOrCustom(ISD::CTPOP, VT) && + !canExpandVectorCTPOP(*this, VT)) || !isOperationLegalOrCustom(ISD::SRL, VT) || !isOperationLegalOrCustomOrPromote(ISD::OR, VT))) return false; @@ -7120,9 +7129,11 @@ } // Only expand vector types if we have the appropriate vector bit operations. + // This includes the operations needed to expand CTPOP if it isn't supported. if (VT.isVector() && (!isPowerOf2_32(NumBitsPerElt) || (!isOperationLegalOrCustom(ISD::CTPOP, VT) && - !isOperationLegalOrCustom(ISD::CTLZ, VT)) || + !isOperationLegalOrCustom(ISD::CTLZ, VT) && + !canExpandVectorCTPOP(*this, VT)) || !isOperationLegalOrCustom(ISD::SUB, VT) || !isOperationLegalOrCustomOrPromote(ISD::AND, VT) || !isOperationLegalOrCustomOrPromote(ISD::XOR, VT))) diff --git a/llvm/lib/Target/WebAssembly/WebAssemblyISelLowering.cpp b/llvm/lib/Target/WebAssembly/WebAssemblyISelLowering.cpp --- a/llvm/lib/Target/WebAssembly/WebAssemblyISelLowering.cpp +++ b/llvm/lib/Target/WebAssembly/WebAssemblyISelLowering.cpp @@ -215,8 +215,8 @@ setOperationAction(ISD::SELECT_CC, T, Expand); // Expand integer operations supported for scalars but not SIMD - for (auto Op : {ISD::CTLZ, ISD::CTTZ, ISD::CTPOP, ISD::SDIV, ISD::UDIV, - ISD::SREM, ISD::UREM, ISD::ROTL, ISD::ROTR}) + for (auto Op : + {ISD::SDIV, ISD::UDIV, ISD::SREM, ISD::UREM, ISD::ROTL, ISD::ROTR}) for (auto T : {MVT::v16i8, MVT::v8i16, MVT::v4i32, MVT::v2i64}) setOperationAction(Op, T, Expand); @@ -225,8 +225,15 @@ for (auto T : {MVT::v16i8, MVT::v8i16, MVT::v4i32}) setOperationAction(Op, T, Legal); - // And we have popcnt for i8x16 + // And we have popcnt for i8x16. It can be used to expand ctlz/cttz. setOperationAction(ISD::CTPOP, MVT::v16i8, Legal); + setOperationAction(ISD::CTLZ, MVT::v16i8, Expand); + setOperationAction(ISD::CTTZ, MVT::v16i8, Expand); + + // Custom lower bit counting operations for other types to scalarize them. + for (auto Op : {ISD::CTLZ, ISD::CTTZ, ISD::CTPOP}) + for (auto T : {MVT::v8i16, MVT::v4i32, MVT::v2i64}) + setOperationAction(Op, T, Custom); // Expand float operations supported for scalars but not SIMD for (auto Op : {ISD::FCOPYSIGN, ISD::FLOG, ISD::FLOG2, ISD::FLOG10, @@ -1405,6 +1412,10 @@ return LowerLoad(Op, DAG); case ISD::STORE: return LowerStore(Op, DAG); + case ISD::CTPOP: + case ISD::CTLZ: + case ISD::CTTZ: + return DAG.UnrollVectorOp(Op.getNode()); } } diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll --- a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll +++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll @@ -4,1989 +4,109 @@ ; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV32 ; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV64 -define void @ctlz_v16i8(<16 x i8>* %x, <16 x i8>* %y) { +define void @ctlz_v16i8(<16 x i8>* %x, <16 x i8>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v16i8: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a2, a1 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 -; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV32-NEXT: and a3, a3, a6 -; LMULMAX2-RV32-NEXT: sub a3, a2, a3 -; LMULMAX2-RV32-NEXT: lui a2, 209715 -; LMULMAX2-RV32-NEXT: addi a2, a2, 819 -; LMULMAX2-RV32-NEXT: and a4, a3, a2 -; LMULMAX2-RV32-NEXT: srli a3, a3, 2 -; LMULMAX2-RV32-NEXT: and a3, a3, a2 -; LMULMAX2-RV32-NEXT: add a3, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 4 -; LMULMAX2-RV32-NEXT: add a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 61681 -; LMULMAX2-RV32-NEXT: addi a3, a3, -241 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: lui a4, 4112 -; LMULMAX2-RV32-NEXT: addi a4, a4, 257 -; LMULMAX2-RV32-NEXT: mul a5, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a5, 24 -; LMULMAX2-RV32-NEXT: addi a5, a5, -24 -; LMULMAX2-RV32-NEXT: sb a5, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v9 -; LMULMAX2-RV32-NEXT: andi a5, a5, 255 -; LMULMAX2-RV32-NEXT: srli a1, a5, 1 -; LMULMAX2-RV32-NEXT: or a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 31(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 30(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 29(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 28(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 27(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 26(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 25(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 24(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 23(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 22(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 21(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 20(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 19(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 18(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 17(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v16i8: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -32 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a2, a1 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: lui a1, 21845 -; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a3, a2, a3 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a3, a2 -; LMULMAX2-RV64-NEXT: srli a3, a3, 2 -; LMULMAX2-RV64-NEXT: and a3, a3, a2 -; LMULMAX2-RV64-NEXT: add a3, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 4 -; LMULMAX2-RV64-NEXT: add a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 3855 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: lui a4, 4112 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: mul a5, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a5, 56 -; LMULMAX2-RV64-NEXT: addiw a5, a5, -56 -; LMULMAX2-RV64-NEXT: sb a5, 16(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX2-RV64-NEXT: vmv.x.s a5, v9 -; LMULMAX2-RV64-NEXT: andi a5, a5, 255 -; LMULMAX2-RV64-NEXT: srli a1, a5, 1 -; LMULMAX2-RV64-NEXT: or a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 31(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 30(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 29(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 28(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 27(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 26(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 25(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 24(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 23(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 22(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 21(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 20(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 19(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 18(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 17(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 16 -; LMULMAX2-RV64-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, sp, 32 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v16i8: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a2, a1 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV32-NEXT: and a3, a3, a6 -; LMULMAX1-RV32-NEXT: sub a3, a2, a3 -; LMULMAX1-RV32-NEXT: lui a2, 209715 -; LMULMAX1-RV32-NEXT: addi a2, a2, 819 -; LMULMAX1-RV32-NEXT: and a4, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a3, 2 -; LMULMAX1-RV32-NEXT: and a3, a3, a2 -; LMULMAX1-RV32-NEXT: add a3, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 4 -; LMULMAX1-RV32-NEXT: add a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 61681 -; LMULMAX1-RV32-NEXT: addi a3, a3, -241 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: lui a4, 4112 -; LMULMAX1-RV32-NEXT: addi a4, a4, 257 -; LMULMAX1-RV32-NEXT: mul a5, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a5, 24 -; LMULMAX1-RV32-NEXT: addi a5, a5, -24 -; LMULMAX1-RV32-NEXT: sb a5, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV32-NEXT: vmv.x.s a5, v9 -; LMULMAX1-RV32-NEXT: andi a5, a5, 255 -; LMULMAX1-RV32-NEXT: srli a1, a5, 1 -; LMULMAX1-RV32-NEXT: or a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 31(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 29(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 27(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 25(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 23(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 21(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 19(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 18(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 17(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle8.v v8, (a1) +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: addi a1, zero, 85 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: addi a1, zero, 51 +; LMULMAX1-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vand.vi v8, v8, 15 ; LMULMAX1-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v16i8: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -32 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a2, a1 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: lui a1, 21845 -; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV64-NEXT: and a3, a3, a6 -; LMULMAX1-RV64-NEXT: sub a3, a2, a3 -; LMULMAX1-RV64-NEXT: lui a2, 13107 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: and a4, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a3, 2 -; LMULMAX1-RV64-NEXT: and a3, a3, a2 -; LMULMAX1-RV64-NEXT: add a3, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 4 -; LMULMAX1-RV64-NEXT: add a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 3855 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, -241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, -241 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: lui a4, 4112 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX1-RV64-NEXT: slli a4, a4, 16 -; LMULMAX1-RV64-NEXT: addi a4, a4, 257 -; LMULMAX1-RV64-NEXT: slli a4, a4, 16 -; LMULMAX1-RV64-NEXT: addi a4, a4, 257 -; LMULMAX1-RV64-NEXT: mul a5, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a5, 56 -; LMULMAX1-RV64-NEXT: addiw a5, a5, -56 -; LMULMAX1-RV64-NEXT: sb a5, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV64-NEXT: vmv.x.s a5, v9 -; LMULMAX1-RV64-NEXT: andi a5, a5, 255 -; LMULMAX1-RV64-NEXT: srli a1, a5, 1 -; LMULMAX1-RV64-NEXT: or a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 31(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 29(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 27(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 25(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 23(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 21(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 19(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 18(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 17(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle8.v v8, (a1) +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 85 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: addi a1, zero, 51 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vand.vi v8, v8, 15 ; LMULMAX1-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV64-NEXT: addi sp, sp, 32 ; LMULMAX1-RV64-NEXT: ret %a = load <16 x i8>, <16 x i8>* %x %b = load <16 x i8>, <16 x i8>* %y @@ -1996,1069 +116,145 @@ } declare <16 x i8> @llvm.ctlz.v16i8(<16 x i8>, i1) -define void @ctlz_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +define void @ctlz_v8i16(<8 x i16>* %x, <8 x i16>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v8i16: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV32-NEXT: lui a1, 16 -; LMULMAX2-RV32-NEXT: addi a6, a1, -1 -; LMULMAX2-RV32-NEXT: and a2, a2, a6 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 2 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 4 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 8 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 16 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: not a3, a2 -; LMULMAX2-RV32-NEXT: srli a4, a3, 1 -; LMULMAX2-RV32-NEXT: lui a2, 349525 -; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV32-NEXT: and a4, a4, a7 -; LMULMAX2-RV32-NEXT: sub a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a3, 819 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a4, 2 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: add a4, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a4, 4 -; LMULMAX2-RV32-NEXT: add a5, a4, a5 -; LMULMAX2-RV32-NEXT: lui a4, 61681 -; LMULMAX2-RV32-NEXT: addi a4, a4, -241 -; LMULMAX2-RV32-NEXT: and a1, a5, a4 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 30(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 28(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 26(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 24(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 22(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 20(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 18(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: lui a1, 5 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 3 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 1 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v8i16: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -32 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV64-NEXT: lui a1, 16 -; LMULMAX2-RV64-NEXT: addiw a6, a1, -1 -; LMULMAX2-RV64-NEXT: and a2, a2, a6 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 2 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 4 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 8 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 16 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 32 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: not a3, a2 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 16(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 30(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 28(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 26(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 24(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 22(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 20(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 18(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 16 -; LMULMAX2-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 5 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 3 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 1 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, sp, 32 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v8i16: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: lui a1, 16 -; LMULMAX1-RV32-NEXT: addi a6, a1, -1 -; LMULMAX1-RV32-NEXT: and a2, a2, a6 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a3, a2 -; LMULMAX1-RV32-NEXT: srli a4, a3, 1 -; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, a7 -; LMULMAX1-RV32-NEXT: sub a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a3, 819 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a4, 2 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: add a4, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a4, 4 -; LMULMAX1-RV32-NEXT: add a5, a4, a5 -; LMULMAX1-RV32-NEXT: lui a4, 61681 -; LMULMAX1-RV32-NEXT: addi a4, a4, -241 -; LMULMAX1-RV32-NEXT: and a1, a5, a4 -; LMULMAX1-RV32-NEXT: lui a5, 4112 -; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: and a1, a1, a6 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 18(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: lui a1, 5 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 3 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 1 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: addi a1, zero, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX1-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v8i16: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -32 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV64-NEXT: lui a1, 16 -; LMULMAX1-RV64-NEXT: addiw a6, a1, -1 -; LMULMAX1-RV64-NEXT: and a2, a2, a6 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a3, a2 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: and a1, a1, a6 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 18(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: lui a1, 5 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 3 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 1 +; LMULMAX1-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX1-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV64-NEXT: addi sp, sp, 32 ; LMULMAX1-RV64-NEXT: ret %a = load <8 x i16>, <8 x i16>* %x %b = load <8 x i16>, <8 x i16>* %y @@ -3068,589 +264,157 @@ } declare <8 x i16> @llvm.ctlz.v8i16(<8 x i16>, i1) -define void @ctlz_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +define void @ctlz_v4i32(<4 x i32>* %x, <4 x i32>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v4i32: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a2, a1 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV32-NEXT: and a3, a3, a6 -; LMULMAX2-RV32-NEXT: sub a3, a2, a3 -; LMULMAX2-RV32-NEXT: lui a2, 209715 -; LMULMAX2-RV32-NEXT: addi a2, a2, 819 -; LMULMAX2-RV32-NEXT: and a4, a3, a2 -; LMULMAX2-RV32-NEXT: srli a3, a3, 2 -; LMULMAX2-RV32-NEXT: and a3, a3, a2 -; LMULMAX2-RV32-NEXT: add a3, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 4 -; LMULMAX2-RV32-NEXT: add a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 61681 -; LMULMAX2-RV32-NEXT: addi a3, a3, -241 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: lui a4, 4112 -; LMULMAX2-RV32-NEXT: addi a4, a4, 257 -; LMULMAX2-RV32-NEXT: mul a5, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a5, 24 -; LMULMAX2-RV32-NEXT: sw a5, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v9 -; LMULMAX2-RV32-NEXT: srli a1, a5, 1 -; LMULMAX2-RV32-NEXT: or a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 28(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 24(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 20(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v4i32: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -32 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a2, a1 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 349525 ; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a3, a2, a3 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a3, a2 -; LMULMAX2-RV64-NEXT: srli a3, a3, 2 -; LMULMAX2-RV64-NEXT: and a3, a3, a2 -; LMULMAX2-RV64-NEXT: add a3, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 4 -; LMULMAX2-RV64-NEXT: add a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 3855 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: lui a4, 4112 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: mul a5, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a5, 56 -; LMULMAX2-RV64-NEXT: addiw a5, a5, -32 -; LMULMAX2-RV64-NEXT: sw a5, 16(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a5, v9 -; LMULMAX2-RV64-NEXT: srliw a1, a5, 1 -; LMULMAX2-RV64-NEXT: slli a5, a5, 32 -; LMULMAX2-RV64-NEXT: srli a5, a5, 32 -; LMULMAX2-RV64-NEXT: or a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 28(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 24(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 20(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 16 -; LMULMAX2-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 209715 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 61681 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, sp, 32 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v4i32: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a2, a1 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV32-NEXT: and a3, a3, a6 -; LMULMAX1-RV32-NEXT: sub a3, a2, a3 -; LMULMAX1-RV32-NEXT: lui a2, 209715 -; LMULMAX1-RV32-NEXT: addi a2, a2, 819 -; LMULMAX1-RV32-NEXT: and a4, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a3, 2 -; LMULMAX1-RV32-NEXT: and a3, a3, a2 -; LMULMAX1-RV32-NEXT: add a3, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 4 -; LMULMAX1-RV32-NEXT: add a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 61681 -; LMULMAX1-RV32-NEXT: addi a3, a3, -241 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: lui a4, 4112 -; LMULMAX1-RV32-NEXT: addi a4, a4, 257 -; LMULMAX1-RV32-NEXT: mul a5, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a5, 24 -; LMULMAX1-RV32-NEXT: sw a5, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a5, v9 -; LMULMAX1-RV32-NEXT: srli a1, a5, 1 -; LMULMAX1-RV32-NEXT: or a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 20(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 209715 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 61681 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX1-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v4i32: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -32 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a2, a1 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: lui a1, 349525 ; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV64-NEXT: and a3, a3, a6 -; LMULMAX1-RV64-NEXT: sub a3, a2, a3 -; LMULMAX1-RV64-NEXT: lui a2, 13107 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: and a4, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a3, 2 -; LMULMAX1-RV64-NEXT: and a3, a3, a2 -; LMULMAX1-RV64-NEXT: add a3, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 4 -; LMULMAX1-RV64-NEXT: add a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 3855 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, -241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, -241 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: lui a4, 4112 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX1-RV64-NEXT: slli a4, a4, 16 -; LMULMAX1-RV64-NEXT: addi a4, a4, 257 -; LMULMAX1-RV64-NEXT: slli a4, a4, 16 -; LMULMAX1-RV64-NEXT: addi a4, a4, 257 -; LMULMAX1-RV64-NEXT: mul a5, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a5, 56 -; LMULMAX1-RV64-NEXT: addiw a5, a5, -32 -; LMULMAX1-RV64-NEXT: sw a5, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a5, v9 -; LMULMAX1-RV64-NEXT: srliw a1, a5, 1 -; LMULMAX1-RV64-NEXT: slli a5, a5, 32 -; LMULMAX1-RV64-NEXT: srli a5, a5, 32 -; LMULMAX1-RV64-NEXT: or a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a5 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 20(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 209715 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 61681 +; LMULMAX1-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX1-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV64-NEXT: addi sp, sp, 32 ; LMULMAX1-RV64-NEXT: ret %a = load <4 x i32>, <4 x i32>* %x %b = load <4 x i32>, <4 x i32>* %y @@ -3660,473 +424,247 @@ } declare <4 x i32> @llvm.ctlz.v4i32(<4 x i32>, i1) -define void @ctlz_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +define void @ctlz_v2i64(<2 x i64>* %x, <2 x i64>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v2i64: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV32-NEXT: sw zero, 28(sp) -; LMULMAX2-RV32-NEXT: sw zero, 20(sp) -; LMULMAX2-RV32-NEXT: addi a6, zero, 32 -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX2-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsrl.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.i v9, -1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vxor.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 ; LMULMAX2-RV32-NEXT: lui a1, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v10, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 ; LMULMAX2-RV32-NEXT: lui a1, 61681 -; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 ; LMULMAX2-RV32-NEXT: lui a1, 4112 -; LMULMAX2-RV32-NEXT: addi a2, a1, 257 -; LMULMAX2-RV32-NEXT: bnez a5, .LBB3_2 -; LMULMAX2-RV32-NEXT: # %bb.1: -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB3_3 -; LMULMAX2-RV32-NEXT: .LBB3_2: -; LMULMAX2-RV32-NEXT: srli a1, a5, 1 -; LMULMAX2-RV32-NEXT: or a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB3_3: -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: sw a5, 16(sp) -; LMULMAX2-RV32-NEXT: bnez a1, .LBB3_5 -; LMULMAX2-RV32-NEXT: # %bb.4: -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB3_6 -; LMULMAX2-RV32-NEXT: .LBB3_5: -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB3_6: -; LMULMAX2-RV32-NEXT: sw a1, 24(sp) +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: vmv.v.x v9, a1 ; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmul.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: addi a1, zero, 56 +; LMULMAX2-RV32-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX2-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v2i64: ; LMULMAX2-RV64: # %bb.0: ; LMULMAX2-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: lui a3, 21845 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a6, a3, 1365 -; LMULMAX2-RV64-NEXT: and a2, a2, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a4, a1 -; LMULMAX2-RV64-NEXT: srli a4, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a4 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX2-RV64-NEXT: vmv.v.x v9, a1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srli a3, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a3 -; LMULMAX2-RV64-NEXT: srli a3, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a3 -; LMULMAX2-RV64-NEXT: srli a3, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a3 -; LMULMAX2-RV64-NEXT: srli a3, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a3 -; LMULMAX2-RV64-NEXT: srli a3, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a3 -; LMULMAX2-RV64-NEXT: srli a3, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a3 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a3, a1, 1 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a3 -; LMULMAX2-RV64-NEXT: and a3, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a3, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX2-RV64-NEXT: vmv.s.x v9, a1 -; LMULMAX2-RV64-NEXT: vse64.v v9, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsrl.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 13107 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 3855 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 56 +; LMULMAX2-RV64-NEXT: vsrl.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vse64.v v8, (a0) ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v2i64: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV32-NEXT: sw zero, 28(sp) -; LMULMAX1-RV32-NEXT: sw zero, 20(sp) -; LMULMAX1-RV32-NEXT: addi a6, zero, 32 -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a5, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: addi a1, zero, 32 +; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.i v9, -1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vxor.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 ; LMULMAX1-RV32-NEXT: lui a1, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a1, 819 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v10, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 ; LMULMAX1-RV32-NEXT: lui a1, 61681 -; LMULMAX1-RV32-NEXT: addi a7, a1, -241 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 ; LMULMAX1-RV32-NEXT: lui a1, 4112 -; LMULMAX1-RV32-NEXT: addi a2, a1, 257 -; LMULMAX1-RV32-NEXT: bnez a5, .LBB3_2 -; LMULMAX1-RV32-NEXT: # %bb.1: -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a5, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB3_3 -; LMULMAX1-RV32-NEXT: .LBB3_2: -; LMULMAX1-RV32-NEXT: srli a1, a5, 1 -; LMULMAX1-RV32-NEXT: or a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a5, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB3_3: -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: sw a5, 16(sp) -; LMULMAX1-RV32-NEXT: bnez a1, .LBB3_5 -; LMULMAX1-RV32-NEXT: # %bb.4: -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a3, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a3 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB3_6 -; LMULMAX1-RV32-NEXT: .LBB3_5: -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a5 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a3, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a3 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB3_6: -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a1 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmul.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: addi a1, zero, 56 +; LMULMAX1-RV32-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX1-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v2i64: ; LMULMAX1-RV64: # %bb.0: ; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: lui a3, 21845 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a6, a3, 1365 -; LMULMAX1-RV64-NEXT: and a2, a2, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: lui a2, 13107 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: and a4, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a4, a1 -; LMULMAX1-RV64-NEXT: srli a4, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vmv.v.x v9, a1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: srli a3, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a3, a1, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a3 -; LMULMAX1-RV64-NEXT: and a3, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a3, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX1-RV64-NEXT: vmv.s.x v9, a1 -; LMULMAX1-RV64-NEXT: vse64.v v9, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 8 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 16 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: addi a1, zero, 32 +; LMULMAX1-RV64-NEXT: vsrl.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 13107 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 3855 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, -241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 56 +; LMULMAX1-RV64-NEXT: vsrl.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vse64.v v8, (a0) ; LMULMAX1-RV64-NEXT: ret %a = load <2 x i64>, <2 x i64>* %x %b = load <2 x i64>, <2 x i64>* %y @@ -4136,3875 +674,151 @@ } declare <2 x i64> @llvm.ctlz.v2i64(<2 x i64>, i1) -define void @ctlz_v32i8(<32 x i8>* %x, <32 x i8>* %y) { +define void @ctlz_v32i8(<32 x i8>* %x, <32 x i8>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v32i8: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 -; LMULMAX2-RV32-NEXT: addi a6, zero, 32 -; LMULMAX2-RV32-NEXT: vsetvli zero, a6, e8, m2, ta, mu +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli zero, a1, e8, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV32-NEXT: andi a2, a2, 255 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 2 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 4 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 8 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 16 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: not a3, a2 -; LMULMAX2-RV32-NEXT: srli a4, a3, 1 -; LMULMAX2-RV32-NEXT: lui a2, 349525 -; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV32-NEXT: and a4, a4, a7 -; LMULMAX2-RV32-NEXT: sub a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a3, 819 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a4, 2 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: add a4, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a4, 4 -; LMULMAX2-RV32-NEXT: add a5, a4, a5 -; LMULMAX2-RV32-NEXT: lui a4, 61681 -; LMULMAX2-RV32-NEXT: addi a4, a4, -241 -; LMULMAX2-RV32-NEXT: and a1, a5, a4 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e8, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 31 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 63(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 30 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 62(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 29 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 61(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 28 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 60(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 27 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 59(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 26 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 58(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 25 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 57(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 24 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 56(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 23 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 55(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 22 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 54(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 21 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 53(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 20 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 52(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 19 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 51(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 18 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 50(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 17 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 49(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 16 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 48(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 47(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 46(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 45(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 44(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 43(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 42(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 41(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 40(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 39(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 38(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 37(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 36(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 35(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 34(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: andi a1, a1, 255 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -24 -; LMULMAX2-RV32-NEXT: sb a1, 33(sp) -; LMULMAX2-RV32-NEXT: vsetvli zero, a6, e8, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v32i8: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 -; LMULMAX2-RV64-NEXT: addi a6, zero, 32 -; LMULMAX2-RV64-NEXT: vsetvli zero, a6, e8, m2, ta, mu +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli zero, a1, e8, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV64-NEXT: andi a2, a2, 255 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 2 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 4 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 8 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 16 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 32 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: not a3, a2 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e8, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 31 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 63(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 30 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 62(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 29 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 61(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 28 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 60(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 27 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 59(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 26 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 58(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 25 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 57(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 24 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 23 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 55(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 22 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 54(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 21 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 53(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 20 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 52(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 19 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 51(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 18 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 50(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 17 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 49(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 16 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 47(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 46(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 45(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 44(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 43(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 42(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 41(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 40(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 39(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 38(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 37(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 36(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 35(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 34(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: andi a1, a1, 255 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX2-RV64-NEXT: sb a1, 33(sp) -; LMULMAX2-RV64-NEXT: vsetvli zero, a6, e8, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v32i8: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 -; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle8.v v9, (a6) -; LMULMAX1-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: andi a2, a2, 255 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a3, a2 -; LMULMAX1-RV32-NEXT: srli a4, a3, 1 -; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, a7 -; LMULMAX1-RV32-NEXT: sub a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a3, 819 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a4, 2 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: add a4, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a4, 4 -; LMULMAX1-RV32-NEXT: add a5, a4, a5 -; LMULMAX1-RV32-NEXT: lui a4, 61681 -; LMULMAX1-RV32-NEXT: addi a4, a4, -241 -; LMULMAX1-RV32-NEXT: and a1, a5, a4 -; LMULMAX1-RV32-NEXT: lui a5, 4112 -; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 15 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 47(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 14 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 46(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 13 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 45(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 12 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 44(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 11 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 43(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 10 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 42(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 9 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 41(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 8 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 40(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 39(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 38(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 37(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 36(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 35(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 34(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 33(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 16(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 31(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 29(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 27(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 25(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 23(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 21(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 19(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 18(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: andi a1, a1, 255 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -24 -; LMULMAX1-RV32-NEXT: sb a1, 17(sp) ; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 ; LMULMAX1-RV32-NEXT: vle8.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle8.v v9, (a1) -; LMULMAX1-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse8.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vle8.v v9, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: addi a2, zero, 85 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: addi a3, zero, 51 +; LMULMAX1-RV32-NEXT: vand.vx v10, v8, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vand.vi v8, v8, 15 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v10, v9, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vi v9, v9, 15 +; LMULMAX1-RV32-NEXT: vse8.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse8.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v32i8: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -48 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle8.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: andi a2, a2, 255 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a3, a2 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 32(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 15 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 47(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 14 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 46(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 13 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 45(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 12 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 44(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 11 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 43(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 10 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 42(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 9 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 41(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 8 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 40(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 39(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 38(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 37(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 36(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 35(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 34(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 33(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 16(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 31(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 29(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 27(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 25(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 23(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 21(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 19(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 18(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: andi a1, a1, 255 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -56 -; LMULMAX1-RV64-NEXT: sb a1, 17(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 ; LMULMAX1-RV64-NEXT: vle8.v v8, (a1) -; LMULMAX1-RV64-NEXT: addi a1, sp, 32 -; LMULMAX1-RV64-NEXT: vle8.v v9, (a1) -; LMULMAX1-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV64-NEXT: vse8.v v9, (a6) -; LMULMAX1-RV64-NEXT: addi sp, sp, 48 +; LMULMAX1-RV64-NEXT: vle8.v v9, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: addi a2, zero, 85 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: addi a3, zero, 51 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vand.vi v8, v8, 15 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vi v9, v9, 15 +; LMULMAX1-RV64-NEXT: vse8.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse8.v v8, (a1) ; LMULMAX1-RV64-NEXT: ret %a = load <32 x i8>, <32 x i8>* %x %b = load <32 x i8>, <32 x i8>* %y @@ -8014,2025 +828,193 @@ } declare <32 x i8> @llvm.ctlz.v32i8(<32 x i8>, i1) -define void @ctlz_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +define void @ctlz_v16i16(<16 x i16>* %x, <16 x i16>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v16i16: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e16, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV32-NEXT: lui a1, 16 -; LMULMAX2-RV32-NEXT: addi a6, a1, -1 -; LMULMAX2-RV32-NEXT: and a2, a2, a6 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 2 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 4 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 8 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: srli a3, a2, 16 -; LMULMAX2-RV32-NEXT: or a2, a2, a3 -; LMULMAX2-RV32-NEXT: not a3, a2 -; LMULMAX2-RV32-NEXT: srli a4, a3, 1 -; LMULMAX2-RV32-NEXT: lui a2, 349525 -; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV32-NEXT: and a4, a4, a7 -; LMULMAX2-RV32-NEXT: sub a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a3, 819 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a4, 2 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: add a4, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a4, 4 -; LMULMAX2-RV32-NEXT: add a5, a4, a5 -; LMULMAX2-RV32-NEXT: lui a4, 61681 -; LMULMAX2-RV32-NEXT: addi a4, a4, -241 -; LMULMAX2-RV32-NEXT: and a1, a5, a4 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e16, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 62(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 60(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 58(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 56(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 54(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 52(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 50(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 48(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 46(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 44(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 42(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 40(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 38(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 36(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: and a1, a1, a6 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, -16 -; LMULMAX2-RV32-NEXT: sh a1, 34(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e16, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: lui a1, 5 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 3 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 1 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v16i16: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e16, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV64-NEXT: lui a1, 16 -; LMULMAX2-RV64-NEXT: addiw a6, a1, -1 -; LMULMAX2-RV64-NEXT: and a2, a2, a6 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 2 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 4 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 8 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 16 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: srli a3, a2, 32 -; LMULMAX2-RV64-NEXT: or a2, a2, a3 -; LMULMAX2-RV64-NEXT: not a3, a2 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e16, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 62(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 60(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 58(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 54(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 52(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 50(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 46(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 44(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 42(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 40(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 38(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 36(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: and a1, a1, a6 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX2-RV64-NEXT: sh a1, 34(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e16, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 5 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 3 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 1 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v16i16: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 -; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle16.v v9, (a6) -; LMULMAX1-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: lui a2, 16 -; LMULMAX1-RV32-NEXT: addi a7, a2, -1 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: srli a3, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a3, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a3, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a3, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a3, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a3 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a4, a1, 1 -; LMULMAX1-RV32-NEXT: lui a3, 349525 -; LMULMAX1-RV32-NEXT: addi t0, a3, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, t0 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: lui a4, 209715 -; LMULMAX1-RV32-NEXT: addi a4, a4, 819 -; LMULMAX1-RV32-NEXT: and a5, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: lui a5, 61681 -; LMULMAX1-RV32-NEXT: addi a5, a5, -241 -; LMULMAX1-RV32-NEXT: and a2, a1, a5 -; LMULMAX1-RV32-NEXT: lui a1, 4112 -; LMULMAX1-RV32-NEXT: addi a1, a1, 257 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 46(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 44(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 42(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 40(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 38(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 36(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 34(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 16(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: addi a2, a2, -16 -; LMULMAX1-RV32-NEXT: sh a2, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, -16 -; LMULMAX1-RV32-NEXT: sh a1, 18(sp) ; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 ; LMULMAX1-RV32-NEXT: vle16.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle16.v v9, (a1) -; LMULMAX1-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse16.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vle16.v v9, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: lui a2, 5 +; LMULMAX1-RV32-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a3, 3 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: vand.vx v10, v8, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a4, 1 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV32-NEXT: addi a5, zero, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 8 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v10, v9, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV32-NEXT: vmul.vx v9, v9, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 8 +; LMULMAX1-RV32-NEXT: vse16.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse16.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v16i16: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -48 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle16.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: lui a2, 16 -; LMULMAX1-RV64-NEXT: addiw a7, a2, -1 -; LMULMAX1-RV64-NEXT: and a1, a1, a7 -; LMULMAX1-RV64-NEXT: srli a3, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a3 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a4, a1, 1 -; LMULMAX1-RV64-NEXT: lui a3, 21845 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi t0, a3, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, t0 -; LMULMAX1-RV64-NEXT: sub a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a4, 13107 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: and a5, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: lui a5, 3855 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, -241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, 241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, -241 -; LMULMAX1-RV64-NEXT: and a2, a1, a5 -; LMULMAX1-RV64-NEXT: lui a1, 4112 -; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 -; LMULMAX1-RV64-NEXT: slli a1, a1, 16 -; LMULMAX1-RV64-NEXT: addi a1, a1, 257 -; LMULMAX1-RV64-NEXT: slli a1, a1, 16 -; LMULMAX1-RV64-NEXT: addi a1, a1, 257 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 32(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 46(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 44(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 42(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 40(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 38(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 36(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 34(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 16(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: addiw a2, a2, -48 -; LMULMAX1-RV64-NEXT: sh a2, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -48 -; LMULMAX1-RV64-NEXT: sh a1, 18(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 ; LMULMAX1-RV64-NEXT: vle16.v v8, (a1) -; LMULMAX1-RV64-NEXT: addi a1, sp, 32 -; LMULMAX1-RV64-NEXT: vle16.v v9, (a1) -; LMULMAX1-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV64-NEXT: vse16.v v9, (a6) -; LMULMAX1-RV64-NEXT: addi sp, sp, 48 +; LMULMAX1-RV64-NEXT: vle16.v v9, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: lui a2, 5 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a3, 3 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a4, 1 +; LMULMAX1-RV64-NEXT: addiw a4, a4, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV64-NEXT: addi a5, zero, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 8 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vmul.vx v9, v9, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 8 +; LMULMAX1-RV64-NEXT: vse16.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse16.v v8, (a1) ; LMULMAX1-RV64-NEXT: ret %a = load <16 x i16>, <16 x i16>* %x %b = load <16 x i16>, <16 x i16>* %y @@ -10042,1073 +1024,209 @@ } declare <16 x i16> @llvm.ctlz.v16i16(<16 x i16>, i1) -define void @ctlz_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +define void @ctlz_v8i32(<8 x i32>* %x, <8 x i32>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v8i32: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a2 -; LMULMAX2-RV32-NEXT: not a2, a1 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV32-NEXT: and a3, a3, a6 -; LMULMAX2-RV32-NEXT: sub a3, a2, a3 -; LMULMAX2-RV32-NEXT: lui a2, 209715 -; LMULMAX2-RV32-NEXT: addi a2, a2, 819 -; LMULMAX2-RV32-NEXT: and a4, a3, a2 -; LMULMAX2-RV32-NEXT: srli a3, a3, 2 -; LMULMAX2-RV32-NEXT: and a3, a3, a2 -; LMULMAX2-RV32-NEXT: add a3, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 4 -; LMULMAX2-RV32-NEXT: add a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 61681 -; LMULMAX2-RV32-NEXT: addi a3, a3, -241 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: lui a4, 4112 -; LMULMAX2-RV32-NEXT: addi a4, a4, 257 -; LMULMAX2-RV32-NEXT: mul a5, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a5, 24 -; LMULMAX2-RV32-NEXT: sw a5, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e32, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v10 -; LMULMAX2-RV32-NEXT: srli a1, a5, 1 -; LMULMAX2-RV32-NEXT: or a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 60(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 56(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 52(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 48(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 44(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 40(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 36(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v8i32: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e32, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a2, a1 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 349525 ; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a3, a2, a3 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a3, a2 -; LMULMAX2-RV64-NEXT: srli a3, a3, 2 -; LMULMAX2-RV64-NEXT: and a3, a3, a2 -; LMULMAX2-RV64-NEXT: add a3, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 4 -; LMULMAX2-RV64-NEXT: add a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 3855 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: lui a4, 4112 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: mul a5, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a5, 56 -; LMULMAX2-RV64-NEXT: addiw a5, a5, -32 -; LMULMAX2-RV64-NEXT: sw a5, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e32, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a5, v10 -; LMULMAX2-RV64-NEXT: srliw a1, a5, 1 -; LMULMAX2-RV64-NEXT: slli a5, a5, 32 -; LMULMAX2-RV64-NEXT: srli a5, a5, 32 -; LMULMAX2-RV64-NEXT: or a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 60(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 52(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 44(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 40(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 -; LMULMAX2-RV64-NEXT: slli a1, a1, 32 -; LMULMAX2-RV64-NEXT: srli a1, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX2-RV64-NEXT: sw a1, 36(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e32, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 209715 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 61681 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v8i32: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle32.v v9, (a6) -; LMULMAX1-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 2 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 8 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a3 -; LMULMAX1-RV32-NEXT: not a3, a2 -; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV32-NEXT: vle32.v v9, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, a7 -; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 ; LMULMAX1-RV32-NEXT: lui a3, 209715 ; LMULMAX1-RV32-NEXT: addi a3, a3, 819 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a4, 2 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: add a4, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a4, 4 -; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: vand.vx v10, v8, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v10 ; LMULMAX1-RV32-NEXT: lui a4, 61681 ; LMULMAX1-RV32-NEXT: addi a4, a4, -241 -; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a4 ; LMULMAX1-RV32-NEXT: lui a5, 4112 ; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 44(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 40(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 36(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 16(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 20(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle32.v v9, (a1) -; LMULMAX1-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse32.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 24 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 8 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 16 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v10, v9, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV32-NEXT: vmul.vx v9, v9, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 24 +; LMULMAX1-RV32-NEXT: vse32.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse32.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v8i32: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -48 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle32.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: srliw a3, a2, 1 -; LMULMAX1-RV64-NEXT: slli a2, a2, 32 -; LMULMAX1-RV64-NEXT: srli a2, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a3, a2 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 +; LMULMAX1-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV64-NEXT: vle32.v v9, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: lui a2, 349525 ; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a3, 209715 ; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a4, 61681 +; LMULMAX1-RV64-NEXT: addiw a4, a4, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 ; LMULMAX1-RV64-NEXT: lui a5, 4112 ; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 32(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 44(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 40(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 36(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 16(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 -; LMULMAX1-RV64-NEXT: slli a1, a1, 32 -; LMULMAX1-RV64-NEXT: srli a1, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: addiw a1, a1, -32 -; LMULMAX1-RV64-NEXT: sw a1, 20(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle32.v v8, (a1) -; LMULMAX1-RV64-NEXT: addi a1, sp, 32 -; LMULMAX1-RV64-NEXT: vle32.v v9, (a1) -; LMULMAX1-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV64-NEXT: vse32.v v9, (a6) -; LMULMAX1-RV64-NEXT: addi sp, sp, 48 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 24 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 8 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 16 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vmul.vx v9, v9, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 24 +; LMULMAX1-RV64-NEXT: vse32.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse32.v v8, (a1) ; LMULMAX1-RV64-NEXT: ret %a = load <8 x i32>, <8 x i32>* %x %b = load <8 x i32>, <8 x i32>* %y @@ -11118,300 +1236,83 @@ } declare <8 x i32> @llvm.ctlz.v8i32(<8 x i32>, i1) -define void @ctlz_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +define void @ctlz_v4i64(<4 x i64>* %x, <4 x i64>* %y) nounwind { ; LMULMAX2-RV32-LABEL: ctlz_v4i64: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV32-NEXT: sw zero, 60(sp) -; LMULMAX2-RV32-NEXT: sw zero, 52(sp) -; LMULMAX2-RV32-NEXT: sw zero, 44(sp) -; LMULMAX2-RV32-NEXT: sw zero, 36(sp) -; LMULMAX2-RV32-NEXT: addi a6, zero, 32 -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e64, m2, ta, mu -; LMULMAX2-RV32-NEXT: vsrl.vx v10, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsrl.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.i v10, -1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vxor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v12, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v10, v10, v12 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 ; LMULMAX2-RV32-NEXT: lui a1, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v12, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v12, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 ; LMULMAX2-RV32-NEXT: lui a1, 61681 -; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 ; LMULMAX2-RV32-NEXT: lui a1, 4112 -; LMULMAX2-RV32-NEXT: addi a2, a1, 257 -; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_2 -; LMULMAX2-RV32-NEXT: # %bb.1: -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_3 -; LMULMAX2-RV32-NEXT: .LBB7_2: -; LMULMAX2-RV32-NEXT: srli a1, a5, 1 -; LMULMAX2-RV32-NEXT: or a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_3: -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vsrl.vx v12, v10, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v12 -; LMULMAX2-RV32-NEXT: sw a5, 32(sp) -; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_5 -; LMULMAX2-RV32-NEXT: # %bb.4: -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_6 -; LMULMAX2-RV32-NEXT: .LBB7_5: -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_6: -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vsrl.vx v12, v10, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v12 -; LMULMAX2-RV32-NEXT: sw a5, 56(sp) -; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_8 -; LMULMAX2-RV32-NEXT: # %bb.7: -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_9 -; LMULMAX2-RV32-NEXT: .LBB7_8: -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_9: -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vsrl.vx v10, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: sw a5, 48(sp) -; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_11 -; LMULMAX2-RV32-NEXT: # %bb.10: -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_12 -; LMULMAX2-RV32-NEXT: .LBB7_11: -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 2 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 8 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 16 -; LMULMAX2-RV32-NEXT: or a1, a1, a5 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_12: -; LMULMAX2-RV32-NEXT: sw a1, 40(sp) +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 ; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmul.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: addi a1, zero, 56 +; LMULMAX2-RV32-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX2-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: ctlz_v4i64: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e64, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a2 -; LMULMAX2-RV64-NEXT: not a2, a1 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsrl.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX2-RV64-NEXT: lui a1, 21845 ; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 ; LMULMAX2-RV64-NEXT: slli a1, a1, 12 @@ -11419,549 +1320,219 @@ ; LMULMAX2-RV64-NEXT: slli a1, a1, 12 ; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 ; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a3, a2, a3 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a3, a2 -; LMULMAX2-RV64-NEXT: srli a3, a3, 2 -; LMULMAX2-RV64-NEXT: and a3, a3, a2 -; LMULMAX2-RV64-NEXT: add a3, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 4 -; LMULMAX2-RV64-NEXT: add a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 3855 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: lui a4, 4112 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: mul a5, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a5, 56 -; LMULMAX2-RV64-NEXT: sd a5, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e64, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a5, v10 -; LMULMAX2-RV64-NEXT: srli a1, a5, 1 -; LMULMAX2-RV64-NEXT: or a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sd a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sd a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 2 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 8 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 16 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 32 -; LMULMAX2-RV64-NEXT: or a1, a1, a5 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sd a1, 40(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e64, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle64.v v8, (a1) +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 13107 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 3855 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 56 +; LMULMAX2-RV64-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX2-RV64-NEXT: vse64.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: ctlz_v4i64: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle64.v v9, (a6) -; LMULMAX1-RV32-NEXT: sw zero, 44(sp) -; LMULMAX1-RV32-NEXT: sw zero, 36(sp) -; LMULMAX1-RV32-NEXT: addi a7, zero, 32 -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vsrl.vx v10, v9, a7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a5, a2, 1365 -; LMULMAX1-RV32-NEXT: lui a2, 209715 -; LMULMAX1-RV32-NEXT: addi a4, a2, 819 -; LMULMAX1-RV32-NEXT: lui a2, 61681 -; LMULMAX1-RV32-NEXT: addi t0, a2, -241 -; LMULMAX1-RV32-NEXT: lui a2, 4112 -; LMULMAX1-RV32-NEXT: addi a3, a2, 257 -; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_2 -; LMULMAX1-RV32-NEXT: # %bb.1: -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_3 -; LMULMAX1-RV32-NEXT: .LBB7_2: -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_3: -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vsrl.vx v10, v9, a7 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: sw a1, 32(sp) -; LMULMAX1-RV32-NEXT: bnez a2, .LBB7_5 -; LMULMAX1-RV32-NEXT: # %bb.4: -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_6 -; LMULMAX1-RV32-NEXT: .LBB7_5: -; LMULMAX1-RV32-NEXT: srli a1, a2, 1 -; LMULMAX1-RV32-NEXT: or a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_6: -; LMULMAX1-RV32-NEXT: sw a1, 40(sp) -; LMULMAX1-RV32-NEXT: sw zero, 28(sp) -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: sw zero, 20(sp) -; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_8 -; LMULMAX1-RV32-NEXT: # %bb.7: -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_9 -; LMULMAX1-RV32-NEXT: .LBB7_8: -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_9: -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a7 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: sw a1, 16(sp) -; LMULMAX1-RV32-NEXT: bnez a2, .LBB7_11 -; LMULMAX1-RV32-NEXT: # %bb.10: -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_12 -; LMULMAX1-RV32-NEXT: .LBB7_11: -; LMULMAX1-RV32-NEXT: srli a1, a2, 1 -; LMULMAX1-RV32-NEXT: or a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 2 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 8 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a2 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_12: -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle64.v v8, (a1) +; LMULMAX1-RV32-NEXT: vle64.v v9, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: addi a2, zero, 32 +; LMULMAX1-RV32-NEXT: vsrl.vx v10, v8, a2 +; LMULMAX1-RV32-NEXT: vor.vv v8, v8, v10 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle32.v v9, (a1) +; LMULMAX1-RV32-NEXT: vmv.v.i v10, -1 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse64.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vxor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v11, v8, 1 +; LMULMAX1-RV32-NEXT: lui a3, 349525 +; LMULMAX1-RV32-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v12, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v11, v11, v12 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v11 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v11, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v13, v8, v11 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v11 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v13, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v13, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v13 +; LMULMAX1-RV32-NEXT: lui a3, 61681 +; LMULMAX1-RV32-NEXT: addi a3, a3, -241 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v13, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v13 +; LMULMAX1-RV32-NEXT: lui a3, 4112 +; LMULMAX1-RV32-NEXT: addi a3, a3, 257 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v14, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmul.vv v8, v8, v14 +; LMULMAX1-RV32-NEXT: addi a3, zero, 56 +; LMULMAX1-RV32-NEXT: vsrl.vx v8, v8, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v15, v9, 1 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vsrl.vi v15, v9, 2 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vsrl.vi v15, v9, 4 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vsrl.vi v15, v9, 8 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vsrl.vi v15, v9, 16 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vsrl.vx v15, v9, a2 +; LMULMAX1-RV32-NEXT: vor.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vxor.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vv v10, v10, v12 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vv v10, v9, v11 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v11 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v13 +; LMULMAX1-RV32-NEXT: vmul.vv v9, v9, v14 +; LMULMAX1-RV32-NEXT: vsrl.vx v9, v9, a3 +; LMULMAX1-RV32-NEXT: vse64.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse64.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: ctlz_v4i64: ; LMULMAX1-RV64: # %bb.0: ; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle64.v v10, (a6) -; LMULMAX1-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v10, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 2 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 8 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a3 -; LMULMAX1-RV64-NEXT: not a3, a2 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: addi a7, a0, 16 +; LMULMAX1-RV64-NEXT: vle64.v v8, (a7) +; LMULMAX1-RV64-NEXT: vle64.v v9, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 2 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 8 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 16 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: addi a6, zero, 32 +; LMULMAX1-RV64-NEXT: vsrl.vx v10, v8, a6 +; LMULMAX1-RV64-NEXT: vor.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 ; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 ; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 ; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 ; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 ; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 ; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vmv.v.x v9, a1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX1-RV64-NEXT: vmv.s.x v9, a1 -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vmv.v.x v10, a1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 2 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 8 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a2 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX1-RV64-NEXT: vmv.s.x v10, a1 -; LMULMAX1-RV64-NEXT: vse64.v v10, (a0) -; LMULMAX1-RV64-NEXT: vse64.v v9, (a6) +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a5 +; LMULMAX1-RV64-NEXT: lui a2, 4112 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 257 +; LMULMAX1-RV64-NEXT: slli a2, a2, 16 +; LMULMAX1-RV64-NEXT: addi a2, a2, 257 +; LMULMAX1-RV64-NEXT: slli a2, a2, 16 +; LMULMAX1-RV64-NEXT: addi a2, a2, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a2 +; LMULMAX1-RV64-NEXT: addi a1, zero, 56 +; LMULMAX1-RV64-NEXT: vsrl.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 2 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 8 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 16 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vx v10, v9, a6 +; LMULMAX1-RV64-NEXT: vor.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a5 +; LMULMAX1-RV64-NEXT: vmul.vx v9, v9, a2 +; LMULMAX1-RV64-NEXT: vsrl.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vse64.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse64.v v8, (a7) ; LMULMAX1-RV64-NEXT: ret %a = load <4 x i64>, <4 x i64>* %x %b = load <4 x i64>, <4 x i64>* %y diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll --- a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll +++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll @@ -4,1349 +4,97 @@ ; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV32 ; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV64 -define void @cttz_v16i8(<16 x i8>* %x, <16 x i8>* %y) { +define void @cttz_v16i8(<16 x i8>* %x, <16 x i8>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v16i8: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a2, a1, a2 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 -; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV32-NEXT: and a3, a3, a6 -; LMULMAX2-RV32-NEXT: sub a3, a2, a3 -; LMULMAX2-RV32-NEXT: lui a2, 209715 -; LMULMAX2-RV32-NEXT: addi a2, a2, 819 -; LMULMAX2-RV32-NEXT: and a4, a3, a2 -; LMULMAX2-RV32-NEXT: srli a3, a3, 2 -; LMULMAX2-RV32-NEXT: and a3, a3, a2 -; LMULMAX2-RV32-NEXT: add a3, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 4 -; LMULMAX2-RV32-NEXT: add a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 61681 -; LMULMAX2-RV32-NEXT: addi a3, a3, -241 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: lui a4, 4112 -; LMULMAX2-RV32-NEXT: addi a4, a4, 257 -; LMULMAX2-RV32-NEXT: mul a5, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a5, 24 -; LMULMAX2-RV32-NEXT: sb a5, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v9 -; LMULMAX2-RV32-NEXT: ori a5, a5, 256 -; LMULMAX2-RV32-NEXT: addi a1, a5, -1 -; LMULMAX2-RV32-NEXT: not a5, a5 -; LMULMAX2-RV32-NEXT: and a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 31(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 30(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 29(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 28(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 27(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 26(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 25(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 24(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 23(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 22(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 21(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 20(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 19(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 18(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 17(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v16i8: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -32 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a2, a1, a2 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 -; LMULMAX2-RV64-NEXT: lui a1, 21845 -; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a3, a2, a3 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a3, a2 -; LMULMAX2-RV64-NEXT: srli a3, a3, 2 -; LMULMAX2-RV64-NEXT: and a3, a3, a2 -; LMULMAX2-RV64-NEXT: add a3, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 4 -; LMULMAX2-RV64-NEXT: add a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 3855 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: lui a4, 4112 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: slli a4, a4, 16 -; LMULMAX2-RV64-NEXT: addi a4, a4, 257 -; LMULMAX2-RV64-NEXT: mul a5, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a5, 56 -; LMULMAX2-RV64-NEXT: sb a5, 31(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX2-RV64-NEXT: vmv.x.s a5, v9 -; LMULMAX2-RV64-NEXT: ori a5, a5, 256 -; LMULMAX2-RV64-NEXT: addi a1, a5, -1 -; LMULMAX2-RV64-NEXT: not a5, a5 -; LMULMAX2-RV64-NEXT: and a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 30(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 29(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 28(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 27(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 26(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 25(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 24(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 23(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 22(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 21(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 20(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 19(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 18(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a5, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 17(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a5, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a5, a1, 1 -; LMULMAX2-RV64-NEXT: and a5, a5, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a5 -; LMULMAX2-RV64-NEXT: and a5, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a5, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 16(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 16 -; LMULMAX2-RV64-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, sp, 32 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v16i8: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a2, a1, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV32-NEXT: and a3, a3, a6 -; LMULMAX1-RV32-NEXT: sub a3, a2, a3 -; LMULMAX1-RV32-NEXT: lui a2, 209715 -; LMULMAX1-RV32-NEXT: addi a2, a2, 819 -; LMULMAX1-RV32-NEXT: and a4, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a3, 2 -; LMULMAX1-RV32-NEXT: and a3, a3, a2 -; LMULMAX1-RV32-NEXT: add a3, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 4 -; LMULMAX1-RV32-NEXT: add a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 61681 -; LMULMAX1-RV32-NEXT: addi a3, a3, -241 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: lui a4, 4112 -; LMULMAX1-RV32-NEXT: addi a4, a4, 257 -; LMULMAX1-RV32-NEXT: mul a5, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a5, 24 -; LMULMAX1-RV32-NEXT: sb a5, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV32-NEXT: vmv.x.s a5, v9 -; LMULMAX1-RV32-NEXT: ori a5, a5, 256 -; LMULMAX1-RV32-NEXT: addi a1, a5, -1 -; LMULMAX1-RV32-NEXT: not a5, a5 -; LMULMAX1-RV32-NEXT: and a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 31(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 29(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 27(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 25(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 23(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 21(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 19(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 18(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 17(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle8.v v8, (a1) +; LMULMAX1-RV32-NEXT: addi a1, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: addi a1, zero, 85 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: addi a1, zero, 51 +; LMULMAX1-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vand.vi v8, v8, 15 ; LMULMAX1-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v16i8: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -32 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a2, a1, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: lui a1, 21845 -; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 -; LMULMAX1-RV64-NEXT: slli a1, a1, 12 -; LMULMAX1-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV64-NEXT: and a3, a3, a6 -; LMULMAX1-RV64-NEXT: sub a3, a2, a3 -; LMULMAX1-RV64-NEXT: lui a2, 13107 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: and a4, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a3, 2 -; LMULMAX1-RV64-NEXT: and a3, a3, a2 -; LMULMAX1-RV64-NEXT: add a3, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 4 -; LMULMAX1-RV64-NEXT: add a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 3855 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, -241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 241 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, -241 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: lui a4, 4112 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 257 -; LMULMAX1-RV64-NEXT: slli a4, a4, 16 -; LMULMAX1-RV64-NEXT: addi a4, a4, 257 -; LMULMAX1-RV64-NEXT: slli a4, a4, 16 -; LMULMAX1-RV64-NEXT: addi a4, a4, 257 -; LMULMAX1-RV64-NEXT: mul a5, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a5, 56 -; LMULMAX1-RV64-NEXT: sb a5, 31(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV64-NEXT: vmv.x.s a5, v9 -; LMULMAX1-RV64-NEXT: ori a5, a5, 256 -; LMULMAX1-RV64-NEXT: addi a1, a5, -1 -; LMULMAX1-RV64-NEXT: not a5, a5 -; LMULMAX1-RV64-NEXT: and a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 29(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 27(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 25(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 23(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 21(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 19(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 18(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 17(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a5, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a5, a1, 1 -; LMULMAX1-RV64-NEXT: and a5, a5, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a5 -; LMULMAX1-RV64-NEXT: and a5, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: mul a1, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle8.v v8, (a1) +; LMULMAX1-RV64-NEXT: addi a1, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 85 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: addi a1, zero, 51 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vand.vi v8, v8, 15 ; LMULMAX1-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV64-NEXT: addi sp, sp, 32 ; LMULMAX1-RV64-NEXT: ret %a = load <16 x i8>, <16 x i8>* %x %b = load <16 x i8>, <16 x i8>* %y @@ -1356,745 +104,125 @@ } declare <16 x i8> @llvm.cttz.v16i8(<16 x i8>, i1) -define void @cttz_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +define void @cttz_v8i16(<8 x i16>* %x, <8 x i16>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v8i16: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV32-NEXT: lui a6, 16 -; LMULMAX2-RV32-NEXT: or a2, a2, a6 -; LMULMAX2-RV32-NEXT: addi a3, a2, -1 -; LMULMAX2-RV32-NEXT: not a2, a2 -; LMULMAX2-RV32-NEXT: and a3, a2, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 1 -; LMULMAX2-RV32-NEXT: lui a2, 349525 -; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV32-NEXT: and a4, a4, a7 -; LMULMAX2-RV32-NEXT: sub a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a3, 819 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a4, 2 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: add a4, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a4, 4 -; LMULMAX2-RV32-NEXT: add a5, a4, a5 -; LMULMAX2-RV32-NEXT: lui a4, 61681 -; LMULMAX2-RV32-NEXT: addi a4, a4, -241 -; LMULMAX2-RV32-NEXT: and a1, a5, a4 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 30(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 28(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 26(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 24(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 22(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 20(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 18(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV32-NEXT: lui a1, 5 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 3 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 1 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v8i16: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -32 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX2-RV64-NEXT: lui a6, 16 -; LMULMAX2-RV64-NEXT: or a2, a2, a6 -; LMULMAX2-RV64-NEXT: addi a3, a2, -1 -; LMULMAX2-RV64-NEXT: not a2, a2 -; LMULMAX2-RV64-NEXT: and a3, a2, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 30(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 28(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 26(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 24(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 22(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 20(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 18(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 16(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 16 -; LMULMAX2-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 5 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 3 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 1 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, sp, 32 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v8i16: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: lui a6, 16 -; LMULMAX1-RV32-NEXT: or a2, a2, a6 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a3, a2, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 1 -; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, a7 -; LMULMAX1-RV32-NEXT: sub a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a3, 819 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a4, 2 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: add a4, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a4, 4 -; LMULMAX1-RV32-NEXT: add a5, a4, a5 -; LMULMAX1-RV32-NEXT: lui a4, 61681 -; LMULMAX1-RV32-NEXT: addi a4, a4, -241 -; LMULMAX1-RV32-NEXT: and a1, a5, a4 -; LMULMAX1-RV32-NEXT: lui a5, 4112 -; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: or a1, a1, a6 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 18(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX1-RV32-NEXT: addi a1, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV32-NEXT: lui a1, 5 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 3 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 1 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: addi a1, zero, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX1-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v8i16: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -32 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: lui a6, 16 -; LMULMAX1-RV64-NEXT: or a2, a2, a6 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a3, a2, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 18(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX1-RV64-NEXT: addi a1, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: lui a1, 5 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 3 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 1 +; LMULMAX1-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX1-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV64-NEXT: addi sp, sp, 32 ; LMULMAX1-RV64-NEXT: ret %a = load <8 x i16>, <8 x i16>* %x %b = load <8 x i16>, <8 x i16>* %y @@ -2104,433 +232,129 @@ } declare <8 x i16> @llvm.cttz.v8i16(<8 x i16>, i1) -define void @cttz_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +define void @cttz_v4i32(<4 x i32>* %x, <4 x i32>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v4i32: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a2, a1, a2 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV32-NEXT: and a3, a3, a6 -; LMULMAX2-RV32-NEXT: sub a3, a2, a3 -; LMULMAX2-RV32-NEXT: lui a2, 209715 -; LMULMAX2-RV32-NEXT: addi a2, a2, 819 -; LMULMAX2-RV32-NEXT: and a4, a3, a2 -; LMULMAX2-RV32-NEXT: srli a3, a3, 2 -; LMULMAX2-RV32-NEXT: and a3, a3, a2 -; LMULMAX2-RV32-NEXT: add a3, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 4 -; LMULMAX2-RV32-NEXT: add a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 61681 -; LMULMAX2-RV32-NEXT: addi a3, a3, -241 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a4, a4, a5 -; LMULMAX2-RV32-NEXT: srli a4, a4, 24 -; LMULMAX2-RV32-NEXT: sw a4, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a4, v9 -; LMULMAX2-RV32-NEXT: addi a1, a4, -1 -; LMULMAX2-RV32-NEXT: not a4, a4 -; LMULMAX2-RV32-NEXT: and a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a4, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a4, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a4, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 28(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: addi a4, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a4, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a4, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a4, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 24(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: addi a4, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a4, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a4, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 20(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v4i32: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -32 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v9 ; LMULMAX2-RV64-NEXT: addi a1, zero, 1 -; LMULMAX2-RV64-NEXT: slli a6, a1, 32 -; LMULMAX2-RV64-NEXT: or a2, a2, a6 -; LMULMAX2-RV64-NEXT: addi a3, a2, -1 -; LMULMAX2-RV64-NEXT: not a2, a2 -; LMULMAX2-RV64-NEXT: and a3, a2, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 28(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 24(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 20(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 16(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 16 -; LMULMAX2-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 349525 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 209715 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 61681 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, sp, 32 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v4i32: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a2, a1, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: addi a1, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX1-RV32-NEXT: and a3, a3, a6 -; LMULMAX1-RV32-NEXT: sub a3, a2, a3 -; LMULMAX1-RV32-NEXT: lui a2, 209715 -; LMULMAX1-RV32-NEXT: addi a2, a2, 819 -; LMULMAX1-RV32-NEXT: and a4, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a3, 2 -; LMULMAX1-RV32-NEXT: and a3, a3, a2 -; LMULMAX1-RV32-NEXT: add a3, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 4 -; LMULMAX1-RV32-NEXT: add a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 61681 -; LMULMAX1-RV32-NEXT: addi a3, a3, -241 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: lui a5, 4112 -; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a4, a4, a5 -; LMULMAX1-RV32-NEXT: srli a4, a4, 24 -; LMULMAX1-RV32-NEXT: sw a4, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a4, v9 -; LMULMAX1-RV32-NEXT: addi a1, a4, -1 -; LMULMAX1-RV32-NEXT: not a4, a4 -; LMULMAX1-RV32-NEXT: and a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a4, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a4, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a4, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a4, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a4, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a4, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a4, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: addi a4, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: srli a4, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a4, a6 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 20(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 209715 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 61681 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX1-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v4i32: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -32 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 ; LMULMAX1-RV64-NEXT: addi a1, zero, 1 -; LMULMAX1-RV64-NEXT: slli a6, a1, 32 -; LMULMAX1-RV64-NEXT: or a2, a2, a6 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a3, a2, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sw a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sw a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sw a1, 20(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: or a1, a1, a6 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sw a1, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: lui a1, 349525 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 209715 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 61681 +; LMULMAX1-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX1-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV64-NEXT: addi sp, sp, 32 ; LMULMAX1-RV64-NEXT: ret %a = load <4 x i32>, <4 x i32>* %x %b = load <4 x i32>, <4 x i32>* %y @@ -2540,371 +364,207 @@ } declare <4 x i32> @llvm.cttz.v4i32(<4 x i32>, i1) -define void @cttz_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +define void @cttz_v2i64(<2 x i64>* %x, <2 x i64>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v2i64: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -32 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX2-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV32-NEXT: sw zero, 28(sp) -; LMULMAX2-RV32-NEXT: sw zero, 20(sp) -; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.i v10, -1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vxor.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v9 ; LMULMAX2-RV32-NEXT: lui a1, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v10, v8, v9 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v9 ; LMULMAX2-RV32-NEXT: lui a1, 61681 -; LMULMAX2-RV32-NEXT: addi a7, a1, -241 -; LMULMAX2-RV32-NEXT: lui a2, 4112 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v8 -; LMULMAX2-RV32-NEXT: addi a2, a2, 257 -; LMULMAX2-RV32-NEXT: bnez a5, .LBB3_2 -; LMULMAX2-RV32-NEXT: # %bb.1: -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX2-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB3_3 -; LMULMAX2-RV32-NEXT: .LBB3_2: -; LMULMAX2-RV32-NEXT: addi a1, a5, -1 -; LMULMAX2-RV32-NEXT: not a5, a5 -; LMULMAX2-RV32-NEXT: and a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB3_3: -; LMULMAX2-RV32-NEXT: sw a5, 16(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v8 -; LMULMAX2-RV32-NEXT: bnez a5, .LBB3_5 -; LMULMAX2-RV32-NEXT: # %bb.4: -; LMULMAX2-RV32-NEXT: vsrl.vx v8, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB3_6 -; LMULMAX2-RV32-NEXT: .LBB3_5: -; LMULMAX2-RV32-NEXT: addi a1, a5, -1 -; LMULMAX2-RV32-NEXT: not a5, a5 -; LMULMAX2-RV32-NEXT: and a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB3_6: -; LMULMAX2-RV32-NEXT: sw a1, 24(sp) +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 16 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: vmv.v.x v9, a1 ; LMULMAX2-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX2-RV32-NEXT: vmul.vv v8, v8, v9 +; LMULMAX2-RV32-NEXT: addi a1, zero, 56 +; LMULMAX2-RV32-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX2-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, sp, 32 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v2i64: ; LMULMAX2-RV64: # %bb.0: ; LMULMAX2-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX2-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: lui a3, 21845 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a6, a3, 1365 -; LMULMAX2-RV64-NEXT: and a2, a2, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a4, a1 -; LMULMAX2-RV64-NEXT: srli a4, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a4 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX2-RV64-NEXT: vmv.v.x v9, a1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: addi a3, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: srli a3, a1, 1 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a3 -; LMULMAX2-RV64-NEXT: and a3, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a3, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX2-RV64-NEXT: vmv.s.x v9, a1 -; LMULMAX2-RV64-NEXT: vse64.v v9, (a0) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 13107 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX2-RV64-NEXT: lui a1, 3855 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 56 +; LMULMAX2-RV64-NEXT: vsrl.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vse64.v v8, (a0) ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v2i64: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -32 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX1-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV32-NEXT: sw zero, 28(sp) -; LMULMAX1-RV32-NEXT: sw zero, 20(sp) -; LMULMAX1-RV32-NEXT: addi a6, zero, 32 +; LMULMAX1-RV32-NEXT: addi a1, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.i v10, -1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vxor.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 1 ; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v9 ; LMULMAX1-RV32-NEXT: lui a1, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a1, 819 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v10, v8, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v9 ; LMULMAX1-RV32-NEXT: lui a1, 61681 -; LMULMAX1-RV32-NEXT: addi a7, a1, -241 -; LMULMAX1-RV32-NEXT: lui a2, 4112 -; LMULMAX1-RV32-NEXT: vmv.x.s a5, v8 -; LMULMAX1-RV32-NEXT: addi a2, a2, 257 -; LMULMAX1-RV32-NEXT: bnez a5, .LBB3_2 -; LMULMAX1-RV32-NEXT: # %bb.1: -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a5, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB3_3 -; LMULMAX1-RV32-NEXT: .LBB3_2: -; LMULMAX1-RV32-NEXT: addi a1, a5, -1 -; LMULMAX1-RV32-NEXT: not a5, a5 -; LMULMAX1-RV32-NEXT: and a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a5, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a5, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a5, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB3_3: -; LMULMAX1-RV32-NEXT: sw a5, 16(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a5, v8 -; LMULMAX1-RV32-NEXT: bnez a5, .LBB3_5 -; LMULMAX1-RV32-NEXT: # %bb.4: -; LMULMAX1-RV32-NEXT: vsrl.vx v8, v8, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: addi a5, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a3, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a3 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB3_6 -; LMULMAX1-RV32-NEXT: .LBB3_5: -; LMULMAX1-RV32-NEXT: addi a1, a5, -1 -; LMULMAX1-RV32-NEXT: not a5, a5 -; LMULMAX1-RV32-NEXT: and a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 1 -; LMULMAX1-RV32-NEXT: and a4, a5, a4 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: and a4, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a4, a1 -; LMULMAX1-RV32-NEXT: srli a3, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a3 -; LMULMAX1-RV32-NEXT: and a1, a1, a7 -; LMULMAX1-RV32-NEXT: mul a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB3_6: -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a1 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a1 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmul.vv v8, v8, v9 +; LMULMAX1-RV32-NEXT: addi a1, zero, 56 +; LMULMAX1-RV32-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX1-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi sp, sp, 32 ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v2i64: ; LMULMAX1-RV64: # %bb.0: ; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu ; LMULMAX1-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: lui a3, 21845 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a6, a3, 1365 -; LMULMAX1-RV64-NEXT: and a2, a2, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: lui a2, 13107 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 819 -; LMULMAX1-RV64-NEXT: and a4, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a4, a1 -; LMULMAX1-RV64-NEXT: srli a4, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vmv.v.x v9, a1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: addi a3, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a3, a1, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, a6 -; LMULMAX1-RV64-NEXT: sub a1, a1, a3 -; LMULMAX1-RV64-NEXT: and a3, a1, a2 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: add a1, a3, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX1-RV64-NEXT: vmv.s.x v9, a1 -; LMULMAX1-RV64-NEXT: vse64.v v9, (a0) +; LMULMAX1-RV64-NEXT: addi a1, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 1 +; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 13107 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v9, v8, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v9, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v9 +; LMULMAX1-RV64-NEXT: lui a1, 3855 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, -241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 56 +; LMULMAX1-RV64-NEXT: vsrl.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vse64.v v8, (a0) ; LMULMAX1-RV64-NEXT: ret %a = load <2 x i64>, <2 x i64>* %x %b = load <2 x i64>, <2 x i64>* %y @@ -2914,2595 +574,131 @@ } declare <2 x i64> @llvm.cttz.v2i64(<2 x i64>, i1) -define void @cttz_v32i8(<32 x i8>* %x, <32 x i8>* %y) { +define void @cttz_v32i8(<32 x i8>* %x, <32 x i8>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v32i8: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 -; LMULMAX2-RV32-NEXT: addi a6, zero, 32 -; LMULMAX2-RV32-NEXT: vsetvli zero, a6, e8, m2, ta, mu +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli zero, a1, e8, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV32-NEXT: ori a2, a2, 256 -; LMULMAX2-RV32-NEXT: addi a3, a2, -1 -; LMULMAX2-RV32-NEXT: not a2, a2 -; LMULMAX2-RV32-NEXT: and a3, a2, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 1 -; LMULMAX2-RV32-NEXT: lui a2, 349525 -; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV32-NEXT: and a4, a4, a7 -; LMULMAX2-RV32-NEXT: sub a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a3, 819 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a4, 2 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: add a4, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a4, 4 -; LMULMAX2-RV32-NEXT: add a5, a4, a5 -; LMULMAX2-RV32-NEXT: lui a4, 61681 -; LMULMAX2-RV32-NEXT: addi a4, a4, -241 -; LMULMAX2-RV32-NEXT: and a1, a5, a4 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e8, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 31 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 63(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 30 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 62(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 29 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 61(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 28 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 60(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 27 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 59(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 26 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 58(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 25 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 57(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 24 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 56(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 23 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 55(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 22 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 54(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 21 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 53(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 20 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 52(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 19 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 51(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 18 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 50(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 17 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 49(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 16 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 48(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 47(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 46(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 45(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 44(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 43(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 42(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 41(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 40(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 39(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 38(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 37(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 36(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 35(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 34(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: ori a1, a1, 256 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sb a1, 33(sp) -; LMULMAX2-RV32-NEXT: vsetvli zero, a6, e8, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v32i8: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 -; LMULMAX2-RV64-NEXT: addi a6, zero, 32 -; LMULMAX2-RV64-NEXT: vsetvli zero, a6, e8, m2, ta, mu +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli zero, a1, e8, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e8, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 31 -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX2-RV64-NEXT: ori a2, a2, 256 -; LMULMAX2-RV64-NEXT: addi a3, a2, -1 -; LMULMAX2-RV64-NEXT: not a2, a2 -; LMULMAX2-RV64-NEXT: and a3, a2, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 63(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 30 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 62(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 29 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 61(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 28 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 60(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 27 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 59(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 26 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 58(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 25 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 57(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 24 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 23 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 55(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 22 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 54(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 21 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 53(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 20 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 52(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 19 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 51(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 18 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 50(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 17 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 49(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 16 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 47(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 46(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 45(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 44(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 43(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 42(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 41(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 40(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 39(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 38(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 37(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 36(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 35(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 34(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 33(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: ori a1, a1, 256 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sb a1, 32(sp) -; LMULMAX2-RV64-NEXT: vsetvli zero, a6, e8, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle8.v v8, (a1) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vand.vi v8, v8, 15 ; LMULMAX2-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v32i8: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 -; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle8.v v9, (a6) -; LMULMAX1-RV32-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: ori a2, a2, 256 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a3, a2, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 1 -; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, a7 -; LMULMAX1-RV32-NEXT: sub a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a3, 819 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a4, 2 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: add a4, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a4, 4 -; LMULMAX1-RV32-NEXT: add a5, a4, a5 -; LMULMAX1-RV32-NEXT: lui a4, 61681 -; LMULMAX1-RV32-NEXT: addi a4, a4, -241 -; LMULMAX1-RV32-NEXT: and a1, a5, a4 -; LMULMAX1-RV32-NEXT: lui a5, 4112 -; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 15 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 47(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 14 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 46(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 13 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 45(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 12 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 44(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 11 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 43(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 10 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 42(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 9 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 41(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 8 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 40(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 39(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 38(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 37(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 36(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 35(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 34(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 33(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 16(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 31(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 29(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 27(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 25(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 23(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 21(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 19(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 18(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: ori a1, a1, 256 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sb a1, 17(sp) ; LMULMAX1-RV32-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 ; LMULMAX1-RV32-NEXT: vle8.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle8.v v9, (a1) -; LMULMAX1-RV32-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse8.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vle8.v v9, (a0) +; LMULMAX1-RV32-NEXT: addi a2, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v8, a2 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: addi a3, zero, 85 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: addi a4, zero, 51 +; LMULMAX1-RV32-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vand.vi v8, v8, 15 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v9, a2 +; LMULMAX1-RV32-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vi v9, v9, 15 +; LMULMAX1-RV32-NEXT: vse8.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse8.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v32i8: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -48 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 48 -; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle8.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle8.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: ori a2, a2, 256 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a3, a2, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 32(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 15 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 47(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 14 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 46(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 13 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 45(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 12 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 44(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 11 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 43(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 10 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 42(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 9 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 41(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 8 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 40(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 39(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 38(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 37(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 36(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 35(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 34(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 33(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 15 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 31(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 14 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 13 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 29(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 12 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 11 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 27(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 10 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 9 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 25(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 8 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 23(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 21(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 19(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 18(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 17(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: ori a1, a1, 256 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sb a1, 16(sp) ; LMULMAX1-RV64-NEXT: vsetivli zero, 16, e8, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 ; LMULMAX1-RV64-NEXT: vle8.v v8, (a1) -; LMULMAX1-RV64-NEXT: addi a1, sp, 32 -; LMULMAX1-RV64-NEXT: vle8.v v9, (a1) -; LMULMAX1-RV64-NEXT: vse8.v v8, (a0) -; LMULMAX1-RV64-NEXT: vse8.v v9, (a6) -; LMULMAX1-RV64-NEXT: addi sp, sp, 48 +; LMULMAX1-RV64-NEXT: vle8.v v9, (a0) +; LMULMAX1-RV64-NEXT: addi a2, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v8, a2 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: addi a3, zero, 85 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: addi a4, zero, 51 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vand.vi v8, v8, 15 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v9, a2 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vi v9, v9, 15 +; LMULMAX1-RV64-NEXT: vse8.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse8.v v8, (a1) ; LMULMAX1-RV64-NEXT: ret %a = load <32 x i8>, <32 x i8>* %x %b = load <32 x i8>, <32 x i8>* %y @@ -5512,1381 +708,161 @@ } declare <32 x i8> @llvm.cttz.v32i8(<32 x i8>, i1) -define void @cttz_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +define void @cttz_v16i16(<16 x i16>* %x, <16 x i16>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v16i16: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e16, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX2-RV32-NEXT: lui a6, 16 -; LMULMAX2-RV32-NEXT: or a2, a2, a6 -; LMULMAX2-RV32-NEXT: addi a3, a2, -1 -; LMULMAX2-RV32-NEXT: not a2, a2 -; LMULMAX2-RV32-NEXT: and a3, a2, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 1 -; LMULMAX2-RV32-NEXT: lui a2, 349525 -; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV32-NEXT: and a4, a4, a7 -; LMULMAX2-RV32-NEXT: sub a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a3, 819 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a4, 2 -; LMULMAX2-RV32-NEXT: and a4, a4, a3 -; LMULMAX2-RV32-NEXT: add a4, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a4, 4 -; LMULMAX2-RV32-NEXT: add a5, a4, a5 -; LMULMAX2-RV32-NEXT: lui a4, 61681 -; LMULMAX2-RV32-NEXT: addi a4, a4, -241 -; LMULMAX2-RV32-NEXT: and a1, a5, a4 -; LMULMAX2-RV32-NEXT: lui a5, 4112 -; LMULMAX2-RV32-NEXT: addi a5, a5, 257 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e16, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 62(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 60(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 58(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 56(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 54(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 52(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 50(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 48(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 46(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 44(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 42(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 40(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 38(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 36(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: or a1, a1, a6 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a2, a1, 1 -; LMULMAX2-RV32-NEXT: and a2, a2, a7 -; LMULMAX2-RV32-NEXT: sub a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a2, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a2, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a4 -; LMULMAX2-RV32-NEXT: mul a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sh a1, 34(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 16, e16, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV32-NEXT: lui a1, 5 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 3 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 1 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v16i16: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e16, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e16, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 15 -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX2-RV64-NEXT: lui a6, 16 -; LMULMAX2-RV64-NEXT: or a2, a2, a6 -; LMULMAX2-RV64-NEXT: addi a3, a2, -1 -; LMULMAX2-RV64-NEXT: not a2, a2 -; LMULMAX2-RV64-NEXT: and a3, a2, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 62(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 14 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 60(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 13 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 58(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 12 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 11 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 54(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 10 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 52(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 9 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 50(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 8 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 46(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 44(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 42(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 40(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 38(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 36(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 34(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sh a1, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 16, e16, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 5 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 3 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 1 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 8 ; LMULMAX2-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v16i16: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle16.v v9, (a6) -; LMULMAX1-RV32-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: lui a7, 16 -; LMULMAX1-RV32-NEXT: or a1, a1, a7 -; LMULMAX1-RV32-NEXT: addi a3, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a4, a1, 1 -; LMULMAX1-RV32-NEXT: lui a3, 349525 -; LMULMAX1-RV32-NEXT: addi t0, a3, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, t0 -; LMULMAX1-RV32-NEXT: sub a1, a1, a4 -; LMULMAX1-RV32-NEXT: lui a4, 209715 +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle16.v v8, (a1) +; LMULMAX1-RV32-NEXT: vle16.v v9, (a0) +; LMULMAX1-RV32-NEXT: addi a6, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v8, a6 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: lui a3, 5 +; LMULMAX1-RV32-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a4, 3 ; LMULMAX1-RV32-NEXT: addi a4, a4, 819 -; LMULMAX1-RV32-NEXT: and a5, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a5, a1 -; LMULMAX1-RV32-NEXT: srli a5, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a5 -; LMULMAX1-RV32-NEXT: lui a5, 61681 +; LMULMAX1-RV32-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a5, 1 ; LMULMAX1-RV32-NEXT: addi a5, a5, -241 -; LMULMAX1-RV32-NEXT: and a2, a1, a5 -; LMULMAX1-RV32-NEXT: lui a1, 4112 -; LMULMAX1-RV32-NEXT: addi a1, a1, 257 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 46(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 44(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 42(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 40(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 38(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 36(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 34(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 16(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 30(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 26(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 22(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a2, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a2, 24 -; LMULMAX1-RV32-NEXT: sh a2, 20(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: or a2, a2, a7 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a2, a2, a3 -; LMULMAX1-RV32-NEXT: srli a3, a2, 1 -; LMULMAX1-RV32-NEXT: and a3, a3, t0 -; LMULMAX1-RV32-NEXT: sub a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a3, a2, a4 -; LMULMAX1-RV32-NEXT: srli a2, a2, 2 -; LMULMAX1-RV32-NEXT: and a2, a2, a4 -; LMULMAX1-RV32-NEXT: add a2, a3, a2 -; LMULMAX1-RV32-NEXT: srli a3, a2, 4 -; LMULMAX1-RV32-NEXT: add a2, a2, a3 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: mul a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sh a1, 18(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle16.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle16.v v9, (a1) -; LMULMAX1-RV32-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse16.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a5 +; LMULMAX1-RV32-NEXT: addi a2, zero, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a2 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 8 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v9, a6 +; LMULMAX1-RV32-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a5 +; LMULMAX1-RV32-NEXT: vmul.vx v9, v9, a2 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 8 +; LMULMAX1-RV32-NEXT: vse16.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse16.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v16i16: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -48 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle16.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle16.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: lui a7, 16 -; LMULMAX1-RV64-NEXT: or a1, a1, a7 -; LMULMAX1-RV64-NEXT: addi a3, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a4, a1, 1 -; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 +; LMULMAX1-RV64-NEXT: vle16.v v8, (a1) +; LMULMAX1-RV64-NEXT: vle16.v v9, (a0) +; LMULMAX1-RV64-NEXT: addi a6, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v8, a6 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: lui a3, 5 ; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi t0, a3, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, t0 -; LMULMAX1-RV64-NEXT: sub a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a4, 3 ; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: and a5, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: lui a5, 3855 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, -241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, 241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, -241 -; LMULMAX1-RV64-NEXT: and a2, a1, a5 -; LMULMAX1-RV64-NEXT: lui a1, 4112 -; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 -; LMULMAX1-RV64-NEXT: slli a1, a1, 16 -; LMULMAX1-RV64-NEXT: addi a1, a1, 257 -; LMULMAX1-RV64-NEXT: slli a1, a1, 16 -; LMULMAX1-RV64-NEXT: addi a1, a1, 257 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 32(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 46(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 44(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 42(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 40(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 38(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 36(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 34(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 7 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 30(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 6 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 5 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 26(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 4 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 22(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 20(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sh a2, 18(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sh a1, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 8, e16, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle16.v v8, (a1) -; LMULMAX1-RV64-NEXT: addi a1, sp, 32 -; LMULMAX1-RV64-NEXT: vle16.v v9, (a1) -; LMULMAX1-RV64-NEXT: vse16.v v8, (a0) -; LMULMAX1-RV64-NEXT: vse16.v v9, (a6) -; LMULMAX1-RV64-NEXT: addi sp, sp, 48 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a5, 1 +; LMULMAX1-RV64-NEXT: addiw a5, a5, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a5 +; LMULMAX1-RV64-NEXT: addi a2, zero, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a2 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 8 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v9, a6 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a5 +; LMULMAX1-RV64-NEXT: vmul.vx v9, v9, a2 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 8 +; LMULMAX1-RV64-NEXT: vse16.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse16.v v8, (a1) ; LMULMAX1-RV64-NEXT: ret %a = load <16 x i16>, <16 x i16>* %x %b = load <16 x i16>, <16 x i16>* %y @@ -6896,757 +872,165 @@ } declare <16 x i16> @llvm.cttz.v16i16(<16 x i16>, i1) -define void @cttz_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +define void @cttz_v8i32(<8 x i32>* %x, <8 x i32>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v8i32: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: addi a2, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a2, a1, a2 -; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV32-NEXT: and a3, a3, a6 -; LMULMAX2-RV32-NEXT: sub a3, a2, a3 -; LMULMAX2-RV32-NEXT: lui a2, 209715 -; LMULMAX2-RV32-NEXT: addi a2, a2, 819 -; LMULMAX2-RV32-NEXT: and a4, a3, a2 -; LMULMAX2-RV32-NEXT: srli a3, a3, 2 -; LMULMAX2-RV32-NEXT: and a3, a3, a2 -; LMULMAX2-RV32-NEXT: add a3, a4, a3 -; LMULMAX2-RV32-NEXT: srli a4, a3, 4 -; LMULMAX2-RV32-NEXT: add a4, a3, a4 -; LMULMAX2-RV32-NEXT: lui a3, 61681 -; LMULMAX2-RV32-NEXT: addi a3, a3, -241 -; LMULMAX2-RV32-NEXT: and a5, a4, a3 -; LMULMAX2-RV32-NEXT: lui a4, 4112 -; LMULMAX2-RV32-NEXT: addi a4, a4, 257 -; LMULMAX2-RV32-NEXT: mul a5, a5, a4 -; LMULMAX2-RV32-NEXT: srli a5, a5, 24 -; LMULMAX2-RV32-NEXT: sw a5, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e32, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v10 -; LMULMAX2-RV32-NEXT: addi a1, a5, -1 -; LMULMAX2-RV32-NEXT: not a5, a5 -; LMULMAX2-RV32-NEXT: and a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 60(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 56(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 52(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 48(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 44(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 40(sp) -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a6 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a2 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a2, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: mul a1, a1, a4 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: sw a1, 36(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v8i32: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e32, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e32, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 7 -; LMULMAX2-RV64-NEXT: vmv.x.s a2, v10 ; LMULMAX2-RV64-NEXT: addi a1, zero, 1 -; LMULMAX2-RV64-NEXT: slli a6, a1, 32 -; LMULMAX2-RV64-NEXT: or a2, a2, a6 -; LMULMAX2-RV64-NEXT: addi a3, a2, -1 -; LMULMAX2-RV64-NEXT: not a2, a2 -; LMULMAX2-RV64-NEXT: and a3, a2, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 1 -; LMULMAX2-RV64-NEXT: lui a2, 21845 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX2-RV64-NEXT: and a4, a4, a7 -; LMULMAX2-RV64-NEXT: sub a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 13107 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 819 -; LMULMAX2-RV64-NEXT: and a5, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a4, 2 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: add a4, a5, a4 -; LMULMAX2-RV64-NEXT: srli a5, a4, 4 -; LMULMAX2-RV64-NEXT: add a5, a4, a5 -; LMULMAX2-RV64-NEXT: lui a4, 3855 -; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, 241 -; LMULMAX2-RV64-NEXT: slli a4, a4, 12 -; LMULMAX2-RV64-NEXT: addi a4, a4, -241 -; LMULMAX2-RV64-NEXT: and a1, a5, a4 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 60(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 6 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 5 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 52(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 4 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 44(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 40(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 36(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: or a1, a1, a6 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: srli a2, a1, 1 -; LMULMAX2-RV64-NEXT: and a2, a2, a7 -; LMULMAX2-RV64-NEXT: sub a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a2, a1, a3 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: add a1, a2, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sw a1, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 8, e32, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV64-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX2-RV64-NEXT: lui a1, 349525 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 209715 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 61681 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 24 ; LMULMAX2-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v8i32: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 -; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a6, a0, 16 -; LMULMAX1-RV32-NEXT: vle32.v v9, (a6) -; LMULMAX1-RV32-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV32-NEXT: addi a3, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a3, a2, a3 -; LMULMAX1-RV32-NEXT: srli a4, a3, 1 -; LMULMAX1-RV32-NEXT: lui a2, 349525 -; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV32-NEXT: and a4, a4, a7 -; LMULMAX1-RV32-NEXT: sub a4, a3, a4 -; LMULMAX1-RV32-NEXT: lui a3, 209715 -; LMULMAX1-RV32-NEXT: addi a3, a3, 819 -; LMULMAX1-RV32-NEXT: and a5, a4, a3 -; LMULMAX1-RV32-NEXT: srli a4, a4, 2 -; LMULMAX1-RV32-NEXT: and a4, a4, a3 -; LMULMAX1-RV32-NEXT: add a4, a5, a4 -; LMULMAX1-RV32-NEXT: srli a5, a4, 4 -; LMULMAX1-RV32-NEXT: add a5, a4, a5 -; LMULMAX1-RV32-NEXT: lui a4, 61681 -; LMULMAX1-RV32-NEXT: addi a4, a4, -241 -; LMULMAX1-RV32-NEXT: and a1, a5, a4 -; LMULMAX1-RV32-NEXT: lui a5, 4112 -; LMULMAX1-RV32-NEXT: addi a5, a5, 257 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 44(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 40(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 36(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 16(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 28(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a7 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a3 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: mul a1, a1, a5 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: sw a1, 20(sp) ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 ; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle32.v v9, (a1) -; LMULMAX1-RV32-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse32.v v9, (a6) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vle32.v v9, (a0) +; LMULMAX1-RV32-NEXT: addi a6, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v8, a6 +; LMULMAX1-RV32-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: lui a3, 349525 +; LMULMAX1-RV32-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a4, 209715 +; LMULMAX1-RV32-NEXT: addi a4, a4, 819 +; LMULMAX1-RV32-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a5, 61681 +; LMULMAX1-RV32-NEXT: addi a5, a5, -241 +; LMULMAX1-RV32-NEXT: vand.vx v8, v8, a5 +; LMULMAX1-RV32-NEXT: lui a2, 4112 +; LMULMAX1-RV32-NEXT: addi a2, a2, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v8, v8, a2 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 24 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v9, a6 +; LMULMAX1-RV32-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vx v9, v9, a5 +; LMULMAX1-RV32-NEXT: vmul.vx v9, v9, a2 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 24 +; LMULMAX1-RV32-NEXT: vse32.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse32.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v8i32: ; LMULMAX1-RV64: # %bb.0: -; LMULMAX1-RV64-NEXT: addi sp, sp, -48 -; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle32.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle32.v v8, (a0) -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: addi a2, zero, 1 -; LMULMAX1-RV64-NEXT: slli a7, a2, 32 -; LMULMAX1-RV64-NEXT: or a1, a1, a7 -; LMULMAX1-RV64-NEXT: addi a3, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: srli a4, a1, 1 -; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 +; LMULMAX1-RV64-NEXT: vle32.v v8, (a1) +; LMULMAX1-RV64-NEXT: vle32.v v9, (a0) +; LMULMAX1-RV64-NEXT: addi a6, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v8, a6 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: lui a3, 349525 ; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 -; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi t0, a3, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, t0 -; LMULMAX1-RV64-NEXT: sub a1, a1, a4 -; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a4, 209715 ; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 819 -; LMULMAX1-RV64-NEXT: and a5, a1, a4 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: add a1, a5, a1 -; LMULMAX1-RV64-NEXT: srli a5, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a5 -; LMULMAX1-RV64-NEXT: lui a5, 3855 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, -241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, 241 -; LMULMAX1-RV64-NEXT: slli a5, a5, 12 -; LMULMAX1-RV64-NEXT: addi a5, a5, -241 -; LMULMAX1-RV64-NEXT: and a2, a1, a5 -; LMULMAX1-RV64-NEXT: lui a1, 4112 -; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 -; LMULMAX1-RV64-NEXT: slli a1, a1, 16 -; LMULMAX1-RV64-NEXT: addi a1, a1, 257 -; LMULMAX1-RV64-NEXT: slli a1, a1, 16 -; LMULMAX1-RV64-NEXT: addi a1, a1, 257 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 32(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 44(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 40(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 36(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 3 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 28(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 2 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 24(sp) -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v9 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a2, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a2, 56 -; LMULMAX1-RV64-NEXT: sw a2, 20(sp) -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV64-NEXT: or a2, a2, a7 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a2, a2, a3 -; LMULMAX1-RV64-NEXT: srli a3, a2, 1 -; LMULMAX1-RV64-NEXT: and a3, a3, t0 -; LMULMAX1-RV64-NEXT: sub a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a3, a2, a4 -; LMULMAX1-RV64-NEXT: srli a2, a2, 2 -; LMULMAX1-RV64-NEXT: and a2, a2, a4 -; LMULMAX1-RV64-NEXT: add a2, a3, a2 -; LMULMAX1-RV64-NEXT: srli a3, a2, 4 -; LMULMAX1-RV64-NEXT: add a2, a2, a3 -; LMULMAX1-RV64-NEXT: and a2, a2, a5 -; LMULMAX1-RV64-NEXT: mul a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: sw a1, 16(sp) -; LMULMAX1-RV64-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a1, sp, 16 -; LMULMAX1-RV64-NEXT: vle32.v v8, (a1) -; LMULMAX1-RV64-NEXT: addi a1, sp, 32 -; LMULMAX1-RV64-NEXT: vle32.v v9, (a1) -; LMULMAX1-RV64-NEXT: vse32.v v8, (a0) -; LMULMAX1-RV64-NEXT: vse32.v v9, (a6) -; LMULMAX1-RV64-NEXT: addi sp, sp, 48 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a5, 61681 +; LMULMAX1-RV64-NEXT: addiw a5, a5, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a5 +; LMULMAX1-RV64-NEXT: lui a2, 4112 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a2 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 24 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v9, a6 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a5 +; LMULMAX1-RV64-NEXT: vmul.vx v9, v9, a2 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 24 +; LMULMAX1-RV64-NEXT: vse32.v v9, (a0) +; LMULMAX1-RV64-NEXT: vse32.v v8, (a1) ; LMULMAX1-RV64-NEXT: ret %a = load <8 x i32>, <8 x i32>* %x %b = load <8 x i32>, <8 x i32>* %y @@ -7656,229 +1040,63 @@ } declare <8 x i32> @llvm.cttz.v8i32(<8 x i32>, i1) -define void @cttz_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +define void @cttz_v4i64(<4 x i64>* %x, <4 x i64>* %y) nounwind { ; LMULMAX2-RV32-LABEL: cttz_v4i64: ; LMULMAX2-RV32: # %bb.0: -; LMULMAX2-RV32-NEXT: addi sp, sp, -96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV32-NEXT: sw ra, 92(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: sw s0, 88(sp) # 4-byte Folded Spill -; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 -; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 -; LMULMAX2-RV32-NEXT: addi s0, sp, 96 -; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV32-NEXT: andi sp, sp, -32 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu ; LMULMAX2-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV32-NEXT: sw zero, 60(sp) -; LMULMAX2-RV32-NEXT: sw zero, 52(sp) -; LMULMAX2-RV32-NEXT: sw zero, 44(sp) -; LMULMAX2-RV32-NEXT: sw zero, 36(sp) -; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: addi a1, zero, 1 +; LMULMAX2-RV32-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.i v12, -1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vxor.vv v8, v8, v12 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX2-RV32-NEXT: lui a1, 349525 -; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v12, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v10, v10, v12 +; LMULMAX2-RV32-NEXT: vsub.vv v8, v8, v10 ; LMULMAX2-RV32-NEXT: lui a1, 209715 -; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v12, v8, v10 +; LMULMAX2-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v12, v8 +; LMULMAX2-RV32-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v8, v8, v10 ; LMULMAX2-RV32-NEXT: lui a1, 61681 -; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 +; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vand.vv v8, v8, v10 ; LMULMAX2-RV32-NEXT: lui a1, 4112 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v8 -; LMULMAX2-RV32-NEXT: addi a2, a1, 257 -; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_2 -; LMULMAX2-RV32-NEXT: # %bb.1: -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e64, m2, ta, mu -; LMULMAX2-RV32-NEXT: vsrl.vx v10, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_3 -; LMULMAX2-RV32-NEXT: .LBB7_2: -; LMULMAX2-RV32-NEXT: addi a1, a5, -1 -; LMULMAX2-RV32-NEXT: not a5, a5 -; LMULMAX2-RV32-NEXT: and a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_3: -; LMULMAX2-RV32-NEXT: sw a5, 32(sp) -; LMULMAX2-RV32-NEXT: vsetivli zero, 1, e64, m2, ta, mu -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV32-NEXT: vmv.x.s a5, v10 -; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_5 -; LMULMAX2-RV32-NEXT: # %bb.4: -; LMULMAX2-RV32-NEXT: vsrl.vx v10, v10, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_6 -; LMULMAX2-RV32-NEXT: .LBB7_5: -; LMULMAX2-RV32-NEXT: addi a1, a5, -1 -; LMULMAX2-RV32-NEXT: not a5, a5 -; LMULMAX2-RV32-NEXT: and a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_6: -; LMULMAX2-RV32-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: sw a5, 56(sp) -; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_8 -; LMULMAX2-RV32-NEXT: # %bb.7: -; LMULMAX2-RV32-NEXT: vsrl.vx v10, v10, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a5, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_9 -; LMULMAX2-RV32-NEXT: .LBB7_8: -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a5, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a5, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a5, a1 -; LMULMAX2-RV32-NEXT: srli a5, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a5 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a5, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_9: -; LMULMAX2-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: sw a5, 48(sp) -; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_11 -; LMULMAX2-RV32-NEXT: # %bb.10: -; LMULMAX2-RV32-NEXT: vsrl.vx v8, v8, a6 -; LMULMAX2-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: addi a1, a1, 32 -; LMULMAX2-RV32-NEXT: j .LBB7_12 -; LMULMAX2-RV32-NEXT: .LBB7_11: -; LMULMAX2-RV32-NEXT: addi a5, a1, -1 -; LMULMAX2-RV32-NEXT: not a1, a1 -; LMULMAX2-RV32-NEXT: and a1, a1, a5 -; LMULMAX2-RV32-NEXT: srli a5, a1, 1 -; LMULMAX2-RV32-NEXT: and a4, a5, a4 -; LMULMAX2-RV32-NEXT: sub a1, a1, a4 -; LMULMAX2-RV32-NEXT: and a4, a1, a3 -; LMULMAX2-RV32-NEXT: srli a1, a1, 2 -; LMULMAX2-RV32-NEXT: and a1, a1, a3 -; LMULMAX2-RV32-NEXT: add a1, a4, a1 -; LMULMAX2-RV32-NEXT: srli a3, a1, 4 -; LMULMAX2-RV32-NEXT: add a1, a1, a3 -; LMULMAX2-RV32-NEXT: and a1, a1, a7 -; LMULMAX2-RV32-NEXT: mul a1, a1, a2 -; LMULMAX2-RV32-NEXT: srli a1, a1, 24 -; LMULMAX2-RV32-NEXT: .LBB7_12: -; LMULMAX2-RV32-NEXT: sw a1, 40(sp) +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 ; LMULMAX2-RV32-NEXT: vsetivli zero, 8, e32, m2, ta, mu -; LMULMAX2-RV32-NEXT: addi a1, sp, 32 -; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: vmv.v.x v10, a1 ; LMULMAX2-RV32-NEXT: vsetivli zero, 4, e64, m2, ta, mu +; LMULMAX2-RV32-NEXT: vmul.vv v8, v8, v10 +; LMULMAX2-RV32-NEXT: addi a1, zero, 56 +; LMULMAX2-RV32-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX2-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX2-RV32-NEXT: addi sp, s0, -96 -; LMULMAX2-RV32-NEXT: lw s0, 88(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: lw ra, 92(sp) # 4-byte Folded Reload -; LMULMAX2-RV32-NEXT: addi sp, sp, 96 ; LMULMAX2-RV32-NEXT: ret ; ; LMULMAX2-RV64-LABEL: cttz_v4i64: ; LMULMAX2-RV64: # %bb.0: -; LMULMAX2-RV64-NEXT: addi sp, sp, -96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 96 -; LMULMAX2-RV64-NEXT: sd ra, 88(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: sd s0, 80(sp) # 8-byte Folded Spill -; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 -; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 -; LMULMAX2-RV64-NEXT: addi s0, sp, 96 -; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 -; LMULMAX2-RV64-NEXT: andi sp, sp, -32 ; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e64, m2, ta, mu ; LMULMAX2-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX2-RV64-NEXT: vsetivli zero, 1, e64, m2, ta, mu -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 3 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: addi a2, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a2, a1, a2 -; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsub.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX2-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 1 ; LMULMAX2-RV64-NEXT: lui a1, 21845 ; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 ; LMULMAX2-RV64-NEXT: slli a1, a1, 12 @@ -7886,414 +1104,179 @@ ; LMULMAX2-RV64-NEXT: slli a1, a1, 12 ; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 ; LMULMAX2-RV64-NEXT: slli a1, a1, 12 -; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 -; LMULMAX2-RV64-NEXT: and a3, a3, a6 -; LMULMAX2-RV64-NEXT: sub a3, a2, a3 -; LMULMAX2-RV64-NEXT: lui a2, 13107 -; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: slli a2, a2, 12 -; LMULMAX2-RV64-NEXT: addi a2, a2, 819 -; LMULMAX2-RV64-NEXT: and a4, a3, a2 -; LMULMAX2-RV64-NEXT: srli a3, a3, 2 -; LMULMAX2-RV64-NEXT: and a3, a3, a2 -; LMULMAX2-RV64-NEXT: add a3, a4, a3 -; LMULMAX2-RV64-NEXT: srli a4, a3, 4 -; LMULMAX2-RV64-NEXT: add a4, a3, a4 -; LMULMAX2-RV64-NEXT: lui a3, 3855 -; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, 241 -; LMULMAX2-RV64-NEXT: slli a3, a3, 12 -; LMULMAX2-RV64-NEXT: addi a3, a3, -241 -; LMULMAX2-RV64-NEXT: and a4, a4, a3 -; LMULMAX2-RV64-NEXT: lui a5, 4112 -; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: slli a5, a5, 16 -; LMULMAX2-RV64-NEXT: addi a5, a5, 257 -; LMULMAX2-RV64-NEXT: mul a4, a4, a5 -; LMULMAX2-RV64-NEXT: srli a4, a4, 56 -; LMULMAX2-RV64-NEXT: sd a4, 56(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 2 -; LMULMAX2-RV64-NEXT: vmv.x.s a4, v10 -; LMULMAX2-RV64-NEXT: addi a1, a4, -1 -; LMULMAX2-RV64-NEXT: not a4, a4 -; LMULMAX2-RV64-NEXT: and a1, a4, a1 -; LMULMAX2-RV64-NEXT: srli a4, a1, 1 -; LMULMAX2-RV64-NEXT: and a4, a4, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a4 -; LMULMAX2-RV64-NEXT: and a4, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a4, a1 -; LMULMAX2-RV64-NEXT: srli a4, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a4 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sd a1, 48(sp) -; LMULMAX2-RV64-NEXT: vslidedown.vi v10, v8, 1 -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v10 -; LMULMAX2-RV64-NEXT: addi a4, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a4, a1, 1 -; LMULMAX2-RV64-NEXT: and a4, a4, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a4 -; LMULMAX2-RV64-NEXT: and a4, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a4, a1 -; LMULMAX2-RV64-NEXT: srli a4, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a4 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sd a1, 40(sp) -; LMULMAX2-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX2-RV64-NEXT: addi a4, a1, -1 -; LMULMAX2-RV64-NEXT: not a1, a1 -; LMULMAX2-RV64-NEXT: and a1, a1, a4 -; LMULMAX2-RV64-NEXT: srli a4, a1, 1 -; LMULMAX2-RV64-NEXT: and a4, a4, a6 -; LMULMAX2-RV64-NEXT: sub a1, a1, a4 -; LMULMAX2-RV64-NEXT: and a4, a1, a2 -; LMULMAX2-RV64-NEXT: srli a1, a1, 2 -; LMULMAX2-RV64-NEXT: and a1, a1, a2 -; LMULMAX2-RV64-NEXT: add a1, a4, a1 -; LMULMAX2-RV64-NEXT: srli a2, a1, 4 -; LMULMAX2-RV64-NEXT: add a1, a1, a2 -; LMULMAX2-RV64-NEXT: and a1, a1, a3 -; LMULMAX2-RV64-NEXT: mul a1, a1, a5 -; LMULMAX2-RV64-NEXT: srli a1, a1, 56 -; LMULMAX2-RV64-NEXT: sd a1, 32(sp) -; LMULMAX2-RV64-NEXT: vsetivli zero, 4, e64, m2, ta, mu -; LMULMAX2-RV64-NEXT: addi a1, sp, 32 -; LMULMAX2-RV64-NEXT: vle64.v v8, (a1) +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v10, v10, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 13107 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v10, v8, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX2-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX2-RV64-NEXT: lui a1, 3855 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v8, v8, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 56 +; LMULMAX2-RV64-NEXT: vsrl.vx v8, v8, a1 ; LMULMAX2-RV64-NEXT: vse64.v v8, (a0) -; LMULMAX2-RV64-NEXT: addi sp, s0, -96 -; LMULMAX2-RV64-NEXT: ld s0, 80(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: ld ra, 88(sp) # 8-byte Folded Reload -; LMULMAX2-RV64-NEXT: addi sp, sp, 96 ; LMULMAX2-RV64-NEXT: ret ; ; LMULMAX1-RV32-LABEL: cttz_v4i64: ; LMULMAX1-RV32: # %bb.0: -; LMULMAX1-RV32-NEXT: addi sp, sp, -48 -; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 48 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV32-NEXT: addi a7, a0, 16 -; LMULMAX1-RV32-NEXT: vle64.v v9, (a7) -; LMULMAX1-RV32-NEXT: sw zero, 44(sp) -; LMULMAX1-RV32-NEXT: sw zero, 36(sp) -; LMULMAX1-RV32-NEXT: addi a6, zero, 32 -; LMULMAX1-RV32-NEXT: lui a1, 349525 -; LMULMAX1-RV32-NEXT: addi a5, a1, 1365 -; LMULMAX1-RV32-NEXT: lui a1, 209715 -; LMULMAX1-RV32-NEXT: addi a4, a1, 819 -; LMULMAX1-RV32-NEXT: lui a1, 61681 -; LMULMAX1-RV32-NEXT: addi t0, a1, -241 -; LMULMAX1-RV32-NEXT: lui a2, 4112 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a3, a2, 257 -; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_2 -; LMULMAX1-RV32-NEXT: # %bb.1: -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vsrl.vx v10, v9, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v10 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_3 -; LMULMAX1-RV32-NEXT: .LBB7_2: -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_3: -; LMULMAX1-RV32-NEXT: sw a1, 32(sp) -; LMULMAX1-RV32-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vslidedown.vi v9, v9, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_5 -; LMULMAX1-RV32-NEXT: # %bb.4: -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v9, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_6 -; LMULMAX1-RV32-NEXT: .LBB7_5: -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_6: -; LMULMAX1-RV32-NEXT: sw a1, 40(sp) -; LMULMAX1-RV32-NEXT: sw zero, 28(sp) -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: sw zero, 20(sp) -; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_8 -; LMULMAX1-RV32-NEXT: # %bb.7: -; LMULMAX1-RV32-NEXT: vsrl.vx v9, v8, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_9 -; LMULMAX1-RV32-NEXT: .LBB7_8: -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_9: -; LMULMAX1-RV32-NEXT: vslidedown.vi v8, v8, 1 -; LMULMAX1-RV32-NEXT: vmv.x.s a2, v8 -; LMULMAX1-RV32-NEXT: sw a1, 16(sp) -; LMULMAX1-RV32-NEXT: bnez a2, .LBB7_11 -; LMULMAX1-RV32-NEXT: # %bb.10: -; LMULMAX1-RV32-NEXT: vsrl.vx v8, v8, a6 -; LMULMAX1-RV32-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV32-NEXT: addi a2, a1, -1 -; LMULMAX1-RV32-NEXT: not a1, a1 -; LMULMAX1-RV32-NEXT: and a1, a1, a2 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: addi a1, a1, 32 -; LMULMAX1-RV32-NEXT: j .LBB7_12 -; LMULMAX1-RV32-NEXT: .LBB7_11: -; LMULMAX1-RV32-NEXT: addi a1, a2, -1 -; LMULMAX1-RV32-NEXT: not a2, a2 -; LMULMAX1-RV32-NEXT: and a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 1 -; LMULMAX1-RV32-NEXT: and a2, a2, a5 -; LMULMAX1-RV32-NEXT: sub a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a2, a1, a4 -; LMULMAX1-RV32-NEXT: srli a1, a1, 2 -; LMULMAX1-RV32-NEXT: and a1, a1, a4 -; LMULMAX1-RV32-NEXT: add a1, a2, a1 -; LMULMAX1-RV32-NEXT: srli a2, a1, 4 -; LMULMAX1-RV32-NEXT: add a1, a1, a2 -; LMULMAX1-RV32-NEXT: and a1, a1, t0 -; LMULMAX1-RV32-NEXT: mul a1, a1, a3 -; LMULMAX1-RV32-NEXT: srli a1, a1, 24 -; LMULMAX1-RV32-NEXT: .LBB7_12: -; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle64.v v8, (a1) +; LMULMAX1-RV32-NEXT: vle64.v v9, (a0) +; LMULMAX1-RV32-NEXT: addi a2, zero, 1 +; LMULMAX1-RV32-NEXT: vsub.vx v10, v8, a2 ; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu -; LMULMAX1-RV32-NEXT: addi a1, sp, 16 -; LMULMAX1-RV32-NEXT: vle32.v v8, (a1) -; LMULMAX1-RV32-NEXT: addi a1, sp, 32 -; LMULMAX1-RV32-NEXT: vle32.v v9, (a1) +; LMULMAX1-RV32-NEXT: vmv.v.i v11, -1 ; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV32-NEXT: vse64.v v8, (a0) -; LMULMAX1-RV32-NEXT: vse64.v v9, (a7) -; LMULMAX1-RV32-NEXT: addi sp, sp, 48 +; LMULMAX1-RV32-NEXT: vxor.vv v8, v8, v11 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV32-NEXT: lui a3, 349525 +; LMULMAX1-RV32-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v12, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v10, v10, v12 +; LMULMAX1-RV32-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v10, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v13, v8, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v13, v8 +; LMULMAX1-RV32-NEXT: vsrl.vi v13, v8, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v8, v8, v13 +; LMULMAX1-RV32-NEXT: lui a3, 61681 +; LMULMAX1-RV32-NEXT: addi a3, a3, -241 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v13, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vand.vv v8, v8, v13 +; LMULMAX1-RV32-NEXT: lui a3, 4112 +; LMULMAX1-RV32-NEXT: addi a3, a3, 257 +; LMULMAX1-RV32-NEXT: vsetivli zero, 4, e32, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmv.v.x v14, a3 +; LMULMAX1-RV32-NEXT: vsetivli zero, 2, e64, m1, ta, mu +; LMULMAX1-RV32-NEXT: vmul.vv v8, v8, v14 +; LMULMAX1-RV32-NEXT: addi a3, zero, 56 +; LMULMAX1-RV32-NEXT: vsrl.vx v8, v8, a3 +; LMULMAX1-RV32-NEXT: vsub.vx v15, v9, a2 +; LMULMAX1-RV32-NEXT: vxor.vv v9, v9, v11 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v15 +; LMULMAX1-RV32-NEXT: vsrl.vi v11, v9, 1 +; LMULMAX1-RV32-NEXT: vand.vv v11, v11, v12 +; LMULMAX1-RV32-NEXT: vsub.vv v9, v9, v11 +; LMULMAX1-RV32-NEXT: vand.vv v11, v9, v10 +; LMULMAX1-RV32-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v11, v9 +; LMULMAX1-RV32-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV32-NEXT: vand.vv v9, v9, v13 +; LMULMAX1-RV32-NEXT: vmul.vv v9, v9, v14 +; LMULMAX1-RV32-NEXT: vsrl.vx v9, v9, a3 +; LMULMAX1-RV32-NEXT: vse64.v v9, (a0) +; LMULMAX1-RV32-NEXT: vse64.v v8, (a1) ; LMULMAX1-RV32-NEXT: ret ; ; LMULMAX1-RV64-LABEL: cttz_v4i64: ; LMULMAX1-RV64: # %bb.0: ; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: addi a6, a0, 16 -; LMULMAX1-RV64-NEXT: vle64.v v9, (a6) -; LMULMAX1-RV64-NEXT: vle64.v v8, (a0) -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v10, v9, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a2, v10 -; LMULMAX1-RV64-NEXT: addi a3, a2, -1 -; LMULMAX1-RV64-NEXT: not a2, a2 -; LMULMAX1-RV64-NEXT: and a3, a2, a3 -; LMULMAX1-RV64-NEXT: srli a4, a3, 1 -; LMULMAX1-RV64-NEXT: lui a2, 21845 -; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 -; LMULMAX1-RV64-NEXT: slli a2, a2, 12 -; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 -; LMULMAX1-RV64-NEXT: and a4, a4, a7 -; LMULMAX1-RV64-NEXT: sub a4, a3, a4 -; LMULMAX1-RV64-NEXT: lui a3, 13107 -; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: addi a7, a0, 16 +; LMULMAX1-RV64-NEXT: vle64.v v8, (a7) +; LMULMAX1-RV64-NEXT: vle64.v v9, (a0) +; LMULMAX1-RV64-NEXT: addi a6, zero, 1 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v8, a6 +; LMULMAX1-RV64-NEXT: vxor.vi v8, v8, -1 +; LMULMAX1-RV64-NEXT: vand.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 ; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 ; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 ; LMULMAX1-RV64-NEXT: slli a3, a3, 12 -; LMULMAX1-RV64-NEXT: addi a3, a3, 819 -; LMULMAX1-RV64-NEXT: and a5, a4, a3 -; LMULMAX1-RV64-NEXT: srli a4, a4, 2 -; LMULMAX1-RV64-NEXT: and a4, a4, a3 -; LMULMAX1-RV64-NEXT: add a4, a5, a4 -; LMULMAX1-RV64-NEXT: srli a5, a4, 4 -; LMULMAX1-RV64-NEXT: add a5, a4, a5 -; LMULMAX1-RV64-NEXT: lui a4, 3855 -; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 ; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 ; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 ; LMULMAX1-RV64-NEXT: slli a4, a4, 12 -; LMULMAX1-RV64-NEXT: addi a4, a4, -241 -; LMULMAX1-RV64-NEXT: and a1, a5, a4 -; LMULMAX1-RV64-NEXT: lui a5, 4112 -; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: slli a5, a5, 16 -; LMULMAX1-RV64-NEXT: addi a5, a5, 257 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vmv.v.x v10, a1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX1-RV64-NEXT: vmv.s.x v10, a1 -; LMULMAX1-RV64-NEXT: vsetivli zero, 1, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vslidedown.vi v9, v8, 1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v9 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetivli zero, 2, e64, m1, ta, mu -; LMULMAX1-RV64-NEXT: vmv.v.x v9, a1 -; LMULMAX1-RV64-NEXT: vmv.x.s a1, v8 -; LMULMAX1-RV64-NEXT: addi a2, a1, -1 -; LMULMAX1-RV64-NEXT: not a1, a1 -; LMULMAX1-RV64-NEXT: and a1, a1, a2 -; LMULMAX1-RV64-NEXT: srli a2, a1, 1 -; LMULMAX1-RV64-NEXT: and a2, a2, a7 -; LMULMAX1-RV64-NEXT: sub a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a2, a1, a3 -; LMULMAX1-RV64-NEXT: srli a1, a1, 2 -; LMULMAX1-RV64-NEXT: and a1, a1, a3 -; LMULMAX1-RV64-NEXT: add a1, a2, a1 -; LMULMAX1-RV64-NEXT: srli a2, a1, 4 -; LMULMAX1-RV64-NEXT: add a1, a1, a2 -; LMULMAX1-RV64-NEXT: and a1, a1, a4 -; LMULMAX1-RV64-NEXT: mul a1, a1, a5 -; LMULMAX1-RV64-NEXT: srli a1, a1, 56 -; LMULMAX1-RV64-NEXT: vsetvli zero, zero, e64, m1, tu, mu -; LMULMAX1-RV64-NEXT: vmv.s.x v9, a1 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: vand.vx v10, v8, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v8, v8, 2 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v10, v8 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v8, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v8, v8, v10 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: vand.vx v8, v8, a5 +; LMULMAX1-RV64-NEXT: lui a2, 4112 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 257 +; LMULMAX1-RV64-NEXT: slli a2, a2, 16 +; LMULMAX1-RV64-NEXT: addi a2, a2, 257 +; LMULMAX1-RV64-NEXT: slli a2, a2, 16 +; LMULMAX1-RV64-NEXT: addi a2, a2, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v8, v8, a2 +; LMULMAX1-RV64-NEXT: addi a1, zero, 56 +; LMULMAX1-RV64-NEXT: vsrl.vx v8, v8, a1 +; LMULMAX1-RV64-NEXT: vsub.vx v10, v9, a6 +; LMULMAX1-RV64-NEXT: vxor.vi v9, v9, -1 +; LMULMAX1-RV64-NEXT: vand.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 1 +; LMULMAX1-RV64-NEXT: vand.vx v10, v10, a3 +; LMULMAX1-RV64-NEXT: vsub.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v10, v9, a4 +; LMULMAX1-RV64-NEXT: vsrl.vi v9, v9, 2 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v10, v9 +; LMULMAX1-RV64-NEXT: vsrl.vi v10, v9, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v9, v9, v10 +; LMULMAX1-RV64-NEXT: vand.vx v9, v9, a5 +; LMULMAX1-RV64-NEXT: vmul.vx v9, v9, a2 +; LMULMAX1-RV64-NEXT: vsrl.vx v9, v9, a1 ; LMULMAX1-RV64-NEXT: vse64.v v9, (a0) -; LMULMAX1-RV64-NEXT: vse64.v v10, (a6) +; LMULMAX1-RV64-NEXT: vse64.v v8, (a7) ; LMULMAX1-RV64-NEXT: ret %a = load <4 x i64>, <4 x i64>* %x %b = load <4 x i64>, <4 x i64>* %y diff --git a/llvm/test/CodeGen/WebAssembly/simd-unsupported.ll b/llvm/test/CodeGen/WebAssembly/simd-unsupported.ll --- a/llvm/test/CodeGen/WebAssembly/simd-unsupported.ll +++ b/llvm/test/CodeGen/WebAssembly/simd-unsupported.ll @@ -120,8 +120,7 @@ } ; CHECK-LABEL: ctpop_v8i16: -; Note: expansion does not use i32.popcnt -; CHECK: v128.and +; CHECK: i32.popcnt declare <8 x i16> @llvm.ctpop.v8i16(<8 x i16>) define <8 x i16> @ctpop_v8i16(<8 x i16> %x) { %v = call <8 x i16> @llvm.ctpop.v8i16(<8 x i16> %x) @@ -209,8 +208,7 @@ } ; CHECK-LABEL: ctpop_v4i32: -; Note: expansion does not use i32.popcnt -; CHECK: v128.and +; CHECK: i32.popcnt declare <4 x i32> @llvm.ctpop.v4i32(<4 x i32>) define <4 x i32> @ctpop_v4i32(<4 x i32> %x) { %v = call <4 x i32> @llvm.ctpop.v4i32(<4 x i32> %x) @@ -298,8 +296,7 @@ } ; CHECK-LABEL: ctpop_v2i64: -; Note: expansion does not use i64.popcnt -; CHECK: v128.and +; CHECK: i64.popcnt declare <2 x i64> @llvm.ctpop.v2i64(<2 x i64>) define <2 x i64> @ctpop_v2i64(<2 x i64> %x) { %v = call <2 x i64> @llvm.ctpop.v2i64(<2 x i64> %x)