This is an archive of the discontinued LLVM Phabricator instance.

Differential D60625

[X86][SSE] Lower ICMP EQ(AND(X,C),C) -> SRA(SHL(X,LOG2(C)),BW-1) iff C is power-of-2.
ClosedPublic

Authored by RKSimon on Apr 12 2019, 10:20 AM.

Details

Reviewers
spatel
craig.topper
andreadb
Commits
rG8f87e53462a6: [X86][SSE] Lower ICMP EQ(AND(X,C),C) -> SRA(SHL(X,LOG2(C)),BW-1) iff C is power…
rL358651: [X86][SSE] Lower ICMP EQ(AND(X,C),C) -> SRA(SHL(X,LOG2(C)),BW-1) iff C is power…
Summary

This replaces the MOVMSK combine introduced at D52121/rL342326

(movmsk (setne (and X, (1 << C)), 0)) -> (movmsk (X << C))

with the more general icmp lowering so it can pick up more cases through bitcasts - notably vXi8 cases which use vXi16 shifts+masks, this patch can remove the mask and use pcmpgtb(0,x) for the sra.

Diff Detail

Repository
rL LLVM

Event Timeline

RKSimon created this revision.Apr 12 2019, 10:20 AM
Herald added a project: Restricted Project. · View Herald TranscriptApr 12 2019, 10:21 AM
craig.topper added inline comments.Apr 14 2019, 7:29 PM
lib/Target/X86/X86ISelLowering.cpp
19925 ↗(On Diff #194916)

Would we not have constant folded this somewhere else already such that we could just check for all constant build_vector here?

RKSimon updated this revision to Diff 195541.Apr 17 2019, 4:56 AM

Use isConstOrConstSplat

RKSimon marked 2 inline comments as done.Apr 17 2019, 4:58 AM
RKSimon added inline comments.
lib/Target/X86/X86ISelLowering.cpp
19925 ↗(On Diff #194916)

Fixed - that was a leftover from some other experiments I was doing.

craig.topper accepted this revision.Apr 17 2019, 1:00 PM

LGTM

This revision is now accepted and ready to land.Apr 17 2019, 1:00 PM
Closed by commit rL358651: [X86][SSE] Lower ICMP EQ(AND(X,C),C) -> SRA(SHL(X,LOG2(C)),BW-1) iff C is power… (authored by RKSimon). · Explain WhyApr 18 2019, 2:57 AM
This revision was automatically updated to reflect the committed changes.
RKSimon marked an inline comment as done.

Revision Contents

PathSize
llvm/
trunk/
lib/
Target/
X86/
58 lines
test/
CodeGen/
X86/
1004 lines

Diff 195702

llvm/trunk/lib/Target/X86/X86ISelLowering.cpp

  • This file is larger than 256 KB, so syntax highlighting is disabled by default.
Show First 20 Lines • Show All 19,867 Lines • ▼ Show 20 Lines#endif
if (VTOp0 == MVT::v2i32) if (VTOp0 == MVT::v2i32)
return SDValue(); return SDValue();
// The non-AVX512 code below works under the assumption that source and // The non-AVX512 code below works under the assumption that source and
// destination types are the same. // destination types are the same.
assert((Subtarget.hasAVX512() || (VT == VTOp0)) && assert((Subtarget.hasAVX512() || (VT == VTOp0)) &&
"Value types for source and destination must be the same!"); "Value types for source and destination must be the same!");
// Break 256-bit integer vector compare into smaller ones.
if (VT.is256BitVector() && !Subtarget.hasInt256())
return Lower256IntVSETCC(Op, DAG);
// The result is boolean, but operands are int/float // The result is boolean, but operands are int/float
if (VT.getVectorElementType() == MVT::i1) { if (VT.getVectorElementType() == MVT::i1) {
// In AVX-512 architecture setcc returns mask with i1 elements, // In AVX-512 architecture setcc returns mask with i1 elements,
// But there is no compare instruction for i8 and i16 elements in KNL. // But there is no compare instruction for i8 and i16 elements in KNL.
assert((VTOp0.getScalarSizeInBits() >= 32 || Subtarget.hasBWI()) && assert((VTOp0.getScalarSizeInBits() >= 32 || Subtarget.hasBWI()) &&
"Unexpected operand type"); "Unexpected operand type");
return LowerIntVSETCC_AVX512(Op, DAG); return LowerIntVSETCC_AVX512(Op, DAG);
} }
Show All 37 Lines if (BC0.getOpcode() == ISD::AND) {
if (llvm::all_of(EltBits, [](APInt &V) { return V.isPowerOf2(); })) { if (llvm::all_of(EltBits, [](APInt &V) { return V.isPowerOf2(); })) {
Cond = ISD::SETEQ; Cond = ISD::SETEQ;
Op1 = DAG.getBitcast(VT, BC0.getOperand(1)); Op1 = DAG.getBitcast(VT, BC0.getOperand(1));
} }
} }
} }
} }
// ICMP_EQ(AND(X,C),C) -> SRA(SHL(X,LOG2(C)),BW-1) iff C is power-of-2.
if (Cond == ISD::SETEQ && Op0.getOpcode() == ISD::AND &&
Op0.getOperand(1) == Op1 && Op0.hasOneUse()) {
ConstantSDNode *C1 = isConstOrConstSplat(Op1);
if (C1 && C1->getAPIntValue().isPowerOf2()) {
unsigned BitWidth = VT.getScalarSizeInBits();
unsigned ShiftAmt = BitWidth - C1->getAPIntValue().logBase2() - 1;
SDValue Result = Op0.getOperand(0);
Result = DAG.getNode(ISD::SHL, dl, VT, Result,
DAG.getConstant(ShiftAmt, dl, VT));
Result = DAG.getNode(ISD::SRA, dl, VT, Result,
DAG.getConstant(BitWidth - 1, dl, VT));
return Result;
}
}
// Break 256-bit integer vector compare into smaller ones.
if (VT.is256BitVector() && !Subtarget.hasInt256())
return Lower256IntVSETCC(Op, DAG);
// If this is a SETNE against the signed minimum value, change it to SETGT. // If this is a SETNE against the signed minimum value, change it to SETGT.
// If this is a SETNE against the signed maximum value, change it to SETLT. // If this is a SETNE against the signed maximum value, change it to SETLT.
// which will be swapped to SETGT. // which will be swapped to SETGT.
// Otherwise we use PCMPEQ+invert. // Otherwise we use PCMPEQ+invert.
APInt ConstValue; APInt ConstValue;
if (Cond == ISD::SETNE && if (Cond == ISD::SETNE &&
ISD::isConstantSplatVector(Op1.getNode(), ConstValue)) { ISD::isConstantSplatVector(Op1.getNode(), ConstValue)) {
if (ConstValue.isMinSignedValue()) if (ConstValue.isMinSignedValue())
▲ Show 20 Lines • Show All 21,051 Lines • ▼ Show 20 Lines if (Src.getOpcode() == ISD::BITCAST &&
return DAG.getNode(X86ISD::MOVMSK, SDLoc(N), VT, Src.getOperand(0)); return DAG.getNode(X86ISD::MOVMSK, SDLoc(N), VT, Src.getOperand(0));
// Simplify the inputs. // Simplify the inputs.
const TargetLowering &TLI = DAG.getTargetLoweringInfo(); const TargetLowering &TLI = DAG.getTargetLoweringInfo();
APInt DemandedMask(APInt::getAllOnesValue(VT.getScalarSizeInBits())); APInt DemandedMask(APInt::getAllOnesValue(VT.getScalarSizeInBits()));
if (TLI.SimplifyDemandedBits(SDValue(N, 0), DemandedMask, DCI)) if (TLI.SimplifyDemandedBits(SDValue(N, 0), DemandedMask, DCI))
return SDValue(N, 0); return SDValue(N, 0);
// Combine (movmsk (setne (and X, (1 << C)), 0)) -> (movmsk (X << C)).
// Only do this when the setcc input and output types are the same and the
// setcc and the 'and' node have a single use.
// FIXME: Support 256-bits with AVX1. The movmsk is split, but the and isn't.
APInt SplatVal;
if (Src.getOpcode() == ISD::SETCC && Src.hasOneUse() &&
Src.getOperand(0).getValueType() == Src.getValueType() &&
cast<CondCodeSDNode>(Src.getOperand(2))->get() == ISD::SETNE &&
ISD::isBuildVectorAllZeros(Src.getOperand(1).getNode()) &&
Src.getOperand(0).getOpcode() == ISD::AND) {
SDValue And = Src.getOperand(0);
if (And.hasOneUse() &&
ISD::isConstantSplatVector(And.getOperand(1).getNode(), SplatVal) &&
SplatVal.isPowerOf2()) {
MVT VT = Src.getSimpleValueType();
unsigned BitWidth = VT.getScalarSizeInBits();
unsigned ShAmt = BitWidth - SplatVal.logBase2() - 1;
SDLoc DL(And);
SDValue X = And.getOperand(0);
// If the element type is i8, we need to bitcast to i16 to use a legal
// shift. If we wait until lowering we end up with an extra and to bits
// from crossing the 8-bit elements, but we don't care about that here.
if (VT.getVectorElementType() == MVT::i8) {
VT = MVT::getVectorVT(MVT::i16, VT.getVectorNumElements() / 2);
X = DAG.getBitcast(VT, X);
}
SDValue Shl = DAG.getNode(ISD::SHL, DL, VT, X,
DAG.getConstant(ShAmt, DL, VT));
SDValue Cast = DAG.getBitcast(SrcVT, Shl);
return DAG.getNode(X86ISD::MOVMSK, SDLoc(N), N->getValueType(0), Cast);
}
}
return SDValue(); return SDValue();
} }
static SDValue combineGatherScatter(SDNode *N, SelectionDAG &DAG, static SDValue combineGatherScatter(SDNode *N, SelectionDAG &DAG,
TargetLowering::DAGCombinerInfo &DCI, TargetLowering::DAGCombinerInfo &DCI,
const X86Subtarget &Subtarget) { const X86Subtarget &Subtarget) {
SDLoc DL(N); SDLoc DL(N);
▲ Show 20 Lines • Show All 2,994 Lines • Show Last 20 Lines

llvm/trunk/test/CodeGen/X86/movmsk-cmp.ll

Show First 20 Lines • Show All 1,323 Lines • ▼ Show 20 Lines; SKX-NEXT: retq
%tmp2 = bitcast <16 x i1> %tmp1 to i16 %tmp2 = bitcast <16 x i1> %tmp1 to i16
%tmp3 = icmp eq i16 %tmp2, 0 %tmp3 = icmp eq i16 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v32i8_and1(<32 x i8> %arg) { define i1 @allones_v32i8_and1(<32 x i8> %arg) {
; SSE2-LABEL: allones_v32i8_and1: ; SSE2-LABEL: allones_v32i8_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: psllw $7, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: cmpl $-1, %ecx ; SSE2-NEXT: cmpl $-1, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v32i8_and1: ; AVX1-LABEL: allones_v32i8_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm1
; AVX1-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX1-NEXT: vpmovmskb %xmm1, %eax
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: cmpl $-1, %ecx ; AVX1-NEXT: cmpl $-1, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
Show All 27 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, -1 %tmp3 = icmp eq i32 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v32i8_and1(<32 x i8> %arg) { define i1 @allzeros_v32i8_and1(<32 x i8> %arg) {
; SSE2-LABEL: allzeros_v32i8_and1: ; SSE2-LABEL: allzeros_v32i8_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: psllw $7, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v32i8_and1: ; AVX1-LABEL: allzeros_v32i8_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm1
; AVX1-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX1-NEXT: vpmovmskb %xmm1, %eax
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v32i8_and1: ; AVX2-LABEL: allzeros_v32i8_and1:
Show All 26 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, 0 %tmp3 = icmp eq i32 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v64i8_and1(<64 x i8> %arg) { define i1 @allones_v64i8_and1(<64 x i8> %arg) {
; SSE2-LABEL: allones_v64i8_and1: ; SSE2-LABEL: allones_v64i8_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $7, %xmm3
; SSE2-NEXT: psllw $7, %xmm2
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: psllw $7, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: psllw $7, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %eax ; SSE2-NEXT: pmovmskb %xmm2, %eax
; SSE2-NEXT: psllw $7, %xmm3
; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: pmovmskb %xmm3, %edx
; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: shll $16, %edx
; SSE2-NEXT: orl %eax, %edx ; SSE2-NEXT: orl %eax, %edx
; SSE2-NEXT: shlq $32, %rdx ; SSE2-NEXT: shlq $32, %rdx
; SSE2-NEXT: orq %rcx, %rdx ; SSE2-NEXT: orq %rcx, %rdx
; SSE2-NEXT: cmpq $-1, %rdx ; SSE2-NEXT: cmpq $-1, %rdx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v64i8_and1: ; AVX1-LABEL: allones_v64i8_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm2
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0 ; AVX1-NEXT: vpand %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm3
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpmovmskb %xmm3, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm1, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpand %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %edx ; AVX1-NEXT: vpmovmskb %xmm0, %edx
; AVX1-NEXT: shll $16, %edx ; AVX1-NEXT: shll $16, %edx
; AVX1-NEXT: orl %eax, %edx ; AVX1-NEXT: orl %eax, %edx
; AVX1-NEXT: shlq $32, %rdx ; AVX1-NEXT: shlq $32, %rdx
; AVX1-NEXT: orq %rcx, %rdx ; AVX1-NEXT: orq %rcx, %rdx
; AVX1-NEXT: cmpq $-1, %rdx ; AVX1-NEXT: cmpq $-1, %rdx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v64i8_and1: ; AVX2-LABEL: allones_v64i8_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0
; AVX2-NEXT: vpsllw $7, %ymm1, %ymm1 ; AVX2-NEXT: vpsllw $7, %ymm1, %ymm1
; AVX2-NEXT: vpmovmskb %ymm1, %eax ; AVX2-NEXT: vpmovmskb %ymm1, %eax
; AVX2-NEXT: shlq $32, %rax ; AVX2-NEXT: shlq $32, %rax
; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0
; AVX2-NEXT: vpmovmskb %ymm0, %ecx ; AVX2-NEXT: vpmovmskb %ymm0, %ecx
; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: orq %rax, %rcx
; AVX2-NEXT: cmpq $-1, %rcx ; AVX2-NEXT: cmpq $-1, %rcx
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allones_v64i8_and1: ; KNL-LABEL: allones_v64i8_and1:
Show All 21 Lines; SKX-NEXT: retq
%tmp2 = bitcast <64 x i1> %tmp1 to i64 %tmp2 = bitcast <64 x i1> %tmp1 to i64
%tmp3 = icmp eq i64 %tmp2, -1 %tmp3 = icmp eq i64 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v64i8_and1(<64 x i8> %arg) { define i1 @allzeros_v64i8_and1(<64 x i8> %arg) {
; SSE2-LABEL: allzeros_v64i8_and1: ; SSE2-LABEL: allzeros_v64i8_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $7, %xmm3
; SSE2-NEXT: psllw $7, %xmm2
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: psllw $7, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $7, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: psllw $7, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %eax ; SSE2-NEXT: pmovmskb %xmm2, %eax
; SSE2-NEXT: psllw $7, %xmm3
; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: pmovmskb %xmm3, %edx
; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: shll $16, %edx
; SSE2-NEXT: orl %eax, %edx ; SSE2-NEXT: orl %eax, %edx
; SSE2-NEXT: shlq $32, %rdx ; SSE2-NEXT: shlq $32, %rdx
; SSE2-NEXT: orq %rcx, %rdx ; SSE2-NEXT: orq %rcx, %rdx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v64i8_and1: ; AVX1-LABEL: allzeros_v64i8_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm2
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0 ; AVX1-NEXT: vpand %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm3
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpmovmskb %xmm3, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm1, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpand %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $7, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %edx ; AVX1-NEXT: vpmovmskb %xmm0, %edx
; AVX1-NEXT: shll $16, %edx ; AVX1-NEXT: shll $16, %edx
; AVX1-NEXT: orl %eax, %edx ; AVX1-NEXT: orl %eax, %edx
; AVX1-NEXT: shlq $32, %rdx ; AVX1-NEXT: shlq $32, %rdx
; AVX1-NEXT: orq %rcx, %rdx ; AVX1-NEXT: orq %rcx, %rdx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v64i8_and1: ; AVX2-LABEL: allzeros_v64i8_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0
; AVX2-NEXT: vpsllw $7, %ymm1, %ymm1 ; AVX2-NEXT: vpsllw $7, %ymm1, %ymm1
; AVX2-NEXT: vpmovmskb %ymm1, %eax ; AVX2-NEXT: vpmovmskb %ymm1, %eax
; AVX2-NEXT: shlq $32, %rax ; AVX2-NEXT: shlq $32, %rax
; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0
; AVX2-NEXT: vpmovmskb %ymm0, %ecx ; AVX2-NEXT: vpmovmskb %ymm0, %ecx
; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: orq %rax, %rcx
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allzeros_v64i8_and1: ; KNL-LABEL: allzeros_v64i8_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
Show All 19 Lines; SKX-NEXT: retq
%tmp2 = bitcast <64 x i1> %tmp1 to i64 %tmp2 = bitcast <64 x i1> %tmp1 to i64
%tmp3 = icmp eq i64 %tmp2, 0 %tmp3 = icmp eq i64 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v8i16_and1(<8 x i16> %arg) { define i1 @allones_v8i16_and1(<8 x i16> %arg) {
; SSE2-LABEL: allones_v8i16_and1: ; SSE2-LABEL: allones_v8i16_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1] ; SSE2-NEXT: psllw $15, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0
; SSE2-NEXT: pcmpeqw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpb $-1, %al ; SSE2-NEXT: cmpb $-1, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX-LABEL: allones_v8i16_and1: ; AVX-LABEL: allones_v8i16_and1:
; AVX: # %bb.0: ; AVX: # %bb.0:
; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1] ; AVX-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0 ; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0
; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: vpmovmskb %xmm0, %eax
; AVX-NEXT: cmpb $-1, %al ; AVX-NEXT: cmpb $-1, %al
; AVX-NEXT: sete %al ; AVX-NEXT: sete %al
; AVX-NEXT: retq ; AVX-NEXT: retq
; ;
; KNL-LABEL: allones_v8i16_and1: ; KNL-LABEL: allones_v8i16_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1] ; KNL-NEXT: vpsllw $15, %xmm0, %xmm0
; KNL-NEXT: vpand %xmm1, %xmm0, %xmm0 ; KNL-NEXT: vpsraw $15, %xmm0, %xmm0
; KNL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; KNL-NEXT: vpmovsxwq %xmm0, %zmm0 ; KNL-NEXT: vpmovsxwq %xmm0, %zmm0
; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: cmpb $-1, %al ; KNL-NEXT: cmpb $-1, %al
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allones_v8i16_and1: ; SKX-LABEL: allones_v8i16_and1:
; SKX: # %bb.0: ; SKX: # %bb.0:
; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0 ; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0
; SKX-NEXT: kortestb %k0, %k0 ; SKX-NEXT: kortestb %k0, %k0
; SKX-NEXT: setb %al ; SKX-NEXT: setb %al
; SKX-NEXT: retq ; SKX-NEXT: retq
%tmp = and <8 x i16> %arg, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1> %tmp = and <8 x i16> %arg, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
%tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer %tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, -1 %tmp3 = icmp eq i8 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v8i16_and1(<8 x i16> %arg) { define i1 @allzeros_v8i16_and1(<8 x i16> %arg) {
; SSE2-LABEL: allzeros_v8i16_and1: ; SSE2-LABEL: allzeros_v8i16_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1] ; SSE2-NEXT: psllw $15, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0
; SSE2-NEXT: pcmpeqw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX-LABEL: allzeros_v8i16_and1: ; AVX-LABEL: allzeros_v8i16_and1:
; AVX: # %bb.0: ; AVX: # %bb.0:
; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1] ; AVX-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0 ; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0
; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: vpmovmskb %xmm0, %eax
; AVX-NEXT: testb %al, %al ; AVX-NEXT: testb %al, %al
; AVX-NEXT: sete %al ; AVX-NEXT: sete %al
; AVX-NEXT: retq ; AVX-NEXT: retq
; ;
; KNL-LABEL: allzeros_v8i16_and1: ; KNL-LABEL: allzeros_v8i16_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1] ; KNL-NEXT: vpsllw $15, %xmm0, %xmm0
; KNL-NEXT: vpand %xmm1, %xmm0, %xmm0 ; KNL-NEXT: vpsraw $15, %xmm0, %xmm0
; KNL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; KNL-NEXT: vpmovsxwq %xmm0, %zmm0 ; KNL-NEXT: vpmovsxwq %xmm0, %zmm0
; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: testb %al, %al ; KNL-NEXT: testb %al, %al
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allzeros_v8i16_and1: ; SKX-LABEL: allzeros_v8i16_and1:
; SKX: # %bb.0: ; SKX: # %bb.0:
; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0 ; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0
; SKX-NEXT: kortestb %k0, %k0 ; SKX-NEXT: kortestb %k0, %k0
; SKX-NEXT: sete %al ; SKX-NEXT: sete %al
; SKX-NEXT: retq ; SKX-NEXT: retq
%tmp = and <8 x i16> %arg, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1> %tmp = and <8 x i16> %arg, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
%tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer %tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, 0 %tmp3 = icmp eq i8 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v16i16_and1(<16 x i16> %arg) { define i1 @allones_v16i16_and1(<16 x i16> %arg) {
; SSE2-LABEL: allones_v16i16_and1: ; SSE2-LABEL: allones_v16i16_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1,1,1,1,1,1,1] ; SSE2-NEXT: psllw $15, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllw $15, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpw $-1, %ax ; SSE2-NEXT: cmpw $-1, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v16i16_and1: ; AVX1-LABEL: allones_v16i16_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $15, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: cmpw $-1, %ax ; AVX1-NEXT: cmpw $-1, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v16i16_and1: ; AVX2-LABEL: allones_v16i16_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; AVX2-NEXT: vpsllw $15, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpsraw $15, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: cmpw $-1, %ax ; AVX2-NEXT: cmpw $-1, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allones_v16i16_and1: ; KNL-LABEL: allones_v16i16_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; KNL-NEXT: vpsllw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm1, %ymm0, %ymm0 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kortestw %k0, %k0 ; KNL-NEXT: kortestw %k0, %k0
; KNL-NEXT: setb %al ; KNL-NEXT: setb %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allones_v16i16_and1: ; SKX-LABEL: allones_v16i16_and1:
; SKX: # %bb.0: ; SKX: # %bb.0:
; SKX-NEXT: vptestmw {{.*}}(%rip), %ymm0, %k0 ; SKX-NEXT: vptestmw {{.*}}(%rip), %ymm0, %k0
; SKX-NEXT: kortestw %k0, %k0 ; SKX-NEXT: kortestw %k0, %k0
; SKX-NEXT: setb %al ; SKX-NEXT: setb %al
; SKX-NEXT: vzeroupper ; SKX-NEXT: vzeroupper
; SKX-NEXT: retq ; SKX-NEXT: retq
%tmp = and <16 x i16> %arg, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1> %tmp = and <16 x i16> %arg, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
%tmp1 = icmp ne <16 x i16> %tmp, zeroinitializer %tmp1 = icmp ne <16 x i16> %tmp, zeroinitializer
%tmp2 = bitcast <16 x i1> %tmp1 to i16 %tmp2 = bitcast <16 x i1> %tmp1 to i16
%tmp3 = icmp eq i16 %tmp2, -1 %tmp3 = icmp eq i16 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v32i16_and1(<32 x i16> %arg) { define i1 @allones_v32i16_and1(<32 x i16> %arg) {
; SSE2-LABEL: allones_v32i16_and1: ; SSE2-LABEL: allones_v32i16_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1] ; SSE2-NEXT: psllw $15, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllw $15, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pcmpeqw %xmm4, %xmm3 ; SSE2-NEXT: psllw $15, %xmm3
; SSE2-NEXT: pcmpeqw %xmm4, %xmm2 ; SSE2-NEXT: psllw $15, %xmm2
; SSE2-NEXT: packsswb %xmm3, %xmm2 ; SSE2-NEXT: packsswb %xmm3, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %ecx ; SSE2-NEXT: pmovmskb %xmm2, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: cmpl $-1, %ecx ; SSE2-NEXT: cmpl $-1, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v32i16_and1: ; AVX1-LABEL: allones_v32i16_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpsllw $15, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $15, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0 ; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: cmpl $-1, %ecx ; AVX1-NEXT: cmpl $-1, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v32i16_and1: ; AVX2-LABEL: allones_v32i16_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; AVX2-NEXT: vpsllw $15, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllw $15, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: vpmovmskb %ymm0, %eax
; AVX2-NEXT: cmpl $-1, %eax ; AVX2-NEXT: cmpl $-1, %eax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allones_v32i16_and1: ; KNL-LABEL: allones_v32i16_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; KNL-NEXT: vpsllw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm1, %ymm1 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm0 ; KNL-NEXT: vpsllw $15, %ymm1, %ymm0
; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %ecx ; KNL-NEXT: kmovw %k0, %ecx
; KNL-NEXT: shll $16, %ecx ; KNL-NEXT: shll $16, %ecx
; KNL-NEXT: orl %eax, %ecx ; KNL-NEXT: orl %eax, %ecx
; KNL-NEXT: cmpl $-1, %ecx ; KNL-NEXT: cmpl $-1, %ecx
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
Show All 11 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, -1 %tmp3 = icmp eq i32 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v32i16_and1(<32 x i16> %arg) { define i1 @allzeros_v32i16_and1(<32 x i16> %arg) {
; SSE2-LABEL: allzeros_v32i16_and1: ; SSE2-LABEL: allzeros_v32i16_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1] ; SSE2-NEXT: psllw $15, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllw $15, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pcmpeqw %xmm4, %xmm3 ; SSE2-NEXT: psllw $15, %xmm3
; SSE2-NEXT: pcmpeqw %xmm4, %xmm2 ; SSE2-NEXT: psllw $15, %xmm2
; SSE2-NEXT: packsswb %xmm3, %xmm2 ; SSE2-NEXT: packsswb %xmm3, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %ecx ; SSE2-NEXT: pmovmskb %xmm2, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v32i16_and1: ; AVX1-LABEL: allzeros_v32i16_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpsllw $15, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $15, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0 ; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v32i16_and1: ; AVX2-LABEL: allzeros_v32i16_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; AVX2-NEXT: vpsllw $15, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllw $15, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: vpmovmskb %ymm0, %eax
; AVX2-NEXT: testl %eax, %eax ; AVX2-NEXT: testl %eax, %eax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allzeros_v32i16_and1: ; KNL-LABEL: allzeros_v32i16_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; KNL-NEXT: vpsllw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm1, %ymm1 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm0 ; KNL-NEXT: vpsllw $15, %ymm1, %ymm0
; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %ecx ; KNL-NEXT: kmovw %k0, %ecx
; KNL-NEXT: shll $16, %ecx ; KNL-NEXT: shll $16, %ecx
; KNL-NEXT: orl %eax, %ecx ; KNL-NEXT: orl %eax, %ecx
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
Show All 10 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, 0 %tmp3 = icmp eq i32 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v16i16_and1(<16 x i16> %arg) { define i1 @allzeros_v16i16_and1(<16 x i16> %arg) {
; SSE2-LABEL: allzeros_v16i16_and1: ; SSE2-LABEL: allzeros_v16i16_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1,1,1,1,1,1,1] ; SSE2-NEXT: psllw $15, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllw $15, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testw %ax, %ax ; SSE2-NEXT: testw %ax, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v16i16_and1: ; AVX1-LABEL: allzeros_v16i16_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $15, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpsllw $15, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: testw %ax, %ax ; AVX1-NEXT: testw %ax, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v16i16_and1: ; AVX2-LABEL: allzeros_v16i16_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; AVX2-NEXT: vpsllw $15, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpsraw $15, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: testw %ax, %ax ; AVX2-NEXT: testw %ax, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allzeros_v16i16_and1: ; KNL-LABEL: allzeros_v16i16_and1:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] ; KNL-NEXT: vpsllw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm1, %ymm0, %ymm0 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kortestw %k0, %k0 ; KNL-NEXT: kortestw %k0, %k0
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allzeros_v16i16_and1: ; SKX-LABEL: allzeros_v16i16_and1:
▲ Show 20 Lines • Show All 92 Lines • ▼ Show 20 Lines; SKX-NEXT: retq
%tmp2 = bitcast <4 x i1> %tmp1 to i4 %tmp2 = bitcast <4 x i1> %tmp1 to i4
%tmp3 = icmp eq i4 %tmp2, 0 %tmp3 = icmp eq i4 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v8i32_and1(<8 x i32> %arg) { define i1 @allones_v8i32_and1(<8 x i32> %arg) {
; SSE2-LABEL: allones_v8i32_and1: ; SSE2-LABEL: allones_v8i32_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1,1,1] ; SSE2-NEXT: pslld $31, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: pslld $31, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpb $-1, %al ; SSE2-NEXT: cmpb $-1, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v8i32_and1: ; AVX1-LABEL: allones_v8i32_and1:
Show All 39 Lines; SKX-NEXT: retq
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, -1 %tmp3 = icmp eq i8 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v8i32_and1(<8 x i32> %arg) { define i1 @allzeros_v8i32_and1(<8 x i32> %arg) {
; SSE2-LABEL: allzeros_v8i32_and1: ; SSE2-LABEL: allzeros_v8i32_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1,1,1] ; SSE2-NEXT: pslld $31, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: pslld $31, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v8i32_and1: ; AVX1-LABEL: allzeros_v8i32_and1:
Show All 39 Lines; SKX-NEXT: retq
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, 0 %tmp3 = icmp eq i8 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v16i32_and1(<16 x i32> %arg) { define i1 @allones_v16i32_and1(<16 x i32> %arg) {
; SSE2-LABEL: allones_v16i32_and1: ; SSE2-LABEL: allones_v16i32_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1,1,1] ; SSE2-NEXT: pslld $31, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: pslld $31, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2
; SSE2-NEXT: packssdw %xmm3, %xmm2 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1 ; SSE2-NEXT: pslld $31, %xmm1
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0 ; SSE2-NEXT: pslld $31, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm2, %xmm0 ; SSE2-NEXT: packsswb %xmm2, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpw $-1, %ax ; SSE2-NEXT: cmpw $-1, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v16i32_and1: ; AVX1-LABEL: allones_v16i32_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpslld $31, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $31, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $31, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $31, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: cmpw $-1, %ax ; AVX1-NEXT: cmpw $-1, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v16i32_and1: ; AVX2-LABEL: allones_v16i32_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1] ; AVX2-NEXT: vpslld $31, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsrad $31, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpslld $31, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: cmpw $-1, %ax ; AVX2-NEXT: cmpw $-1, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
Show All 19 Lines; SKX-NEXT: retq
%tmp2 = bitcast <16 x i1> %tmp1 to i16 %tmp2 = bitcast <16 x i1> %tmp1 to i16
%tmp3 = icmp eq i16 %tmp2, -1 %tmp3 = icmp eq i16 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v16i32_and1(<16 x i32> %arg) { define i1 @allzeros_v16i32_and1(<16 x i32> %arg) {
; SSE2-LABEL: allzeros_v16i32_and1: ; SSE2-LABEL: allzeros_v16i32_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1,1,1] ; SSE2-NEXT: pslld $31, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: pslld $31, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2
; SSE2-NEXT: packssdw %xmm3, %xmm2 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1 ; SSE2-NEXT: pslld $31, %xmm1
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0 ; SSE2-NEXT: pslld $31, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm2, %xmm0 ; SSE2-NEXT: packsswb %xmm2, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testw %ax, %ax ; SSE2-NEXT: testw %ax, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v16i32_and1: ; AVX1-LABEL: allzeros_v16i32_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpslld $31, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $31, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $31, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $31, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: testw %ax, %ax ; AVX1-NEXT: testw %ax, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v16i32_and1: ; AVX2-LABEL: allzeros_v16i32_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1] ; AVX2-NEXT: vpslld $31, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsrad $31, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpslld $31, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: testw %ax, %ax ; AVX2-NEXT: testw %ax, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
▲ Show 20 Lines • Show All 105 Lines • ▼ Show 20 Lines; SKX-NEXT: retq
%tmp2 = bitcast <2 x i1> %tmp1 to i2 %tmp2 = bitcast <2 x i1> %tmp1 to i2
%tmp3 = icmp eq i2 %tmp2, 0 %tmp3 = icmp eq i2 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v4i64_and1(<4 x i64> %arg) { define i1 @allones_v4i64_and1(<4 x i64> %arg) {
; SSE2-LABEL: allones_v4i64_and1: ; SSE2-LABEL: allones_v4i64_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1] ; SSE2-NEXT: psllq $63, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllq $63, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1 ; SSE2-NEXT: movmskps %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm3
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: movmskps %xmm1, %eax
; SSE2-NEXT: cmpb $15, %al ; SSE2-NEXT: cmpb $15, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v4i64_and1: ; AVX1-LABEL: allones_v4i64_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vpsllq $63, %xmm0, %xmm1 ; AVX1-NEXT: vpsllq $63, %xmm0, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
Show All 39 Lines; SKX-NEXT: retq
%tmp2 = bitcast <4 x i1> %tmp1 to i4 %tmp2 = bitcast <4 x i1> %tmp1 to i4
%tmp3 = icmp eq i4 %tmp2, -1 %tmp3 = icmp eq i4 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v4i64_and1(<4 x i64> %arg) { define i1 @allzeros_v4i64_and1(<4 x i64> %arg) {
; SSE2-LABEL: allzeros_v4i64_and1: ; SSE2-LABEL: allzeros_v4i64_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1] ; SSE2-NEXT: psllq $63, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllq $63, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1 ; SSE2-NEXT: movmskps %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm3
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: movmskps %xmm1, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v4i64_and1: ; AVX1-LABEL: allzeros_v4i64_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vpsllq $63, %xmm0, %xmm1 ; AVX1-NEXT: vpsllq $63, %xmm0, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
Show All 37 Lines; SKX-NEXT: retq
%tmp2 = bitcast <4 x i1> %tmp1 to i4 %tmp2 = bitcast <4 x i1> %tmp1 to i4
%tmp3 = icmp eq i4 %tmp2, 0 %tmp3 = icmp eq i4 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v8i64_and1(<8 x i64> %arg) { define i1 @allones_v8i64_and1(<8 x i64> %arg) {
; SSE2-LABEL: allones_v8i64_and1: ; SSE2-LABEL: allones_v8i64_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1] ; SSE2-NEXT: psllq $63, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: psllq $63, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllq $63, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm3 ; SSE2-NEXT: psllq $63, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm3[1,0,3,2] ; SSE2-NEXT: packssdw %xmm2, %xmm0
; SSE2-NEXT: pand %xmm3, %xmm5 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
; SSE2-NEXT: pand %xmm2, %xmm3
; SSE2-NEXT: packssdw %xmm5, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1
; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm2, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: packsswb %xmm0, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %eax
; SSE2-NEXT: cmpb $-1, %al ; SSE2-NEXT: cmpb $-1, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v8i64_and1: ; AVX1-LABEL: allones_v8i64_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpsllq $63, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4 ; AVX1-NEXT: vpsllq $63, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm1, %xmm3, %xmm1
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllq $63, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllq $63, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpcmpgtq %xmm0, %xmm3, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: vmovmskps %ymm0, %eax
; AVX1-NEXT: cmpb $-1, %al ; AVX1-NEXT: cmpb $-1, %al
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v8i64_and1: ; AVX2-LABEL: allones_v8i64_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm2 = [1,1,1,1] ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllq $63, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpcmpgtq %ymm1, %ymm2, %ymm1
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsllq $63, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: vmovmskps %ymm0, %eax
; AVX2-NEXT: cmpb $-1, %al ; AVX2-NEXT: cmpb $-1, %al
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
Show All 18 Lines; SKX-NEXT: retq
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, -1 %tmp3 = icmp eq i8 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v8i64_and1(<8 x i64> %arg) { define i1 @allzeros_v8i64_and1(<8 x i64> %arg) {
; SSE2-LABEL: allzeros_v8i64_and1: ; SSE2-LABEL: allzeros_v8i64_and1:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1] ; SSE2-NEXT: psllq $63, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: psllq $63, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllq $63, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm3 ; SSE2-NEXT: psllq $63, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm3[1,0,3,2] ; SSE2-NEXT: packssdw %xmm2, %xmm0
; SSE2-NEXT: pand %xmm3, %xmm5 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
; SSE2-NEXT: pand %xmm2, %xmm3
; SSE2-NEXT: packssdw %xmm5, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1
; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm2, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: packsswb %xmm0, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v8i64_and1: ; AVX1-LABEL: allzeros_v8i64_and1:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [1,1,1,1]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpsllq $63, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4 ; AVX1-NEXT: vpsllq $63, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm1, %xmm3, %xmm1
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllq $63, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllq $63, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpcmpgtq %xmm0, %xmm3, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: vmovmskps %ymm0, %eax
; AVX1-NEXT: testb %al, %al ; AVX1-NEXT: testb %al, %al
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v8i64_and1: ; AVX2-LABEL: allzeros_v8i64_and1:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm2 = [1,1,1,1] ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllq $63, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpcmpgtq %ymm1, %ymm2, %ymm1
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsllq $63, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: vmovmskps %ymm0, %eax
; AVX2-NEXT: testb %al, %al ; AVX2-NEXT: testb %al, %al
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
▲ Show 20 Lines • Show All 94 Lines • ▼ Show 20 Lines; SKX-NEXT: retq
%tmp2 = bitcast <16 x i1> %tmp1 to i16 %tmp2 = bitcast <16 x i1> %tmp1 to i16
%tmp3 = icmp eq i16 %tmp2, 0 %tmp3 = icmp eq i16 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v32i8_and4(<32 x i8> %arg) { define i1 @allones_v32i8_and4(<32 x i8> %arg) {
; SSE2-LABEL: allones_v32i8_and4: ; SSE2-LABEL: allones_v32i8_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: psllw $5, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: cmpl $-1, %ecx ; SSE2-NEXT: cmpl $-1, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v32i8_and4: ; AVX1-LABEL: allones_v32i8_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm1
; AVX1-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX1-NEXT: vpmovmskb %xmm1, %eax
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: cmpl $-1, %ecx ; AVX1-NEXT: cmpl $-1, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
Show All 27 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, -1 %tmp3 = icmp eq i32 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v32i8_and4(<32 x i8> %arg) { define i1 @allzeros_v32i8_and4(<32 x i8> %arg) {
; SSE2-LABEL: allzeros_v32i8_and4: ; SSE2-LABEL: allzeros_v32i8_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: psllw $5, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v32i8_and4: ; AVX1-LABEL: allzeros_v32i8_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm1
; AVX1-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX1-NEXT: vpmovmskb %xmm1, %eax
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v32i8_and4: ; AVX2-LABEL: allzeros_v32i8_and4:
Show All 26 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, 0 %tmp3 = icmp eq i32 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v64i8_and4(<64 x i8> %arg) { define i1 @allones_v64i8_and4(<64 x i8> %arg) {
; SSE2-LABEL: allones_v64i8_and4: ; SSE2-LABEL: allones_v64i8_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $5, %xmm3
; SSE2-NEXT: psllw $5, %xmm2
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: psllw $5, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: psllw $5, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %eax ; SSE2-NEXT: pmovmskb %xmm2, %eax
; SSE2-NEXT: psllw $5, %xmm3
; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: pmovmskb %xmm3, %edx
; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: shll $16, %edx
; SSE2-NEXT: orl %eax, %edx ; SSE2-NEXT: orl %eax, %edx
; SSE2-NEXT: shlq $32, %rdx ; SSE2-NEXT: shlq $32, %rdx
; SSE2-NEXT: orq %rcx, %rdx ; SSE2-NEXT: orq %rcx, %rdx
; SSE2-NEXT: cmpq $-1, %rdx ; SSE2-NEXT: cmpq $-1, %rdx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v64i8_and4: ; AVX1-LABEL: allones_v64i8_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm2
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0 ; AVX1-NEXT: vpand %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm3
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpmovmskb %xmm3, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm1, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpand %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %edx ; AVX1-NEXT: vpmovmskb %xmm0, %edx
; AVX1-NEXT: shll $16, %edx ; AVX1-NEXT: shll $16, %edx
; AVX1-NEXT: orl %eax, %edx ; AVX1-NEXT: orl %eax, %edx
; AVX1-NEXT: shlq $32, %rdx ; AVX1-NEXT: shlq $32, %rdx
; AVX1-NEXT: orq %rcx, %rdx ; AVX1-NEXT: orq %rcx, %rdx
; AVX1-NEXT: cmpq $-1, %rdx ; AVX1-NEXT: cmpq $-1, %rdx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v64i8_and4: ; AVX2-LABEL: allones_v64i8_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0
; AVX2-NEXT: vpsllw $5, %ymm1, %ymm1 ; AVX2-NEXT: vpsllw $5, %ymm1, %ymm1
; AVX2-NEXT: vpmovmskb %ymm1, %eax ; AVX2-NEXT: vpmovmskb %ymm1, %eax
; AVX2-NEXT: shlq $32, %rax ; AVX2-NEXT: shlq $32, %rax
; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0
; AVX2-NEXT: vpmovmskb %ymm0, %ecx ; AVX2-NEXT: vpmovmskb %ymm0, %ecx
; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: orq %rax, %rcx
; AVX2-NEXT: cmpq $-1, %rcx ; AVX2-NEXT: cmpq $-1, %rcx
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allones_v64i8_and4: ; KNL-LABEL: allones_v64i8_and4:
Show All 21 Lines; SKX-NEXT: retq
%tmp2 = bitcast <64 x i1> %tmp1 to i64 %tmp2 = bitcast <64 x i1> %tmp1 to i64
%tmp3 = icmp eq i64 %tmp2, -1 %tmp3 = icmp eq i64 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v64i8_and4(<64 x i8> %arg) { define i1 @allzeros_v64i8_and4(<64 x i8> %arg) {
; SSE2-LABEL: allzeros_v64i8_and4: ; SSE2-LABEL: allzeros_v64i8_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $5, %xmm3
; SSE2-NEXT: psllw $5, %xmm2
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: psllw $5, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: pmovmskb %xmm1, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: psllw $5, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %eax ; SSE2-NEXT: pmovmskb %xmm2, %eax
; SSE2-NEXT: psllw $5, %xmm3
; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: pmovmskb %xmm3, %edx
; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: shll $16, %edx
; SSE2-NEXT: orl %eax, %edx ; SSE2-NEXT: orl %eax, %edx
; SSE2-NEXT: shlq $32, %rdx ; SSE2-NEXT: shlq $32, %rdx
; SSE2-NEXT: orq %rcx, %rdx ; SSE2-NEXT: orq %rcx, %rdx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v64i8_and4: ; AVX1-LABEL: allzeros_v64i8_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm2
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0 ; AVX1-NEXT: vpand %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpmovmskb %xmm2, %eax
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm3
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpmovmskb %xmm3, %eax
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm1, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpand %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $5, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %edx ; AVX1-NEXT: vpmovmskb %xmm0, %edx
; AVX1-NEXT: shll $16, %edx ; AVX1-NEXT: shll $16, %edx
; AVX1-NEXT: orl %eax, %edx ; AVX1-NEXT: orl %eax, %edx
; AVX1-NEXT: shlq $32, %rdx ; AVX1-NEXT: shlq $32, %rdx
; AVX1-NEXT: orq %rcx, %rdx ; AVX1-NEXT: orq %rcx, %rdx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v64i8_and4: ; AVX2-LABEL: allzeros_v64i8_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0
; AVX2-NEXT: vpsllw $5, %ymm1, %ymm1 ; AVX2-NEXT: vpsllw $5, %ymm1, %ymm1
; AVX2-NEXT: vpmovmskb %ymm1, %eax ; AVX2-NEXT: vpmovmskb %ymm1, %eax
; AVX2-NEXT: shlq $32, %rax ; AVX2-NEXT: shlq $32, %rax
; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0
; AVX2-NEXT: vpmovmskb %ymm0, %ecx ; AVX2-NEXT: vpmovmskb %ymm0, %ecx
; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: orq %rax, %rcx
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allzeros_v64i8_and4: ; KNL-LABEL: allzeros_v64i8_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
Show All 19 Lines; SKX-NEXT: retq
%tmp2 = bitcast <64 x i1> %tmp1 to i64 %tmp2 = bitcast <64 x i1> %tmp1 to i64
%tmp3 = icmp eq i64 %tmp2, 0 %tmp3 = icmp eq i64 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v8i16_and4(<8 x i16> %arg) { define i1 @allones_v8i16_and4(<8 x i16> %arg) {
; SSE2-LABEL: allones_v8i16_and4: ; SSE2-LABEL: allones_v8i16_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4] ; SSE2-NEXT: psllw $13, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0
; SSE2-NEXT: pcmpeqw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpb $-1, %al ; SSE2-NEXT: cmpb $-1, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX-LABEL: allones_v8i16_and4: ; AVX-LABEL: allones_v8i16_and4:
; AVX: # %bb.0: ; AVX: # %bb.0:
; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4] ; AVX-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0 ; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0
; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: vpmovmskb %xmm0, %eax
; AVX-NEXT: cmpb $-1, %al ; AVX-NEXT: cmpb $-1, %al
; AVX-NEXT: sete %al ; AVX-NEXT: sete %al
; AVX-NEXT: retq ; AVX-NEXT: retq
; ;
; KNL-LABEL: allones_v8i16_and4: ; KNL-LABEL: allones_v8i16_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4] ; KNL-NEXT: vpsllw $13, %xmm0, %xmm0
; KNL-NEXT: vpand %xmm1, %xmm0, %xmm0 ; KNL-NEXT: vpsraw $15, %xmm0, %xmm0
; KNL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; KNL-NEXT: vpmovsxwq %xmm0, %zmm0 ; KNL-NEXT: vpmovsxwq %xmm0, %zmm0
; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: cmpb $-1, %al ; KNL-NEXT: cmpb $-1, %al
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allones_v8i16_and4: ; SKX-LABEL: allones_v8i16_and4:
; SKX: # %bb.0: ; SKX: # %bb.0:
; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0 ; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0
; SKX-NEXT: kortestb %k0, %k0 ; SKX-NEXT: kortestb %k0, %k0
; SKX-NEXT: setb %al ; SKX-NEXT: setb %al
; SKX-NEXT: retq ; SKX-NEXT: retq
%tmp = and <8 x i16> %arg, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4> %tmp = and <8 x i16> %arg, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4>
%tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer %tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, -1 %tmp3 = icmp eq i8 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v8i16_and4(<8 x i16> %arg) { define i1 @allzeros_v8i16_and4(<8 x i16> %arg) {
; SSE2-LABEL: allzeros_v8i16_and4: ; SSE2-LABEL: allzeros_v8i16_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4] ; SSE2-NEXT: psllw $13, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0
; SSE2-NEXT: pcmpeqw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX-LABEL: allzeros_v8i16_and4: ; AVX-LABEL: allzeros_v8i16_and4:
; AVX: # %bb.0: ; AVX: # %bb.0:
; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4] ; AVX-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0 ; AVX-NEXT: vpacksswb %xmm0, %xmm0, %xmm0
; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: vpmovmskb %xmm0, %eax
; AVX-NEXT: testb %al, %al ; AVX-NEXT: testb %al, %al
; AVX-NEXT: sete %al ; AVX-NEXT: sete %al
; AVX-NEXT: retq ; AVX-NEXT: retq
; ;
; KNL-LABEL: allzeros_v8i16_and4: ; KNL-LABEL: allzeros_v8i16_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4] ; KNL-NEXT: vpsllw $13, %xmm0, %xmm0
; KNL-NEXT: vpand %xmm1, %xmm0, %xmm0 ; KNL-NEXT: vpsraw $15, %xmm0, %xmm0
; KNL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
; KNL-NEXT: vpmovsxwq %xmm0, %zmm0 ; KNL-NEXT: vpmovsxwq %xmm0, %zmm0
; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmq %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: testb %al, %al ; KNL-NEXT: testb %al, %al
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allzeros_v8i16_and4: ; SKX-LABEL: allzeros_v8i16_and4:
; SKX: # %bb.0: ; SKX: # %bb.0:
; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0 ; SKX-NEXT: vptestmw {{.*}}(%rip), %xmm0, %k0
; SKX-NEXT: kortestb %k0, %k0 ; SKX-NEXT: kortestb %k0, %k0
; SKX-NEXT: sete %al ; SKX-NEXT: sete %al
; SKX-NEXT: retq ; SKX-NEXT: retq
%tmp = and <8 x i16> %arg, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4> %tmp = and <8 x i16> %arg, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4>
%tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer %tmp1 = icmp ne <8 x i16> %tmp, zeroinitializer
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, 0 %tmp3 = icmp eq i8 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v16i16_and4(<16 x i16> %arg) { define i1 @allones_v16i16_and4(<16 x i16> %arg) {
; SSE2-LABEL: allones_v16i16_and4: ; SSE2-LABEL: allones_v16i16_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4] ; SSE2-NEXT: psllw $13, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllw $13, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpw $-1, %ax ; SSE2-NEXT: cmpw $-1, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v16i16_and4: ; AVX1-LABEL: allones_v16i16_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $13, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: cmpw $-1, %ax ; AVX1-NEXT: cmpw $-1, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v16i16_and4: ; AVX2-LABEL: allones_v16i16_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; AVX2-NEXT: vpsllw $13, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpsraw $15, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: cmpw $-1, %ax ; AVX2-NEXT: cmpw $-1, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allones_v16i16_and4: ; KNL-LABEL: allones_v16i16_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; KNL-NEXT: vpsllw $13, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm1, %ymm0, %ymm0 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kortestw %k0, %k0 ; KNL-NEXT: kortestw %k0, %k0
; KNL-NEXT: setb %al ; KNL-NEXT: setb %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allones_v16i16_and4: ; SKX-LABEL: allones_v16i16_and4:
; SKX: # %bb.0: ; SKX: # %bb.0:
; SKX-NEXT: vptestmw {{.*}}(%rip), %ymm0, %k0 ; SKX-NEXT: vptestmw {{.*}}(%rip), %ymm0, %k0
; SKX-NEXT: kortestw %k0, %k0 ; SKX-NEXT: kortestw %k0, %k0
; SKX-NEXT: setb %al ; SKX-NEXT: setb %al
; SKX-NEXT: vzeroupper ; SKX-NEXT: vzeroupper
; SKX-NEXT: retq ; SKX-NEXT: retq
%tmp = and <16 x i16> %arg, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4> %tmp = and <16 x i16> %arg, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4>
%tmp1 = icmp ne <16 x i16> %tmp, zeroinitializer %tmp1 = icmp ne <16 x i16> %tmp, zeroinitializer
%tmp2 = bitcast <16 x i1> %tmp1 to i16 %tmp2 = bitcast <16 x i1> %tmp1 to i16
%tmp3 = icmp eq i16 %tmp2, -1 %tmp3 = icmp eq i16 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v32i16_and4(<32 x i16> %arg) { define i1 @allones_v32i16_and4(<32 x i16> %arg) {
; SSE2-LABEL: allones_v32i16_and4: ; SSE2-LABEL: allones_v32i16_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4,4,4,4,4,4,4] ; SSE2-NEXT: psllw $13, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllw $13, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pcmpeqw %xmm4, %xmm3 ; SSE2-NEXT: psllw $13, %xmm3
; SSE2-NEXT: pcmpeqw %xmm4, %xmm2 ; SSE2-NEXT: psllw $13, %xmm2
; SSE2-NEXT: packsswb %xmm3, %xmm2 ; SSE2-NEXT: packsswb %xmm3, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %ecx ; SSE2-NEXT: pmovmskb %xmm2, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: cmpl $-1, %ecx ; SSE2-NEXT: cmpl $-1, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v32i16_and4: ; AVX1-LABEL: allones_v32i16_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpsllw $13, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $13, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0 ; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: cmpl $-1, %ecx ; AVX1-NEXT: cmpl $-1, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v32i16_and4: ; AVX2-LABEL: allones_v32i16_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; AVX2-NEXT: vpsllw $13, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllw $13, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: vpmovmskb %ymm0, %eax
; AVX2-NEXT: cmpl $-1, %eax ; AVX2-NEXT: cmpl $-1, %eax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allones_v32i16_and4: ; KNL-LABEL: allones_v32i16_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; KNL-NEXT: vpsllw $13, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm1, %ymm1 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm0 ; KNL-NEXT: vpsllw $13, %ymm1, %ymm0
; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %ecx ; KNL-NEXT: kmovw %k0, %ecx
; KNL-NEXT: shll $16, %ecx ; KNL-NEXT: shll $16, %ecx
; KNL-NEXT: orl %eax, %ecx ; KNL-NEXT: orl %eax, %ecx
; KNL-NEXT: cmpl $-1, %ecx ; KNL-NEXT: cmpl $-1, %ecx
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
Show All 11 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, -1 %tmp3 = icmp eq i32 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v32i16_and4(<32 x i16> %arg) { define i1 @allzeros_v32i16_and4(<32 x i16> %arg) {
; SSE2-LABEL: allzeros_v32i16_and4: ; SSE2-LABEL: allzeros_v32i16_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4,4,4,4,4,4,4] ; SSE2-NEXT: psllw $13, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllw $13, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm1
; SSE2-NEXT: pcmpeqw %xmm4, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pcmpeqw %xmm4, %xmm3 ; SSE2-NEXT: psllw $13, %xmm3
; SSE2-NEXT: pcmpeqw %xmm4, %xmm2 ; SSE2-NEXT: psllw $13, %xmm2
; SSE2-NEXT: packsswb %xmm3, %xmm2 ; SSE2-NEXT: packsswb %xmm3, %xmm2
; SSE2-NEXT: pmovmskb %xmm2, %ecx ; SSE2-NEXT: pmovmskb %xmm2, %ecx
; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: shll $16, %ecx
; SSE2-NEXT: orl %eax, %ecx ; SSE2-NEXT: orl %eax, %ecx
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v32i16_and4: ; AVX1-LABEL: allzeros_v32i16_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpsllw $13, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpsllw $13, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0 ; AVX1-NEXT: vpacksswb %xmm0, %xmm1, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %ecx ; AVX1-NEXT: vpmovmskb %xmm0, %ecx
; AVX1-NEXT: shll $16, %ecx ; AVX1-NEXT: shll $16, %ecx
; AVX1-NEXT: orl %eax, %ecx ; AVX1-NEXT: orl %eax, %ecx
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v32i16_and4: ; AVX2-LABEL: allzeros_v32i16_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; AVX2-NEXT: vpsllw $13, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllw $13, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpacksswb %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: vpmovmskb %ymm0, %eax
; AVX2-NEXT: testl %eax, %eax ; AVX2-NEXT: testl %eax, %eax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allzeros_v32i16_and4: ; KNL-LABEL: allzeros_v32i16_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; KNL-NEXT: vpsllw $13, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm1, %ymm1 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %eax ; KNL-NEXT: kmovw %k0, %eax
; KNL-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm0 ; KNL-NEXT: vpsllw $13, %ymm1, %ymm0
; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kmovw %k0, %ecx ; KNL-NEXT: kmovw %k0, %ecx
; KNL-NEXT: shll $16, %ecx ; KNL-NEXT: shll $16, %ecx
; KNL-NEXT: orl %eax, %ecx ; KNL-NEXT: orl %eax, %ecx
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
Show All 10 Lines; SKX-NEXT: retq
%tmp2 = bitcast <32 x i1> %tmp1 to i32 %tmp2 = bitcast <32 x i1> %tmp1 to i32
%tmp3 = icmp eq i32 %tmp2, 0 %tmp3 = icmp eq i32 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v16i16_and4(<16 x i16> %arg) { define i1 @allzeros_v16i16_and4(<16 x i16> %arg) {
; SSE2-LABEL: allzeros_v16i16_and4: ; SSE2-LABEL: allzeros_v16i16_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4] ; SSE2-NEXT: psllw $13, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllw $13, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm1
; SSE2-NEXT: pcmpeqw %xmm2, %xmm0
; SSE2-NEXT: packsswb %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm1, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testw %ax, %ax ; SSE2-NEXT: testw %ax, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v16i16_and4: ; AVX1-LABEL: allzeros_v16i16_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $13, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpsllw $13, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: testw %ax, %ax ; AVX1-NEXT: testw %ax, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v16i16_and4: ; AVX2-LABEL: allzeros_v16i16_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; AVX2-NEXT: vpsllw $13, %ymm0, %ymm0
; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpsraw $15, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: testw %ax, %ax ; AVX2-NEXT: testw %ax, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
; KNL-LABEL: allzeros_v16i16_and4: ; KNL-LABEL: allzeros_v16i16_and4:
; KNL: # %bb.0: ; KNL: # %bb.0:
; KNL-NEXT: vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] ; KNL-NEXT: vpsllw $13, %ymm0, %ymm0
; KNL-NEXT: vpand %ymm1, %ymm0, %ymm0 ; KNL-NEXT: vpsraw $15, %ymm0, %ymm0
; KNL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
; KNL-NEXT: vpmovsxwd %ymm0, %zmm0 ; KNL-NEXT: vpmovsxwd %ymm0, %zmm0
; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0 ; KNL-NEXT: vptestmd %zmm0, %zmm0, %k0
; KNL-NEXT: kortestw %k0, %k0 ; KNL-NEXT: kortestw %k0, %k0
; KNL-NEXT: sete %al ; KNL-NEXT: sete %al
; KNL-NEXT: vzeroupper ; KNL-NEXT: vzeroupper
; KNL-NEXT: retq ; KNL-NEXT: retq
; ;
; SKX-LABEL: allzeros_v16i16_and4: ; SKX-LABEL: allzeros_v16i16_and4:
▲ Show 20 Lines • Show All 92 Lines • ▼ Show 20 Lines; SKX-NEXT: retq
%tmp2 = bitcast <4 x i1> %tmp1 to i4 %tmp2 = bitcast <4 x i1> %tmp1 to i4
%tmp3 = icmp eq i4 %tmp2, 0 %tmp3 = icmp eq i4 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v8i32_and4(<8 x i32> %arg) { define i1 @allones_v8i32_and4(<8 x i32> %arg) {
; SSE2-LABEL: allones_v8i32_and4: ; SSE2-LABEL: allones_v8i32_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4,4,4] ; SSE2-NEXT: pslld $29, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: pslld $29, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpb $-1, %al ; SSE2-NEXT: cmpb $-1, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v8i32_and4: ; AVX1-LABEL: allones_v8i32_and4:
Show All 39 Lines; SKX-NEXT: retq
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, -1 %tmp3 = icmp eq i8 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v8i32_and4(<8 x i32> %arg) { define i1 @allzeros_v8i32_and4(<8 x i32> %arg) {
; SSE2-LABEL: allzeros_v8i32_and4: ; SSE2-LABEL: allzeros_v8i32_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4,4,4] ; SSE2-NEXT: pslld $29, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: pslld $29, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm0, %xmm0 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v8i32_and4: ; AVX1-LABEL: allzeros_v8i32_and4:
Show All 39 Lines; SKX-NEXT: retq
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, 0 %tmp3 = icmp eq i8 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v16i32_and4(<16 x i32> %arg) { define i1 @allones_v16i32_and4(<16 x i32> %arg) {
; SSE2-LABEL: allones_v16i32_and4: ; SSE2-LABEL: allones_v16i32_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4,4,4] ; SSE2-NEXT: pslld $29, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: pslld $29, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2
; SSE2-NEXT: packssdw %xmm3, %xmm2 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1 ; SSE2-NEXT: pslld $29, %xmm1
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0 ; SSE2-NEXT: pslld $29, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm2, %xmm0 ; SSE2-NEXT: packsswb %xmm2, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: cmpw $-1, %ax ; SSE2-NEXT: cmpw $-1, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v16i32_and4: ; AVX1-LABEL: allones_v16i32_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpslld $29, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $29, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $29, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $29, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: cmpw $-1, %ax ; AVX1-NEXT: cmpw $-1, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v16i32_and4: ; AVX2-LABEL: allones_v16i32_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4] ; AVX2-NEXT: vpslld $29, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsrad $31, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpslld $29, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: cmpw $-1, %ax ; AVX2-NEXT: cmpw $-1, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
Show All 19 Lines; SKX-NEXT: retq
%tmp2 = bitcast <16 x i1> %tmp1 to i16 %tmp2 = bitcast <16 x i1> %tmp1 to i16
%tmp3 = icmp eq i16 %tmp2, -1 %tmp3 = icmp eq i16 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v16i32_and4(<16 x i32> %arg) { define i1 @allzeros_v16i32_and4(<16 x i32> %arg) {
; SSE2-LABEL: allzeros_v16i32_and4: ; SSE2-LABEL: allzeros_v16i32_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4,4,4] ; SSE2-NEXT: pslld $29, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: pslld $29, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2
; SSE2-NEXT: packssdw %xmm3, %xmm2 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1 ; SSE2-NEXT: pslld $29, %xmm1
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0 ; SSE2-NEXT: pslld $29, %xmm0
; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: packsswb %xmm2, %xmm0 ; SSE2-NEXT: packsswb %xmm2, %xmm0
; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: testw %ax, %ax ; SSE2-NEXT: testw %ax, %ax
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v16i32_and4: ; AVX1-LABEL: allzeros_v16i32_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpslld $29, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $29, %xmm1, %xmm1
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $29, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $29, %xmm0, %xmm0
; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpmovmskb %xmm0, %eax ; AVX1-NEXT: vpmovmskb %xmm0, %eax
; AVX1-NEXT: testw %ax, %ax ; AVX1-NEXT: testw %ax, %ax
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v16i32_and4: ; AVX2-LABEL: allzeros_v16i32_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4] ; AVX2-NEXT: vpslld $29, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsrad $31, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpslld $29, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqd %ymm2, %ymm0, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 ; AVX2-NEXT: vpacksswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpmovmskb %xmm0, %eax ; AVX2-NEXT: vpmovmskb %xmm0, %eax
; AVX2-NEXT: testw %ax, %ax ; AVX2-NEXT: testw %ax, %ax
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
▲ Show 20 Lines • Show All 105 Lines • ▼ Show 20 Lines; SKX-NEXT: retq
%tmp2 = bitcast <2 x i1> %tmp1 to i2 %tmp2 = bitcast <2 x i1> %tmp1 to i2
%tmp3 = icmp eq i2 %tmp2, 0 %tmp3 = icmp eq i2 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v4i64_and4(<4 x i64> %arg) { define i1 @allones_v4i64_and4(<4 x i64> %arg) {
; SSE2-LABEL: allones_v4i64_and4: ; SSE2-LABEL: allones_v4i64_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4] ; SSE2-NEXT: psllq $61, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllq $61, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1 ; SSE2-NEXT: movmskps %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm3
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: movmskps %xmm1, %eax
; SSE2-NEXT: cmpb $15, %al ; SSE2-NEXT: cmpb $15, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v4i64_and4: ; AVX1-LABEL: allones_v4i64_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vpsllq $61, %xmm0, %xmm1 ; AVX1-NEXT: vpsllq $61, %xmm0, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
Show All 39 Lines; SKX-NEXT: retq
%tmp2 = bitcast <4 x i1> %tmp1 to i4 %tmp2 = bitcast <4 x i1> %tmp1 to i4
%tmp3 = icmp eq i4 %tmp2, -1 %tmp3 = icmp eq i4 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v4i64_and4(<4 x i64> %arg) { define i1 @allzeros_v4i64_and4(<4 x i64> %arg) {
; SSE2-LABEL: allzeros_v4i64_and4: ; SSE2-LABEL: allzeros_v4i64_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4] ; SSE2-NEXT: psllq $61, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: psllq $61, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm1 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pcmpeqd %xmm2, %xmm1 ; SSE2-NEXT: movmskps %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm3
; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: movmskps %xmm1, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v4i64_and4: ; AVX1-LABEL: allzeros_v4i64_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vpsllq $61, %xmm0, %xmm1 ; AVX1-NEXT: vpsllq $61, %xmm0, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
Show All 37 Lines; SKX-NEXT: retq
%tmp2 = bitcast <4 x i1> %tmp1 to i4 %tmp2 = bitcast <4 x i1> %tmp1 to i4
%tmp3 = icmp eq i4 %tmp2, 0 %tmp3 = icmp eq i4 %tmp2, 0
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allones_v8i64_and4(<8 x i64> %arg) { define i1 @allones_v8i64_and4(<8 x i64> %arg) {
; SSE2-LABEL: allones_v8i64_and4: ; SSE2-LABEL: allones_v8i64_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4] ; SSE2-NEXT: psllq $61, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: psllq $61, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllq $61, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm3 ; SSE2-NEXT: psllq $61, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm3[1,0,3,2] ; SSE2-NEXT: packssdw %xmm2, %xmm0
; SSE2-NEXT: pand %xmm3, %xmm5 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
; SSE2-NEXT: pand %xmm2, %xmm3
; SSE2-NEXT: packssdw %xmm5, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1
; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm2, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: packsswb %xmm0, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %eax
; SSE2-NEXT: cmpb $-1, %al ; SSE2-NEXT: cmpb $-1, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allones_v8i64_and4: ; AVX1-LABEL: allones_v8i64_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpsllq $61, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4 ; AVX1-NEXT: vpsllq $61, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm1, %xmm3, %xmm1
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllq $61, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllq $61, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpcmpgtq %xmm0, %xmm3, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: vmovmskps %ymm0, %eax
; AVX1-NEXT: cmpb $-1, %al ; AVX1-NEXT: cmpb $-1, %al
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allones_v8i64_and4: ; AVX2-LABEL: allones_v8i64_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm2 = [4,4,4,4] ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllq $61, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpcmpgtq %ymm1, %ymm2, %ymm1
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsllq $61, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: vmovmskps %ymm0, %eax
; AVX2-NEXT: cmpb $-1, %al ; AVX2-NEXT: cmpb $-1, %al
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
Show All 18 Lines; SKX-NEXT: retq
%tmp2 = bitcast <8 x i1> %tmp1 to i8 %tmp2 = bitcast <8 x i1> %tmp1 to i8
%tmp3 = icmp eq i8 %tmp2, -1 %tmp3 = icmp eq i8 %tmp2, -1
ret i1 %tmp3 ret i1 %tmp3
} }
define i1 @allzeros_v8i64_and4(<8 x i64> %arg) { define i1 @allzeros_v8i64_and4(<8 x i64> %arg) {
; SSE2-LABEL: allzeros_v8i64_and4: ; SSE2-LABEL: allzeros_v8i64_and4:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4] ; SSE2-NEXT: psllq $61, %xmm3
; SSE2-NEXT: pand %xmm4, %xmm0 ; SSE2-NEXT: psllq $61, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm1 ; SSE2-NEXT: packssdw %xmm3, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm2 ; SSE2-NEXT: psllq $61, %xmm1
; SSE2-NEXT: pand %xmm4, %xmm3 ; SSE2-NEXT: psllq $61, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm3 ; SSE2-NEXT: packssdw %xmm1, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm3[1,0,3,2] ; SSE2-NEXT: packssdw %xmm2, %xmm0
; SSE2-NEXT: pand %xmm3, %xmm5 ; SSE2-NEXT: packsswb %xmm0, %xmm0
; SSE2-NEXT: pcmpeqd %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm0, %eax
; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
; SSE2-NEXT: pand %xmm2, %xmm3
; SSE2-NEXT: packssdw %xmm5, %xmm3
; SSE2-NEXT: pcmpeqd %xmm4, %xmm1
; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[1,0,3,2]
; SSE2-NEXT: pand %xmm1, %xmm2
; SSE2-NEXT: pcmpeqd %xmm4, %xmm0
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
; SSE2-NEXT: pand %xmm0, %xmm1
; SSE2-NEXT: packssdw %xmm2, %xmm1
; SSE2-NEXT: packssdw %xmm3, %xmm1
; SSE2-NEXT: packsswb %xmm0, %xmm1
; SSE2-NEXT: pmovmskb %xmm1, %eax
; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: testb %al, %al
; SSE2-NEXT: sete %al ; SSE2-NEXT: sete %al
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; AVX1-LABEL: allzeros_v8i64_and4: ; AVX1-LABEL: allzeros_v8i64_and4:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovaps {{.*#+}} ymm2 = [4,4,4,4]
; AVX1-NEXT: vandps %ymm2, %ymm0, %ymm0
; AVX1-NEXT: vandps %ymm2, %ymm1, %ymm1
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpsllq $61, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4 ; AVX1-NEXT: vpsllq $61, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm1, %xmm3, %xmm1
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpackssdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpsllq $61, %xmm2, %xmm2
; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpcmpgtq %xmm2, %xmm3, %xmm2
; AVX1-NEXT: vpcmpeqq %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vpsllq $61, %xmm0, %xmm0
; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpcmpgtq %xmm0, %xmm3, %xmm0
; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpackssdw %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: vmovmskps %ymm0, %eax
; AVX1-NEXT: testb %al, %al ; AVX1-NEXT: testb %al, %al
; AVX1-NEXT: sete %al ; AVX1-NEXT: sete %al
; AVX1-NEXT: vzeroupper ; AVX1-NEXT: vzeroupper
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: allzeros_v8i64_and4: ; AVX2-LABEL: allzeros_v8i64_and4:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm2 = [4,4,4,4] ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpsllq $61, %ymm1, %ymm1
; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpcmpgtq %ymm1, %ymm2, %ymm1
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm1, %ymm1 ; AVX2-NEXT: vpsllq $61, %ymm0, %ymm0
; AVX2-NEXT: vpcmpeqq %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm0
; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpackssdw %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3] ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: vmovmskps %ymm0, %eax
; AVX2-NEXT: testb %al, %al ; AVX2-NEXT: testb %al, %al
; AVX2-NEXT: sete %al ; AVX2-NEXT: sete %al
; AVX2-NEXT: vzeroupper ; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq ; AVX2-NEXT: retq
; ;
▲ Show 20 Lines • Show All 674 Lines • Show Last 20 Lines