Index: lib/Target/X86/X86ISelLowering.cpp =================================================================== --- lib/Target/X86/X86ISelLowering.cpp +++ lib/Target/X86/X86ISelLowering.cpp @@ -38812,6 +38812,29 @@ return SDValue(N, 0); } + // Combine (movmsk (setne (and X, (1 << C)), 0)) -> (movmsk (X << C)). + // Only do this when the setcc input and output types are the same and the + // setcc and the 'and' node have a single use. + APInt SplatVal; + if (Src.getOpcode() == ISD::SETCC && Src.hasOneUse() && + Src.getOperand(0).getValueType() == Src.getValueType() && + cast(Src.getOperand(2))->get() == ISD::SETNE && + ISD::isBuildVectorAllZeros(Src.getOperand(1).getNode())) { + SDValue In = Src.getOperand(0); + if (In.getOpcode() == ISD::AND && In.hasOneUse() && + ISD::isConstantSplatVector(In.getOperand(1).getNode(), SplatVal) && + SplatVal.isPowerOf2()) { + MVT VT = Src.getSimpleValueType(); + unsigned BitWidth = VT.getScalarSizeInBits(); + unsigned ShAmt = BitWidth - SplatVal.logBase2() - 1; + SDLoc DL(Src.getOperand(0)); + SDValue Shl = DAG.getNode(ISD::SHL, DL, VT, In.getOperand(0), + DAG.getConstant(ShAmt, DL, VT)); + SDValue Cast = DAG.getBitcast(SrcVT, Shl); + return DAG.getNode(X86ISD::MOVMSK, SDLoc(N), N->getValueType(0), Cast); + } + } + return SDValue(); } Index: test/CodeGen/X86/movmsk-cmp.ll =================================================================== --- test/CodeGen/X86/movmsk-cmp.ll +++ test/CodeGen/X86/movmsk-cmp.ll @@ -1124,9 +1124,8 @@ define i1 @allones_v16i8_and1(<16 x i8> %arg) { ; SSE2-LABEL: allones_v16i8_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm1, %xmm0 +; SSE2-NEXT: psllw $7, %xmm0 +; SSE2-NEXT: pand {{.*}}(%rip), %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: cmpl $65535, %eax # imm = 0xFFFF ; SSE2-NEXT: sete %al @@ -1134,9 +1133,8 @@ ; ; AVX-LABEL: allones_v16i8_and1: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllw $7, %xmm0, %xmm0 +; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0 ; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: cmpl $65535, %eax # imm = 0xFFFF ; AVX-NEXT: sete %al @@ -1158,9 +1156,8 @@ define i1 @allzeros_v16i8_and1(<16 x i8> %arg) { ; SSE2-LABEL: allzeros_v16i8_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm1, %xmm0 +; SSE2-NEXT: psllw $7, %xmm0 +; SSE2-NEXT: pand {{.*}}(%rip), %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: testw %ax, %ax ; SSE2-NEXT: sete %al @@ -1168,9 +1165,8 @@ ; ; AVX-LABEL: allzeros_v16i8_and1: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllw $7, %xmm0, %xmm0 +; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0 ; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: testw %ax, %ax ; AVX-NEXT: sete %al @@ -1192,12 +1188,12 @@ define i1 @allones_v32i8_and1(<32 x i8> %arg) { ; SSE2-LABEL: allones_v32i8_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] +; SSE2-NEXT: psllw $7, %xmm1 +; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128] ; SSE2-NEXT: pand %xmm2, %xmm1 +; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: pand %xmm2, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm2, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm2, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx @@ -1226,9 +1222,8 @@ ; ; AVX2-LABEL: allones_v32i8_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0 +; AVX2-NEXT: vpand {{.*}}(%rip), %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: cmpl $-1, %eax ; AVX2-NEXT: sete %al @@ -1252,12 +1247,12 @@ define i1 @allzeros_v32i8_and1(<32 x i8> %arg) { ; SSE2-LABEL: allzeros_v32i8_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] +; SSE2-NEXT: psllw $7, %xmm1 +; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128] ; SSE2-NEXT: pand %xmm2, %xmm1 +; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: pand %xmm2, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm2, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm2, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx @@ -1284,9 +1279,8 @@ ; ; AVX2-LABEL: allzeros_v32i8_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0 +; AVX2-NEXT: vpand {{.*}}(%rip), %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: testl %eax, %eax ; AVX2-NEXT: sete %al @@ -1310,20 +1304,20 @@ define i1 @allones_v64i8_and1(<64 x i8> %arg) { ; SSE2-LABEL: allones_v64i8_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] +; SSE2-NEXT: psllw $7, %xmm3 +; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128] ; SSE2-NEXT: pand %xmm4, %xmm3 +; SSE2-NEXT: psllw $7, %xmm2 ; SSE2-NEXT: pand %xmm4, %xmm2 +; SSE2-NEXT: psllw $7, %xmm1 ; SSE2-NEXT: pand %xmm4, %xmm1 +; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: pand %xmm4, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm4, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx -; SSE2-NEXT: pcmpeqb %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm2, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm3 ; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: orl %eax, %edx @@ -1367,13 +1361,13 @@ ; ; AVX2-LABEL: allones_v64i8_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] +; AVX2-NEXT: vpsllw $7, %ymm1, %ymm1 +; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128] ; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 +; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0 ; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm0 -; AVX2-NEXT: vpmovmskb %ymm0, %ecx +; AVX2-NEXT: vpmovmskb %ymm1, %ecx ; AVX2-NEXT: shlq $32, %rcx ; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: cmpq $-1, %rcx @@ -1398,20 +1392,20 @@ define i1 @allzeros_v64i8_and1(<64 x i8> %arg) { ; SSE2-LABEL: allzeros_v64i8_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] +; SSE2-NEXT: psllw $7, %xmm3 +; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128] ; SSE2-NEXT: pand %xmm4, %xmm3 +; SSE2-NEXT: psllw $7, %xmm2 ; SSE2-NEXT: pand %xmm4, %xmm2 +; SSE2-NEXT: psllw $7, %xmm1 ; SSE2-NEXT: pand %xmm4, %xmm1 +; SSE2-NEXT: psllw $7, %xmm0 ; SSE2-NEXT: pand %xmm4, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm4, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx -; SSE2-NEXT: pcmpeqb %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm2, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm3 ; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: orl %eax, %edx @@ -1453,13 +1447,13 @@ ; ; AVX2-LABEL: allzeros_v64i8_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] +; AVX2-NEXT: vpsllw $7, %ymm1, %ymm1 +; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128] ; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 +; AVX2-NEXT: vpsllw $7, %ymm0, %ymm0 ; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm0 -; AVX2-NEXT: vpmovmskb %ymm0, %ecx +; AVX2-NEXT: vpmovmskb %ymm1, %ecx ; AVX2-NEXT: shlq $32, %rcx ; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: sete %al @@ -1827,33 +1821,19 @@ define i1 @allones_v4i32_and1(<4 x i32> %arg) { ; SSE2-LABEL: allones_v4i32_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1,1,1] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 +; SSE2-NEXT: pslld $31, %xmm0 ; SSE2-NEXT: movmskps %xmm0, %eax ; SSE2-NEXT: cmpb $15, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; -; AVX1-LABEL: allones_v4i32_and1: -; AVX1: # %bb.0: -; AVX1-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1] -; AVX1-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vmovmskps %xmm0, %eax -; AVX1-NEXT: cmpb $15, %al -; AVX1-NEXT: sete %al -; AVX1-NEXT: retq -; -; AVX2-LABEL: allones_v4i32_and1: -; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1] -; AVX2-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vmovmskps %xmm0, %eax -; AVX2-NEXT: cmpb $15, %al -; AVX2-NEXT: sete %al -; AVX2-NEXT: retq +; AVX-LABEL: allones_v4i32_and1: +; AVX: # %bb.0: +; AVX-NEXT: vpslld $31, %xmm0, %xmm0 +; AVX-NEXT: vmovmskps %xmm0, %eax +; AVX-NEXT: cmpb $15, %al +; AVX-NEXT: sete %al +; AVX-NEXT: retq ; ; SKX-LABEL: allones_v4i32_and1: ; SKX: # %bb.0: @@ -1874,33 +1854,19 @@ define i1 @allzeros_v4i32_and1(<4 x i32> %arg) { ; SSE2-LABEL: allzeros_v4i32_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1,1,1] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 +; SSE2-NEXT: pslld $31, %xmm0 ; SSE2-NEXT: movmskps %xmm0, %eax ; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; -; AVX1-LABEL: allzeros_v4i32_and1: -; AVX1: # %bb.0: -; AVX1-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1,1,1] -; AVX1-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vmovmskps %xmm0, %eax -; AVX1-NEXT: testb %al, %al -; AVX1-NEXT: sete %al -; AVX1-NEXT: retq -; -; AVX2-LABEL: allzeros_v4i32_and1: -; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1] -; AVX2-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vmovmskps %xmm0, %eax -; AVX2-NEXT: testb %al, %al -; AVX2-NEXT: sete %al -; AVX2-NEXT: retq +; AVX-LABEL: allzeros_v4i32_and1: +; AVX: # %bb.0: +; AVX-NEXT: vpslld $31, %xmm0, %xmm0 +; AVX-NEXT: vmovmskps %xmm0, %eax +; AVX-NEXT: testb %al, %al +; AVX-NEXT: sete %al +; AVX-NEXT: retq ; ; SKX-LABEL: allzeros_v4i32_and1: ; SKX: # %bb.0: @@ -1934,15 +1900,10 @@ ; ; AVX1-LABEL: allones_v8i32_and1: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpslld $31, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpslld $31, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: cmpb $-1, %al ; AVX1-NEXT: sete %al @@ -1951,9 +1912,7 @@ ; ; AVX2-LABEL: allones_v8i32_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpslld $31, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: cmpb $-1, %al ; AVX2-NEXT: sete %al @@ -1992,15 +1951,10 @@ ; ; AVX1-LABEL: allzeros_v8i32_and1: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpslld $31, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpslld $31, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: testb %al, %al ; AVX1-NEXT: sete %al @@ -2009,9 +1963,7 @@ ; ; AVX2-LABEL: allzeros_v8i32_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm1 = [1,1,1,1,1,1,1,1] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpslld $31, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: testb %al, %al ; AVX2-NEXT: sete %al @@ -2192,21 +2144,15 @@ define i1 @allones_v2i64_and1(<2 x i64> %arg) { ; SSE2-LABEL: allones_v2i64_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 -; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2] -; SSE2-NEXT: pand %xmm0, %xmm1 -; SSE2-NEXT: movmskpd %xmm1, %eax +; SSE2-NEXT: psllq $63, %xmm0 +; SSE2-NEXT: movmskpd %xmm0, %eax ; SSE2-NEXT: cmpb $3, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; ; AVX-LABEL: allones_v2i64_and1: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllq $63, %xmm0, %xmm0 ; AVX-NEXT: vmovmskpd %xmm0, %eax ; AVX-NEXT: cmpb $3, %al ; AVX-NEXT: sete %al @@ -2230,21 +2176,15 @@ define i1 @allzeros_v2i64_and1(<2 x i64> %arg) { ; SSE2-LABEL: allzeros_v2i64_and1: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [1,1] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 -; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2] -; SSE2-NEXT: pand %xmm0, %xmm1 -; SSE2-NEXT: movmskpd %xmm1, %eax +; SSE2-NEXT: psllq $63, %xmm0 +; SSE2-NEXT: movmskpd %xmm0, %eax ; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; ; AVX-LABEL: allzeros_v2i64_and1: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [1,1] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllq $63, %xmm0, %xmm0 ; AVX-NEXT: vmovmskpd %xmm0, %eax ; AVX-NEXT: testb %al, %al ; AVX-NEXT: sete %al @@ -2284,15 +2224,10 @@ ; ; AVX1-LABEL: allones_v4i64_and1: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpsllq $63, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpsllq $63, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskpd %ymm0, %eax ; AVX1-NEXT: cmpb $15, %al ; AVX1-NEXT: sete %al @@ -2301,9 +2236,7 @@ ; ; AVX2-LABEL: allones_v4i64_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm1 = [1,1,1,1] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllq $63, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskpd %ymm0, %eax ; AVX2-NEXT: cmpb $15, %al ; AVX2-NEXT: sete %al @@ -2346,15 +2279,10 @@ ; ; AVX1-LABEL: allzeros_v4i64_and1: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpsllq $63, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpsllq $63, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskpd %ymm0, %eax ; AVX1-NEXT: testb %al, %al ; AVX1-NEXT: sete %al @@ -2363,9 +2291,7 @@ ; ; AVX2-LABEL: allzeros_v4i64_and1: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm1 = [1,1,1,1] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllq $63, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskpd %ymm0, %eax ; AVX2-NEXT: testb %al, %al ; AVX2-NEXT: sete %al @@ -2558,9 +2484,8 @@ define i1 @allones_v16i8_and4(<16 x i8> %arg) { ; SSE2-LABEL: allones_v16i8_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm1, %xmm0 +; SSE2-NEXT: psllw $5, %xmm0 +; SSE2-NEXT: pand {{.*}}(%rip), %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: cmpl $65535, %eax # imm = 0xFFFF ; SSE2-NEXT: sete %al @@ -2568,9 +2493,8 @@ ; ; AVX-LABEL: allones_v16i8_and4: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllw $5, %xmm0, %xmm0 +; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0 ; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: cmpl $65535, %eax # imm = 0xFFFF ; AVX-NEXT: sete %al @@ -2592,9 +2516,8 @@ define i1 @allzeros_v16i8_and4(<16 x i8> %arg) { ; SSE2-LABEL: allzeros_v16i8_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm1, %xmm0 +; SSE2-NEXT: psllw $5, %xmm0 +; SSE2-NEXT: pand {{.*}}(%rip), %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax ; SSE2-NEXT: testw %ax, %ax ; SSE2-NEXT: sete %al @@ -2602,9 +2525,8 @@ ; ; AVX-LABEL: allzeros_v16i8_and4: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllw $5, %xmm0, %xmm0 +; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0 ; AVX-NEXT: vpmovmskb %xmm0, %eax ; AVX-NEXT: testw %ax, %ax ; AVX-NEXT: sete %al @@ -2626,12 +2548,12 @@ define i1 @allones_v32i8_and4(<32 x i8> %arg) { ; SSE2-LABEL: allones_v32i8_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] +; SSE2-NEXT: psllw $5, %xmm1 +; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224] ; SSE2-NEXT: pand %xmm2, %xmm1 +; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: pand %xmm2, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm2, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm2, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx @@ -2660,9 +2582,8 @@ ; ; AVX2-LABEL: allones_v32i8_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0 +; AVX2-NEXT: vpand {{.*}}(%rip), %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: cmpl $-1, %eax ; AVX2-NEXT: sete %al @@ -2686,12 +2607,12 @@ define i1 @allzeros_v32i8_and4(<32 x i8> %arg) { ; SSE2-LABEL: allzeros_v32i8_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] +; SSE2-NEXT: psllw $5, %xmm1 +; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224] ; SSE2-NEXT: pand %xmm2, %xmm1 +; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: pand %xmm2, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm2, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm2, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx @@ -2718,9 +2639,8 @@ ; ; AVX2-LABEL: allzeros_v32i8_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0 +; AVX2-NEXT: vpand {{.*}}(%rip), %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax ; AVX2-NEXT: testl %eax, %eax ; AVX2-NEXT: sete %al @@ -2744,20 +2664,20 @@ define i1 @allones_v64i8_and4(<64 x i8> %arg) { ; SSE2-LABEL: allones_v64i8_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] +; SSE2-NEXT: psllw $5, %xmm3 +; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224] ; SSE2-NEXT: pand %xmm4, %xmm3 +; SSE2-NEXT: psllw $5, %xmm2 ; SSE2-NEXT: pand %xmm4, %xmm2 +; SSE2-NEXT: psllw $5, %xmm1 ; SSE2-NEXT: pand %xmm4, %xmm1 +; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: pand %xmm4, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm4, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx -; SSE2-NEXT: pcmpeqb %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm2, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm3 ; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: orl %eax, %edx @@ -2801,13 +2721,13 @@ ; ; AVX2-LABEL: allones_v64i8_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] +; AVX2-NEXT: vpsllw $5, %ymm1, %ymm1 +; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224] ; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 +; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0 ; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm0 -; AVX2-NEXT: vpmovmskb %ymm0, %ecx +; AVX2-NEXT: vpmovmskb %ymm1, %ecx ; AVX2-NEXT: shlq $32, %rcx ; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: cmpq $-1, %rcx @@ -2832,20 +2752,20 @@ define i1 @allzeros_v64i8_and4(<64 x i8> %arg) { ; SSE2-LABEL: allzeros_v64i8_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] +; SSE2-NEXT: psllw $5, %xmm3 +; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224] ; SSE2-NEXT: pand %xmm4, %xmm3 +; SSE2-NEXT: psllw $5, %xmm2 ; SSE2-NEXT: pand %xmm4, %xmm2 +; SSE2-NEXT: psllw $5, %xmm1 ; SSE2-NEXT: pand %xmm4, %xmm1 +; SSE2-NEXT: psllw $5, %xmm0 ; SSE2-NEXT: pand %xmm4, %xmm0 -; SSE2-NEXT: pcmpeqb %xmm4, %xmm0 ; SSE2-NEXT: pmovmskb %xmm0, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm1 ; SSE2-NEXT: pmovmskb %xmm1, %ecx ; SSE2-NEXT: shll $16, %ecx ; SSE2-NEXT: orl %eax, %ecx -; SSE2-NEXT: pcmpeqb %xmm4, %xmm2 ; SSE2-NEXT: pmovmskb %xmm2, %eax -; SSE2-NEXT: pcmpeqb %xmm4, %xmm3 ; SSE2-NEXT: pmovmskb %xmm3, %edx ; SSE2-NEXT: shll $16, %edx ; SSE2-NEXT: orl %eax, %edx @@ -2887,13 +2807,13 @@ ; ; AVX2-LABEL: allzeros_v64i8_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4] +; AVX2-NEXT: vpsllw $5, %ymm1, %ymm1 +; AVX2-NEXT: vmovdqa {{.*#+}} ymm2 = [224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224,224] ; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm1 +; AVX2-NEXT: vpsllw $5, %ymm0, %ymm0 ; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0 ; AVX2-NEXT: vpmovmskb %ymm0, %eax -; AVX2-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm0 -; AVX2-NEXT: vpmovmskb %ymm0, %ecx +; AVX2-NEXT: vpmovmskb %ymm1, %ecx ; AVX2-NEXT: shlq $32, %rcx ; AVX2-NEXT: orq %rax, %rcx ; AVX2-NEXT: sete %al @@ -3261,33 +3181,19 @@ define i1 @allones_v4i32_and4(<4 x i32> %arg) { ; SSE2-LABEL: allones_v4i32_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4,4,4] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 +; SSE2-NEXT: pslld $29, %xmm0 ; SSE2-NEXT: movmskps %xmm0, %eax ; SSE2-NEXT: cmpb $15, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; -; AVX1-LABEL: allones_v4i32_and4: -; AVX1: # %bb.0: -; AVX1-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4] -; AVX1-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vmovmskps %xmm0, %eax -; AVX1-NEXT: cmpb $15, %al -; AVX1-NEXT: sete %al -; AVX1-NEXT: retq -; -; AVX2-LABEL: allones_v4i32_and4: -; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} xmm1 = [4,4,4,4] -; AVX2-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vmovmskps %xmm0, %eax -; AVX2-NEXT: cmpb $15, %al -; AVX2-NEXT: sete %al -; AVX2-NEXT: retq +; AVX-LABEL: allones_v4i32_and4: +; AVX: # %bb.0: +; AVX-NEXT: vpslld $29, %xmm0, %xmm0 +; AVX-NEXT: vmovmskps %xmm0, %eax +; AVX-NEXT: cmpb $15, %al +; AVX-NEXT: sete %al +; AVX-NEXT: retq ; ; SKX-LABEL: allones_v4i32_and4: ; SKX: # %bb.0: @@ -3308,33 +3214,19 @@ define i1 @allzeros_v4i32_and4(<4 x i32> %arg) { ; SSE2-LABEL: allzeros_v4i32_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4,4,4] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 +; SSE2-NEXT: pslld $29, %xmm0 ; SSE2-NEXT: movmskps %xmm0, %eax ; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; -; AVX1-LABEL: allzeros_v4i32_and4: -; AVX1: # %bb.0: -; AVX1-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4,4,4] -; AVX1-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX1-NEXT: vmovmskps %xmm0, %eax -; AVX1-NEXT: testb %al, %al -; AVX1-NEXT: sete %al -; AVX1-NEXT: retq -; -; AVX2-LABEL: allzeros_v4i32_and4: -; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} xmm1 = [4,4,4,4] -; AVX2-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0 -; AVX2-NEXT: vmovmskps %xmm0, %eax -; AVX2-NEXT: testb %al, %al -; AVX2-NEXT: sete %al -; AVX2-NEXT: retq +; AVX-LABEL: allzeros_v4i32_and4: +; AVX: # %bb.0: +; AVX-NEXT: vpslld $29, %xmm0, %xmm0 +; AVX-NEXT: vmovmskps %xmm0, %eax +; AVX-NEXT: testb %al, %al +; AVX-NEXT: sete %al +; AVX-NEXT: retq ; ; SKX-LABEL: allzeros_v4i32_and4: ; SKX: # %bb.0: @@ -3368,15 +3260,10 @@ ; ; AVX1-LABEL: allones_v8i32_and4: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpslld $29, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpslld $29, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: cmpb $-1, %al ; AVX1-NEXT: sete %al @@ -3385,9 +3272,7 @@ ; ; AVX2-LABEL: allones_v8i32_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpslld $29, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: cmpb $-1, %al ; AVX2-NEXT: sete %al @@ -3426,15 +3311,10 @@ ; ; AVX1-LABEL: allzeros_v8i32_and4: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpslld $29, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpslld $29, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskps %ymm0, %eax ; AVX1-NEXT: testb %al, %al ; AVX1-NEXT: sete %al @@ -3443,9 +3323,7 @@ ; ; AVX2-LABEL: allzeros_v8i32_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpslld $29, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskps %ymm0, %eax ; AVX2-NEXT: testb %al, %al ; AVX2-NEXT: sete %al @@ -3626,21 +3504,15 @@ define i1 @allones_v2i64_and4(<2 x i64> %arg) { ; SSE2-LABEL: allones_v2i64_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 -; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2] -; SSE2-NEXT: pand %xmm0, %xmm1 -; SSE2-NEXT: movmskpd %xmm1, %eax +; SSE2-NEXT: psllq $61, %xmm0 +; SSE2-NEXT: movmskpd %xmm0, %eax ; SSE2-NEXT: cmpb $3, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; ; AVX-LABEL: allones_v2i64_and4: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllq $61, %xmm0, %xmm0 ; AVX-NEXT: vmovmskpd %xmm0, %eax ; AVX-NEXT: cmpb $3, %al ; AVX-NEXT: sete %al @@ -3664,21 +3536,15 @@ define i1 @allzeros_v2i64_and4(<2 x i64> %arg) { ; SSE2-LABEL: allzeros_v2i64_and4: ; SSE2: # %bb.0: -; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [4,4] -; SSE2-NEXT: pand %xmm1, %xmm0 -; SSE2-NEXT: pcmpeqd %xmm1, %xmm0 -; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2] -; SSE2-NEXT: pand %xmm0, %xmm1 -; SSE2-NEXT: movmskpd %xmm1, %eax +; SSE2-NEXT: psllq $61, %xmm0 +; SSE2-NEXT: movmskpd %xmm0, %eax ; SSE2-NEXT: testb %al, %al ; SSE2-NEXT: sete %al ; SSE2-NEXT: retq ; ; AVX-LABEL: allzeros_v2i64_and4: ; AVX: # %bb.0: -; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [4,4] -; AVX-NEXT: vpand %xmm1, %xmm0, %xmm0 -; AVX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0 +; AVX-NEXT: vpsllq $61, %xmm0, %xmm0 ; AVX-NEXT: vmovmskpd %xmm0, %eax ; AVX-NEXT: testb %al, %al ; AVX-NEXT: sete %al @@ -3718,15 +3584,10 @@ ; ; AVX1-LABEL: allones_v4i64_and4: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpsllq $61, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpsllq $61, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskpd %ymm0, %eax ; AVX1-NEXT: cmpb $15, %al ; AVX1-NEXT: sete %al @@ -3735,9 +3596,7 @@ ; ; AVX2-LABEL: allones_v4i64_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm1 = [4,4,4,4] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllq $61, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskpd %ymm0, %eax ; AVX2-NEXT: cmpb $15, %al ; AVX2-NEXT: sete %al @@ -3780,15 +3639,10 @@ ; ; AVX1-LABEL: allzeros_v4i64_and4: ; AVX1: # %bb.0: -; AVX1-NEXT: vandps {{.*}}(%rip), %ymm0, %ymm0 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 -; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3 -; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1 -; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0 -; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0 -; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0 +; AVX1-NEXT: vpsllq $61, %xmm0, %xmm1 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vpsllq $61, %xmm0, %xmm0 +; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 ; AVX1-NEXT: vmovmskpd %ymm0, %eax ; AVX1-NEXT: testb %al, %al ; AVX1-NEXT: sete %al @@ -3797,9 +3651,7 @@ ; ; AVX2-LABEL: allzeros_v4i64_and4: ; AVX2: # %bb.0: -; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm1 = [4,4,4,4] -; AVX2-NEXT: vpand %ymm1, %ymm0, %ymm0 -; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0 +; AVX2-NEXT: vpsllq $61, %ymm0, %ymm0 ; AVX2-NEXT: vmovmskpd %ymm0, %eax ; AVX2-NEXT: testb %al, %al ; AVX2-NEXT: sete %al