Index: lib/Target/X86/X86ISelLowering.cpp =================================================================== --- lib/Target/X86/X86ISelLowering.cpp +++ lib/Target/X86/X86ISelLowering.cpp @@ -10500,26 +10500,6 @@ assert(Mask[0] < 2 && "We sort V1 to be the first input."); assert(Mask[1] >= 2 && "We sort V2 to be the second input."); - // If we have a blend of two same-type PACKUS operations and the blend aligns - // with the low and high halves, we can just merge the PACKUS operations. - // This is particularly important as it lets us merge shuffles that this - // routine itself creates. - auto GetPackNode = [](SDValue V) { - V = peekThroughBitcasts(V); - return V.getOpcode() == X86ISD::PACKUS ? V : SDValue(); - }; - if (SDValue V1Pack = GetPackNode(V1)) - if (SDValue V2Pack = GetPackNode(V2)) { - EVT PackVT = V1Pack.getValueType(); - if (PackVT == V2Pack.getValueType()) - return DAG.getBitcast(MVT::v2i64, - DAG.getNode(X86ISD::PACKUS, DL, PackVT, - Mask[0] == 0 ? V1Pack.getOperand(0) - : V1Pack.getOperand(1), - Mask[1] == 2 ? V2Pack.getOperand(0) - : V2Pack.getOperand(1))); - } - // Try to use shift instructions. if (SDValue Shift = lowerVectorShuffleAsShift(DL, MVT::v2i64, V1, V2, Mask, Zeroable, Subtarget, DAG)) @@ -28724,8 +28704,37 @@ SDLoc DL(N); MVT VT = N.getSimpleValueType(); SmallVector Mask; - unsigned Opcode = N.getOpcode(); + + // Combine binary shuffle of 2 similar 'Horizontal' instructions into a + // single instruction. + if (VT.getScalarSizeInBits() == 64 && + (Opcode == X86ISD::MOVSD || Opcode == X86ISD::UNPCKH || + Opcode == X86ISD::UNPCKL)) { + auto BC0 = peekThroughBitcasts(N.getOperand(0)); + auto BC1 = peekThroughBitcasts(N.getOperand(1)); + EVT VT0 = BC0.getValueType(); + EVT VT1 = BC1.getValueType(); + unsigned Opcode0 = BC0.getOpcode(); + unsigned Opcode1 = BC1.getOpcode(); + if (Opcode0 == Opcode1 && VT0 == VT1 && + (Opcode0 == X86ISD::FHADD || Opcode0 == X86ISD::HADD || + Opcode0 == X86ISD::FHSUB || Opcode0 == X86ISD::HSUB || + Opcode0 == X86ISD::PACKSS || Opcode0 == X86ISD::PACKUS)) { + SDValue Lo, Hi; + if (Opcode == X86ISD::MOVSD) { + Lo = BC1.getOperand(0); + Hi = BC0.getOperand(1); + } else { + Lo = BC0.getOperand(Opcode == X86ISD::UNPCKH ? 1 : 0); + Hi = BC1.getOperand(Opcode == X86ISD::UNPCKH ? 1 : 0); + } + SDValue Horiz = DAG.getNode(Opcode0, DL, VT0, Lo, Hi); + DCI.AddToWorklist(Horiz.getNode()); + return DAG.getBitcast(VT, Horiz); + } + } + switch (Opcode) { case X86ISD::PSHUFD: case X86ISD::PSHUFLW: @@ -28734,17 +28743,6 @@ assert(Mask.size() == 4); break; case X86ISD::UNPCKL: { - auto Op0 = N.getOperand(0); - auto Op1 = N.getOperand(1); - unsigned Opcode0 = Op0.getOpcode(); - unsigned Opcode1 = Op1.getOpcode(); - - // Combine X86ISD::UNPCKL with 2 X86ISD::FHADD inputs into a single - // X86ISD::FHADD. This is generated by UINT_TO_FP v2f64 scalarization. - // TODO: Add other horizontal operations as required. - if (VT == MVT::v2f64 && Opcode0 == Opcode1 && Opcode0 == X86ISD::FHADD) - return DAG.getNode(Opcode0, DL, VT, Op0.getOperand(0), Op1.getOperand(0)); - // Combine X86ISD::UNPCKL and ISD::VECTOR_SHUFFLE into X86ISD::UNPCKH, in // which X86ISD::UNPCKL has a ISD::UNDEF operand, and ISD::VECTOR_SHUFFLE // moves upper half elements into the lower half part. For example: @@ -28762,7 +28760,9 @@ if (!VT.is128BitVector()) return SDValue(); - if (Op0.isUndef() && Opcode1 == ISD::VECTOR_SHUFFLE) { + auto Op0 = N.getOperand(0); + auto Op1 = N.getOperand(1); + if (Op0.isUndef() && Op1.getOpcode() == ISD::VECTOR_SHUFFLE) { ArrayRef Mask = cast(Op1.getNode())->getMask(); unsigned NumElts = VT.getVectorNumElements(); Index: test/CodeGen/X86/bitcast-and-setcc-256.ll =================================================================== --- test/CodeGen/X86/bitcast-and-setcc-256.ll +++ test/CodeGen/X86/bitcast-and-setcc-256.ll @@ -213,15 +213,11 @@ ; SSE2-LABEL: v8i32: ; SSE2: # BB#0: ; SSE2-NEXT: pcmpgtd %xmm3, %xmm1 -; SSE2-NEXT: packssdw %xmm0, %xmm1 ; SSE2-NEXT: pcmpgtd %xmm2, %xmm0 -; SSE2-NEXT: packssdw %xmm0, %xmm0 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: pcmpgtd %xmm7, %xmm5 -; SSE2-NEXT: packssdw %xmm0, %xmm5 ; SSE2-NEXT: pcmpgtd %xmm6, %xmm4 -; SSE2-NEXT: packssdw %xmm0, %xmm4 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSE2-NEXT: packssdw %xmm5, %xmm4 ; SSE2-NEXT: pand %xmm0, %xmm4 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm4 ; SSE2-NEXT: packuswb %xmm4, %xmm4 @@ -232,15 +228,11 @@ ; SSSE3-LABEL: v8i32: ; SSSE3: # BB#0: ; SSSE3-NEXT: pcmpgtd %xmm3, %xmm1 -; SSSE3-NEXT: packssdw %xmm0, %xmm1 ; SSSE3-NEXT: pcmpgtd %xmm2, %xmm0 -; SSSE3-NEXT: packssdw %xmm0, %xmm0 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; SSSE3-NEXT: packssdw %xmm1, %xmm0 ; SSSE3-NEXT: pcmpgtd %xmm7, %xmm5 -; SSSE3-NEXT: packssdw %xmm0, %xmm5 ; SSSE3-NEXT: pcmpgtd %xmm6, %xmm4 -; SSSE3-NEXT: packssdw %xmm0, %xmm4 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSSE3-NEXT: packssdw %xmm5, %xmm4 ; SSSE3-NEXT: pand %xmm0, %xmm4 ; SSSE3-NEXT: pshufb {{.*#+}} xmm4 = xmm4[0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u] ; SSSE3-NEXT: pmovmskb %xmm4, %eax Index: test/CodeGen/X86/bitcast-and-setcc-512.ll =================================================================== --- test/CodeGen/X86/bitcast-and-setcc-512.ll +++ test/CodeGen/X86/bitcast-and-setcc-512.ll @@ -626,31 +626,23 @@ ; SSE-LABEL: v16i32: ; SSE: # BB#0: ; SSE-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm8 -; SSE-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm10 ; SSE-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm9 +; SSE-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm10 ; SSE-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm11 ; SSE-NEXT: pcmpgtd %xmm7, %xmm3 -; SSE-NEXT: packssdw %xmm0, %xmm3 ; SSE-NEXT: pcmpgtd %xmm6, %xmm2 -; SSE-NEXT: packssdw %xmm0, %xmm2 -; SSE-NEXT: punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0] +; SSE-NEXT: packssdw %xmm3, %xmm2 ; SSE-NEXT: pcmpgtd %xmm5, %xmm1 -; SSE-NEXT: packssdw %xmm0, %xmm1 ; SSE-NEXT: pcmpgtd %xmm4, %xmm0 -; SSE-NEXT: packssdw %xmm0, %xmm0 -; SSE-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; SSE-NEXT: packssdw %xmm1, %xmm0 ; SSE-NEXT: packsswb %xmm2, %xmm0 ; SSE-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm11 -; SSE-NEXT: packssdw %xmm0, %xmm11 -; SSE-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm9 -; SSE-NEXT: packssdw %xmm0, %xmm9 -; SSE-NEXT: punpcklqdq {{.*#+}} xmm9 = xmm9[0],xmm11[0] ; SSE-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm10 -; SSE-NEXT: packssdw %xmm0, %xmm10 +; SSE-NEXT: packssdw %xmm11, %xmm10 +; SSE-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm9 ; SSE-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm8 -; SSE-NEXT: packssdw %xmm0, %xmm8 -; SSE-NEXT: punpcklqdq {{.*#+}} xmm8 = xmm8[0],xmm10[0] -; SSE-NEXT: packsswb %xmm9, %xmm8 +; SSE-NEXT: packssdw %xmm9, %xmm8 +; SSE-NEXT: packsswb %xmm10, %xmm8 ; SSE-NEXT: pand %xmm0, %xmm8 ; SSE-NEXT: pmovmskb %xmm8, %eax ; SSE-NEXT: # kill: %AX %AX %EAX Index: test/CodeGen/X86/horizontal-shuffle.ll =================================================================== --- test/CodeGen/X86/horizontal-shuffle.ll +++ test/CodeGen/X86/horizontal-shuffle.ll @@ -9,16 +9,12 @@ define <4 x float> @test_unpackl_fhadd_128(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2, <4 x float> %a3) { ; X32-LABEL: test_unpackl_fhadd_128: ; X32: ## BB#0: -; X32-NEXT: vhaddps %xmm1, %xmm0, %xmm0 -; X32-NEXT: vhaddps %xmm3, %xmm2, %xmm1 -; X32-NEXT: vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X32-NEXT: vhaddps %xmm2, %xmm0, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_fhadd_128: ; X64: ## BB#0: -; X64-NEXT: vhaddps %xmm1, %xmm0, %xmm0 -; X64-NEXT: vhaddps %xmm3, %xmm2, %xmm1 -; X64-NEXT: vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X64-NEXT: vhaddps %xmm2, %xmm0, %xmm0 ; X64-NEXT: retq %1 = call <4 x float> @llvm.x86.sse3.hadd.ps(<4 x float> %a0, <4 x float> %a1) %2 = call <4 x float> @llvm.x86.sse3.hadd.ps(<4 x float> %a2, <4 x float> %a3) @@ -29,16 +25,12 @@ define <2 x double> @test_unpackh_fhadd_128(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2, <2 x double> %a3) { ; X32-LABEL: test_unpackh_fhadd_128: ; X32: ## BB#0: -; X32-NEXT: vhaddpd %xmm1, %xmm0, %xmm0 -; X32-NEXT: vhaddpd %xmm3, %xmm2, %xmm1 -; X32-NEXT: vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X32-NEXT: vhaddpd %xmm3, %xmm1, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_fhadd_128: ; X64: ## BB#0: -; X64-NEXT: vhaddpd %xmm1, %xmm0, %xmm0 -; X64-NEXT: vhaddpd %xmm3, %xmm2, %xmm1 -; X64-NEXT: vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X64-NEXT: vhaddpd %xmm3, %xmm1, %xmm0 ; X64-NEXT: retq %1 = call <2 x double> @llvm.x86.sse3.hadd.pd(<2 x double> %a0, <2 x double> %a1) %2 = call <2 x double> @llvm.x86.sse3.hadd.pd(<2 x double> %a2, <2 x double> %a3) @@ -49,16 +41,12 @@ define <2 x double> @test_unpackl_fhsub_128(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2, <2 x double> %a3) { ; X32-LABEL: test_unpackl_fhsub_128: ; X32: ## BB#0: -; X32-NEXT: vhsubpd %xmm1, %xmm0, %xmm0 -; X32-NEXT: vhsubpd %xmm3, %xmm2, %xmm1 -; X32-NEXT: vunpcklpd {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X32-NEXT: vhsubpd %xmm2, %xmm0, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_fhsub_128: ; X64: ## BB#0: -; X64-NEXT: vhsubpd %xmm1, %xmm0, %xmm0 -; X64-NEXT: vhsubpd %xmm3, %xmm2, %xmm1 -; X64-NEXT: vunpcklpd {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X64-NEXT: vhsubpd %xmm2, %xmm0, %xmm0 ; X64-NEXT: retq %1 = call <2 x double> @llvm.x86.sse3.hsub.pd(<2 x double> %a0, <2 x double> %a1) %2 = call <2 x double> @llvm.x86.sse3.hsub.pd(<2 x double> %a2, <2 x double> %a3) @@ -69,16 +57,12 @@ define <4 x float> @test_unpackh_fhsub_128(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2, <4 x float> %a3) { ; X32-LABEL: test_unpackh_fhsub_128: ; X32: ## BB#0: -; X32-NEXT: vhsubps %xmm1, %xmm0, %xmm0 -; X32-NEXT: vhsubps %xmm3, %xmm2, %xmm1 -; X32-NEXT: vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X32-NEXT: vhsubps %xmm3, %xmm1, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_fhsub_128: ; X64: ## BB#0: -; X64-NEXT: vhsubps %xmm1, %xmm0, %xmm0 -; X64-NEXT: vhsubps %xmm3, %xmm2, %xmm1 -; X64-NEXT: vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X64-NEXT: vhsubps %xmm3, %xmm1, %xmm0 ; X64-NEXT: retq %1 = call <4 x float> @llvm.x86.sse3.hsub.ps(<4 x float> %a0, <4 x float> %a1) %2 = call <4 x float> @llvm.x86.sse3.hsub.ps(<4 x float> %a2, <4 x float> %a3) @@ -89,16 +73,12 @@ define <8 x i16> @test_unpackl_hadd_128(<8 x i16> %a0, <8 x i16> %a1, <8 x i16> %a2, <8 x i16> %a3) { ; X32-LABEL: test_unpackl_hadd_128: ; X32: ## BB#0: -; X32-NEXT: vphaddw %xmm1, %xmm0, %xmm0 -; X32-NEXT: vphaddw %xmm3, %xmm2, %xmm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X32-NEXT: vphaddw %xmm2, %xmm0, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_hadd_128: ; X64: ## BB#0: -; X64-NEXT: vphaddw %xmm1, %xmm0, %xmm0 -; X64-NEXT: vphaddw %xmm3, %xmm2, %xmm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X64-NEXT: vphaddw %xmm2, %xmm0, %xmm0 ; X64-NEXT: retq %1 = call <8 x i16> @llvm.x86.ssse3.phadd.w.128(<8 x i16> %a0, <8 x i16> %a1) %2 = call <8 x i16> @llvm.x86.ssse3.phadd.w.128(<8 x i16> %a2, <8 x i16> %a3) @@ -109,16 +89,12 @@ define <4 x i32> @test_unpackh_hadd_128(<4 x i32> %a0, <4 x i32> %a1, <4 x i32> %a2, <4 x i32> %a3) { ; X32-LABEL: test_unpackh_hadd_128: ; X32: ## BB#0: -; X32-NEXT: vphaddd %xmm1, %xmm0, %xmm0 -; X32-NEXT: vphaddd %xmm3, %xmm2, %xmm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X32-NEXT: vphaddd %xmm3, %xmm1, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_hadd_128: ; X64: ## BB#0: -; X64-NEXT: vphaddd %xmm1, %xmm0, %xmm0 -; X64-NEXT: vphaddd %xmm3, %xmm2, %xmm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X64-NEXT: vphaddd %xmm3, %xmm1, %xmm0 ; X64-NEXT: retq %1 = call <4 x i32> @llvm.x86.ssse3.phadd.d.128(<4 x i32> %a0, <4 x i32> %a1) %2 = call <4 x i32> @llvm.x86.ssse3.phadd.d.128(<4 x i32> %a2, <4 x i32> %a3) @@ -129,16 +105,12 @@ define <4 x i32> @test_unpackl_hsub_128(<4 x i32> %a0, <4 x i32> %a1, <4 x i32> %a2, <4 x i32> %a3) { ; X32-LABEL: test_unpackl_hsub_128: ; X32: ## BB#0: -; X32-NEXT: vphsubd %xmm1, %xmm0, %xmm0 -; X32-NEXT: vphsubd %xmm3, %xmm2, %xmm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X32-NEXT: vphsubd %xmm2, %xmm0, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_hsub_128: ; X64: ## BB#0: -; X64-NEXT: vphsubd %xmm1, %xmm0, %xmm0 -; X64-NEXT: vphsubd %xmm3, %xmm2, %xmm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X64-NEXT: vphsubd %xmm2, %xmm0, %xmm0 ; X64-NEXT: retq %1 = call <4 x i32> @llvm.x86.ssse3.phsub.d.128(<4 x i32> %a0, <4 x i32> %a1) %2 = call <4 x i32> @llvm.x86.ssse3.phsub.d.128(<4 x i32> %a2, <4 x i32> %a3) @@ -149,16 +121,12 @@ define <8 x i16> @test_unpackh_hsub_128(<8 x i16> %a0, <8 x i16> %a1, <8 x i16> %a2, <8 x i16> %a3) { ; X32-LABEL: test_unpackh_hsub_128: ; X32: ## BB#0: -; X32-NEXT: vphsubw %xmm1, %xmm0, %xmm0 -; X32-NEXT: vphsubw %xmm3, %xmm2, %xmm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X32-NEXT: vphsubw %xmm3, %xmm1, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_hsub_128: ; X64: ## BB#0: -; X64-NEXT: vphsubw %xmm1, %xmm0, %xmm0 -; X64-NEXT: vphsubw %xmm3, %xmm2, %xmm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X64-NEXT: vphsubw %xmm3, %xmm1, %xmm0 ; X64-NEXT: retq %1 = call <8 x i16> @llvm.x86.ssse3.phsub.w.128(<8 x i16> %a0, <8 x i16> %a1) %2 = call <8 x i16> @llvm.x86.ssse3.phsub.w.128(<8 x i16> %a2, <8 x i16> %a3) @@ -169,16 +137,12 @@ define <16 x i8> @test_unpackl_packss_128(<8 x i16> %a0, <8 x i16> %a1, <8 x i16> %a2, <8 x i16> %a3) { ; X32-LABEL: test_unpackl_packss_128: ; X32: ## BB#0: -; X32-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 -; X32-NEXT: vpacksswb %xmm3, %xmm2, %xmm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X32-NEXT: vpacksswb %xmm2, %xmm0, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_packss_128: ; X64: ## BB#0: -; X64-NEXT: vpacksswb %xmm1, %xmm0, %xmm0 -; X64-NEXT: vpacksswb %xmm3, %xmm2, %xmm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; X64-NEXT: vpacksswb %xmm2, %xmm0, %xmm0 ; X64-NEXT: retq %1 = call <16 x i8> @llvm.x86.sse2.packsswb.128(<8 x i16> %a0, <8 x i16> %a1) %2 = call <16 x i8> @llvm.x86.sse2.packsswb.128(<8 x i16> %a2, <8 x i16> %a3) @@ -189,16 +153,12 @@ define <8 x i16> @test_unpackh_packss_128(<4 x i32> %a0, <4 x i32> %a1, <4 x i32> %a2, <4 x i32> %a3) { ; X32-LABEL: test_unpackh_packss_128: ; X32: ## BB#0: -; X32-NEXT: vpackssdw %xmm1, %xmm0, %xmm0 -; X32-NEXT: vpackssdw %xmm3, %xmm2, %xmm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X32-NEXT: vpackssdw %xmm3, %xmm1, %xmm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_packss_128: ; X64: ## BB#0: -; X64-NEXT: vpackssdw %xmm1, %xmm0, %xmm0 -; X64-NEXT: vpackssdw %xmm3, %xmm2, %xmm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1] +; X64-NEXT: vpackssdw %xmm3, %xmm1, %xmm0 ; X64-NEXT: retq %1 = call <8 x i16> @llvm.x86.sse2.packssdw.128(<4 x i32> %a0, <4 x i32> %a1) %2 = call <8 x i16> @llvm.x86.sse2.packssdw.128(<4 x i32> %a2, <4 x i32> %a3) @@ -245,16 +205,12 @@ define <8 x float> @test_unpackl_fhadd_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2, <8 x float> %a3) { ; X32-LABEL: test_unpackl_fhadd_256: ; X32: ## BB#0: -; X32-NEXT: vhaddps %ymm1, %ymm0, %ymm0 -; X32-NEXT: vhaddps %ymm3, %ymm2, %ymm1 -; X32-NEXT: vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X32-NEXT: vhaddps %ymm2, %ymm0, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_fhadd_256: ; X64: ## BB#0: -; X64-NEXT: vhaddps %ymm1, %ymm0, %ymm0 -; X64-NEXT: vhaddps %ymm3, %ymm2, %ymm1 -; X64-NEXT: vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X64-NEXT: vhaddps %ymm2, %ymm0, %ymm0 ; X64-NEXT: retq %1 = call <8 x float> @llvm.x86.avx.hadd.ps.256(<8 x float> %a0, <8 x float> %a1) %2 = call <8 x float> @llvm.x86.avx.hadd.ps.256(<8 x float> %a2, <8 x float> %a3) @@ -265,16 +221,12 @@ define <4 x double> @test_unpackh_fhadd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2, <4 x double> %a3) { ; X32-LABEL: test_unpackh_fhadd_256: ; X32: ## BB#0: -; X32-NEXT: vhaddpd %ymm1, %ymm0, %ymm0 -; X32-NEXT: vhaddpd %ymm3, %ymm2, %ymm1 -; X32-NEXT: vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X32-NEXT: vhaddpd %ymm3, %ymm1, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_fhadd_256: ; X64: ## BB#0: -; X64-NEXT: vhaddpd %ymm1, %ymm0, %ymm0 -; X64-NEXT: vhaddpd %ymm3, %ymm2, %ymm1 -; X64-NEXT: vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X64-NEXT: vhaddpd %ymm3, %ymm1, %ymm0 ; X64-NEXT: retq %1 = call <4 x double> @llvm.x86.avx.hadd.pd.256(<4 x double> %a0, <4 x double> %a1) %2 = call <4 x double> @llvm.x86.avx.hadd.pd.256(<4 x double> %a2, <4 x double> %a3) @@ -285,16 +237,12 @@ define <4 x double> @test_unpackl_fhsub_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2, <4 x double> %a3) { ; X32-LABEL: test_unpackl_fhsub_256: ; X32: ## BB#0: -; X32-NEXT: vhsubpd %ymm1, %ymm0, %ymm0 -; X32-NEXT: vhsubpd %ymm3, %ymm2, %ymm1 -; X32-NEXT: vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X32-NEXT: vhsubpd %ymm2, %ymm0, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_fhsub_256: ; X64: ## BB#0: -; X64-NEXT: vhsubpd %ymm1, %ymm0, %ymm0 -; X64-NEXT: vhsubpd %ymm3, %ymm2, %ymm1 -; X64-NEXT: vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X64-NEXT: vhsubpd %ymm2, %ymm0, %ymm0 ; X64-NEXT: retq %1 = call <4 x double> @llvm.x86.avx.hsub.pd.256(<4 x double> %a0, <4 x double> %a1) %2 = call <4 x double> @llvm.x86.avx.hsub.pd.256(<4 x double> %a2, <4 x double> %a3) @@ -305,16 +253,12 @@ define <8 x float> @test_unpackh_fhsub_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2, <8 x float> %a3) { ; X32-LABEL: test_unpackh_fhsub_256: ; X32: ## BB#0: -; X32-NEXT: vhsubps %ymm1, %ymm0, %ymm0 -; X32-NEXT: vhsubps %ymm3, %ymm2, %ymm1 -; X32-NEXT: vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X32-NEXT: vhsubps %ymm3, %ymm1, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_fhsub_256: ; X64: ## BB#0: -; X64-NEXT: vhsubps %ymm1, %ymm0, %ymm0 -; X64-NEXT: vhsubps %ymm3, %ymm2, %ymm1 -; X64-NEXT: vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X64-NEXT: vhsubps %ymm3, %ymm1, %ymm0 ; X64-NEXT: retq %1 = call <8 x float> @llvm.x86.avx.hsub.ps.256(<8 x float> %a0, <8 x float> %a1) %2 = call <8 x float> @llvm.x86.avx.hsub.ps.256(<8 x float> %a2, <8 x float> %a3) @@ -325,16 +269,12 @@ define <16 x i16> @test_unpackl_hadd_256(<16 x i16> %a0, <16 x i16> %a1, <16 x i16> %a2, <16 x i16> %a3) { ; X32-LABEL: test_unpackl_hadd_256: ; X32: ## BB#0: -; X32-NEXT: vphaddw %ymm1, %ymm0, %ymm0 -; X32-NEXT: vphaddw %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X32-NEXT: vphaddw %ymm2, %ymm0, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_hadd_256: ; X64: ## BB#0: -; X64-NEXT: vphaddw %ymm1, %ymm0, %ymm0 -; X64-NEXT: vphaddw %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X64-NEXT: vphaddw %ymm2, %ymm0, %ymm0 ; X64-NEXT: retq %1 = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a0, <16 x i16> %a1) %2 = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a2, <16 x i16> %a3) @@ -345,16 +285,12 @@ define <8 x i32> @test_unpackh_hadd_256(<8 x i32> %a0, <8 x i32> %a1, <8 x i32> %a2, <8 x i32> %a3) { ; X32-LABEL: test_unpackh_hadd_256: ; X32: ## BB#0: -; X32-NEXT: vphaddd %ymm1, %ymm0, %ymm0 -; X32-NEXT: vphaddd %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X32-NEXT: vphaddd %ymm3, %ymm1, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_hadd_256: ; X64: ## BB#0: -; X64-NEXT: vphaddd %ymm1, %ymm0, %ymm0 -; X64-NEXT: vphaddd %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X64-NEXT: vphaddd %ymm3, %ymm1, %ymm0 ; X64-NEXT: retq %1 = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a0, <8 x i32> %a1) %2 = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a2, <8 x i32> %a3) @@ -365,16 +301,12 @@ define <8 x i32> @test_unpackl_hsub_256(<8 x i32> %a0, <8 x i32> %a1, <8 x i32> %a2, <8 x i32> %a3) { ; X32-LABEL: test_unpackl_hsub_256: ; X32: ## BB#0: -; X32-NEXT: vphsubd %ymm1, %ymm0, %ymm0 -; X32-NEXT: vphsubd %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X32-NEXT: vphsubd %ymm2, %ymm0, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_hsub_256: ; X64: ## BB#0: -; X64-NEXT: vphsubd %ymm1, %ymm0, %ymm0 -; X64-NEXT: vphsubd %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X64-NEXT: vphsubd %ymm2, %ymm0, %ymm0 ; X64-NEXT: retq %1 = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a0, <8 x i32> %a1) %2 = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a2, <8 x i32> %a3) @@ -385,16 +317,12 @@ define <16 x i16> @test_unpackh_hsub_256(<16 x i16> %a0, <16 x i16> %a1, <16 x i16> %a2, <16 x i16> %a3) { ; X32-LABEL: test_unpackh_hsub_256: ; X32: ## BB#0: -; X32-NEXT: vphsubw %ymm1, %ymm0, %ymm0 -; X32-NEXT: vphsubw %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X32-NEXT: vphsubw %ymm3, %ymm1, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_hsub_256: ; X64: ## BB#0: -; X64-NEXT: vphsubw %ymm1, %ymm0, %ymm0 -; X64-NEXT: vphsubw %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X64-NEXT: vphsubw %ymm3, %ymm1, %ymm0 ; X64-NEXT: retq %1 = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a0, <16 x i16> %a1) %2 = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a2, <16 x i16> %a3) @@ -405,16 +333,12 @@ define <32 x i8> @test_unpackl_packss_256(<16 x i16> %a0, <16 x i16> %a1, <16 x i16> %a2, <16 x i16> %a3) { ; X32-LABEL: test_unpackl_packss_256: ; X32: ## BB#0: -; X32-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 -; X32-NEXT: vpacksswb %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X32-NEXT: vpacksswb %ymm2, %ymm0, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_packss_256: ; X64: ## BB#0: -; X64-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 -; X64-NEXT: vpacksswb %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X64-NEXT: vpacksswb %ymm2, %ymm0, %ymm0 ; X64-NEXT: retq %1 = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) %2 = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a2, <16 x i16> %a3) @@ -425,16 +349,12 @@ define <16 x i16> @test_unpackh_packss_256(<8 x i32> %a0, <8 x i32> %a1, <8 x i32> %a2, <8 x i32> %a3) { ; X32-LABEL: test_unpackh_packss_256: ; X32: ## BB#0: -; X32-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 -; X32-NEXT: vpackssdw %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X32-NEXT: vpackssdw %ymm3, %ymm1, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_packss_256: ; X64: ## BB#0: -; X64-NEXT: vpackssdw %ymm1, %ymm0, %ymm0 -; X64-NEXT: vpackssdw %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X64-NEXT: vpackssdw %ymm3, %ymm1, %ymm0 ; X64-NEXT: retq %1 = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a0, <8 x i32> %a1) %2 = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a2, <8 x i32> %a3) @@ -445,16 +365,12 @@ define <16 x i16> @test_unpackl_packus_256(<8 x i32> %a0, <8 x i32> %a1, <8 x i32> %a2, <8 x i32> %a3) { ; X32-LABEL: test_unpackl_packus_256: ; X32: ## BB#0: -; X32-NEXT: vpackusdw %ymm1, %ymm0, %ymm0 -; X32-NEXT: vpackusdw %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X32-NEXT: vpackusdw %ymm2, %ymm0, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackl_packus_256: ; X64: ## BB#0: -; X64-NEXT: vpackusdw %ymm1, %ymm0, %ymm0 -; X64-NEXT: vpackusdw %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2] +; X64-NEXT: vpackusdw %ymm2, %ymm0, %ymm0 ; X64-NEXT: retq %1 = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a0, <8 x i32> %a1) %2 = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a2, <8 x i32> %a3) @@ -465,16 +381,12 @@ define <32 x i8> @test_unpackh_packus_256(<16 x i16> %a0, <16 x i16> %a1, <16 x i16> %a2, <16 x i16> %a3) { ; X32-LABEL: test_unpackh_packus_256: ; X32: ## BB#0: -; X32-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 -; X32-NEXT: vpacksswb %ymm3, %ymm2, %ymm1 -; X32-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X32-NEXT: vpacksswb %ymm3, %ymm1, %ymm0 ; X32-NEXT: retl ; ; X64-LABEL: test_unpackh_packus_256: ; X64: ## BB#0: -; X64-NEXT: vpacksswb %ymm1, %ymm0, %ymm0 -; X64-NEXT: vpacksswb %ymm3, %ymm2, %ymm1 -; X64-NEXT: vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3] +; X64-NEXT: vpacksswb %ymm3, %ymm1, %ymm0 ; X64-NEXT: retq %1 = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) %2 = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a2, <16 x i16> %a3) Index: test/CodeGen/X86/psubus.ll =================================================================== --- test/CodeGen/X86/psubus.ll +++ test/CodeGen/X86/psubus.ll @@ -468,13 +468,11 @@ ; SSE2-NEXT: pxor %xmm4, %xmm6 ; SSE2-NEXT: pxor %xmm4, %xmm5 ; SSE2-NEXT: pcmpgtd %xmm5, %xmm6 -; SSE2-NEXT: packssdw %xmm0, %xmm6 ; SSE2-NEXT: movdqa %xmm1, %xmm2 ; SSE2-NEXT: pxor %xmm4, %xmm2 ; SSE2-NEXT: pxor %xmm3, %xmm4 ; SSE2-NEXT: pcmpgtd %xmm4, %xmm2 -; SSE2-NEXT: packssdw %xmm0, %xmm2 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm6[0] +; SSE2-NEXT: packssdw %xmm6, %xmm2 ; SSE2-NEXT: psubd %xmm1, %xmm3 ; SSE2-NEXT: pslld $16, %xmm0 ; SSE2-NEXT: psrad $16, %xmm0 @@ -487,58 +485,54 @@ ; ; SSSE3-LABEL: test13: ; SSSE3: # BB#0: # %vector.ph -; SSSE3-NEXT: pxor %xmm4, %xmm4 -; SSSE3-NEXT: movdqa %xmm0, %xmm3 -; SSSE3-NEXT: punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1],xmm3[2],xmm4[2],xmm3[3],xmm4[3] -; SSSE3-NEXT: punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7] -; SSSE3-NEXT: movdqa {{.*#+}} xmm4 = [2147483648,2147483648,2147483648,2147483648] +; SSSE3-NEXT: pxor %xmm3, %xmm3 +; SSSE3-NEXT: movdqa %xmm0, %xmm4 +; SSSE3-NEXT: punpcklwd {{.*#+}} xmm4 = xmm4[0],xmm3[0],xmm4[1],xmm3[1],xmm4[2],xmm3[2],xmm4[3],xmm3[3] +; SSSE3-NEXT: punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7] +; SSSE3-NEXT: movdqa {{.*#+}} xmm3 = [2147483648,2147483648,2147483648,2147483648] ; SSSE3-NEXT: movdqa %xmm0, %xmm5 ; SSSE3-NEXT: psubd %xmm2, %xmm0 ; SSSE3-NEXT: movdqa %xmm2, %xmm6 -; SSSE3-NEXT: pxor %xmm4, %xmm6 -; SSSE3-NEXT: pxor %xmm4, %xmm5 +; SSSE3-NEXT: pxor %xmm3, %xmm6 +; SSSE3-NEXT: pxor %xmm3, %xmm5 ; SSSE3-NEXT: pcmpgtd %xmm5, %xmm6 -; SSSE3-NEXT: packssdw %xmm0, %xmm6 ; SSSE3-NEXT: movdqa %xmm1, %xmm2 -; SSSE3-NEXT: pxor %xmm4, %xmm2 -; SSSE3-NEXT: pxor %xmm3, %xmm4 -; SSSE3-NEXT: pcmpgtd %xmm4, %xmm2 -; SSSE3-NEXT: packssdw %xmm0, %xmm2 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm6[0] -; SSSE3-NEXT: psubd %xmm1, %xmm3 +; SSSE3-NEXT: pxor %xmm3, %xmm2 +; SSSE3-NEXT: pxor %xmm4, %xmm3 +; SSSE3-NEXT: pcmpgtd %xmm3, %xmm2 +; SSSE3-NEXT: packssdw %xmm6, %xmm2 +; SSSE3-NEXT: psubd %xmm1, %xmm4 ; SSSE3-NEXT: movdqa {{.*#+}} xmm1 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15] ; SSSE3-NEXT: pshufb %xmm1, %xmm0 -; SSSE3-NEXT: pshufb %xmm1, %xmm3 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm3 = xmm3[0],xmm0[0] -; SSSE3-NEXT: pandn %xmm3, %xmm2 +; SSSE3-NEXT: pshufb %xmm1, %xmm4 +; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm0[0] +; SSSE3-NEXT: pandn %xmm4, %xmm2 ; SSSE3-NEXT: movdqa %xmm2, %xmm0 ; SSSE3-NEXT: retq ; ; SSE41-LABEL: test13: ; SSE41: # BB#0: # %vector.ph ; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm0[2,3,0,1] -; SSE41-NEXT: pmovzxwd {{.*#+}} xmm4 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero -; SSE41-NEXT: pmovzxwd {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero +; SSE41-NEXT: pmovzxwd {{.*#+}} xmm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero +; SSE41-NEXT: pmovzxwd {{.*#+}} xmm4 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero ; SSE41-NEXT: movdqa {{.*#+}} xmm5 = [2147483648,2147483648,2147483648,2147483648] -; SSE41-NEXT: movdqa %xmm3, %xmm6 -; SSE41-NEXT: psubd %xmm1, %xmm3 +; SSE41-NEXT: movdqa %xmm4, %xmm6 +; SSE41-NEXT: psubd %xmm1, %xmm4 ; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: pxor %xmm5, %xmm0 ; SSE41-NEXT: pxor %xmm5, %xmm6 ; SSE41-NEXT: pcmpgtd %xmm6, %xmm0 -; SSE41-NEXT: packssdw %xmm0, %xmm0 ; SSE41-NEXT: movdqa %xmm2, %xmm1 ; SSE41-NEXT: pxor %xmm5, %xmm1 -; SSE41-NEXT: pxor %xmm4, %xmm5 +; SSE41-NEXT: pxor %xmm3, %xmm5 ; SSE41-NEXT: pcmpgtd %xmm5, %xmm1 -; SSE41-NEXT: packssdw %xmm0, %xmm1 -; SSE41-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] -; SSE41-NEXT: psubd %xmm2, %xmm4 +; SSE41-NEXT: packssdw %xmm1, %xmm0 +; SSE41-NEXT: psubd %xmm2, %xmm3 ; SSE41-NEXT: movdqa {{.*#+}} xmm1 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15] -; SSE41-NEXT: pshufb %xmm1, %xmm3 ; SSE41-NEXT: pshufb %xmm1, %xmm4 -; SSE41-NEXT: punpcklqdq {{.*#+}} xmm3 = xmm3[0],xmm4[0] -; SSE41-NEXT: pandn %xmm3, %xmm0 +; SSE41-NEXT: pshufb %xmm1, %xmm3 +; SSE41-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm3[0] +; SSE41-NEXT: pandn %xmm4, %xmm0 ; SSE41-NEXT: retq ; ; AVX1-LABEL: test13: @@ -862,13 +856,11 @@ ; SSE2-NEXT: pxor %xmm4, %xmm2 ; SSE2-NEXT: pxor %xmm4, %xmm5 ; SSE2-NEXT: pcmpgtd %xmm2, %xmm5 -; SSE2-NEXT: packssdw %xmm0, %xmm5 ; SSE2-NEXT: movdqa %xmm1, %xmm2 ; SSE2-NEXT: pxor %xmm4, %xmm2 ; SSE2-NEXT: pxor %xmm0, %xmm4 ; SSE2-NEXT: pcmpgtd %xmm2, %xmm4 -; SSE2-NEXT: packssdw %xmm0, %xmm4 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSE2-NEXT: packssdw %xmm5, %xmm4 ; SSE2-NEXT: psubd %xmm1, %xmm0 ; SSE2-NEXT: pslld $16, %xmm3 ; SSE2-NEXT: psrad $16, %xmm3 @@ -890,13 +882,11 @@ ; SSSE3-NEXT: pxor %xmm4, %xmm2 ; SSSE3-NEXT: pxor %xmm4, %xmm5 ; SSSE3-NEXT: pcmpgtd %xmm2, %xmm5 -; SSSE3-NEXT: packssdw %xmm0, %xmm5 ; SSSE3-NEXT: movdqa %xmm1, %xmm2 ; SSSE3-NEXT: pxor %xmm4, %xmm2 ; SSSE3-NEXT: pxor %xmm3, %xmm4 ; SSSE3-NEXT: pcmpgtd %xmm2, %xmm4 -; SSSE3-NEXT: packssdw %xmm0, %xmm4 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSSE3-NEXT: packssdw %xmm5, %xmm4 ; SSSE3-NEXT: psubd %xmm1, %xmm3 ; SSSE3-NEXT: movdqa {{.*#+}} xmm1 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15] ; SSSE3-NEXT: pshufb %xmm1, %xmm0 @@ -917,13 +907,11 @@ ; SSE41-NEXT: pxor %xmm4, %xmm1 ; SSE41-NEXT: pxor %xmm4, %xmm5 ; SSE41-NEXT: pcmpgtd %xmm1, %xmm5 -; SSE41-NEXT: packssdw %xmm0, %xmm5 ; SSE41-NEXT: movdqa %xmm2, %xmm1 ; SSE41-NEXT: pxor %xmm4, %xmm1 ; SSE41-NEXT: pxor %xmm3, %xmm4 ; SSE41-NEXT: pcmpgtd %xmm1, %xmm4 -; SSE41-NEXT: packssdw %xmm0, %xmm4 -; SSE41-NEXT: punpcklqdq {{.*#+}} xmm5 = xmm5[0],xmm4[0] +; SSE41-NEXT: packssdw %xmm4, %xmm5 ; SSE41-NEXT: psubd %xmm2, %xmm3 ; SSE41-NEXT: movdqa {{.*#+}} xmm1 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15] ; SSE41-NEXT: pshufb %xmm1, %xmm0 @@ -1002,13 +990,11 @@ ; SSE2-NEXT: pxor %xmm4, %xmm2 ; SSE2-NEXT: pxor %xmm4, %xmm5 ; SSE2-NEXT: pcmpgtd %xmm2, %xmm5 -; SSE2-NEXT: packssdw %xmm0, %xmm5 ; SSE2-NEXT: movdqa %xmm1, %xmm2 ; SSE2-NEXT: pxor %xmm4, %xmm2 ; SSE2-NEXT: pxor %xmm0, %xmm4 ; SSE2-NEXT: pcmpgtd %xmm2, %xmm4 -; SSE2-NEXT: packssdw %xmm0, %xmm4 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSE2-NEXT: packssdw %xmm5, %xmm4 ; SSE2-NEXT: psubd %xmm1, %xmm0 ; SSE2-NEXT: pslld $16, %xmm3 ; SSE2-NEXT: psrad $16, %xmm3 @@ -1030,13 +1016,11 @@ ; SSSE3-NEXT: pxor %xmm4, %xmm2 ; SSSE3-NEXT: pxor %xmm4, %xmm5 ; SSSE3-NEXT: pcmpgtd %xmm2, %xmm5 -; SSSE3-NEXT: packssdw %xmm0, %xmm5 ; SSSE3-NEXT: movdqa %xmm1, %xmm2 ; SSSE3-NEXT: pxor %xmm4, %xmm2 ; SSSE3-NEXT: pxor %xmm3, %xmm4 ; SSSE3-NEXT: pcmpgtd %xmm2, %xmm4 -; SSSE3-NEXT: packssdw %xmm0, %xmm4 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSSE3-NEXT: packssdw %xmm5, %xmm4 ; SSSE3-NEXT: psubd %xmm1, %xmm3 ; SSSE3-NEXT: movdqa {{.*#+}} xmm1 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15] ; SSSE3-NEXT: pshufb %xmm1, %xmm0 @@ -1057,13 +1041,11 @@ ; SSE41-NEXT: pxor %xmm4, %xmm1 ; SSE41-NEXT: pxor %xmm4, %xmm5 ; SSE41-NEXT: pcmpgtd %xmm1, %xmm5 -; SSE41-NEXT: packssdw %xmm0, %xmm5 ; SSE41-NEXT: movdqa %xmm2, %xmm1 ; SSE41-NEXT: pxor %xmm4, %xmm1 ; SSE41-NEXT: pxor %xmm3, %xmm4 ; SSE41-NEXT: pcmpgtd %xmm1, %xmm4 -; SSE41-NEXT: packssdw %xmm0, %xmm4 -; SSE41-NEXT: punpcklqdq {{.*#+}} xmm5 = xmm5[0],xmm4[0] +; SSE41-NEXT: packssdw %xmm4, %xmm5 ; SSE41-NEXT: psubd %xmm2, %xmm3 ; SSE41-NEXT: movdqa {{.*#+}} xmm1 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15] ; SSE41-NEXT: pshufb %xmm1, %xmm0 Index: test/CodeGen/X86/vector-compare-results.ll =================================================================== --- test/CodeGen/X86/vector-compare-results.ll +++ test/CodeGen/X86/vector-compare-results.ll @@ -3405,26 +3405,18 @@ ; SSE2-LABEL: test_cmp_v32i32: ; SSE2: # BB#0: ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm3 -; SSE2-NEXT: packssdw %xmm0, %xmm3 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm2 -; SSE2-NEXT: packssdw %xmm0, %xmm2 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0] +; SSE2-NEXT: packssdw %xmm3, %xmm2 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm1 -; SSE2-NEXT: packssdw %xmm0, %xmm1 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm0 -; SSE2-NEXT: packssdw %xmm0, %xmm0 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; SSE2-NEXT: packssdw %xmm1, %xmm0 ; SSE2-NEXT: packsswb %xmm2, %xmm0 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm7 -; SSE2-NEXT: packssdw %xmm0, %xmm7 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm6 -; SSE2-NEXT: packssdw %xmm0, %xmm6 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm6 = xmm6[0],xmm7[0] +; SSE2-NEXT: packssdw %xmm7, %xmm6 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm5 -; SSE2-NEXT: packssdw %xmm0, %xmm5 ; SSE2-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm4 -; SSE2-NEXT: packssdw %xmm0, %xmm4 -; SSE2-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] +; SSE2-NEXT: packssdw %xmm5, %xmm4 ; SSE2-NEXT: packsswb %xmm6, %xmm4 ; SSE2-NEXT: movdqa %xmm4, -{{[0-9]+}}(%rsp) ; SSE2-NEXT: movb -{{[0-9]+}}(%rsp), %al @@ -3529,119 +3521,105 @@ ; ; SSE42-LABEL: test_cmp_v32i32: ; SSE42: # BB#0: -; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm3 -; SSE42-NEXT: packssdw %xmm0, %xmm3 -; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm2 -; SSE42-NEXT: packssdw %xmm0, %xmm2 -; SSE42-NEXT: punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0] -; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm1 -; SSE42-NEXT: packssdw %xmm0, %xmm1 ; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm0 -; SSE42-NEXT: packssdw %xmm0, %xmm0 -; SSE42-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] -; SSE42-NEXT: packsswb %xmm2, %xmm0 -; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: packssdw %xmm0, %xmm7 -; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm6 -; SSE42-NEXT: packssdw %xmm0, %xmm6 -; SSE42-NEXT: punpcklqdq {{.*#+}} xmm6 = xmm6[0],xmm7[0] -; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm5 -; SSE42-NEXT: packssdw %xmm0, %xmm5 +; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm1 +; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm2 +; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm3 ; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm4 -; SSE42-NEXT: packssdw %xmm0, %xmm4 -; SSE42-NEXT: punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm5[0] -; SSE42-NEXT: packsswb %xmm6, %xmm4 -; SSE42-NEXT: pextrb $15, %xmm4, %eax +; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm5 +; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm6 +; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm7 +; SSE42-NEXT: pextrb $12, %xmm7, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $14, %xmm4, %eax +; SSE42-NEXT: pextrb $8, %xmm7, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $13, %xmm4, %eax +; SSE42-NEXT: pextrb $4, %xmm7, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $12, %xmm4, %eax +; SSE42-NEXT: pextrb $0, %xmm7, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $11, %xmm4, %eax +; SSE42-NEXT: pextrb $12, %xmm6, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $10, %xmm4, %eax +; SSE42-NEXT: pextrb $8, %xmm6, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $9, %xmm4, %eax +; SSE42-NEXT: pextrb $4, %xmm6, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm4, %eax +; SSE42-NEXT: pextrb $0, %xmm6, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $7, %xmm4, %eax +; SSE42-NEXT: pextrb $12, %xmm5, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $6, %xmm4, %eax +; SSE42-NEXT: pextrb $8, %xmm5, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $5, %xmm4, %eax +; SSE42-NEXT: pextrb $4, %xmm5, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $4, %xmm4, %eax +; SSE42-NEXT: pextrb $0, %xmm5, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $3, %xmm4, %eax +; SSE42-NEXT: pextrb $12, %xmm4, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $2, %xmm4, %eax +; SSE42-NEXT: pextrb $8, %xmm4, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $1, %xmm4, %eax +; SSE42-NEXT: pextrb $4, %xmm4, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm4, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $15, %xmm0, %eax +; SSE42-NEXT: pextrb $12, %xmm3, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $14, %xmm0, %eax +; SSE42-NEXT: pextrb $8, %xmm3, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $13, %xmm0, %eax +; SSE42-NEXT: pextrb $4, %xmm3, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $12, %xmm0, %eax +; SSE42-NEXT: pextrb $0, %xmm3, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $11, %xmm0, %eax +; SSE42-NEXT: pextrb $12, %xmm2, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $10, %xmm0, %eax +; SSE42-NEXT: pextrb $8, %xmm2, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $9, %xmm0, %eax +; SSE42-NEXT: pextrb $4, %xmm2, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm0, %eax +; SSE42-NEXT: pextrb $0, %xmm2, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $7, %xmm0, %eax +; SSE42-NEXT: pextrb $12, %xmm1, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $6, %xmm0, %eax +; SSE42-NEXT: pextrb $8, %xmm1, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $5, %xmm0, %eax +; SSE42-NEXT: pextrb $4, %xmm1, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $4, %xmm0, %eax +; SSE42-NEXT: pextrb $0, %xmm1, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $3, %xmm0, %eax +; SSE42-NEXT: pextrb $12, %xmm0, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $2, %xmm0, %eax +; SSE42-NEXT: pextrb $8, %xmm0, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $1, %xmm0, %eax +; SSE42-NEXT: pextrb $4, %xmm0, %eax ; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm0, %eax Index: test/CodeGen/X86/vector-trunc.ll =================================================================== --- test/CodeGen/X86/vector-trunc.ll +++ test/CodeGen/X86/vector-trunc.ll @@ -387,39 +387,19 @@ } define <8 x i16> @trunc8i32_8i16_ashr(<8 x i32> %a) { -; SSE2-LABEL: trunc8i32_8i16_ashr: -; SSE2: # BB#0: # %entry -; SSE2-NEXT: psrad $16, %xmm1 -; SSE2-NEXT: psrad $16, %xmm0 -; SSE2-NEXT: packssdw %xmm1, %xmm0 -; SSE2-NEXT: retq -; -; SSSE3-LABEL: trunc8i32_8i16_ashr: -; SSSE3: # BB#0: # %entry -; SSSE3-NEXT: psrad $16, %xmm0 -; SSSE3-NEXT: psrad $16, %xmm1 -; SSSE3-NEXT: packssdw %xmm0, %xmm1 -; SSSE3-NEXT: packssdw %xmm0, %xmm0 -; SSSE3-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] -; SSSE3-NEXT: retq -; -; SSE41-LABEL: trunc8i32_8i16_ashr: -; SSE41: # BB#0: # %entry -; SSE41-NEXT: psrad $16, %xmm0 -; SSE41-NEXT: psrad $16, %xmm1 -; SSE41-NEXT: packssdw %xmm0, %xmm1 -; SSE41-NEXT: packssdw %xmm0, %xmm0 -; SSE41-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] -; SSE41-NEXT: retq +; SSE-LABEL: trunc8i32_8i16_ashr: +; SSE: # BB#0: # %entry +; SSE-NEXT: psrad $16, %xmm1 +; SSE-NEXT: psrad $16, %xmm0 +; SSE-NEXT: packssdw %xmm1, %xmm0 +; SSE-NEXT: retq ; ; AVX1-LABEL: trunc8i32_8i16_ashr: ; AVX1: # BB#0: # %entry -; AVX1-NEXT: vpsrad $16, %xmm0, %xmm1 -; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0 +; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1 +; AVX1-NEXT: vpsrad $16, %xmm1, %xmm1 ; AVX1-NEXT: vpsrad $16, %xmm0, %xmm0 -; AVX1-NEXT: vpackssdw %xmm0, %xmm0, %xmm0 -; AVX1-NEXT: vpackssdw %xmm0, %xmm1, %xmm1 -; AVX1-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0] +; AVX1-NEXT: vpackssdw %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vzeroupper ; AVX1-NEXT: retq ; @@ -489,11 +469,9 @@ ; ; SSE41-LABEL: trunc8i32_8i16_lshr: ; SSE41: # BB#0: # %entry -; SSE41-NEXT: psrld $16, %xmm0 ; SSE41-NEXT: psrld $16, %xmm1 -; SSE41-NEXT: packusdw %xmm0, %xmm1 -; SSE41-NEXT: packusdw %xmm0, %xmm0 -; SSE41-NEXT: punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0] +; SSE41-NEXT: psrld $16, %xmm0 +; SSE41-NEXT: packusdw %xmm1, %xmm0 ; SSE41-NEXT: retq ; ; AVX1-LABEL: trunc8i32_8i16_lshr: