Index: llvm/trunk/lib/Target/X86/X86ISelLowering.cpp =================================================================== --- llvm/trunk/lib/Target/X86/X86ISelLowering.cpp +++ llvm/trunk/lib/Target/X86/X86ISelLowering.cpp @@ -5940,17 +5940,6 @@ unsigned Opcode = N.getOpcode(); switch (Opcode) { - case ISD::VECTOR_SHUFFLE: { - // Don't treat ISD::VECTOR_SHUFFLE as a target shuffle so decode it here. - ArrayRef ShuffleMask = cast(N)->getMask(); - if (isUndefOrInRange(ShuffleMask, 0, 2 * NumElts)) { - Mask.append(ShuffleMask.begin(), ShuffleMask.end()); - Ops.push_back(N.getOperand(0)); - Ops.push_back(N.getOperand(1)); - return true; - } - return false; - } case ISD::AND: case X86ISD::ANDNP: { // Attempt to decode as a per-byte mask. Index: llvm/trunk/test/CodeGen/X86/2011-12-8-bitcastintprom.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/2011-12-8-bitcastintprom.ll +++ llvm/trunk/test/CodeGen/X86/2011-12-8-bitcastintprom.ll @@ -9,7 +9,9 @@ ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0 ; SSE2-NEXT: packuswb %xmm0, %xmm0 ; SSE2-NEXT: packuswb %xmm0, %xmm0 -; SSE2-NEXT: pextrw $0, %xmm0, %eax +; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3] +; SSE2-NEXT: pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,5,6,7] +; SSE2-NEXT: movd %xmm0, %eax ; SSE2-NEXT: movw %ax, (%rdi) ; SSE2-NEXT: retq ; Index: llvm/trunk/test/CodeGen/X86/pmul.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/pmul.ll +++ llvm/trunk/test/CodeGen/X86/pmul.ll @@ -1386,39 +1386,39 @@ ; SSE2-LABEL: mul_v8i64_sext: ; SSE2: # %bb.0: ; SSE2-NEXT: movdqa %xmm1, %xmm4 -; SSE2-NEXT: movdqa %xmm0, %xmm1 -; SSE2-NEXT: punpckhwd {{.*#+}} xmm9 = xmm9[4],xmm1[4],xmm9[5],xmm1[5],xmm9[6],xmm1[6],xmm9[7],xmm1[7] -; SSE2-NEXT: movdqa %xmm9, %xmm0 -; SSE2-NEXT: psrad $31, %xmm0 -; SSE2-NEXT: psrad $16, %xmm9 -; SSE2-NEXT: punpckldq {{.*#+}} xmm9 = xmm9[0],xmm0[0],xmm9[1],xmm0[1] -; SSE2-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3] -; SSE2-NEXT: movdqa %xmm0, %xmm3 -; SSE2-NEXT: psrad $31, %xmm3 -; SSE2-NEXT: psrad $16, %xmm0 -; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1] -; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1] -; SSE2-NEXT: pshuflw {{.*#+}} xmm8 = xmm3[0,2,2,3,4,5,6,7] -; SSE2-NEXT: movdqa %xmm8, %xmm3 -; SSE2-NEXT: psrad $31, %xmm3 +; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3] +; SSE2-NEXT: punpcklwd {{.*#+}} xmm8 = xmm8[0],xmm1[0],xmm8[1],xmm1[1],xmm8[2],xmm1[2],xmm8[3],xmm1[3] +; SSE2-NEXT: movdqa %xmm8, %xmm1 +; SSE2-NEXT: psrad $31, %xmm1 ; SSE2-NEXT: psrad $16, %xmm8 -; SSE2-NEXT: punpckldq {{.*#+}} xmm8 = xmm8[0],xmm3[0],xmm8[1],xmm3[1] -; SSE2-NEXT: pshuflw {{.*#+}} xmm7 = xmm1[0,2,2,3,4,5,6,7] +; SSE2-NEXT: punpckldq {{.*#+}} xmm8 = xmm8[0],xmm1[0],xmm8[1],xmm1[1] +; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3] +; SSE2-NEXT: punpcklwd {{.*#+}} xmm9 = xmm9[0],xmm1[0],xmm9[1],xmm1[1],xmm9[2],xmm1[2],xmm9[3],xmm1[3] +; SSE2-NEXT: movdqa %xmm9, %xmm1 +; SSE2-NEXT: psrad $31, %xmm1 +; SSE2-NEXT: psrad $16, %xmm9 +; SSE2-NEXT: punpckldq {{.*#+}} xmm9 = xmm9[0],xmm1[0],xmm9[1],xmm1[1] +; SSE2-NEXT: punpckhwd {{.*#+}} xmm7 = xmm7[4],xmm0[4],xmm7[5],xmm0[5],xmm7[6],xmm0[6],xmm7[7],xmm0[7] ; SSE2-NEXT: movdqa %xmm7, %xmm1 ; SSE2-NEXT: psrad $31, %xmm1 ; SSE2-NEXT: psrad $16, %xmm7 ; SSE2-NEXT: punpckldq {{.*#+}} xmm7 = xmm7[0],xmm1[0],xmm7[1],xmm1[1] +; SSE2-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] +; SSE2-NEXT: movdqa %xmm0, %xmm1 +; SSE2-NEXT: psrad $31, %xmm1 +; SSE2-NEXT: psrad $16, %xmm0 +; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm2[2,3,0,1] ; SSE2-NEXT: movdqa %xmm3, %xmm1 ; SSE2-NEXT: psrad $31, %xmm1 ; SSE2-NEXT: punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1] -; SSE2-NEXT: movdqa %xmm2, %xmm1 -; SSE2-NEXT: psrad $31, %xmm1 -; SSE2-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1] ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm4[2,3,0,1] ; SSE2-NEXT: movdqa %xmm1, %xmm5 ; SSE2-NEXT: psrad $31, %xmm5 ; SSE2-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm5[0],xmm1[1],xmm5[1] +; SSE2-NEXT: movdqa %xmm2, %xmm5 +; SSE2-NEXT: psrad $31, %xmm5 +; SSE2-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm5[0],xmm2[1],xmm5[1] ; SSE2-NEXT: movdqa %xmm4, %xmm5 ; SSE2-NEXT: psrad $31, %xmm5 ; SSE2-NEXT: punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1] @@ -1432,26 +1432,26 @@ ; SSE2-NEXT: psllq $32, %xmm6 ; SSE2-NEXT: pmuludq %xmm4, %xmm0 ; SSE2-NEXT: paddq %xmm6, %xmm0 -; SSE2-NEXT: movdqa %xmm7, %xmm4 +; SSE2-NEXT: movdqa %xmm2, %xmm4 ; SSE2-NEXT: psrlq $32, %xmm4 -; SSE2-NEXT: pmuludq %xmm1, %xmm4 -; SSE2-NEXT: movdqa %xmm1, %xmm5 +; SSE2-NEXT: pmuludq %xmm7, %xmm4 +; SSE2-NEXT: movdqa %xmm7, %xmm5 ; SSE2-NEXT: psrlq $32, %xmm5 -; SSE2-NEXT: pmuludq %xmm7, %xmm5 +; SSE2-NEXT: pmuludq %xmm2, %xmm5 ; SSE2-NEXT: paddq %xmm4, %xmm5 ; SSE2-NEXT: psllq $32, %xmm5 -; SSE2-NEXT: pmuludq %xmm7, %xmm1 -; SSE2-NEXT: paddq %xmm5, %xmm1 -; SSE2-NEXT: movdqa %xmm2, %xmm4 +; SSE2-NEXT: pmuludq %xmm7, %xmm2 +; SSE2-NEXT: paddq %xmm5, %xmm2 +; SSE2-NEXT: movdqa %xmm1, %xmm4 ; SSE2-NEXT: psrlq $32, %xmm4 ; SSE2-NEXT: pmuludq %xmm9, %xmm4 ; SSE2-NEXT: movdqa %xmm9, %xmm5 ; SSE2-NEXT: psrlq $32, %xmm5 -; SSE2-NEXT: pmuludq %xmm2, %xmm5 +; SSE2-NEXT: pmuludq %xmm1, %xmm5 ; SSE2-NEXT: paddq %xmm4, %xmm5 ; SSE2-NEXT: psllq $32, %xmm5 -; SSE2-NEXT: pmuludq %xmm9, %xmm2 -; SSE2-NEXT: paddq %xmm5, %xmm2 +; SSE2-NEXT: pmuludq %xmm9, %xmm1 +; SSE2-NEXT: paddq %xmm5, %xmm1 ; SSE2-NEXT: movdqa %xmm3, %xmm4 ; SSE2-NEXT: psrlq $32, %xmm4 ; SSE2-NEXT: pmuludq %xmm8, %xmm4 Index: llvm/trunk/test/CodeGen/X86/promote-vec3.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/promote-vec3.ll +++ llvm/trunk/test/CodeGen/X86/promote-vec3.ll @@ -14,9 +14,11 @@ ; SSE3-NEXT: pinsrw $1, %eax, %xmm0 ; SSE3-NEXT: movzbl {{[0-9]+}}(%esp), %eax ; SSE3-NEXT: pinsrw $2, %eax, %xmm0 -; SSE3-NEXT: pextrw $0, %xmm0, %eax +; SSE3-NEXT: pxor %xmm1, %xmm1 ; SSE3-NEXT: pextrw $1, %xmm0, %edx ; SSE3-NEXT: pextrw $2, %xmm0, %ecx +; SSE3-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3] +; SSE3-NEXT: movd %xmm0, %eax ; SSE3-NEXT: # kill: def %ax killed %ax killed %eax ; SSE3-NEXT: # kill: def %dx killed %dx killed %edx ; SSE3-NEXT: # kill: def %cx killed %cx killed %ecx Index: llvm/trunk/test/CodeGen/X86/psubus.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/psubus.ll +++ llvm/trunk/test/CodeGen/X86/psubus.ll @@ -2095,18 +2095,25 @@ ; ; AVX1-LABEL: psubus_16i32_max: ; AVX1: # %bb.0: # %vector.ph -; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3 -; AVX1-NEXT: vmovdqa {{.*#+}} xmm4 = [65535,65535,65535,65535] -; AVX1-NEXT: vpminud %xmm4, %xmm3, %xmm3 -; AVX1-NEXT: vpminud %xmm4, %xmm1, %xmm1 -; AVX1-NEXT: vpackusdw %xmm3, %xmm1, %xmm1 ; AVX1-NEXT: vextractf128 $1, %ymm2, %xmm3 +; AVX1-NEXT: vmovdqa {{.*#+}} xmm4 = [65535,65535,65535,65535] ; AVX1-NEXT: vpminud %xmm4, %xmm3, %xmm3 ; AVX1-NEXT: vpminud %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpackusdw %xmm3, %xmm2, %xmm2 +; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3 +; AVX1-NEXT: vpminud %xmm4, %xmm3, %xmm3 +; AVX1-NEXT: vpminud %xmm4, %xmm1, %xmm1 +; AVX1-NEXT: vpackusdw %xmm3, %xmm1, %xmm1 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm3 ; AVX1-NEXT: vpsubusw %xmm2, %xmm3, %xmm2 ; AVX1-NEXT: vpsubusw %xmm1, %xmm0, %xmm0 +; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero +; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm3 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero +; AVX1-NEXT: vpxor %xmm4, %xmm4, %xmm4 +; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm2 = xmm2[4],xmm4[4],xmm2[5],xmm4[5],xmm2[6],xmm4[6],xmm2[7],xmm4[7] +; AVX1-NEXT: vpackusdw %xmm2, %xmm3, %xmm2 +; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm0 = xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7] +; AVX1-NEXT: vpackusdw %xmm0, %xmm1, %xmm0 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0 ; AVX1-NEXT: retq ; Index: llvm/trunk/test/CodeGen/X86/vector-compare-results.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/vector-compare-results.ll +++ llvm/trunk/test/CodeGen/X86/vector-compare-results.ll @@ -1003,100 +1003,100 @@ ; SSE42-NEXT: pcmpgtw %xmm6, %xmm2 ; SSE42-NEXT: pcmpgtw %xmm7, %xmm3 ; SSE42-NEXT: pextrb $14, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $10, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $6, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $2, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $14, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $10, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $6, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $2, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $14, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $10, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $6, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $2, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $14, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $10, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $6, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $2, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: movq %rdi, %rax ; SSE42-NEXT: retq @@ -2250,100 +2250,100 @@ ; SSE42-NEXT: cmpltps %xmm6, %xmm14 ; SSE42-NEXT: cmpltps %xmm7, %xmm15 ; SSE42-NEXT: pextrb $12, %xmm15, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm15, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm15, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm15, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm14, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm14, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm14, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm14, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm13, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm13, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm13, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm13, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm12, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm12, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm12, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm12, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm11, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm11, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm11, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm11, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm10, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm10, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm10, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm10, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm9, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm9, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm9, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm9, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm8, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm8, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm8, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm8, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: movq %rdi, %rax ; SSE42-NEXT: retq @@ -2749,100 +2749,100 @@ ; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm6 ; SSE42-NEXT: pcmpgtd {{[0-9]+}}(%rsp), %xmm7 ; SSE42-NEXT: pextrb $12, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: movq %rdi, %rax ; SSE42-NEXT: retq @@ -3155,196 +3155,196 @@ ; SSE42-NEXT: pcmpgtw {{[0-9]+}}(%rsp), %xmm6 ; SSE42-NEXT: pcmpgtw {{[0-9]+}}(%rsp), %xmm7 ; SSE42-NEXT: pextrb $14, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $12, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $10, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $8, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $6, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $4, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $2, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $0, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $14, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $12, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $10, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $8, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $6, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $4, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $2, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $0, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 6(%rdi) ; SSE42-NEXT: pextrb $14, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $12, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $10, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $8, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $6, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $4, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $2, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $0, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $14, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $12, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $10, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $8, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $6, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $4, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $2, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $0, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 4(%rdi) ; SSE42-NEXT: pextrb $14, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $10, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $6, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $2, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $14, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $12, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $10, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $8, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $6, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $4, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $2, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $14, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $10, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $6, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $2, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $14, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $12, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $10, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $8, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $6, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $4, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $2, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: movq %rdi, %rax ; SSE42-NEXT: retq @@ -5701,137 +5701,147 @@ ; SSE42-NEXT: pushq %r12 ; SSE42-NEXT: pushq %rbx ; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm8 -; SSE42-NEXT: cmpltpd %xmm0, %xmm8 -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm0 -; SSE42-NEXT: cmpltpd %xmm1, %xmm0 +; SSE42-NEXT: cmpltpd %xmm7, %xmm8 +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 +; SSE42-NEXT: cmpltpd %xmm6, %xmm7 +; SSE42-NEXT: shufps {{.*#+}} xmm7 = xmm7[0,2],xmm8[0,2] +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm6 +; SSE42-NEXT: cmpltpd %xmm5, %xmm6 +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm5 +; SSE42-NEXT: cmpltpd %xmm4, %xmm5 +; SSE42-NEXT: shufps {{.*#+}} xmm5 = xmm5[0,2],xmm6[0,2] +; SSE42-NEXT: packssdw %xmm7, %xmm5 +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: cmpltpd %xmm3, %xmm4 +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: cmpltpd %xmm2, %xmm3 +; SSE42-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,2],xmm4[0,2] +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm2 +; SSE42-NEXT: cmpltpd %xmm1, %xmm2 ; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm1 -; SSE42-NEXT: cmpltpd %xmm2, %xmm1 +; SSE42-NEXT: cmpltpd %xmm0, %xmm1 +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm0 +; SSE42-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,2],xmm2[0,2] ; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm2 -; SSE42-NEXT: cmpltpd %xmm3, %xmm2 +; SSE42-NEXT: packssdw %xmm3, %xmm1 ; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm3 -; SSE42-NEXT: cmpltpd %xmm4, %xmm3 +; SSE42-NEXT: packsswb %xmm5, %xmm1 ; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm4 -; SSE42-NEXT: cmpltpd %xmm5, %xmm4 -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm5 -; SSE42-NEXT: cmpltpd %xmm6, %xmm5 -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm6 -; SSE42-NEXT: cmpltpd %xmm7, %xmm6 -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %r8d -; SSE42-NEXT: pextrb $0, %xmm7, %r13d -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %r14d -; SSE42-NEXT: pextrb $0, %xmm7, %ebx -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %r15d -; SSE42-NEXT: pextrb $0, %xmm7, %ebp -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %r12d -; SSE42-NEXT: pextrb $0, %xmm7, %ecx -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %r11d -; SSE42-NEXT: pextrb $0, %xmm7, %edx -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %r9d -; SSE42-NEXT: pextrb $0, %xmm7, %esi -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pextrb $8, %xmm7, %eax -; SSE42-NEXT: movl %eax, -{{[0-9]+}}(%rsp) # 4-byte Spill -; SSE42-NEXT: pextrb $0, %xmm7, %r10d -; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: andl $1, %r8d +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,2],xmm4[0,2] +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm2 +; SSE42-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,2],xmm4[0,2] +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: packssdw %xmm3, %xmm2 +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: shufps {{.*#+}} xmm4 = xmm4[0,2],xmm3[0,2] +; SSE42-NEXT: movapd {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: cmpltpd {{[0-9]+}}(%rsp), %xmm0 +; SSE42-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,2],xmm3[0,2] +; SSE42-NEXT: packssdw %xmm4, %xmm0 +; SSE42-NEXT: packsswb %xmm2, %xmm0 +; SSE42-NEXT: pextrb $15, %xmm0, %eax +; SSE42-NEXT: andb $1, %al +; SSE42-NEXT: movb %al, 2(%rdi) +; SSE42-NEXT: pextrb $14, %xmm0, %eax +; SSE42-NEXT: andb $1, %al +; SSE42-NEXT: movb %al, 2(%rdi) +; SSE42-NEXT: pextrb $13, %xmm0, %r8d +; SSE42-NEXT: pextrb $12, %xmm0, %r9d +; SSE42-NEXT: pextrb $11, %xmm0, %r10d +; SSE42-NEXT: pextrb $10, %xmm0, %r11d +; SSE42-NEXT: pextrb $9, %xmm0, %r14d +; SSE42-NEXT: pextrb $8, %xmm0, %r15d +; SSE42-NEXT: pextrb $7, %xmm0, %r12d +; SSE42-NEXT: pextrb $6, %xmm0, %r13d +; SSE42-NEXT: pextrb $5, %xmm0, %ebx +; SSE42-NEXT: pextrb $4, %xmm0, %ebp +; SSE42-NEXT: pextrb $3, %xmm0, %eax +; SSE42-NEXT: pextrb $2, %xmm0, %ecx +; SSE42-NEXT: pextrb $1, %xmm0, %edx +; SSE42-NEXT: pextrb $0, %xmm0, %esi +; SSE42-NEXT: andb $1, %r8b ; SSE42-NEXT: movb %r8b, 2(%rdi) -; SSE42-NEXT: andl $1, %r13d -; SSE42-NEXT: movb %r13b, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm7, %eax -; SSE42-NEXT: movl %eax, -{{[0-9]+}}(%rsp) # 4-byte Spill -; SSE42-NEXT: pextrb $0, %xmm7, %r13d -; SSE42-NEXT: andl $1, %r14d +; SSE42-NEXT: andb $1, %r9b +; SSE42-NEXT: movb %r9b, 2(%rdi) +; SSE42-NEXT: andb $1, %r10b +; SSE42-NEXT: movb %r10b, 2(%rdi) +; SSE42-NEXT: andb $1, %r11b +; SSE42-NEXT: movb %r11b, 2(%rdi) +; SSE42-NEXT: andb $1, %r14b ; SSE42-NEXT: movb %r14b, 2(%rdi) -; SSE42-NEXT: andl $1, %ebx -; SSE42-NEXT: movb %bl, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm6, %r14d -; SSE42-NEXT: pextrb $0, %xmm6, %r8d -; SSE42-NEXT: andl $1, %r15d +; SSE42-NEXT: andb $1, %r15b ; SSE42-NEXT: movb %r15b, 2(%rdi) -; SSE42-NEXT: andl $1, %ebp -; SSE42-NEXT: movb %bpl, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm5, %r15d -; SSE42-NEXT: pextrb $0, %xmm5, %ebp -; SSE42-NEXT: andl $1, %r12d +; SSE42-NEXT: andb $1, %r12b ; SSE42-NEXT: movb %r12b, 2(%rdi) -; SSE42-NEXT: andl $1, %ecx +; SSE42-NEXT: andb $1, %r13b +; SSE42-NEXT: movb %r13b, 2(%rdi) +; SSE42-NEXT: andb $1, %bl +; SSE42-NEXT: movb %bl, 2(%rdi) +; SSE42-NEXT: andb $1, %bpl +; SSE42-NEXT: movb %bpl, 2(%rdi) +; SSE42-NEXT: andb $1, %al +; SSE42-NEXT: movb %al, 2(%rdi) +; SSE42-NEXT: andb $1, %cl ; SSE42-NEXT: movb %cl, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm4, %r12d -; SSE42-NEXT: pextrb $0, %xmm4, %ebx -; SSE42-NEXT: andl $1, %r11d -; SSE42-NEXT: movb %r11b, 2(%rdi) -; SSE42-NEXT: andl $1, %edx +; SSE42-NEXT: andb $1, %dl ; SSE42-NEXT: movb %dl, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm3, %r11d -; SSE42-NEXT: pextrb $0, %xmm3, %ecx -; SSE42-NEXT: andl $1, %r9d -; SSE42-NEXT: movb %r9b, 2(%rdi) -; SSE42-NEXT: andl $1, %esi +; SSE42-NEXT: andb $1, %sil ; SSE42-NEXT: movb %sil, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm2, %r9d -; SSE42-NEXT: pextrb $0, %xmm2, %edx -; SSE42-NEXT: movl -{{[0-9]+}}(%rsp), %eax # 4-byte Reload -; SSE42-NEXT: andl $1, %eax -; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: andl $1, %r10d -; SSE42-NEXT: movb %r10b, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm1, %r10d +; SSE42-NEXT: pextrb $15, %xmm1, %eax +; SSE42-NEXT: andb $1, %al +; SSE42-NEXT: movb %al, (%rdi) +; SSE42-NEXT: pextrb $14, %xmm1, %eax +; SSE42-NEXT: andb $1, %al +; SSE42-NEXT: movb %al, (%rdi) +; SSE42-NEXT: pextrb $13, %xmm1, %r8d +; SSE42-NEXT: pextrb $12, %xmm1, %r9d +; SSE42-NEXT: pextrb $11, %xmm1, %r10d +; SSE42-NEXT: pextrb $10, %xmm1, %r11d +; SSE42-NEXT: pextrb $9, %xmm1, %r14d +; SSE42-NEXT: pextrb $8, %xmm1, %r15d +; SSE42-NEXT: pextrb $7, %xmm1, %r12d +; SSE42-NEXT: pextrb $6, %xmm1, %r13d +; SSE42-NEXT: pextrb $5, %xmm1, %ebx +; SSE42-NEXT: pextrb $4, %xmm1, %ebp +; SSE42-NEXT: pextrb $3, %xmm1, %eax +; SSE42-NEXT: pextrb $2, %xmm1, %ecx +; SSE42-NEXT: pextrb $1, %xmm1, %edx ; SSE42-NEXT: pextrb $0, %xmm1, %esi -; SSE42-NEXT: movl -{{[0-9]+}}(%rsp), %eax # 4-byte Reload -; SSE42-NEXT: andl $1, %eax -; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: andl $1, %r13d -; SSE42-NEXT: movb %r13b, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm0, %r13d -; SSE42-NEXT: pextrb $0, %xmm0, %eax -; SSE42-NEXT: andl $1, %r14d -; SSE42-NEXT: movb %r14b, (%rdi) -; SSE42-NEXT: andl $1, %r8d +; SSE42-NEXT: andb $1, %r8b ; SSE42-NEXT: movb %r8b, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm8, %r8d -; SSE42-NEXT: pextrb $0, %xmm8, %r14d -; SSE42-NEXT: andl $1, %r15d +; SSE42-NEXT: andb $1, %r9b +; SSE42-NEXT: movb %r9b, (%rdi) +; SSE42-NEXT: andb $1, %r10b +; SSE42-NEXT: movb %r10b, (%rdi) +; SSE42-NEXT: andb $1, %r11b +; SSE42-NEXT: movb %r11b, (%rdi) +; SSE42-NEXT: andb $1, %r14b +; SSE42-NEXT: movb %r14b, (%rdi) +; SSE42-NEXT: andb $1, %r15b ; SSE42-NEXT: movb %r15b, (%rdi) -; SSE42-NEXT: andl $1, %ebp -; SSE42-NEXT: movb %bpl, (%rdi) -; SSE42-NEXT: andl $1, %r12d +; SSE42-NEXT: andb $1, %r12b ; SSE42-NEXT: movb %r12b, (%rdi) -; SSE42-NEXT: andl $1, %ebx +; SSE42-NEXT: andb $1, %r13b +; SSE42-NEXT: movb %r13b, (%rdi) +; SSE42-NEXT: andb $1, %bl ; SSE42-NEXT: movb %bl, (%rdi) -; SSE42-NEXT: andl $1, %r11d -; SSE42-NEXT: movb %r11b, (%rdi) -; SSE42-NEXT: andl $1, %ecx +; SSE42-NEXT: andb $1, %bpl +; SSE42-NEXT: movb %bpl, (%rdi) +; SSE42-NEXT: andb $1, %al +; SSE42-NEXT: movb %al, (%rdi) +; SSE42-NEXT: andb $1, %cl ; SSE42-NEXT: movb %cl, (%rdi) -; SSE42-NEXT: andl $1, %r9d -; SSE42-NEXT: movb %r9b, (%rdi) -; SSE42-NEXT: andl $1, %edx +; SSE42-NEXT: andb $1, %dl ; SSE42-NEXT: movb %dl, (%rdi) -; SSE42-NEXT: andl $1, %r10d -; SSE42-NEXT: movb %r10b, (%rdi) -; SSE42-NEXT: andl $1, %esi +; SSE42-NEXT: andb $1, %sil ; SSE42-NEXT: movb %sil, (%rdi) -; SSE42-NEXT: andl $1, %r13d -; SSE42-NEXT: movb %r13b, (%rdi) -; SSE42-NEXT: andl $1, %eax -; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: andl $1, %r8d -; SSE42-NEXT: movb %r8b, (%rdi) -; SSE42-NEXT: andl $1, %r14d -; SSE42-NEXT: movb %r14b, (%rdi) ; SSE42-NEXT: movq %rdi, %rax ; SSE42-NEXT: popq %rbx ; SSE42-NEXT: popq %r12 @@ -6317,125 +6327,139 @@ ; ; SSE42-LABEL: test_cmp_v32i64: ; SSE42: # %bb.0: -; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm15 -; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm14 -; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm13 -; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm12 +; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm8 ; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm11 ; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm10 +; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm12 ; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm9 -; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm8 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm0 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm1 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm2 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm3 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm4 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm5 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm6 +; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm14 +; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm13 +; SSE42-NEXT: movdqa {{[0-9]+}}(%rsp), %xmm15 ; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm7 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm8 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm6 +; SSE42-NEXT: shufps {{.*#+}} xmm6 = xmm6[0,2],xmm7[0,2] +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm5 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm4 +; SSE42-NEXT: shufps {{.*#+}} xmm4 = xmm4[0,2],xmm5[0,2] +; SSE42-NEXT: packssdw %xmm6, %xmm4 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm3 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm2 +; SSE42-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,2],xmm3[0,2] +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm1 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm0 +; SSE42-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2] +; SSE42-NEXT: packssdw %xmm2, %xmm0 +; SSE42-NEXT: packsswb %xmm4, %xmm0 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm15 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm13 +; SSE42-NEXT: shufps {{.*#+}} xmm13 = xmm13[0,2],xmm15[0,2] +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm14 ; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm9 +; SSE42-NEXT: shufps {{.*#+}} xmm9 = xmm9[0,2],xmm14[0,2] +; SSE42-NEXT: packssdw %xmm13, %xmm9 +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm12 ; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm10 +; SSE42-NEXT: shufps {{.*#+}} xmm10 = xmm10[0,2],xmm12[0,2] ; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm11 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm12 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm13 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm14 -; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm15 -; SSE42-NEXT: pextrb $8, %xmm15, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pcmpgtq {{[0-9]+}}(%rsp), %xmm8 +; SSE42-NEXT: shufps {{.*#+}} xmm8 = xmm8[0,2],xmm11[0,2] +; SSE42-NEXT: packssdw %xmm10, %xmm8 +; SSE42-NEXT: packsswb %xmm9, %xmm8 +; SSE42-NEXT: pextrb $15, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm15, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $14, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm14, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $13, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm14, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $12, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm13, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $11, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm13, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $10, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm12, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $9, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm12, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $8, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm11, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $7, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm11, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $6, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm10, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $5, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm10, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $4, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm9, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $3, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $0, %xmm9, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $2, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm8, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $1, %xmm8, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) ; SSE42-NEXT: pextrb $0, %xmm8, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, 2(%rdi) -; SSE42-NEXT: pextrb $8, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $15, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm7, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $14, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $13, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm6, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $12, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $11, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm5, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $10, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $9, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm4, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $8, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $7, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm3, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $6, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $5, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm2, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $4, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $3, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $0, %xmm1, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $2, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) -; SSE42-NEXT: pextrb $8, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: pextrb $1, %xmm0, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: pextrb $0, %xmm0, %eax -; SSE42-NEXT: andl $1, %eax +; SSE42-NEXT: andb $1, %al ; SSE42-NEXT: movb %al, (%rdi) ; SSE42-NEXT: movq %rdi, %rax ; SSE42-NEXT: retq Index: llvm/trunk/test/CodeGen/X86/vector-sext.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/vector-sext.ll +++ llvm/trunk/test/CodeGen/X86/vector-sext.ll @@ -449,7 +449,7 @@ ; SSSE3-NEXT: psrad $31, %xmm2 ; SSSE3-NEXT: psrad $24, %xmm0 ; SSSE3-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1] -; SSSE3-NEXT: pshufb {{.*#+}} xmm1 = xmm1[u,u,u,2,u,u,u,3,u,u,u,u,u,u,u,u] +; SSSE3-NEXT: pshufb {{.*#+}} xmm1 = xmm1[u,u,u,2,u,u,u,3,u,u,u],zero,xmm1[u,u,u],zero ; SSSE3-NEXT: movdqa %xmm1, %xmm2 ; SSSE3-NEXT: psrad $31, %xmm2 ; SSSE3-NEXT: psrad $24, %xmm1 @@ -530,7 +530,7 @@ ; ; SSSE3-LABEL: sext_16i8_to_8i64: ; SSSE3: # %bb.0: # %entry -; SSSE3-NEXT: movdqa {{.*#+}} xmm2 = +; SSSE3-NEXT: movdqa {{.*#+}} xmm2 = ; SSSE3-NEXT: punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm0[0],xmm4[1],xmm0[1],xmm4[2],xmm0[2],xmm4[3],xmm0[3],xmm4[4],xmm0[4],xmm4[5],xmm0[5],xmm4[6],xmm0[6],xmm4[7],xmm0[7] ; SSSE3-NEXT: pshufd {{.*#+}} xmm3 = xmm0[1,1,2,3] ; SSSE3-NEXT: movdqa %xmm0, %xmm1 @@ -836,7 +836,8 @@ ; SSE2-NEXT: psrad $31, %xmm1 ; SSE2-NEXT: psrad $16, %xmm2 ; SSE2-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1] -; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm0[0,2,2,3,4,5,6,7] +; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,2,3] +; SSE2-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3] ; SSE2-NEXT: movdqa %xmm1, %xmm0 ; SSE2-NEXT: psrad $31, %xmm0 ; SSE2-NEXT: psrad $16, %xmm1 @@ -851,7 +852,8 @@ ; SSSE3-NEXT: psrad $31, %xmm1 ; SSSE3-NEXT: psrad $16, %xmm2 ; SSSE3-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1] -; SSSE3-NEXT: pshuflw {{.*#+}} xmm1 = xmm0[0,2,2,3,4,5,6,7] +; SSSE3-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,2,3] +; SSSE3-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3] ; SSSE3-NEXT: movdqa %xmm1, %xmm0 ; SSSE3-NEXT: psrad $31, %xmm0 ; SSSE3-NEXT: psrad $16, %xmm1 @@ -911,13 +913,14 @@ ; SSE2-NEXT: psrad $31, %xmm1 ; SSE2-NEXT: psrad $16, %xmm2 ; SSE2-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1] -; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm0[0,2,2,3,4,5,6,7] +; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3] +; SSE2-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3] ; SSE2-NEXT: movdqa %xmm1, %xmm3 ; SSE2-NEXT: psrad $31, %xmm3 ; SSE2-NEXT: psrad $16, %xmm1 ; SSE2-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1] -; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1] -; SSE2-NEXT: pshuflw {{.*#+}} xmm3 = xmm0[0,2,2,3,4,5,6,7] +; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[3,1,2,3] +; SSE2-NEXT: punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3] ; SSE2-NEXT: movdqa %xmm3, %xmm0 ; SSE2-NEXT: psrad $31, %xmm0 ; SSE2-NEXT: psrad $16, %xmm3 @@ -937,13 +940,14 @@ ; SSSE3-NEXT: psrad $31, %xmm1 ; SSSE3-NEXT: psrad $16, %xmm2 ; SSSE3-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1] -; SSSE3-NEXT: pshuflw {{.*#+}} xmm1 = xmm0[0,2,2,3,4,5,6,7] +; SSSE3-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3] +; SSSE3-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3] ; SSSE3-NEXT: movdqa %xmm1, %xmm3 ; SSSE3-NEXT: psrad $31, %xmm3 ; SSSE3-NEXT: psrad $16, %xmm1 ; SSSE3-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1] -; SSSE3-NEXT: pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1] -; SSSE3-NEXT: pshuflw {{.*#+}} xmm3 = xmm0[0,2,2,3,4,5,6,7] +; SSSE3-NEXT: pshufd {{.*#+}} xmm0 = xmm0[3,1,2,3] +; SSSE3-NEXT: punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1],xmm3[2],xmm0[2],xmm3[3],xmm0[3] ; SSSE3-NEXT: movdqa %xmm3, %xmm0 ; SSSE3-NEXT: psrad $31, %xmm0 ; SSSE3-NEXT: psrad $16, %xmm3 @@ -1291,7 +1295,8 @@ ; SSSE3: # %bb.0: # %entry ; SSSE3-NEXT: movzwl (%rdi), %eax ; SSSE3-NEXT: movd %eax, %xmm0 -; SSSE3-NEXT: pshufb {{.*#+}} xmm0 = xmm0[u,u,u,0,u,u,u,1,u,u,u,u,u,u,u,u] +; SSSE3-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7] +; SSSE3-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] ; SSSE3-NEXT: movdqa %xmm0, %xmm1 ; SSSE3-NEXT: psrad $31, %xmm1 ; SSSE3-NEXT: psrad $24, %xmm0 @@ -5065,7 +5070,8 @@ ; SSSE3: # %bb.0: ; SSSE3-NEXT: movzwl (%rdi), %eax ; SSSE3-NEXT: movd %eax, %xmm0 -; SSSE3-NEXT: pshufb {{.*#+}} xmm0 = xmm0[u,u,u,0,u,u,u,1,u,u,u,u,u,u,u,u] +; SSSE3-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7] +; SSSE3-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] ; SSSE3-NEXT: psrad $24, %xmm0 ; SSSE3-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3] ; SSSE3-NEXT: paddq %xmm0, %xmm0 Index: llvm/trunk/test/CodeGen/X86/widen_load-2.ll =================================================================== --- llvm/trunk/test/CodeGen/X86/widen_load-2.ll +++ llvm/trunk/test/CodeGen/X86/widen_load-2.ll @@ -368,10 +368,12 @@ ; X86-NEXT: movl {{[0-9]+}}(%esp), %eax ; X86-NEXT: movl {{[0-9]+}}(%esp), %ecx ; X86-NEXT: movl {{[0-9]+}}(%esp), %edx +; X86-NEXT: movdqa {{.*#+}} xmm0 = [40606,0,158,0] +; X86-NEXT: pextrw $0, %xmm0, (%edx) ; X86-NEXT: movb $-98, 2(%edx) -; X86-NEXT: movw $-24930, (%edx) # imm = 0x9E9E +; X86-NEXT: movdqa {{.*#+}} xmm0 = [257,0,1,0] +; X86-NEXT: pextrw $0, %xmm0, (%ecx) ; X86-NEXT: movb $1, 2(%ecx) -; X86-NEXT: movw $257, (%ecx) # imm = 0x101 ; X86-NEXT: pmovzxbd {{.*#+}} xmm0 = mem[0],zero,zero,zero,mem[1],zero,zero,zero,mem[2],zero,zero,zero,mem[3],zero,zero,zero ; X86-NEXT: movdqa %xmm0, %xmm1 ; X86-NEXT: psrld $1, %xmm1 @@ -384,10 +386,12 @@ ; ; X64-LABEL: rot: ; X64: # %bb.0: # %entry +; X64-NEXT: movdqa {{.*#+}} xmm0 = [40606,158] +; X64-NEXT: pextrw $0, %xmm0, (%rsi) ; X64-NEXT: movb $-98, 2(%rsi) -; X64-NEXT: movw $-24930, (%rsi) # imm = 0x9E9E +; X64-NEXT: movdqa {{.*#+}} xmm0 = [257,1] +; X64-NEXT: pextrw $0, %xmm0, (%rdx) ; X64-NEXT: movb $1, 2(%rdx) -; X64-NEXT: movw $257, (%rdx) # imm = 0x101 ; X64-NEXT: pmovzxbd {{.*#+}} xmm0 = mem[0],zero,zero,zero,mem[1],zero,zero,zero,mem[2],zero,zero,zero,mem[3],zero,zero,zero ; X64-NEXT: movdqa %xmm0, %xmm1 ; X64-NEXT: psrld $1, %xmm1