This is an archive of the discontinued LLVM Phabricator instance.

Differential D47546

[X86][SSE] Use multiplication scale factors for v8i16 SHL on pre-AVX2 targets.
ClosedPublic

Authored by RKSimon on May 30 2018, 11:14 AM.

Details

Reviewers
craig.topper
spatel
andreadb
Commits
rGf2f043acbb90: [X86][SSE] Use multiplication scale factors for v8i16 SHL on pre-AVX2 targets.
rL334023: [X86][SSE] Use multiplication scale factors for v8i16 SHL on pre-AVX2 targets.
Summary

Similar to v4i32 SHL, convert v8i16 shift amounts to scale factors instead to improve performance and reduce instruction count. We were already doing this for constant shifts, this adds variable shift support.

Reduces the serial nature of the codegen, which relies on the chain of plendvb/pand+pandn+por shifts.

This is a step towards adding support for vXi16 vector rotates.

Diff Detail

Repository
rL LLVM

Event Timeline

RKSimon created this revision.May 30 2018, 11:14 AM
RKSimon added a comment.Jun 5 2018, 2:09 AM

ping?

spatel accepted this revision.Jun 5 2018, 7:19 AM

LGTM - see inline for a couple of potential code comment clarifications.

lib/Target/X86/X86ISelLowering.cpp
23241 ↗(On Diff #149163)

A comment around here or maybe as a function comment to describe the transforms would be good.

// If the target doesn't support variable shifts, use either FP conversion 
// or integer multiplication to avoid shifting each element individually.

?

23250 ↗(On Diff #149163)

Add a note about why AVX2 doesn't want this?

This revision is now accepted and ready to land.Jun 5 2018, 7:19 AM
Closed by commit rL334023: [X86][SSE] Use multiplication scale factors for v8i16 SHL on pre-AVX2 targets. (authored by RKSimon). · Explain WhyJun 5 2018, 8:22 AM
This revision was automatically updated to reflect the committed changes.

Revision Contents

PathSize
llvm/
trunk/
lib/
Target/
X86/
24 lines
test/
Analysis/
CostModel/
X86/
8 lines
CodeGen/
X86/
320 lines
80 lines
164 lines
100 lines

Diff 149993

llvm/trunk/lib/Target/X86/X86ISelLowering.cpp

  • This file is larger than 256 KB, so syntax highlighting is disabled by default.
Show First 20 Lines • Show All 23,234 Lines • ▼ Show 20 Linesstatic SDValue LowerScalarVariableShift(SDValue Op, SelectionDAG &DAG,
return SDValue(); return SDValue();
} }
// Convert a shift/rotate left amount to a multiplication scale factor. // Convert a shift/rotate left amount to a multiplication scale factor.
static SDValue convertShiftLeftToScale(SDValue Amt, const SDLoc &dl, static SDValue convertShiftLeftToScale(SDValue Amt, const SDLoc &dl,
const X86Subtarget &Subtarget, const X86Subtarget &Subtarget,
SelectionDAG &DAG) { SelectionDAG &DAG) {
MVT VT = Amt.getSimpleValueType(); MVT VT = Amt.getSimpleValueType();
bool ConstantAmt = ISD::isBuildVectorOfConstantSDNodes(Amt.getNode()); if (!(VT == MVT::v8i16 || VT == MVT::v4i32 ||
(Subtarget.hasInt256() && VT == MVT::v16i16)))
return SDValue();
if (ConstantAmt && (VT == MVT::v8i16 || VT == MVT::v4i32 || if (ISD::isBuildVectorOfConstantSDNodes(Amt.getNode())) {
(Subtarget.hasInt256() && VT == MVT::v16i16))) {
SmallVector<SDValue, 8> Elts; SmallVector<SDValue, 8> Elts;
MVT SVT = VT.getVectorElementType(); MVT SVT = VT.getVectorElementType();
unsigned SVTBits = SVT.getSizeInBits(); unsigned SVTBits = SVT.getSizeInBits();
APInt One(SVTBits, 1); APInt One(SVTBits, 1);
unsigned NumElems = VT.getVectorNumElements(); unsigned NumElems = VT.getVectorNumElements();
for (unsigned i = 0; i != NumElems; ++i) { for (unsigned i = 0; i != NumElems; ++i) {
SDValue Op = Amt->getOperand(i); SDValue Op = Amt->getOperand(i);
Show All 9 Lines for (unsigned i = 0; i != NumElems; ++i) {
Elts.push_back(DAG.getUNDEF(SVT)); Elts.push_back(DAG.getUNDEF(SVT));
continue; continue;
} }
Elts.push_back(DAG.getConstant(One.shl(ShAmt), dl, SVT)); Elts.push_back(DAG.getConstant(One.shl(ShAmt), dl, SVT));
} }
return DAG.getBuildVector(VT, dl, Elts); return DAG.getBuildVector(VT, dl, Elts);
} }
// If the target doesn't support variable shifts, use either FP conversion
// or integer multiplication to avoid shifting each element individually.
if (VT == MVT::v4i32) { if (VT == MVT::v4i32) {
Amt = DAG.getNode(ISD::SHL, dl, VT, Amt, DAG.getConstant(23, dl, VT)); Amt = DAG.getNode(ISD::SHL, dl, VT, Amt, DAG.getConstant(23, dl, VT));
Amt = DAG.getNode(ISD::ADD, dl, VT, Amt, Amt = DAG.getNode(ISD::ADD, dl, VT, Amt,
DAG.getConstant(0x3f800000U, dl, VT)); DAG.getConstant(0x3f800000U, dl, VT));
Amt = DAG.getBitcast(MVT::v4f32, Amt); Amt = DAG.getBitcast(MVT::v4f32, Amt);
return DAG.getNode(ISD::FP_TO_SINT, dl, VT, Amt); return DAG.getNode(ISD::FP_TO_SINT, dl, VT, Amt);
} }
// AVX2 can more effectively perform this as a zext/trunc to/from v8i32.
if (VT == MVT::v8i16 && !Subtarget.hasAVX2()) {
SDValue Z = getZeroVector(VT, Subtarget, DAG, dl);
SDValue Lo = DAG.getBitcast(MVT::v4i32, getUnpackl(DAG, dl, VT, Amt, Z));
SDValue Hi = DAG.getBitcast(MVT::v4i32, getUnpackh(DAG, dl, VT, Amt, Z));
Lo = convertShiftLeftToScale(Lo, dl, Subtarget, DAG);
Hi = convertShiftLeftToScale(Hi, dl, Subtarget, DAG);
if (Subtarget.hasSSE41())
return DAG.getNode(X86ISD::PACKUS, dl, VT, Lo, Hi);
return DAG.getVectorShuffle(VT, dl, DAG.getBitcast(VT, Lo),
DAG.getBitcast(VT, Hi),
{0, 2, 4, 6, 8, 10, 12, 14});
}
return SDValue(); return SDValue();
} }
static SDValue LowerShift(SDValue Op, const X86Subtarget &Subtarget, static SDValue LowerShift(SDValue Op, const X86Subtarget &Subtarget,
SelectionDAG &DAG) { SelectionDAG &DAG) {
MVT VT = Op.getSimpleValueType(); MVT VT = Op.getSimpleValueType();
SDLoc dl(Op); SDLoc dl(Op);
SDValue R = Op.getOperand(0); SDValue R = Op.getOperand(0);
▲ Show 20 Lines • Show All 17,089 Lines • Show Last 20 Lines

llvm/trunk/test/Analysis/CostModel/X86/testshiftshl.ll

Show All 25 Lines
} }
%shifttype8i16 = type <8 x i16> %shifttype8i16 = type <8 x i16>
define %shifttype8i16 @shift8i16(%shifttype8i16 %a, %shifttype8i16 %b) { define %shifttype8i16 @shift8i16(%shifttype8i16 %a, %shifttype8i16 %b) {
entry: entry:
; SSE2: shift8i16 ; SSE2: shift8i16
; SSE2: cost of 32 {{.*}} shl ; SSE2: cost of 32 {{.*}} shl
; SSE2-CODEGEN: shift8i16 ; SSE2-CODEGEN: shift8i16
; SSE2-CODEGEN: psllw ; SSE2-CODEGEN: pmullw
%0 = shl %shifttype8i16 %a , %b %0 = shl %shifttype8i16 %a , %b
ret %shifttype8i16 %0 ret %shifttype8i16 %0
} }
%shifttype16i16 = type <16 x i16> %shifttype16i16 = type <16 x i16>
define %shifttype16i16 @shift16i16(%shifttype16i16 %a, %shifttype16i16 %b) { define %shifttype16i16 @shift16i16(%shifttype16i16 %a, %shifttype16i16 %b) {
entry: entry:
; SSE2: shift16i16 ; SSE2: shift16i16
; SSE2: cost of 64 {{.*}} shl ; SSE2: cost of 64 {{.*}} shl
; SSE2-CODEGEN: shift16i16 ; SSE2-CODEGEN: shift16i16
; SSE2-CODEGEN: psllw ; SSE2-CODEGEN: pmullw
%0 = shl %shifttype16i16 %a , %b %0 = shl %shifttype16i16 %a , %b
ret %shifttype16i16 %0 ret %shifttype16i16 %0
} }
%shifttype32i16 = type <32 x i16> %shifttype32i16 = type <32 x i16>
define %shifttype32i16 @shift32i16(%shifttype32i16 %a, %shifttype32i16 %b) { define %shifttype32i16 @shift32i16(%shifttype32i16 %a, %shifttype32i16 %b) {
entry: entry:
; SSE2: shift32i16 ; SSE2: shift32i16
; SSE2: cost of 128 {{.*}} shl ; SSE2: cost of 128 {{.*}} shl
; SSE2-CODEGEN: shift32i16 ; SSE2-CODEGEN: shift32i16
; SSE2-CODEGEN: psllw ; SSE2-CODEGEN: pmullw
%0 = shl %shifttype32i16 %a , %b %0 = shl %shifttype32i16 %a , %b
ret %shifttype32i16 %0 ret %shifttype32i16 %0
} }
%shifttype2i32 = type <2 x i32> %shifttype2i32 = type <2 x i32>
define %shifttype2i32 @shift2i32(%shifttype2i32 %a, %shifttype2i32 %b) { define %shifttype2i32 @shift2i32(%shifttype2i32 %a, %shifttype2i32 %b) {
entry: entry:
▲ Show 20 Lines • Show All 139 Lines • ▼ Show 20 Lines
} }
%shifttype8i8 = type <8 x i8> %shifttype8i8 = type <8 x i8>
define %shifttype8i8 @shift8i8(%shifttype8i8 %a, %shifttype8i8 %b) { define %shifttype8i8 @shift8i8(%shifttype8i8 %a, %shifttype8i8 %b) {
entry: entry:
; SSE2: shift8i8 ; SSE2: shift8i8
; SSE2: cost of 32 {{.*}} shl ; SSE2: cost of 32 {{.*}} shl
; SSE2-CODEGEN: shift8i8 ; SSE2-CODEGEN: shift8i8
; SSE2-CODEGEN: psllw ; SSE2-CODEGEN: pmullw
%0 = shl %shifttype8i8 %a , %b %0 = shl %shifttype8i8 %a , %b
ret %shifttype8i8 %0 ret %shifttype8i8 %0
} }
%shifttype16i8 = type <16 x i8> %shifttype16i8 = type <16 x i8>
define %shifttype16i8 @shift16i8(%shifttype16i8 %a, %shifttype16i8 %b) { define %shifttype16i8 @shift16i8(%shifttype16i8 %a, %shifttype16i8 %b) {
entry: entry:
▲ Show 20 Lines • Show All 307 Lines • Show Last 20 Lines

llvm/trunk/test/CodeGen/X86/vector-rotate-128.ll

Show First 20 Lines • Show All 219 Lines • ▼ Show 20 Lines; X32-SSE-NEXT: retl
%lshr = lshr <4 x i32> %a, %b32 %lshr = lshr <4 x i32> %a, %b32
%or = or <4 x i32> %shl, %lshr %or = or <4 x i32> %shl, %lshr
ret <4 x i32> %or ret <4 x i32> %or
} }
define <8 x i16> @var_rotate_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind { define <8 x i16> @var_rotate_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: var_rotate_v8i16: ; SSE2-LABEL: var_rotate_v8i16:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16] ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT: psubw %xmm1, %xmm3 ; SSE2-NEXT: psubw %xmm1, %xmm2
; SSE2-NEXT: psllw $12, %xmm1 ; SSE2-NEXT: pxor %xmm3, %xmm3
; SSE2-NEXT: movdqa %xmm1, %xmm2
; SSE2-NEXT: psraw $15, %xmm2
; SSE2-NEXT: movdqa %xmm0, %xmm4
; SSE2-NEXT: psllw $8, %xmm4
; SSE2-NEXT: pand %xmm2, %xmm4
; SSE2-NEXT: pandn %xmm0, %xmm2
; SSE2-NEXT: por %xmm4, %xmm2
; SSE2-NEXT: paddw %xmm1, %xmm1
; SSE2-NEXT: movdqa %xmm1, %xmm4
; SSE2-NEXT: psraw $15, %xmm4
; SSE2-NEXT: movdqa %xmm4, %xmm5
; SSE2-NEXT: pandn %xmm2, %xmm5
; SSE2-NEXT: psllw $4, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm2
; SSE2-NEXT: por %xmm5, %xmm2
; SSE2-NEXT: paddw %xmm1, %xmm1
; SSE2-NEXT: movdqa %xmm1, %xmm4
; SSE2-NEXT: psraw $15, %xmm4
; SSE2-NEXT: movdqa %xmm4, %xmm5
; SSE2-NEXT: pandn %xmm2, %xmm5
; SSE2-NEXT: psllw $2, %xmm2
; SSE2-NEXT: pand %xmm4, %xmm2
; SSE2-NEXT: por %xmm5, %xmm2
; SSE2-NEXT: paddw %xmm1, %xmm1
; SSE2-NEXT: psraw $15, %xmm1
; SSE2-NEXT: movdqa %xmm1, %xmm4 ; SSE2-NEXT: movdqa %xmm1, %xmm4
; SSE2-NEXT: pandn %xmm2, %xmm4 ; SSE2-NEXT: punpckhwd {{.*#+}} xmm4 = xmm4[4],xmm3[4],xmm4[5],xmm3[5],xmm4[6],xmm3[6],xmm4[7],xmm3[7]
; SSE2-NEXT: psllw $1, %xmm2 ; SSE2-NEXT: pslld $23, %xmm4
; SSE2-NEXT: pand %xmm1, %xmm2 ; SSE2-NEXT: movdqa {{.*#+}} xmm5 = [1065353216,1065353216,1065353216,1065353216]
; SSE2-NEXT: psllw $12, %xmm3 ; SSE2-NEXT: paddd %xmm5, %xmm4
; SSE2-NEXT: movdqa %xmm3, %xmm1 ; SSE2-NEXT: cvttps2dq %xmm4, %xmm4
; SSE2-NEXT: psraw $15, %xmm1 ; SSE2-NEXT: pshuflw {{.*#+}} xmm4 = xmm4[0,2,2,3,4,5,6,7]
; SSE2-NEXT: movdqa %xmm1, %xmm5 ; SSE2-NEXT: pshufhw {{.*#+}} xmm4 = xmm4[0,1,2,3,4,6,6,7]
; SSE2-NEXT: pandn %xmm0, %xmm5 ; SSE2-NEXT: pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; SSE2-NEXT: pslld $23, %xmm1
; SSE2-NEXT: paddd %xmm5, %xmm1
; SSE2-NEXT: cvttps2dq %xmm1, %xmm1
; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
; SSE2-NEXT: pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,6,6,7]
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NEXT: punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm4[0]
; SSE2-NEXT: pmullw %xmm0, %xmm1
; SSE2-NEXT: psllw $12, %xmm2
; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: psraw $15, %xmm3
; SSE2-NEXT: movdqa %xmm3, %xmm4
; SSE2-NEXT: pandn %xmm0, %xmm4
; SSE2-NEXT: psrlw $8, %xmm0 ; SSE2-NEXT: psrlw $8, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0 ; SSE2-NEXT: pand %xmm3, %xmm0
; SSE2-NEXT: por %xmm5, %xmm0 ; SSE2-NEXT: por %xmm4, %xmm0
; SSE2-NEXT: paddw %xmm3, %xmm3 ; SSE2-NEXT: paddw %xmm2, %xmm2
; SSE2-NEXT: movdqa %xmm3, %xmm1 ; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: psraw $15, %xmm1 ; SSE2-NEXT: psraw $15, %xmm3
; SSE2-NEXT: movdqa %xmm1, %xmm5 ; SSE2-NEXT: movdqa %xmm3, %xmm4
; SSE2-NEXT: pandn %xmm0, %xmm5 ; SSE2-NEXT: pandn %xmm0, %xmm4
; SSE2-NEXT: psrlw $4, %xmm0 ; SSE2-NEXT: psrlw $4, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0 ; SSE2-NEXT: pand %xmm3, %xmm0
; SSE2-NEXT: por %xmm5, %xmm0 ; SSE2-NEXT: por %xmm4, %xmm0
; SSE2-NEXT: paddw %xmm3, %xmm3 ; SSE2-NEXT: paddw %xmm2, %xmm2
; SSE2-NEXT: movdqa %xmm3, %xmm1 ; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: psraw $15, %xmm1
; SSE2-NEXT: movdqa %xmm1, %xmm5
; SSE2-NEXT: pandn %xmm0, %xmm5
; SSE2-NEXT: psrlw $2, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0
; SSE2-NEXT: por %xmm5, %xmm0
; SSE2-NEXT: paddw %xmm3, %xmm3
; SSE2-NEXT: psraw $15, %xmm3 ; SSE2-NEXT: psraw $15, %xmm3
; SSE2-NEXT: movdqa %xmm3, %xmm1 ; SSE2-NEXT: movdqa %xmm3, %xmm4
; SSE2-NEXT: pandn %xmm0, %xmm1 ; SSE2-NEXT: pandn %xmm0, %xmm4
; SSE2-NEXT: psrlw $1, %xmm0 ; SSE2-NEXT: psrlw $2, %xmm0
; SSE2-NEXT: pand %xmm3, %xmm0 ; SSE2-NEXT: pand %xmm3, %xmm0
; SSE2-NEXT: por %xmm1, %xmm0
; SSE2-NEXT: por %xmm4, %xmm0 ; SSE2-NEXT: por %xmm4, %xmm0
; SSE2-NEXT: por %xmm2, %xmm0 ; SSE2-NEXT: paddw %xmm2, %xmm2
; SSE2-NEXT: psraw $15, %xmm2
; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: pandn %xmm0, %xmm3
; SSE2-NEXT: por %xmm1, %xmm3
; SSE2-NEXT: psrlw $1, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm0
; SSE2-NEXT: por %xmm3, %xmm0
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; SSE41-LABEL: var_rotate_v8i16: ; SSE41-LABEL: var_rotate_v8i16:
; SSE41: # %bb.0: ; SSE41: # %bb.0:
; SSE41-NEXT: movdqa %xmm0, %xmm3 ; SSE41-NEXT: movdqa %xmm0, %xmm2
; SSE41-NEXT: movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16] ; SSE41-NEXT: movdqa {{.*#+}} xmm0 = [16,16,16,16,16,16,16,16]
; SSE41-NEXT: psubw %xmm1, %xmm2 ; SSE41-NEXT: psubw %xmm1, %xmm0
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: pxor %xmm3, %xmm3
; SSE41-NEXT: psllw $12, %xmm0 ; SSE41-NEXT: pmovzxwd {{.*#+}} xmm4 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; SSE41-NEXT: psllw $4, %xmm1 ; SSE41-NEXT: punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE41-NEXT: por %xmm0, %xmm1 ; SSE41-NEXT: pslld $23, %xmm1
; SSE41-NEXT: movdqa %xmm1, %xmm4 ; SSE41-NEXT: movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
; SSE41-NEXT: paddw %xmm1, %xmm4 ; SSE41-NEXT: paddd %xmm3, %xmm1
; SSE41-NEXT: movdqa %xmm3, %xmm6 ; SSE41-NEXT: cvttps2dq %xmm1, %xmm1
; SSE41-NEXT: psllw $8, %xmm6 ; SSE41-NEXT: pslld $23, %xmm4
; SSE41-NEXT: movdqa %xmm3, %xmm5 ; SSE41-NEXT: paddd %xmm3, %xmm4
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: cvttps2dq %xmm4, %xmm3
; SSE41-NEXT: pblendvb %xmm0, %xmm6, %xmm5 ; SSE41-NEXT: packusdw %xmm1, %xmm3
; SSE41-NEXT: movdqa %xmm5, %xmm1 ; SSE41-NEXT: pmullw %xmm2, %xmm3
; SSE41-NEXT: psllw $4, %xmm1 ; SSE41-NEXT: movdqa %xmm0, %xmm1
; SSE41-NEXT: movdqa %xmm4, %xmm0 ; SSE41-NEXT: psllw $12, %xmm1
; SSE41-NEXT: pblendvb %xmm0, %xmm1, %xmm5 ; SSE41-NEXT: psllw $4, %xmm0
; SSE41-NEXT: movdqa %xmm5, %xmm1 ; SSE41-NEXT: por %xmm1, %xmm0
; SSE41-NEXT: psllw $2, %xmm1 ; SSE41-NEXT: movdqa %xmm0, %xmm1
; SSE41-NEXT: paddw %xmm4, %xmm4 ; SSE41-NEXT: paddw %xmm0, %xmm1
; SSE41-NEXT: movdqa %xmm4, %xmm0 ; SSE41-NEXT: movdqa %xmm2, %xmm4
; SSE41-NEXT: pblendvb %xmm0, %xmm1, %xmm5
; SSE41-NEXT: movdqa %xmm5, %xmm1
; SSE41-NEXT: psllw $1, %xmm1
; SSE41-NEXT: paddw %xmm4, %xmm4
; SSE41-NEXT: movdqa %xmm4, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm1, %xmm5
; SSE41-NEXT: movdqa %xmm2, %xmm0
; SSE41-NEXT: psllw $12, %xmm0
; SSE41-NEXT: psllw $4, %xmm2
; SSE41-NEXT: por %xmm0, %xmm2
; SSE41-NEXT: movdqa %xmm2, %xmm1
; SSE41-NEXT: paddw %xmm2, %xmm1
; SSE41-NEXT: movdqa %xmm3, %xmm4
; SSE41-NEXT: psrlw $8, %xmm4 ; SSE41-NEXT: psrlw $8, %xmm4
; SSE41-NEXT: movdqa %xmm2, %xmm0 ; SSE41-NEXT: pblendvb %xmm0, %xmm4, %xmm2
; SSE41-NEXT: pblendvb %xmm0, %xmm4, %xmm3 ; SSE41-NEXT: movdqa %xmm2, %xmm4
; SSE41-NEXT: movdqa %xmm3, %xmm2 ; SSE41-NEXT: psrlw $4, %xmm4
; SSE41-NEXT: psrlw $4, %xmm2
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: movdqa %xmm1, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm2, %xmm3 ; SSE41-NEXT: pblendvb %xmm0, %xmm4, %xmm2
; SSE41-NEXT: movdqa %xmm3, %xmm2 ; SSE41-NEXT: movdqa %xmm2, %xmm4
; SSE41-NEXT: psrlw $2, %xmm2 ; SSE41-NEXT: psrlw $2, %xmm4
; SSE41-NEXT: paddw %xmm1, %xmm1 ; SSE41-NEXT: paddw %xmm1, %xmm1
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: movdqa %xmm1, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm2, %xmm3 ; SSE41-NEXT: pblendvb %xmm0, %xmm4, %xmm2
; SSE41-NEXT: movdqa %xmm3, %xmm2 ; SSE41-NEXT: movdqa %xmm2, %xmm4
; SSE41-NEXT: psrlw $1, %xmm2 ; SSE41-NEXT: psrlw $1, %xmm4
; SSE41-NEXT: paddw %xmm1, %xmm1 ; SSE41-NEXT: paddw %xmm1, %xmm1
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: movdqa %xmm1, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm2, %xmm3 ; SSE41-NEXT: pblendvb %xmm0, %xmm4, %xmm2
; SSE41-NEXT: por %xmm5, %xmm3 ; SSE41-NEXT: por %xmm3, %xmm2
; SSE41-NEXT: movdqa %xmm3, %xmm0 ; SSE41-NEXT: movdqa %xmm2, %xmm0
; SSE41-NEXT: retq ; SSE41-NEXT: retq
; ;
; AVX1-LABEL: var_rotate_v8i16: ; AVX1-LABEL: var_rotate_v8i16:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16] ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; AVX1-NEXT: vpsubw %xmm1, %xmm2, %xmm2 ; AVX1-NEXT: vpsubw %xmm1, %xmm2, %xmm2
; AVX1-NEXT: vpsllw $12, %xmm1, %xmm3 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm3 = xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; AVX1-NEXT: vpor %xmm3, %xmm1, %xmm1 ; AVX1-NEXT: vpslld $23, %xmm3, %xmm3
; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm3 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm4 = [1065353216,1065353216,1065353216,1065353216]
; AVX1-NEXT: vpsllw $8, %xmm0, %xmm4 ; AVX1-NEXT: vpaddd %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpblendvb %xmm1, %xmm4, %xmm0, %xmm1 ; AVX1-NEXT: vcvttps2dq %xmm3, %xmm3
; AVX1-NEXT: vpsllw $4, %xmm1, %xmm4 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm1, %xmm1 ; AVX1-NEXT: vpslld $23, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $2, %xmm1, %xmm4 ; AVX1-NEXT: vpaddd %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vcvttps2dq %xmm1, %xmm1
; AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm1, %xmm1 ; AVX1-NEXT: vpackusdw %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $1, %xmm1, %xmm4 ; AVX1-NEXT: vpmullw %xmm1, %xmm0, %xmm1
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $12, %xmm2, %xmm3 ; AVX1-NEXT: vpsllw $12, %xmm2, %xmm3
; AVX1-NEXT: vpsllw $4, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $4, %xmm2, %xmm2
; AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm3 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm3
; AVX1-NEXT: vpsrlw $8, %xmm0, %xmm4 ; AVX1-NEXT: vpsrlw $8, %xmm0, %xmm4
; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm0, %xmm0 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpsrlw $4, %xmm0, %xmm2 ; AVX1-NEXT: vpsrlw $4, %xmm0, %xmm2
; AVX1-NEXT: vpblendvb %xmm3, %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
▲ Show 20 Lines • Show All 47 Lines • ▼ Show 20 Lines
; ;
; XOP-LABEL: var_rotate_v8i16: ; XOP-LABEL: var_rotate_v8i16:
; XOP: # %bb.0: ; XOP: # %bb.0:
; XOP-NEXT: vprotw %xmm1, %xmm0, %xmm0 ; XOP-NEXT: vprotw %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq ; XOP-NEXT: retq
; ;
; X32-SSE-LABEL: var_rotate_v8i16: ; X32-SSE-LABEL: var_rotate_v8i16:
; X32-SSE: # %bb.0: ; X32-SSE: # %bb.0:
; X32-SSE-NEXT: movdqa {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16] ; X32-SSE-NEXT: movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; X32-SSE-NEXT: psubw %xmm1, %xmm3 ; X32-SSE-NEXT: psubw %xmm1, %xmm2
; X32-SSE-NEXT: psllw $12, %xmm1 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
; X32-SSE-NEXT: movdqa %xmm1, %xmm2
; X32-SSE-NEXT: psraw $15, %xmm2
; X32-SSE-NEXT: movdqa %xmm0, %xmm4
; X32-SSE-NEXT: psllw $8, %xmm4
; X32-SSE-NEXT: pand %xmm2, %xmm4
; X32-SSE-NEXT: pandn %xmm0, %xmm2
; X32-SSE-NEXT: por %xmm4, %xmm2
; X32-SSE-NEXT: paddw %xmm1, %xmm1
; X32-SSE-NEXT: movdqa %xmm1, %xmm4
; X32-SSE-NEXT: psraw $15, %xmm4
; X32-SSE-NEXT: movdqa %xmm4, %xmm5
; X32-SSE-NEXT: pandn %xmm2, %xmm5
; X32-SSE-NEXT: psllw $4, %xmm2
; X32-SSE-NEXT: pand %xmm4, %xmm2
; X32-SSE-NEXT: por %xmm5, %xmm2
; X32-SSE-NEXT: paddw %xmm1, %xmm1
; X32-SSE-NEXT: movdqa %xmm1, %xmm4
; X32-SSE-NEXT: psraw $15, %xmm4
; X32-SSE-NEXT: movdqa %xmm4, %xmm5
; X32-SSE-NEXT: pandn %xmm2, %xmm5
; X32-SSE-NEXT: psllw $2, %xmm2
; X32-SSE-NEXT: pand %xmm4, %xmm2
; X32-SSE-NEXT: por %xmm5, %xmm2
; X32-SSE-NEXT: paddw %xmm1, %xmm1
; X32-SSE-NEXT: psraw $15, %xmm1
; X32-SSE-NEXT: movdqa %xmm1, %xmm4 ; X32-SSE-NEXT: movdqa %xmm1, %xmm4
; X32-SSE-NEXT: pandn %xmm2, %xmm4 ; X32-SSE-NEXT: punpckhwd {{.*#+}} xmm4 = xmm4[4],xmm3[4],xmm4[5],xmm3[5],xmm4[6],xmm3[6],xmm4[7],xmm3[7]
; X32-SSE-NEXT: psllw $1, %xmm2 ; X32-SSE-NEXT: pslld $23, %xmm4
; X32-SSE-NEXT: pand %xmm1, %xmm2 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm5 = [1065353216,1065353216,1065353216,1065353216]
; X32-SSE-NEXT: psllw $12, %xmm3 ; X32-SSE-NEXT: paddd %xmm5, %xmm4
; X32-SSE-NEXT: movdqa %xmm3, %xmm1 ; X32-SSE-NEXT: cvttps2dq %xmm4, %xmm4
; X32-SSE-NEXT: psraw $15, %xmm1 ; X32-SSE-NEXT: pshuflw {{.*#+}} xmm4 = xmm4[0,2,2,3,4,5,6,7]
; X32-SSE-NEXT: movdqa %xmm1, %xmm5 ; X32-SSE-NEXT: pshufhw {{.*#+}} xmm4 = xmm4[0,1,2,3,4,6,6,7]
; X32-SSE-NEXT: pandn %xmm0, %xmm5 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; X32-SSE-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; X32-SSE-NEXT: pslld $23, %xmm1
; X32-SSE-NEXT: paddd %xmm5, %xmm1
; X32-SSE-NEXT: cvttps2dq %xmm1, %xmm1
; X32-SSE-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
; X32-SSE-NEXT: pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,6,6,7]
; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; X32-SSE-NEXT: punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm4[0]
; X32-SSE-NEXT: pmullw %xmm0, %xmm1
; X32-SSE-NEXT: psllw $12, %xmm2
; X32-SSE-NEXT: movdqa %xmm2, %xmm3
; X32-SSE-NEXT: psraw $15, %xmm3
; X32-SSE-NEXT: movdqa %xmm3, %xmm4
; X32-SSE-NEXT: pandn %xmm0, %xmm4
; X32-SSE-NEXT: psrlw $8, %xmm0 ; X32-SSE-NEXT: psrlw $8, %xmm0
; X32-SSE-NEXT: pand %xmm1, %xmm0 ; X32-SSE-NEXT: pand %xmm3, %xmm0
; X32-SSE-NEXT: por %xmm5, %xmm0 ; X32-SSE-NEXT: por %xmm4, %xmm0
; X32-SSE-NEXT: paddw %xmm3, %xmm3 ; X32-SSE-NEXT: paddw %xmm2, %xmm2
; X32-SSE-NEXT: movdqa %xmm3, %xmm1 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
; X32-SSE-NEXT: psraw $15, %xmm1 ; X32-SSE-NEXT: psraw $15, %xmm3
; X32-SSE-NEXT: movdqa %xmm1, %xmm5 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
; X32-SSE-NEXT: pandn %xmm0, %xmm5 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
; X32-SSE-NEXT: psrlw $4, %xmm0 ; X32-SSE-NEXT: psrlw $4, %xmm0
; X32-SSE-NEXT: pand %xmm1, %xmm0 ; X32-SSE-NEXT: pand %xmm3, %xmm0
; X32-SSE-NEXT: por %xmm5, %xmm0 ; X32-SSE-NEXT: por %xmm4, %xmm0
; X32-SSE-NEXT: paddw %xmm3, %xmm3 ; X32-SSE-NEXT: paddw %xmm2, %xmm2
; X32-SSE-NEXT: movdqa %xmm3, %xmm1 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
; X32-SSE-NEXT: psraw $15, %xmm1
; X32-SSE-NEXT: movdqa %xmm1, %xmm5
; X32-SSE-NEXT: pandn %xmm0, %xmm5
; X32-SSE-NEXT: psrlw $2, %xmm0
; X32-SSE-NEXT: pand %xmm1, %xmm0
; X32-SSE-NEXT: por %xmm5, %xmm0
; X32-SSE-NEXT: paddw %xmm3, %xmm3
; X32-SSE-NEXT: psraw $15, %xmm3 ; X32-SSE-NEXT: psraw $15, %xmm3
; X32-SSE-NEXT: movdqa %xmm3, %xmm1 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
; X32-SSE-NEXT: pandn %xmm0, %xmm1 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
; X32-SSE-NEXT: psrlw $1, %xmm0 ; X32-SSE-NEXT: psrlw $2, %xmm0
; X32-SSE-NEXT: pand %xmm3, %xmm0 ; X32-SSE-NEXT: pand %xmm3, %xmm0
; X32-SSE-NEXT: por %xmm1, %xmm0
; X32-SSE-NEXT: por %xmm4, %xmm0 ; X32-SSE-NEXT: por %xmm4, %xmm0
; X32-SSE-NEXT: por %xmm2, %xmm0 ; X32-SSE-NEXT: paddw %xmm2, %xmm2
; X32-SSE-NEXT: psraw $15, %xmm2
; X32-SSE-NEXT: movdqa %xmm2, %xmm3
; X32-SSE-NEXT: pandn %xmm0, %xmm3
; X32-SSE-NEXT: por %xmm1, %xmm3
; X32-SSE-NEXT: psrlw $1, %xmm0
; X32-SSE-NEXT: pand %xmm2, %xmm0
; X32-SSE-NEXT: por %xmm3, %xmm0
; X32-SSE-NEXT: retl ; X32-SSE-NEXT: retl
%b16 = sub <8 x i16> <i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16>, %b %b16 = sub <8 x i16> <i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16>, %b
%shl = shl <8 x i16> %a, %b %shl = shl <8 x i16> %a, %b
%lshr = lshr <8 x i16> %a, %b16 %lshr = lshr <8 x i16> %a, %b16
%or = or <8 x i16> %shl, %lshr %or = or <8 x i16> %shl, %lshr
ret <8 x i16> %or ret <8 x i16> %or
} }
▲ Show 20 Lines • Show All 1,773 Lines • Show Last 20 Lines

llvm/trunk/test/CodeGen/X86/vector-rotate-256.ll

Show First 20 Lines • Show All 165 Lines • ▼ Show 20 Lines
define <16 x i16> @var_rotate_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind { define <16 x i16> @var_rotate_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind {
; AVX1-LABEL: var_rotate_v16i16: ; AVX1-LABEL: var_rotate_v16i16:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16] ; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16]
; AVX1-NEXT: vpsubw %xmm1, %xmm3, %xmm2 ; AVX1-NEXT: vpsubw %xmm1, %xmm3, %xmm2
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm4 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm4
; AVX1-NEXT: vpsubw %xmm4, %xmm3, %xmm3 ; AVX1-NEXT: vpsubw %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpsllw $12, %xmm4, %xmm5 ; AVX1-NEXT: vpxor %xmm5, %xmm5, %xmm5
; AVX1-NEXT: vpsllw $4, %xmm4, %xmm4 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm6 = xmm4[4],xmm5[4],xmm4[5],xmm5[5],xmm4[6],xmm5[6],xmm4[7],xmm5[7]
; AVX1-NEXT: vpor %xmm5, %xmm4, %xmm5 ; AVX1-NEXT: vpslld $23, %xmm6, %xmm6
; AVX1-NEXT: vpaddw %xmm5, %xmm5, %xmm6 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm7 = [1065353216,1065353216,1065353216,1065353216]
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4 ; AVX1-NEXT: vpaddd %xmm7, %xmm6, %xmm6
; AVX1-NEXT: vpsllw $8, %xmm4, %xmm7 ; AVX1-NEXT: vcvttps2dq %xmm6, %xmm6
; AVX1-NEXT: vpblendvb %xmm5, %xmm7, %xmm4, %xmm5 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero
; AVX1-NEXT: vpsllw $4, %xmm5, %xmm7 ; AVX1-NEXT: vpslld $23, %xmm4, %xmm4
; AVX1-NEXT: vpblendvb %xmm6, %xmm7, %xmm5, %xmm5 ; AVX1-NEXT: vpaddd %xmm7, %xmm4, %xmm4
; AVX1-NEXT: vpsllw $2, %xmm5, %xmm7 ; AVX1-NEXT: vcvttps2dq %xmm4, %xmm4
; AVX1-NEXT: vpaddw %xmm6, %xmm6, %xmm6 ; AVX1-NEXT: vpackusdw %xmm6, %xmm4, %xmm4
; AVX1-NEXT: vpblendvb %xmm6, %xmm7, %xmm5, %xmm5 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm6
; AVX1-NEXT: vpsllw $1, %xmm5, %xmm7 ; AVX1-NEXT: vpmullw %xmm4, %xmm6, %xmm4
; AVX1-NEXT: vpaddw %xmm6, %xmm6, %xmm6 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm5 = xmm1[4],xmm5[4],xmm1[5],xmm5[5],xmm1[6],xmm5[6],xmm1[7],xmm5[7]
; AVX1-NEXT: vpblendvb %xmm6, %xmm7, %xmm5, %xmm5 ; AVX1-NEXT: vpslld $23, %xmm5, %xmm5
; AVX1-NEXT: vpsllw $12, %xmm1, %xmm6 ; AVX1-NEXT: vpaddd %xmm7, %xmm5, %xmm5
; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1 ; AVX1-NEXT: vcvttps2dq %xmm5, %xmm5
; AVX1-NEXT: vpor %xmm6, %xmm1, %xmm1 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm6 ; AVX1-NEXT: vpslld $23, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $8, %xmm0, %xmm7 ; AVX1-NEXT: vpaddd %xmm7, %xmm1, %xmm1
; AVX1-NEXT: vpblendvb %xmm1, %xmm7, %xmm0, %xmm1 ; AVX1-NEXT: vcvttps2dq %xmm1, %xmm1
; AVX1-NEXT: vpsllw $4, %xmm1, %xmm7 ; AVX1-NEXT: vpackusdw %xmm5, %xmm1, %xmm1
; AVX1-NEXT: vpblendvb %xmm6, %xmm7, %xmm1, %xmm1 ; AVX1-NEXT: vpmullw %xmm1, %xmm0, %xmm1
; AVX1-NEXT: vpsllw $2, %xmm1, %xmm7 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm1, %ymm1
; AVX1-NEXT: vpaddw %xmm6, %xmm6, %xmm6 ; AVX1-NEXT: vpsllw $12, %xmm3, %xmm4
; AVX1-NEXT: vpblendvb %xmm6, %xmm7, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $1, %xmm1, %xmm7
; AVX1-NEXT: vpaddw %xmm6, %xmm6, %xmm6
; AVX1-NEXT: vpblendvb %xmm6, %xmm7, %xmm1, %xmm1
; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm1, %ymm1
; AVX1-NEXT: vpsllw $12, %xmm3, %xmm5
; AVX1-NEXT: vpsllw $4, %xmm3, %xmm3 ; AVX1-NEXT: vpsllw $4, %xmm3, %xmm3
; AVX1-NEXT: vpor %xmm5, %xmm3, %xmm3 ; AVX1-NEXT: vpor %xmm4, %xmm3, %xmm3
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm5 ; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm4
; AVX1-NEXT: vpsrlw $8, %xmm4, %xmm6 ; AVX1-NEXT: vpsrlw $8, %xmm6, %xmm5
; AVX1-NEXT: vpblendvb %xmm3, %xmm6, %xmm4, %xmm3 ; AVX1-NEXT: vpblendvb %xmm3, %xmm5, %xmm6, %xmm3
; AVX1-NEXT: vpsrlw $4, %xmm3, %xmm4 ; AVX1-NEXT: vpsrlw $4, %xmm3, %xmm5
; AVX1-NEXT: vpblendvb %xmm5, %xmm4, %xmm3, %xmm3 ; AVX1-NEXT: vpblendvb %xmm4, %xmm5, %xmm3, %xmm3
; AVX1-NEXT: vpsrlw $2, %xmm3, %xmm4 ; AVX1-NEXT: vpsrlw $2, %xmm3, %xmm5
; AVX1-NEXT: vpaddw %xmm5, %xmm5, %xmm5 ; AVX1-NEXT: vpaddw %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpblendvb %xmm5, %xmm4, %xmm3, %xmm3 ; AVX1-NEXT: vpblendvb %xmm4, %xmm5, %xmm3, %xmm3
; AVX1-NEXT: vpsrlw $1, %xmm3, %xmm4 ; AVX1-NEXT: vpsrlw $1, %xmm3, %xmm5
; AVX1-NEXT: vpaddw %xmm5, %xmm5, %xmm5 ; AVX1-NEXT: vpaddw %xmm4, %xmm4, %xmm4
; AVX1-NEXT: vpblendvb %xmm5, %xmm4, %xmm3, %xmm3 ; AVX1-NEXT: vpblendvb %xmm4, %xmm5, %xmm3, %xmm3
; AVX1-NEXT: vpsllw $12, %xmm2, %xmm4 ; AVX1-NEXT: vpsllw $12, %xmm2, %xmm4
; AVX1-NEXT: vpsllw $4, %xmm2, %xmm2 ; AVX1-NEXT: vpsllw $4, %xmm2, %xmm2
; AVX1-NEXT: vpor %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpor %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm4 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm4
; AVX1-NEXT: vpsrlw $8, %xmm0, %xmm5 ; AVX1-NEXT: vpsrlw $8, %xmm0, %xmm5
; AVX1-NEXT: vpblendvb %xmm2, %xmm5, %xmm0, %xmm0 ; AVX1-NEXT: vpblendvb %xmm2, %xmm5, %xmm0, %xmm0
; AVX1-NEXT: vpsrlw $4, %xmm0, %xmm2 ; AVX1-NEXT: vpsrlw $4, %xmm0, %xmm2
; AVX1-NEXT: vpblendvb %xmm4, %xmm2, %xmm0, %xmm0 ; AVX1-NEXT: vpblendvb %xmm4, %xmm2, %xmm0, %xmm0
▲ Show 20 Lines • Show All 1,351 Lines • Show Last 20 Lines

llvm/trunk/test/CodeGen/X86/vector-shift-shl-128.ll

Show First 20 Lines • Show All 151 Lines • ▼ Show 20 Lines
; X32-SSE-NEXT: retl ; X32-SSE-NEXT: retl
%shift = shl <4 x i32> %a, %b %shift = shl <4 x i32> %a, %b
ret <4 x i32> %shift ret <4 x i32> %shift
} }
define <8 x i16> @var_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind { define <8 x i16> @var_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: var_shift_v8i16: ; SSE2-LABEL: var_shift_v8i16:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
; SSE2-NEXT: psllw $12, %xmm1 ; SSE2-NEXT: pxor %xmm2, %xmm2
; SSE2-NEXT: movdqa %xmm1, %xmm2 ; SSE2-NEXT: movdqa %xmm1, %xmm3
; SSE2-NEXT: psraw $15, %xmm2 ; SSE2-NEXT: punpckhwd {{.*#+}} xmm3 = xmm3[4],xmm2[4],xmm3[5],xmm2[5],xmm3[6],xmm2[6],xmm3[7],xmm2[7]
; SSE2-NEXT: movdqa %xmm2, %xmm3 ; SSE2-NEXT: pslld $23, %xmm3
; SSE2-NEXT: pandn %xmm0, %xmm3 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [1065353216,1065353216,1065353216,1065353216]
; SSE2-NEXT: psllw $8, %xmm0 ; SSE2-NEXT: paddd %xmm4, %xmm3
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: cvttps2dq %xmm3, %xmm3
; SSE2-NEXT: por %xmm3, %xmm0 ; SSE2-NEXT: pshuflw {{.*#+}} xmm3 = xmm3[0,2,2,3,4,5,6,7]
; SSE2-NEXT: paddw %xmm1, %xmm1 ; SSE2-NEXT: pshufhw {{.*#+}} xmm3 = xmm3[0,1,2,3,4,6,6,7]
; SSE2-NEXT: movdqa %xmm1, %xmm2 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NEXT: psraw $15, %xmm2 ; SSE2-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
; SSE2-NEXT: movdqa %xmm2, %xmm3 ; SSE2-NEXT: pslld $23, %xmm1
; SSE2-NEXT: pandn %xmm0, %xmm3 ; SSE2-NEXT: paddd %xmm4, %xmm1
; SSE2-NEXT: psllw $4, %xmm0 ; SSE2-NEXT: cvttps2dq %xmm1, %xmm1
; SSE2-NEXT: pand %xmm2, %xmm0 ; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
; SSE2-NEXT: por %xmm3, %xmm0 ; SSE2-NEXT: pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,6,6,7]
; SSE2-NEXT: paddw %xmm1, %xmm1 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NEXT: movdqa %xmm1, %xmm2 ; SSE2-NEXT: punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
; SSE2-NEXT: psraw $15, %xmm2 ; SSE2-NEXT: pmullw %xmm1, %xmm0
; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: pandn %xmm0, %xmm3
; SSE2-NEXT: psllw $2, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm0
; SSE2-NEXT: por %xmm3, %xmm0
; SSE2-NEXT: paddw %xmm1, %xmm1
; SSE2-NEXT: psraw $15, %xmm1
; SSE2-NEXT: movdqa %xmm1, %xmm2
; SSE2-NEXT: pandn %xmm0, %xmm2
; SSE2-NEXT: psllw $1, %xmm0
; SSE2-NEXT: pand %xmm1, %xmm0
; SSE2-NEXT: por %xmm2, %xmm0
; SSE2-NEXT: retq ; SSE2-NEXT: retq
; ;
; SSE41-LABEL: var_shift_v8i16: ; SSE41-LABEL: var_shift_v8i16:
; SSE41: # %bb.0: ; SSE41: # %bb.0:
; SSE41-NEXT: movdqa %xmm0, %xmm2 ; SSE41-NEXT: pxor %xmm2, %xmm2
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: pmovzxwd {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; SSE41-NEXT: psllw $12, %xmm0 ; SSE41-NEXT: punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE41-NEXT: psllw $4, %xmm1 ; SSE41-NEXT: pslld $23, %xmm1
; SSE41-NEXT: por %xmm0, %xmm1 ; SSE41-NEXT: movdqa {{.*#+}} xmm2 = [1065353216,1065353216,1065353216,1065353216]
; SSE41-NEXT: movdqa %xmm1, %xmm3 ; SSE41-NEXT: paddd %xmm2, %xmm1
; SSE41-NEXT: paddw %xmm1, %xmm3 ; SSE41-NEXT: cvttps2dq %xmm1, %xmm1
; SSE41-NEXT: movdqa %xmm2, %xmm4 ; SSE41-NEXT: pslld $23, %xmm3
; SSE41-NEXT: psllw $8, %xmm4 ; SSE41-NEXT: paddd %xmm2, %xmm3
; SSE41-NEXT: movdqa %xmm1, %xmm0 ; SSE41-NEXT: cvttps2dq %xmm3, %xmm2
; SSE41-NEXT: pblendvb %xmm0, %xmm4, %xmm2 ; SSE41-NEXT: packusdw %xmm1, %xmm2
; SSE41-NEXT: movdqa %xmm2, %xmm1 ; SSE41-NEXT: pmullw %xmm2, %xmm0
; SSE41-NEXT: psllw $4, %xmm1
; SSE41-NEXT: movdqa %xmm3, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm1, %xmm2
; SSE41-NEXT: movdqa %xmm2, %xmm1
; SSE41-NEXT: psllw $2, %xmm1
; SSE41-NEXT: paddw %xmm3, %xmm3
; SSE41-NEXT: movdqa %xmm3, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm1, %xmm2
; SSE41-NEXT: movdqa %xmm2, %xmm1
; SSE41-NEXT: psllw $1, %xmm1
; SSE41-NEXT: paddw %xmm3, %xmm3
; SSE41-NEXT: movdqa %xmm3, %xmm0
; SSE41-NEXT: pblendvb %xmm0, %xmm1, %xmm2
; SSE41-NEXT: movdqa %xmm2, %xmm0
; SSE41-NEXT: retq ; SSE41-NEXT: retq
; ;
; AVX1-LABEL: var_shift_v8i16: ; AVX1-LABEL: var_shift_v8i16:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vpsllw $12, %xmm1, %xmm2 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1 ; AVX1-NEXT: vpslld $23, %xmm2, %xmm2
; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm2 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
; AVX1-NEXT: vpsllw $8, %xmm0, %xmm3 ; AVX1-NEXT: vpaddd %xmm3, %xmm2, %xmm2
; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0 ; AVX1-NEXT: vcvttps2dq %xmm2, %xmm2
; AVX1-NEXT: vpsllw $4, %xmm0, %xmm1 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpslld $23, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $2, %xmm0, %xmm1 ; AVX1-NEXT: vpaddd %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2 ; AVX1-NEXT: vcvttps2dq %xmm1, %xmm1
; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0 ; AVX1-NEXT: vpackusdw %xmm2, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $1, %xmm0, %xmm1 ; AVX1-NEXT: vpmullw %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: var_shift_v8i16: ; AVX2-LABEL: var_shift_v8i16:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT: vpsllvd %ymm1, %ymm0, %ymm0 ; AVX2-NEXT: vpsllvd %ymm1, %ymm0, %ymm0
; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31] ; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
Show All 37 Lines
; ;
; AVX512BWVL-LABEL: var_shift_v8i16: ; AVX512BWVL-LABEL: var_shift_v8i16:
; AVX512BWVL: # %bb.0: ; AVX512BWVL: # %bb.0:
; AVX512BWVL-NEXT: vpsllvw %xmm1, %xmm0, %xmm0 ; AVX512BWVL-NEXT: vpsllvw %xmm1, %xmm0, %xmm0
; AVX512BWVL-NEXT: retq ; AVX512BWVL-NEXT: retq
; ;
; X32-SSE-LABEL: var_shift_v8i16: ; X32-SSE-LABEL: var_shift_v8i16:
; X32-SSE: # %bb.0: ; X32-SSE: # %bb.0:
; X32-SSE-NEXT: psllw $12, %xmm1 ; X32-SSE-NEXT: pxor %xmm2, %xmm2
; X32-SSE-NEXT: movdqa %xmm1, %xmm2 ; X32-SSE-NEXT: movdqa %xmm1, %xmm3
; X32-SSE-NEXT: psraw $15, %xmm2 ; X32-SSE-NEXT: punpckhwd {{.*#+}} xmm3 = xmm3[4],xmm2[4],xmm3[5],xmm2[5],xmm3[6],xmm2[6],xmm3[7],xmm2[7]
; X32-SSE-NEXT: movdqa %xmm2, %xmm3 ; X32-SSE-NEXT: pslld $23, %xmm3
; X32-SSE-NEXT: pandn %xmm0, %xmm3 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm4 = [1065353216,1065353216,1065353216,1065353216]
; X32-SSE-NEXT: psllw $8, %xmm0 ; X32-SSE-NEXT: paddd %xmm4, %xmm3
; X32-SSE-NEXT: pand %xmm2, %xmm0 ; X32-SSE-NEXT: cvttps2dq %xmm3, %xmm3
; X32-SSE-NEXT: por %xmm3, %xmm0 ; X32-SSE-NEXT: pshuflw {{.*#+}} xmm3 = xmm3[0,2,2,3,4,5,6,7]
; X32-SSE-NEXT: paddw %xmm1, %xmm1 ; X32-SSE-NEXT: pshufhw {{.*#+}} xmm3 = xmm3[0,1,2,3,4,6,6,7]
; X32-SSE-NEXT: movdqa %xmm1, %xmm2 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; X32-SSE-NEXT: psraw $15, %xmm2 ; X32-SSE-NEXT: punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
; X32-SSE-NEXT: movdqa %xmm2, %xmm3 ; X32-SSE-NEXT: pslld $23, %xmm1
; X32-SSE-NEXT: pandn %xmm0, %xmm3 ; X32-SSE-NEXT: paddd %xmm4, %xmm1
; X32-SSE-NEXT: psllw $4, %xmm0 ; X32-SSE-NEXT: cvttps2dq %xmm1, %xmm1
; X32-SSE-NEXT: pand %xmm2, %xmm0 ; X32-SSE-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
; X32-SSE-NEXT: por %xmm3, %xmm0 ; X32-SSE-NEXT: pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,6,6,7]
; X32-SSE-NEXT: paddw %xmm1, %xmm1 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; X32-SSE-NEXT: movdqa %xmm1, %xmm2 ; X32-SSE-NEXT: punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
; X32-SSE-NEXT: psraw $15, %xmm2 ; X32-SSE-NEXT: pmullw %xmm1, %xmm0
; X32-SSE-NEXT: movdqa %xmm2, %xmm3
; X32-SSE-NEXT: pandn %xmm0, %xmm3
; X32-SSE-NEXT: psllw $2, %xmm0
; X32-SSE-NEXT: pand %xmm2, %xmm0
; X32-SSE-NEXT: por %xmm3, %xmm0
; X32-SSE-NEXT: paddw %xmm1, %xmm1
; X32-SSE-NEXT: psraw $15, %xmm1
; X32-SSE-NEXT: movdqa %xmm1, %xmm2
; X32-SSE-NEXT: pandn %xmm0, %xmm2
; X32-SSE-NEXT: psllw $1, %xmm0
; X32-SSE-NEXT: pand %xmm1, %xmm0
; X32-SSE-NEXT: por %xmm2, %xmm0
; X32-SSE-NEXT: retl ; X32-SSE-NEXT: retl
%shift = shl <8 x i16> %a, %b %shift = shl <8 x i16> %a, %b
ret <8 x i16> %shift ret <8 x i16> %shift
} }
define <16 x i8> @var_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind { define <16 x i8> @var_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: var_shift_v16i8: ; SSE2-LABEL: var_shift_v16i8:
; SSE2: # %bb.0: ; SSE2: # %bb.0:
▲ Show 20 Lines • Show All 919 Lines • Show Last 20 Lines

llvm/trunk/test/CodeGen/X86/vector-shift-shl-256.ll

Show First 20 Lines • Show All 152 Lines • ▼ Show 20 Lines; X32-AVX2-NEXT: retl
%shift = shl <8 x i32> %a, %b %shift = shl <8 x i32> %a, %b
ret <8 x i32> %shift ret <8 x i32> %shift
} }
define <16 x i16> @var_shift_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind { define <16 x i16> @var_shift_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind {
; AVX1-LABEL: var_shift_v16i16: ; AVX1-LABEL: var_shift_v16i16:
; AVX1: # %bb.0: ; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; AVX1-NEXT: vpsllw $12, %xmm2, %xmm3 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpsllw $4, %xmm2, %xmm2 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm4 = xmm2[4],xmm3[4],xmm2[5],xmm3[5],xmm2[6],xmm3[6],xmm2[7],xmm3[7]
; AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $23, %xmm4, %xmm4
; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm3 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm5 = [1065353216,1065353216,1065353216,1065353216]
; AVX1-NEXT: vpaddd %xmm5, %xmm4, %xmm4
; AVX1-NEXT: vcvttps2dq %xmm4, %xmm4
; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero
; AVX1-NEXT: vpslld $23, %xmm2, %xmm2
; AVX1-NEXT: vpaddd %xmm5, %xmm2, %xmm2
; AVX1-NEXT: vcvttps2dq %xmm2, %xmm2
; AVX1-NEXT: vpackusdw %xmm4, %xmm2, %xmm2
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
; AVX1-NEXT: vpsllw $8, %xmm4, %xmm5 ; AVX1-NEXT: vpmullw %xmm2, %xmm4, %xmm2
; AVX1-NEXT: vpblendvb %xmm2, %xmm5, %xmm4, %xmm2 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm3 = xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; AVX1-NEXT: vpsllw $4, %xmm2, %xmm4 ; AVX1-NEXT: vpslld $23, %xmm3, %xmm3
; AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpaddd %xmm5, %xmm3, %xmm3
; AVX1-NEXT: vpsllw $2, %xmm2, %xmm4 ; AVX1-NEXT: vcvttps2dq %xmm3, %xmm3
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpslld $23, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $1, %xmm2, %xmm4 ; AVX1-NEXT: vpaddd %xmm5, %xmm1, %xmm1
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3 ; AVX1-NEXT: vcvttps2dq %xmm1, %xmm1
; AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm2, %xmm2 ; AVX1-NEXT: vpackusdw %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpsllw $12, %xmm1, %xmm3 ; AVX1-NEXT: vpmullw %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1
; AVX1-NEXT: vpor %xmm3, %xmm1, %xmm1
; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm3
; AVX1-NEXT: vpsllw $8, %xmm0, %xmm4
; AVX1-NEXT: vpblendvb %xmm1, %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vpsllw $4, %xmm0, %xmm1
; AVX1-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpsllw $2, %xmm0, %xmm1
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vpsllw $1, %xmm0, %xmm1
; AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3
; AVX1-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
; AVX1-NEXT: retq ; AVX1-NEXT: retq
; ;
; AVX2-LABEL: var_shift_v16i16: ; AVX2-LABEL: var_shift_v16i16:
; AVX2: # %bb.0: ; AVX2: # %bb.0:
; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15] ; AVX2-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
; AVX2-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15] ; AVX2-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
▲ Show 20 Lines • Show All 51 Lines • ▼ Show 20 Lines
; AVX512BWVL-LABEL: var_shift_v16i16: ; AVX512BWVL-LABEL: var_shift_v16i16:
; AVX512BWVL: # %bb.0: ; AVX512BWVL: # %bb.0:
; AVX512BWVL-NEXT: vpsllvw %ymm1, %ymm0, %ymm0 ; AVX512BWVL-NEXT: vpsllvw %ymm1, %ymm0, %ymm0
; AVX512BWVL-NEXT: retq ; AVX512BWVL-NEXT: retq
; ;
; X32-AVX1-LABEL: var_shift_v16i16: ; X32-AVX1-LABEL: var_shift_v16i16:
; X32-AVX1: # %bb.0: ; X32-AVX1: # %bb.0:
; X32-AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2 ; X32-AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
; X32-AVX1-NEXT: vpsllw $12, %xmm2, %xmm3 ; X32-AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
; X32-AVX1-NEXT: vpsllw $4, %xmm2, %xmm2 ; X32-AVX1-NEXT: vpunpckhwd {{.*#+}} xmm4 = xmm2[4],xmm3[4],xmm2[5],xmm3[5],xmm2[6],xmm3[6],xmm2[7],xmm3[7]
; X32-AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2 ; X32-AVX1-NEXT: vpslld $23, %xmm4, %xmm4
; X32-AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm3 ; X32-AVX1-NEXT: vmovdqa {{.*#+}} xmm5 = [1065353216,1065353216,1065353216,1065353216]
; X32-AVX1-NEXT: vpaddd %xmm5, %xmm4, %xmm4
; X32-AVX1-NEXT: vcvttps2dq %xmm4, %xmm4
; X32-AVX1-NEXT: vpmovzxwd {{.*#+}} xmm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero
; X32-AVX1-NEXT: vpslld $23, %xmm2, %xmm2
; X32-AVX1-NEXT: vpaddd %xmm5, %xmm2, %xmm2
; X32-AVX1-NEXT: vcvttps2dq %xmm2, %xmm2
; X32-AVX1-NEXT: vpackusdw %xmm4, %xmm2, %xmm2
; X32-AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4 ; X32-AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
; X32-AVX1-NEXT: vpsllw $8, %xmm4, %xmm5 ; X32-AVX1-NEXT: vpmullw %xmm2, %xmm4, %xmm2
; X32-AVX1-NEXT: vpblendvb %xmm2, %xmm5, %xmm4, %xmm2 ; X32-AVX1-NEXT: vpunpckhwd {{.*#+}} xmm3 = xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; X32-AVX1-NEXT: vpsllw $4, %xmm2, %xmm4 ; X32-AVX1-NEXT: vpslld $23, %xmm3, %xmm3
; X32-AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm2, %xmm2 ; X32-AVX1-NEXT: vpaddd %xmm5, %xmm3, %xmm3
; X32-AVX1-NEXT: vpsllw $2, %xmm2, %xmm4 ; X32-AVX1-NEXT: vcvttps2dq %xmm3, %xmm3
; X32-AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3 ; X32-AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
; X32-AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm2, %xmm2 ; X32-AVX1-NEXT: vpslld $23, %xmm1, %xmm1
; X32-AVX1-NEXT: vpsllw $1, %xmm2, %xmm4 ; X32-AVX1-NEXT: vpaddd %xmm5, %xmm1, %xmm1
; X32-AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3 ; X32-AVX1-NEXT: vcvttps2dq %xmm1, %xmm1
; X32-AVX1-NEXT: vpblendvb %xmm3, %xmm4, %xmm2, %xmm2 ; X32-AVX1-NEXT: vpackusdw %xmm3, %xmm1, %xmm1
; X32-AVX1-NEXT: vpsllw $12, %xmm1, %xmm3 ; X32-AVX1-NEXT: vpmullw %xmm1, %xmm0, %xmm0
; X32-AVX1-NEXT: vpsllw $4, %xmm1, %xmm1
; X32-AVX1-NEXT: vpor %xmm3, %xmm1, %xmm1
; X32-AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm3
; X32-AVX1-NEXT: vpsllw $8, %xmm0, %xmm4
; X32-AVX1-NEXT: vpblendvb %xmm1, %xmm4, %xmm0, %xmm0
; X32-AVX1-NEXT: vpsllw $4, %xmm0, %xmm1
; X32-AVX1-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; X32-AVX1-NEXT: vpsllw $2, %xmm0, %xmm1
; X32-AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3
; X32-AVX1-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; X32-AVX1-NEXT: vpsllw $1, %xmm0, %xmm1
; X32-AVX1-NEXT: vpaddw %xmm3, %xmm3, %xmm3
; X32-AVX1-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; X32-AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0 ; X32-AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
; X32-AVX1-NEXT: retl ; X32-AVX1-NEXT: retl
; ;
; X32-AVX2-LABEL: var_shift_v16i16: ; X32-AVX2-LABEL: var_shift_v16i16:
; X32-AVX2: # %bb.0: ; X32-AVX2: # %bb.0:
; X32-AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; X32-AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
; X32-AVX2-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15] ; X32-AVX2-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
; X32-AVX2-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15] ; X32-AVX2-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
▲ Show 20 Lines • Show All 1,084 Lines • Show Last 20 Lines