This is an archive of the discontinued LLVM Phabricator instance.

Differential D69658

[X86] Enable YMM memcmp with AVX1
AbandonedPublic

Authored by davezarzycki on Oct 31 2019, 3:55 AM.

Details

Reviewers
craig.topper
RKSimon
spatel
Commits
rG04813ded982b: Revert rG0e252ae19ff8d99a59d64442c38eeafa5825d441 : [X86] Enable YMM memcmp…
Summary

Update TargetTransformInfo to allow AVX1 to use YMM registers for memcmp.

This is a follow up to D68632 which enabled XOR compares which made this possible.

Diff Detail

Event Timeline

davezarzycki created this revision.Oct 31 2019, 3:55 AM
spatel accepted this revision.Oct 31 2019, 7:45 AM

LGTM

This revision is now accepted and ready to land.Oct 31 2019, 7:45 AM
davezarzycki closed this revision.Oct 31 2019, 11:08 AM

0e252ae19ff8d99a59d64442c38eeafa5825d441

thakis added a subscriber: thakis.Oct 31 2019, 11:26 AM

Looks like this breaks tests: http://45.33.8.238/linux/2993/step_10.txt

RKSimon reopened this revision.Oct 31 2019, 12:06 PM

@davezarzycki I'm sorry but I've had to revert this - please can you regenerate the broken tests and try again?

This revision is now accepted and ready to land.Oct 31 2019, 12:06 PM
RKSimon requested changes to this revision.Oct 31 2019, 12:07 PM
This revision now requires changes to proceed.Oct 31 2019, 12:07 PM
davezarzycki added a comment.Nov 1 2019, 12:00 AM

Sorry for not running check-all. Fixed: cb6822c9deb63b6c21263b3732e549fdc89c4bbf

davezarzycki abandoned this revision.Nov 5 2019, 3:53 AM

Revision Contents

PathSize
llvm/
lib/
Target/
X86/
5 lines
test/
CodeGen/
X86/
234 lines
96 lines

Diff 227259

lib/Target/X86/X86TargetTransformInfo.cpp

Show First 20 Lines • Show All 3,438 Lines • ▼ Show 20 LinesX86TTIImpl::enableMemCmpExpansion(bool OptSize, bool IsZeroCmp) const {
TTI::MemCmpExpansionOptions Options; TTI::MemCmpExpansionOptions Options;
Options.MaxNumLoads = TLI->getMaxExpandSizeMemcmp(OptSize); Options.MaxNumLoads = TLI->getMaxExpandSizeMemcmp(OptSize);
Options.NumLoadsPerBlock = 2; Options.NumLoadsPerBlock = 2;
if (IsZeroCmp) { if (IsZeroCmp) {
// Only enable vector loads for equality comparison. Right now the vector // Only enable vector loads for equality comparison. Right now the vector
// version is not as fast for three way compare (see #33329). // version is not as fast for three way compare (see #33329).
const unsigned PreferredWidth = ST->getPreferVectorWidth(); const unsigned PreferredWidth = ST->getPreferVectorWidth();
if (PreferredWidth >= 512 && ST->hasAVX512()) Options.LoadSizes.push_back(64); if (PreferredWidth >= 512 && ST->hasAVX512()) Options.LoadSizes.push_back(64);
if (PreferredWidth >= 256 && ST->hasAVX2()) Options.LoadSizes.push_back(32); if (PreferredWidth >= 256 && ST->hasAVX()) Options.LoadSizes.push_back(32);
if (PreferredWidth >= 128 && ST->hasSSE2()) Options.LoadSizes.push_back(16); if (PreferredWidth >= 128 && ST->hasSSE2()) Options.LoadSizes.push_back(16);
// All GPR and vector loads can be unaligned. SIMD compare requires integer // All GPR and vector loads can be unaligned.
// vectors (SSE2/AVX2).
Options.AllowOverlappingLoads = true; Options.AllowOverlappingLoads = true;
} }
if (ST->is64Bit()) { if (ST->is64Bit()) {
Options.LoadSizes.push_back(8); Options.LoadSizes.push_back(8);
} }
Options.LoadSizes.push_back(4); Options.LoadSizes.push_back(4);
Options.LoadSizes.push_back(2); Options.LoadSizes.push_back(2);
Options.LoadSizes.push_back(1); Options.LoadSizes.push_back(1);
▲ Show 20 Lines • Show All 292 Lines • Show Last 20 Lines

test/CodeGen/X86/memcmp-more-load-pairs.ll

Show First 20 Lines • Show All 2,306 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: pxor %xmm1, %xmm0 ; X64-SSE41-NEXT: pxor %xmm1, %xmm0
; X64-SSE41-NEXT: por %xmm2, %xmm0 ; X64-SSE41-NEXT: por %xmm2, %xmm0
; X64-SSE41-NEXT: ptest %xmm0, %xmm0 ; X64-SSE41-NEXT: ptest %xmm0, %xmm0
; X64-SSE41-NEXT: sete %al ; X64-SSE41-NEXT: sete %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length32_eq: ; X64-AVX1-LABEL: length32_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor 16(%rsi), %xmm1, %xmm1 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor (%rsi), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length32_eq: ; X64-AVX2-LABEL: length32_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
; X64-AVX2-NEXT: vptest %ymm0, %ymm0 ; X64-AVX2-NEXT: vptest %ymm0, %ymm0
; X64-AVX2-NEXT: sete %al ; X64-AVX2-NEXT: sete %al
▲ Show 20 Lines • Show All 318 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0 ; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0
; X64-SSE41-NEXT: por %xmm1, %xmm0 ; X64-SSE41-NEXT: por %xmm1, %xmm0
; X64-SSE41-NEXT: ptest %xmm0, %xmm0 ; X64-SSE41-NEXT: ptest %xmm0, %xmm0
; X64-SSE41-NEXT: setne %al ; X64-SSE41-NEXT: setne %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length32_eq_const: ; X64-AVX1-LABEL: length32_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm1, %xmm1 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length32_eq_const: ; X64-AVX2-LABEL: length32_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX2-NEXT: vptest %ymm0, %ymm0 ; X64-AVX2-NEXT: vptest %ymm0, %ymm0
; X64-AVX2-NEXT: setne %al ; X64-AVX2-NEXT: setne %al
▲ Show 20 Lines • Show All 138 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: por %xmm0, %xmm1 ; X64-SSE41-NEXT: por %xmm0, %xmm1
; X64-SSE41-NEXT: por %xmm3, %xmm1 ; X64-SSE41-NEXT: por %xmm3, %xmm1
; X64-SSE41-NEXT: ptest %xmm1, %xmm1 ; X64-SSE41-NEXT: ptest %xmm1, %xmm1
; X64-SSE41-NEXT: sete %al ; X64-SSE41-NEXT: sete %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length48_eq: ; X64-AVX1-LABEL: length48_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vmovups 32(%rdi), %xmm1
; X64-AVX1-NEXT: vmovdqu 32(%rdi), %xmm2 ; X64-AVX1-NEXT: vmovups 32(%rsi), %xmm2
; X64-AVX1-NEXT: vpxor 16(%rsi), %xmm1, %xmm1 ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor (%rsi), %xmm0, %xmm0 ; X64-AVX1-NEXT: vxorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vpxor 32(%rsi), %xmm2, %xmm2 ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length48_eq: ; X64-AVX2-LABEL: length48_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1
; X64-AVX2-NEXT: vmovdqu 32(%rsi), %xmm2 ; X64-AVX2-NEXT: vmovdqu 32(%rsi), %xmm2
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
▲ Show 20 Lines • Show All 304 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: por %xmm1, %xmm2 ; X64-SSE41-NEXT: por %xmm1, %xmm2
; X64-SSE41-NEXT: por %xmm0, %xmm2 ; X64-SSE41-NEXT: por %xmm0, %xmm2
; X64-SSE41-NEXT: ptest %xmm2, %xmm2 ; X64-SSE41-NEXT: ptest %xmm2, %xmm2
; X64-SSE41-NEXT: setne %al ; X64-SSE41-NEXT: setne %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length48_eq_const: ; X64-AVX1-LABEL: length48_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vmovups 32(%rdi), %xmm1
; X64-AVX1-NEXT: vmovdqu 32(%rdi), %xmm2 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm1, %xmm1 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm0, %xmm0 ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm2, %xmm2 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length48_eq_const: ; X64-AVX2-LABEL: length48_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
▲ Show 20 Lines • Show All 163 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: por %xmm0, %xmm2 ; X64-SSE41-NEXT: por %xmm0, %xmm2
; X64-SSE41-NEXT: por %xmm4, %xmm2 ; X64-SSE41-NEXT: por %xmm4, %xmm2
; X64-SSE41-NEXT: ptest %xmm2, %xmm2 ; X64-SSE41-NEXT: ptest %xmm2, %xmm2
; X64-SSE41-NEXT: setne %al ; X64-SSE41-NEXT: setne %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length63_eq: ; X64-AVX1-LABEL: length63_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vmovups 31(%rdi), %ymm1
; X64-AVX1-NEXT: vmovdqu 32(%rdi), %xmm2 ; X64-AVX1-NEXT: vxorps 31(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: vmovdqu 47(%rdi), %xmm3 ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor 47(%rsi), %xmm3, %xmm3 ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor 32(%rsi), %xmm2, %xmm2 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2
; X64-AVX1-NEXT: vpxor 16(%rsi), %xmm1, %xmm1
; X64-AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
; X64-AVX1-NEXT: vpxor (%rsi), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length63_eq: ; X64-AVX2-LABEL: length63_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor 31(%rsi), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor 31(%rsi), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
▲ Show 20 Lines • Show All 180 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0 ; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0
; X64-SSE41-NEXT: por %xmm1, %xmm0 ; X64-SSE41-NEXT: por %xmm1, %xmm0
; X64-SSE41-NEXT: ptest %xmm0, %xmm0 ; X64-SSE41-NEXT: ptest %xmm0, %xmm0
; X64-SSE41-NEXT: sete %al ; X64-SSE41-NEXT: sete %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length63_eq_const: ; X64-AVX1-LABEL: length63_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vmovups 31(%rdi), %ymm1
; X64-AVX1-NEXT: vmovdqu 32(%rdi), %xmm2 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: vmovdqu 47(%rdi), %xmm3 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm3, %xmm3 ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm2, %xmm2 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm1, %xmm1
; X64-AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length63_eq_const: ; X64-AVX2-LABEL: length63_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
▲ Show 20 Lines • Show All 163 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: por %xmm0, %xmm2 ; X64-SSE41-NEXT: por %xmm0, %xmm2
; X64-SSE41-NEXT: por %xmm4, %xmm2 ; X64-SSE41-NEXT: por %xmm4, %xmm2
; X64-SSE41-NEXT: ptest %xmm2, %xmm2 ; X64-SSE41-NEXT: ptest %xmm2, %xmm2
; X64-SSE41-NEXT: setne %al ; X64-SSE41-NEXT: setne %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length64_eq: ; X64-AVX1-LABEL: length64_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: vmovdqu 32(%rdi), %xmm2 ; X64-AVX1-NEXT: vxorps 32(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: vmovdqu 48(%rdi), %xmm3 ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor 48(%rsi), %xmm3, %xmm3 ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor 32(%rsi), %xmm2, %xmm2 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2
; X64-AVX1-NEXT: vpxor 16(%rsi), %xmm1, %xmm1
; X64-AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
; X64-AVX1-NEXT: vpxor (%rsi), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length64_eq: ; X64-AVX2-LABEL: length64_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor 32(%rsi), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor 32(%rsi), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
▲ Show 20 Lines • Show All 195 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0 ; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0
; X64-SSE41-NEXT: por %xmm1, %xmm0 ; X64-SSE41-NEXT: por %xmm1, %xmm0
; X64-SSE41-NEXT: ptest %xmm0, %xmm0 ; X64-SSE41-NEXT: ptest %xmm0, %xmm0
; X64-SSE41-NEXT: sete %al ; X64-SSE41-NEXT: sete %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length64_eq_const: ; X64-AVX1-LABEL: length64_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: vmovdqu 32(%rdi), %xmm2 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: vmovdqu 48(%rdi), %xmm3 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm3, %xmm3 ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm2, %xmm2 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpor %xmm3, %xmm2, %xmm2
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm1, %xmm1
; X64-AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length64_eq_const: ; X64-AVX2-LABEL: length64_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
▲ Show 20 Lines • Show All 86 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: setne %al ; X64-SSE-NEXT: setne %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length96_eq: ; X64-AVX1-LABEL: length96_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $96, %edx ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vmovups 64(%rdi), %ymm2
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps 32(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vxorps 64(%rsi), %ymm2, %ymm2
; X64-AVX1-NEXT: vorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length96_eq: ; X64-AVX2-LABEL: length96_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2 ; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2
; X64-AVX2-NEXT: vpxor 32(%rsi), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor 32(%rsi), %ymm1, %ymm1
▲ Show 20 Lines • Show All 138 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: sete %al ; X64-SSE-NEXT: sete %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length96_eq_const: ; X64-AVX1-LABEL: length96_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $.L.str, %esi ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: movl $96, %edx ; X64-AVX1-NEXT: vmovups 64(%rdi), %ymm2
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm2, %ymm2
; X64-AVX1-NEXT: vorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length96_eq_const: ; X64-AVX2-LABEL: length96_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2 ; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
▲ Show 20 Lines • Show All 99 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: setne %al ; X64-SSE-NEXT: setne %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length127_eq: ; X64-AVX1-LABEL: length127_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $127, %edx ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vmovups 64(%rdi), %ymm2
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vmovups 95(%rdi), %ymm3
; X64-AVX1-NEXT: vxorps 95(%rsi), %ymm3, %ymm3
; X64-AVX1-NEXT: vxorps 64(%rsi), %ymm2, %ymm2
; X64-AVX1-NEXT: vorps %ymm3, %ymm2, %ymm2
; X64-AVX1-NEXT: vxorps 32(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length127_eq: ; X64-AVX2-LABEL: length127_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2 ; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2
; X64-AVX2-NEXT: vmovdqu 95(%rdi), %ymm3 ; X64-AVX2-NEXT: vmovdqu 95(%rdi), %ymm3
▲ Show 20 Lines • Show All 142 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: sete %al ; X64-SSE-NEXT: sete %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length127_eq_const: ; X64-AVX1-LABEL: length127_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $.L.str, %esi ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: movl $127, %edx ; X64-AVX1-NEXT: vmovups 64(%rdi), %ymm2
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vmovups 95(%rdi), %ymm3
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm3, %ymm3
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm2, %ymm2
; X64-AVX1-NEXT: vorps %ymm3, %ymm2, %ymm2
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length127_eq_const: ; X64-AVX2-LABEL: length127_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2 ; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2
; X64-AVX2-NEXT: vmovdqu 95(%rdi), %ymm3 ; X64-AVX2-NEXT: vmovdqu 95(%rdi), %ymm3
▲ Show 20 Lines • Show All 106 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: setne %al ; X64-SSE-NEXT: setne %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length128_eq: ; X64-AVX1-LABEL: length128_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $128, %edx ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vmovups 64(%rdi), %ymm2
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vmovups 96(%rdi), %ymm3
; X64-AVX1-NEXT: vxorps 96(%rsi), %ymm3, %ymm3
; X64-AVX1-NEXT: vxorps 64(%rsi), %ymm2, %ymm2
; X64-AVX1-NEXT: vorps %ymm3, %ymm2, %ymm2
; X64-AVX1-NEXT: vxorps 32(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length128_eq: ; X64-AVX2-LABEL: length128_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2 ; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2
; X64-AVX2-NEXT: vmovdqu 96(%rdi), %ymm3 ; X64-AVX2-NEXT: vmovdqu 96(%rdi), %ymm3
▲ Show 20 Lines • Show All 142 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: sete %al ; X64-SSE-NEXT: sete %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length128_eq_const: ; X64-AVX1-LABEL: length128_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $.L.str, %esi ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: movl $128, %edx ; X64-AVX1-NEXT: vmovups 64(%rdi), %ymm2
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vmovups 96(%rdi), %ymm3
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm3, %ymm3
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm2, %ymm2
; X64-AVX1-NEXT: vorps %ymm3, %ymm2, %ymm2
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length128_eq_const: ; X64-AVX2-LABEL: length128_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2 ; X64-AVX2-NEXT: vmovdqu 64(%rdi), %ymm2
; X64-AVX2-NEXT: vmovdqu 96(%rdi), %ymm3 ; X64-AVX2-NEXT: vmovdqu 96(%rdi), %ymm3
▲ Show 20 Lines • Show All 1,400 Lines • Show Last 20 Lines

test/CodeGen/X86/memcmp.ll

Show First 20 Lines • Show All 2,001 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: pxor %xmm1, %xmm0 ; X64-SSE41-NEXT: pxor %xmm1, %xmm0
; X64-SSE41-NEXT: por %xmm2, %xmm0 ; X64-SSE41-NEXT: por %xmm2, %xmm0
; X64-SSE41-NEXT: ptest %xmm0, %xmm0 ; X64-SSE41-NEXT: ptest %xmm0, %xmm0
; X64-SSE41-NEXT: sete %al ; X64-SSE41-NEXT: sete %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length32_eq: ; X64-AVX1-LABEL: length32_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor 16(%rsi), %xmm1, %xmm1 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor (%rsi), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length32_eq: ; X64-AVX2-LABEL: length32_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
; X64-AVX2-NEXT: vptest %ymm0, %ymm0 ; X64-AVX2-NEXT: vptest %ymm0, %ymm0
; X64-AVX2-NEXT: sete %al ; X64-AVX2-NEXT: sete %al
▲ Show 20 Lines • Show All 258 Lines • ▼ Show 20 Lines
; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0 ; X64-SSE41-NEXT: pxor {{.*}}(%rip), %xmm0
; X64-SSE41-NEXT: por %xmm1, %xmm0 ; X64-SSE41-NEXT: por %xmm1, %xmm0
; X64-SSE41-NEXT: ptest %xmm0, %xmm0 ; X64-SSE41-NEXT: ptest %xmm0, %xmm0
; X64-SSE41-NEXT: setne %al ; X64-SSE41-NEXT: setne %al
; X64-SSE41-NEXT: retq ; X64-SSE41-NEXT: retq
; ;
; X64-AVX1-LABEL: length32_eq_const: ; X64-AVX1-LABEL: length32_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: vmovdqu (%rdi), %xmm0 ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: vmovdqu 16(%rdi), %xmm1 ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm1, %xmm1 ; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: vpxor {{.*}}(%rip), %xmm0, %xmm0
; X64-AVX1-NEXT: vpor %xmm1, %xmm0, %xmm0
; X64-AVX1-NEXT: vptest %xmm0, %xmm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length32_eq_const: ; X64-AVX2-LABEL: length32_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX2-NEXT: vptest %ymm0, %ymm0 ; X64-AVX2-NEXT: vptest %ymm0, %ymm0
; X64-AVX2-NEXT: setne %al ; X64-AVX2-NEXT: setne %al
▲ Show 20 Lines • Show All 62 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: sete %al ; X64-SSE-NEXT: sete %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length48_eq: ; X64-AVX1-LABEL: length48_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $48, %edx ; X64-AVX1-NEXT: vmovups 32(%rdi), %xmm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vmovups 32(%rsi), %xmm2
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vxorps %ymm2, %ymm1, %ymm1
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length48_eq: ; X64-AVX2-LABEL: length48_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1
; X64-AVX2-NEXT: vmovdqu 32(%rsi), %xmm2 ; X64-AVX2-NEXT: vmovdqu 32(%rsi), %xmm2
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
▲ Show 20 Lines • Show All 136 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: setne %al ; X64-SSE-NEXT: setne %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length48_eq_const: ; X64-AVX1-LABEL: length48_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $.L.str, %esi ; X64-AVX1-NEXT: vmovups 32(%rdi), %xmm1
; X64-AVX1-NEXT: movl $48, %edx ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length48_eq_const: ; X64-AVX2-LABEL: length48_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %xmm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
▲ Show 20 Lines • Show All 71 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: setne %al ; X64-SSE-NEXT: setne %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length63_eq: ; X64-AVX1-LABEL: length63_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $63, %edx ; X64-AVX1-NEXT: vmovups 31(%rdi), %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vxorps 31(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length63_eq: ; X64-AVX2-LABEL: length63_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor 31(%rsi), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor 31(%rsi), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
▲ Show 20 Lines • Show All 107 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: sete %al ; X64-SSE-NEXT: sete %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length63_eq_const: ; X64-AVX1-LABEL: length63_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $.L.str, %esi ; X64-AVX1-NEXT: vmovups 31(%rdi), %ymm1
; X64-AVX1-NEXT: movl $63, %edx ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length63_eq_const: ; X64-AVX2-LABEL: length63_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 31(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
▲ Show 20 Lines • Show All 71 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: setne %al ; X64-SSE-NEXT: setne %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length64_eq: ; X64-AVX1-LABEL: length64_eq:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $64, %edx ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vxorps 32(%rsi), %ymm1, %ymm1
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vxorps (%rsi), %ymm0, %ymm0
; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: setne %al ; X64-AVX1-NEXT: setne %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length64_eq: ; X64-AVX2-LABEL: length64_eq:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor 32(%rsi), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor 32(%rsi), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor (%rsi), %ymm0, %ymm0
▲ Show 20 Lines • Show All 122 Lines • ▼ Show 20 Lines
; X64-SSE-NEXT: callq memcmp ; X64-SSE-NEXT: callq memcmp
; X64-SSE-NEXT: testl %eax, %eax ; X64-SSE-NEXT: testl %eax, %eax
; X64-SSE-NEXT: sete %al ; X64-SSE-NEXT: sete %al
; X64-SSE-NEXT: popq %rcx ; X64-SSE-NEXT: popq %rcx
; X64-SSE-NEXT: retq ; X64-SSE-NEXT: retq
; ;
; X64-AVX1-LABEL: length64_eq_const: ; X64-AVX1-LABEL: length64_eq_const:
; X64-AVX1: # %bb.0: ; X64-AVX1: # %bb.0:
; X64-AVX1-NEXT: pushq %rax ; X64-AVX1-NEXT: vmovups (%rdi), %ymm0
; X64-AVX1-NEXT: movl $.L.str, %esi ; X64-AVX1-NEXT: vmovups 32(%rdi), %ymm1
; X64-AVX1-NEXT: movl $64, %edx ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX1-NEXT: callq memcmp ; X64-AVX1-NEXT: vxorps {{.*}}(%rip), %ymm0, %ymm0
; X64-AVX1-NEXT: testl %eax, %eax ; X64-AVX1-NEXT: vorps %ymm1, %ymm0, %ymm0
; X64-AVX1-NEXT: vptest %ymm0, %ymm0
; X64-AVX1-NEXT: sete %al ; X64-AVX1-NEXT: sete %al
; X64-AVX1-NEXT: popq %rcx ; X64-AVX1-NEXT: vzeroupper
; X64-AVX1-NEXT: retq ; X64-AVX1-NEXT: retq
; ;
; X64-AVX2-LABEL: length64_eq_const: ; X64-AVX2-LABEL: length64_eq_const:
; X64-AVX2: # %bb.0: ; X64-AVX2: # %bb.0:
; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0 ; X64-AVX2-NEXT: vmovdqu (%rdi), %ymm0
; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1 ; X64-AVX2-NEXT: vmovdqu 32(%rdi), %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm1, %ymm1
; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0 ; X64-AVX2-NEXT: vpxor {{.*}}(%rip), %ymm0, %ymm0
▲ Show 20 Lines • Show All 1,677 Lines • Show Last 20 Lines