Index: lib/Target/AMDGPU/AMDGPUInstructions.td =================================================================== --- lib/Target/AMDGPU/AMDGPUInstructions.td +++ lib/Target/AMDGPU/AMDGPUInstructions.td @@ -146,6 +146,17 @@ [{(void)N; return false;}] >; + +//===----------------------------------------------------------------------===// +// Misc. PatFrags +//===----------------------------------------------------------------------===// + +class HasOneUseBinOp : PatFrag< + (ops node:$src0, node:$src1), + (op $src0, $src1), + [{ return N->hasOneUse(); }] +>; + //===----------------------------------------------------------------------===// // Load/Store Pattern Fragments //===----------------------------------------------------------------------===// @@ -570,6 +581,25 @@ (BIT_ALIGN $src0, $src0, $src1) >; +// This matches 16 permutations of +// max(min(x, y), min(max(x, y), z)) +class IntMed3Pat : Pat< + (max (min_oneuse i32:$src0, i32:$src1), + (min_oneuse (max_oneuse i32:$src0, i32:$src1), i32:$src2)), + (med3Inst $src0, $src1, $src2) +>; + +let Properties = [SDNPCommutative, SDNPAssociative] in { +def smax_oneuse : HasOneUseBinOp; +def smin_oneuse : HasOneUseBinOp; +def umax_oneuse : HasOneUseBinOp; +def umin_oneuse : HasOneUseBinOp; +} // Properties = [SDNPCommutative, SDNPAssociative] + + // 24-bit arithmetic patterns def umul24 : PatFrag <(ops node:$x, node:$y), (mul node:$x, node:$y)>; Index: lib/Target/AMDGPU/SIInstructions.td =================================================================== --- lib/Target/AMDGPU/SIInstructions.td +++ lib/Target/AMDGPU/SIInstructions.td @@ -3187,6 +3187,9 @@ def : SHA256MaPattern ; +def : IntMed3Pat; +def : IntMed3Pat; + //============================================================================// // Assembler aliases //============================================================================// Index: test/CodeGen/AMDGPU/smed3.ll =================================================================== --- test/CodeGen/AMDGPU/smed3.ll +++ test/CodeGen/AMDGPU/smed3.ll @@ -116,5 +116,334 @@ ret void } + +define internal i32 @smin(i32 %x, i32 %y) #2 { + %cmp = icmp slt i32 %x, %y + %sel = select i1 %cmp, i32 %x, i32 %y + ret i32 %sel +} + +define internal i32 @smax(i32 %x, i32 %y) #2 { + %cmp = icmp sgt i32 %x, %y + %sel = select i1 %cmp, i32 %x, i32 %y + ret i32 %sel +} + +define internal i16 @smin16(i16 %x, i16 %y) #2 { + %cmp = icmp slt i16 %x, %y + %sel = select i1 %cmp, i16 %x, i16 %y + ret i16 %sel +} + +define internal i16 @smax16(i16 %x, i16 %y) #2 { + %cmp = icmp sgt i16 %x, %y + %sel = select i1 %cmp, i16 %x, i16 %y + ret i16 %sel +} + +define internal i8 @smin8(i8 %x, i8 %y) #2 { + %cmp = icmp slt i8 %x, %y + %sel = select i1 %cmp, i8 %x, i8 %y + ret i8 %sel +} + +define internal i8 @smax8(i8 %x, i8 %y) #2 { + %cmp = icmp sgt i8 %x, %y + %sel = select i1 %cmp, i8 %x, i8 %y + ret i8 %sel +} + +; 16 combinations + +; 0: max(min(x, y), min(max(x, y), z)) +; 1: max(min(x, y), min(max(y, x), z)) +; 2: max(min(x, y), min(z, max(x, y))) +; 3: max(min(x, y), min(z, max(y, x))) +; 4: max(min(y, x), min(max(x, y), z)) +; 5: max(min(y, x), min(max(y, x), z)) +; 6: max(min(y, x), min(z, max(x, y))) +; 7: max(min(y, x), min(z, max(y, x))) +; +; + commute outermost max + + +; FIXME: In these cases we probably should have used scalar operations +; instead. + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_0: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_0(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_1: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_1(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_2: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_2(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_3: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_3(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_4: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_4(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_5: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_5(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_6: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_6(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_7: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_7(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_8: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_8(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_9: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_9(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_10: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_10(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_11: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_11(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_12: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_12(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_13: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_13(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_14: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_14(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_15: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_15(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %y, i32 %x) + %tmp1 = call i32 @smax(i32 %y, i32 %x) + %tmp2 = call i32 @smin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @smax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i16_pat_0: +; GCN: s_sext_i32_i16 +; GCN: s_sext_i32_i16 +; GCN: s_sext_i32_i16 +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i16_pat_0(i16 addrspace(1)* %arg, i16 %x, i16 %y, i16 %z) #1 { +bb: + %tmp0 = call i16 @smin16(i16 %x, i16 %y) + %tmp1 = call i16 @smax16(i16 %x, i16 %y) + %tmp2 = call i16 @smin16(i16 %tmp1, i16 %z) + %tmp3 = call i16 @smax16(i16 %tmp0, i16 %tmp2) + store i16 %tmp3, i16 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i8_pat_0: +; GCN: s_sext_i32_i8 +; GCN: s_sext_i32_i8 +; GCN: s_sext_i32_i8 +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i8_pat_0(i8 addrspace(1)* %arg, i8 %x, i8 %y, i8 %z) #1 { +bb: + %tmp0 = call i8 @smin8(i8 %x, i8 %y) + %tmp1 = call i8 @smax8(i8 %x, i8 %y) + %tmp2 = call i8 @smin8(i8 %tmp1, i8 %z) + %tmp3 = call i8 @smax8(i8 %tmp0, i8 %tmp2) + store i8 %tmp3, i8 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_0_multi_use_0: +; GCN-NOT: v_med3_i32 +define void @s_test_smed3_i32_pat_0_multi_use_0(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp0, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_0_multi_use_1: +; GCN-NOT: v_med3_i32 +define void @s_test_smed3_i32_pat_0_multi_use_1(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp1, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_0_multi_use_2: +; GCN-NOT: v_med3_i32 +define void @s_test_smed3_i32_pat_0_multi_use_2(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp2, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_smed3_i32_pat_0_multi_use_result: +; GCN: v_med3_i32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_smed3_i32_pat_0_multi_use_result(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @smin(i32 %x, i32 %y) + %tmp1 = call i32 @smax(i32 %x, i32 %y) + %tmp2 = call i32 @smin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @smax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp3, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + attributes #0 = { nounwind readnone } attributes #1 = { nounwind } +attributes #2 = { nounwind readnone alwaysinline } Index: test/CodeGen/AMDGPU/umed3.ll =================================================================== --- test/CodeGen/AMDGPU/umed3.ll +++ test/CodeGen/AMDGPU/umed3.ll @@ -115,5 +115,370 @@ store i16 %i1, i16 addrspace(1)* %outgep ret void } + +define internal i32 @umin(i32 %x, i32 %y) #2 { + %cmp = icmp ult i32 %x, %y + %sel = select i1 %cmp, i32 %x, i32 %y + ret i32 %sel +} + +define internal i32 @umax(i32 %x, i32 %y) #2 { + %cmp = icmp ugt i32 %x, %y + %sel = select i1 %cmp, i32 %x, i32 %y + ret i32 %sel +} + +define internal i16 @umin16(i16 %x, i16 %y) #2 { + %cmp = icmp ult i16 %x, %y + %sel = select i1 %cmp, i16 %x, i16 %y + ret i16 %sel +} + +define internal i16 @umax16(i16 %x, i16 %y) #2 { + %cmp = icmp ugt i16 %x, %y + %sel = select i1 %cmp, i16 %x, i16 %y + ret i16 %sel +} + +define internal i8 @umin8(i8 %x, i8 %y) #2 { + %cmp = icmp ult i8 %x, %y + %sel = select i1 %cmp, i8 %x, i8 %y + ret i8 %sel +} + +define internal i8 @umax8(i8 %x, i8 %y) #2 { + %cmp = icmp ugt i8 %x, %y + %sel = select i1 %cmp, i8 %x, i8 %y + ret i8 %sel +} + +; 16 combinations + +; 0: max(min(x, y), min(max(x, y), z)) +; 1: max(min(x, y), min(max(y, x), z)) +; 2: max(min(x, y), min(z, max(x, y))) +; 3: max(min(x, y), min(z, max(y, x))) +; 4: max(min(y, x), min(max(x, y), z)) +; 5: max(min(y, x), min(max(y, x), z)) +; 6: max(min(y, x), min(z, max(x, y))) +; 7: max(min(y, x), min(z, max(y, x))) +; +; + commute outermost max + + +; FIXME: In these cases we probably should have used scalar operations +; instead. + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_0(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_1: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_1(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_2: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_2(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_3: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_3(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_4: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_4(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_5: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_5(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_6: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_6(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_7: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_7(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_8: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_8(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_9: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_9(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_10: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_10(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_11: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_11(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_12: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_12(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_13: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_13(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_14: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_14(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_15: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_15(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %y, i32 %x) + %tmp1 = call i32 @umax(i32 %y, i32 %x) + %tmp2 = call i32 @umin(i32 %z, i32 %tmp1) + %tmp3 = call i32 @umax(i32 %tmp2, i32 %tmp0) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i16_pat_0: +; GCN: s_and_b32 +; GCN: s_and_b32 +; GCN: s_and_b32 +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i16_pat_0(i16 addrspace(1)* %arg, i16 %x, i16 %y, i16 %z) #1 { +bb: + %tmp0 = call i16 @umin16(i16 %x, i16 %y) + %tmp1 = call i16 @umax16(i16 %x, i16 %y) + %tmp2 = call i16 @umin16(i16 %tmp1, i16 %z) + %tmp3 = call i16 @umax16(i16 %tmp0, i16 %tmp2) + store i16 %tmp3, i16 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i8_pat_0: +; GCN: s_and_b32 +; GCN: s_and_b32 +; GCN: s_and_b32 +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i8_pat_0(i8 addrspace(1)* %arg, i8 %x, i8 %y, i8 %z) #1 { +bb: + %tmp0 = call i8 @umin8(i8 %x, i8 %y) + %tmp1 = call i8 @umax8(i8 %x, i8 %y) + %tmp2 = call i8 @umin8(i8 %tmp1, i8 %z) + %tmp3 = call i8 @umax8(i8 %tmp0, i8 %tmp2) + store i8 %tmp3, i8 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_multi_use_0: +; GCN-NOT: v_med3_u32 +define void @s_test_umed3_i32_pat_0_multi_use_0(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp0, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_multi_use_1: +; GCN-NOT: v_med3_u32 +define void @s_test_umed3_i32_pat_0_multi_use_1(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp1, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_multi_use_2: +; GCN-NOT: v_med3_u32 +define void @s_test_umed3_i32_pat_0_multi_use_2(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp2, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_multi_use_result: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_0_multi_use_result(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store volatile i32 %tmp3, i32 addrspace(1)* %arg + store volatile i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_imm_src0: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, 1, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_0_imm_src0(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 1, i32 %y) + %tmp1 = call i32 @umax(i32 1, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_imm_src1: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, 2, v{{[0-9]+}} +define void @s_test_umed3_i32_pat_0_imm_src1(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 2) + %tmp1 = call i32 @umax(i32 %x, i32 2) + %tmp2 = call i32 @umin(i32 %tmp1, i32 %z) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + +; GCN-LABEL: {{^}}s_test_umed3_i32_pat_0_imm_src2: +; GCN: v_med3_u32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}, 9 +define void @s_test_umed3_i32_pat_0_imm_src2(i32 addrspace(1)* %arg, i32 %x, i32 %y, i32 %z) #1 { +bb: + %tmp0 = call i32 @umin(i32 %x, i32 %y) + %tmp1 = call i32 @umax(i32 %x, i32 %y) + %tmp2 = call i32 @umin(i32 %tmp1, i32 9) + %tmp3 = call i32 @umax(i32 %tmp0, i32 %tmp2) + store i32 %tmp3, i32 addrspace(1)* %arg + ret void +} + attributes #0 = { nounwind readnone } attributes #1 = { nounwind } +attributes #2 = { nounwind readnone alwaysinline }