FTL B3 should be just as fast as FTL LLVM on Octane/crypto
[WebKit-https.git] / Source / JavaScriptCore / b3 / air / AirGenerate.cpp
1 /*
2  * Copyright (C) 2015-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "AirGenerate.h"
28
29 #if ENABLE(B3_JIT)
30
31 #include "AirAllocateStack.h"
32 #include "AirCode.h"
33 #include "AirEliminateDeadCode.h"
34 #include "AirFixObviousSpills.h"
35 #include "AirFixPartialRegisterStalls.h"
36 #include "AirGenerationContext.h"
37 #include "AirHandleCalleeSaves.h"
38 #include "AirIteratedRegisterCoalescing.h"
39 #include "AirLogRegisterPressure.h"
40 #include "AirLowerAfterRegAlloc.h"
41 #include "AirLowerMacros.h"
42 #include "AirOpcodeUtils.h"
43 #include "AirOptimizeBlockOrder.h"
44 #include "AirReportUsedRegisters.h"
45 #include "AirSimplifyCFG.h"
46 #include "AirSpillEverything.h"
47 #include "AirValidate.h"
48 #include "B3Common.h"
49 #include "B3IndexMap.h"
50 #include "B3TimingScope.h"
51 #include "CCallHelpers.h"
52 #include "DisallowMacroScratchRegisterUsage.h"
53
54 namespace JSC { namespace B3 { namespace Air {
55
56 void prepareForGeneration(Code& code)
57 {
58     TimingScope timingScope("Air::prepareForGeneration");
59     
60     // We don't expect the incoming code to have predecessors computed.
61     code.resetReachability();
62     
63     if (shouldValidateIR())
64         validate(code);
65
66     // If we're doing super verbose dumping, the phase scope of any phase will already do a dump.
67     if (shouldDumpIR() && !shouldDumpIRAtEachPhase()) {
68         dataLog("Initial air:\n");
69         dataLog(code);
70     }
71
72     lowerMacros(code);
73
74     // This is where we run our optimizations and transformations.
75     // FIXME: Add Air optimizations.
76     // https://bugs.webkit.org/show_bug.cgi?id=150456
77     
78     eliminateDeadCode(code);
79
80     // Register allocation for all the Tmps that do not have a corresponding machine register.
81     // After this phase, every Tmp has a reg.
82     //
83     // For debugging, you can use spillEverything() to put everything to the stack between each Inst.
84     if (Options::airSpillsEverything())
85         spillEverything(code);
86     else
87         iteratedRegisterCoalescing(code);
88
89     if (Options::logAirRegisterPressure()) {
90         dataLog("Register pressure after register allocation:\n");
91         logRegisterPressure(code);
92     }
93
94     // This replaces uses of spill slots with registers or constants if possible. It does this by
95     // minimizing the amount that we perturb the already-chosen register allocation. It may extend
96     // the live ranges of registers though.
97     fixObviousSpills(code);
98
99     lowerAfterRegAlloc(code);
100
101     // Prior to this point the prologue and epilogue is implicit. This makes it explicit. It also
102     // does things like identify which callee-saves we're using and saves them.
103     handleCalleeSaves(code);
104
105     // This turns all Stack and CallArg Args into Addr args that use the frame pointer. It does
106     // this by first-fit allocating stack slots. It should be pretty darn close to optimal, so we
107     // shouldn't have to worry about this very much.
108     allocateStack(code);
109
110     // If we coalesced moves then we can unbreak critical edges. This is the main reason for this
111     // phase.
112     simplifyCFG(code);
113
114     // This sorts the basic blocks in Code to achieve an ordering that maximizes the likelihood that a high
115     // frequency successor is also the fall-through target.
116     optimizeBlockOrder(code);
117
118     // This is needed to satisfy a requirement of B3::StackmapValue.
119     reportUsedRegisters(code);
120
121     // Attempt to remove false dependencies between instructions created by partial register changes.
122     // This must be executed as late as possible as it depends on the instructions order and register
123     // use. We _must_ run this after reportUsedRegisters(), since that kills variable assignments
124     // that seem dead. Luckily, this phase does not change register liveness, so that's OK.
125     fixPartialRegisterStalls(code);
126
127     if (shouldValidateIR())
128         validate(code);
129
130     // Do a final dump of Air. Note that we have to do this even if we are doing per-phase dumping,
131     // since the final generation is not a phase.
132     if (shouldDumpIR()) {
133         dataLog("Air after ", code.lastPhaseName(), ", before generation:\n");
134         dataLog(code);
135     }
136 }
137
138 void generate(Code& code, CCallHelpers& jit)
139 {
140     TimingScope timingScope("Air::generate");
141
142     DisallowMacroScratchRegisterUsage disallowScratch(jit);
143
144     // And now, we generate code.
145     jit.emitFunctionPrologue();
146     if (code.frameSize())
147         jit.addPtr(CCallHelpers::TrustedImm32(-code.frameSize()), MacroAssembler::stackPointerRegister);
148
149     auto argFor = [&] (const RegisterAtOffset& entry) -> CCallHelpers::Address {
150         return CCallHelpers::Address(GPRInfo::callFrameRegister, entry.offset());
151     };
152     
153     for (const RegisterAtOffset& entry : code.calleeSaveRegisters()) {
154         if (entry.reg().isGPR())
155             jit.storePtr(entry.reg().gpr(), argFor(entry));
156         else
157             jit.storeDouble(entry.reg().fpr(), argFor(entry));
158     }
159
160     GenerationContext context;
161     context.code = &code;
162     IndexMap<BasicBlock, CCallHelpers::Label> blockLabels(code.size());
163     IndexMap<BasicBlock, CCallHelpers::JumpList> blockJumps(code.size());
164
165     auto link = [&] (CCallHelpers::Jump jump, BasicBlock* target) {
166         if (blockLabels[target].isSet()) {
167             jump.linkTo(blockLabels[target], &jit);
168             return;
169         }
170
171         blockJumps[target].append(jump);
172     };
173
174     for (BasicBlock* block : code) {
175         blockJumps[block].link(&jit);
176         blockLabels[block] = jit.label();
177         ASSERT(block->size() >= 1);
178         for (unsigned i = 0; i < block->size() - 1; ++i) {
179             CCallHelpers::Jump jump = block->at(i).generate(jit, context);
180             ASSERT_UNUSED(jump, !jump.isSet());
181         }
182
183         if (block->last().opcode == Jump
184             && block->successorBlock(0) == code.findNextBlock(block))
185             continue;
186
187         if (isReturn(block->last().opcode)) {
188             // We currently don't represent the full prologue/epilogue in Air, so we need to
189             // have this override.
190             if (code.frameSize()) {
191                 for (const RegisterAtOffset& entry : code.calleeSaveRegisters()) {
192                     if (entry.reg().isGPR())
193                         jit.loadPtr(argFor(entry), entry.reg().gpr());
194                     else
195                         jit.loadDouble(argFor(entry), entry.reg().fpr());
196                 }
197                 jit.emitFunctionEpilogue();
198             } else
199                 jit.emitFunctionEpilogueWithEmptyFrame();
200             jit.ret();
201             continue;
202         }
203
204         CCallHelpers::Jump jump = block->last().generate(jit, context);
205         switch (block->numSuccessors()) {
206         case 0:
207             ASSERT(!jump.isSet());
208             break;
209         case 1:
210             link(jump, block->successorBlock(0));
211             break;
212         case 2:
213             link(jump, block->successorBlock(0));
214             if (block->successorBlock(1) != code.findNextBlock(block))
215                 link(jit.jump(), block->successorBlock(1));
216             break;
217         default:
218             RELEASE_ASSERT_NOT_REACHED();
219             break;
220         }
221     }
222
223     for (auto& latePath : context.latePaths)
224         latePath->run(jit, context);
225 }
226
227 } } } // namespace JSC::B3::Air
228
229 #endif // ENABLE(B3_JIT)