[Win][Clang] JITMathIC.h: error: missing 'template' keyword prior to dependent templa...
[WebKit-https.git] / Source / JavaScriptCore / jit / JITMathIC.h
1 /*
2  * Copyright (C) 2016-2018 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #if ENABLE(JIT)
29
30 #include "ArithProfile.h"
31 #include "CCallHelpers.h"
32 #include "JITAddGenerator.h"
33 #include "JITMathICInlineResult.h"
34 #include "JITMulGenerator.h"
35 #include "JITNegGenerator.h"
36 #include "JITSubGenerator.h"
37 #include "LinkBuffer.h"
38 #include "Repatch.h"
39
40 namespace JSC {
41
42 class LinkBuffer;
43
44 struct MathICGenerationState {
45     MacroAssembler::Label fastPathStart;
46     MacroAssembler::Label fastPathEnd;
47     MacroAssembler::Label slowPathStart;
48     MacroAssembler::Call slowPathCall;
49     MacroAssembler::JumpList slowPathJumps;
50     bool shouldSlowPathRepatch;
51 };
52
53 #define ENABLE_MATH_IC_STATS 0
54
55 template <typename GeneratorType, bool(*isProfileEmpty)(ArithProfile&)>
56 class JITMathIC {
57     WTF_MAKE_FAST_ALLOCATED;
58 public:
59     JITMathIC(ArithProfile* arithProfile, Instruction* instruction)
60         : m_arithProfile(arithProfile)
61         , m_instruction(instruction)
62     {
63     }
64
65     CodeLocationLabel<JSInternalPtrTag> doneLocation() { return m_inlineStart.labelAtOffset(m_inlineSize); }
66     CodeLocationLabel<JSInternalPtrTag> slowPathStartLocation() { return m_inlineStart.labelAtOffset(m_deltaFromStartToSlowPathStart); }
67     CodeLocationCall<JSInternalPtrTag> slowPathCallLocation() { return m_inlineStart.callAtOffset(m_deltaFromStartToSlowPathCallLocation); }
68     
69     bool generateInline(CCallHelpers& jit, MathICGenerationState& state, bool shouldEmitProfiling = true)
70     {
71 #if CPU(ARM_TRADITIONAL)
72         // FIXME: Remove this workaround once the proper fixes are landed.
73         // [ARM] Disable Inline Caching on ARMv7 traditional until proper fix
74         // https://bugs.webkit.org/show_bug.cgi?id=159759
75         return false;
76 #endif
77
78         state.fastPathStart = jit.label();
79         size_t startSize = jit.m_assembler.buffer().codeSize();
80
81         if (m_arithProfile) {
82             if (isProfileEmpty(*m_arithProfile)) {
83                 // It looks like the MathIC has yet to execute. We don't want to emit code in this
84                 // case for a couple reasons. First, the operation may never execute, so if we don't emit
85                 // code, it's a win. Second, if the operation does execute, we can emit better code
86                 // once we have an idea about the types.
87                 state.slowPathJumps.append(jit.patchableJump());
88                 size_t inlineSize = jit.m_assembler.buffer().codeSize() - startSize;
89                 ASSERT_UNUSED(inlineSize, static_cast<ptrdiff_t>(inlineSize) <= MacroAssembler::patchableJumpSize());
90                 state.shouldSlowPathRepatch = true;
91                 state.fastPathEnd = jit.label();
92                 ASSERT(!m_generateFastPathOnRepatch); // We should have gathered some observed type info about the types before trying to regenerate again.
93                 m_generateFastPathOnRepatch = true;
94                 return true;
95             }
96         }
97
98         JITMathICInlineResult result = m_generator.generateInline(jit, state, m_arithProfile);
99
100         switch (result) {
101         case JITMathICInlineResult::GeneratedFastPath: {
102             size_t inlineSize = jit.m_assembler.buffer().codeSize() - startSize;
103             if (static_cast<ptrdiff_t>(inlineSize) < MacroAssembler::patchableJumpSize()) {
104                 size_t nopsToEmitInBytes = MacroAssembler::patchableJumpSize() - inlineSize;
105                 jit.emitNops(nopsToEmitInBytes);
106             }
107             state.shouldSlowPathRepatch = true;
108             state.fastPathEnd = jit.label();
109             return true;
110         }
111         case JITMathICInlineResult::GenerateFullSnippet: {
112             MacroAssembler::JumpList endJumpList;
113             bool result = m_generator.generateFastPath(jit, endJumpList, state.slowPathJumps, m_arithProfile, shouldEmitProfiling);
114             if (result) {
115                 state.fastPathEnd = jit.label();
116                 state.shouldSlowPathRepatch = false;
117                 endJumpList.link(&jit);
118                 return true;
119             }
120             return false;
121         }
122         case JITMathICInlineResult::DontGenerate: {
123             return false;
124         }
125         default:
126             ASSERT_NOT_REACHED();
127         }
128
129         return false;
130     }
131
132     void generateOutOfLine(CodeBlock* codeBlock, FunctionPtr<CFunctionPtrTag> callReplacement)
133     {
134         auto linkJumpToOutOfLineSnippet = [&] () {
135             CCallHelpers jit(codeBlock);
136             auto jump = jit.jump();
137             // We don't need a nop sled here because nobody should be jumping into the middle of an IC.
138             bool needsBranchCompaction = false;
139             RELEASE_ASSERT(jit.m_assembler.buffer().codeSize() <= static_cast<size_t>(m_inlineSize));
140             LinkBuffer linkBuffer(jit, m_inlineStart, jit.m_assembler.buffer().codeSize(), JITCompilationMustSucceed, needsBranchCompaction);
141             RELEASE_ASSERT(linkBuffer.isValid());
142             linkBuffer.link(jump, CodeLocationLabel<JITStubRoutinePtrTag>(m_code.code()));
143             FINALIZE_CODE(linkBuffer, NoPtrTag, "JITMathIC: linking constant jump to out of line stub");
144         };
145
146         auto replaceCall = [&] () {
147 #if COMPILER(MSVC) && !COMPILER(CLANG)
148             ftlThunkAwareRepatchCall(codeBlock, slowPathCallLocation().retagged<JSInternalPtrTag>(), callReplacement);
149 #else
150             ftlThunkAwareRepatchCall(codeBlock, slowPathCallLocation().template retagged<JSInternalPtrTag>(), callReplacement);
151 #endif
152         };
153
154         bool shouldEmitProfiling = !JITCode::isOptimizingJIT(codeBlock->jitType());
155
156         if (m_generateFastPathOnRepatch) {
157
158             CCallHelpers jit(codeBlock);
159             MathICGenerationState generationState;
160             bool generatedInline = generateInline(jit, generationState, shouldEmitProfiling);
161
162             // We no longer want to try to regenerate the fast path.
163             m_generateFastPathOnRepatch = false;
164
165             if (generatedInline) {
166                 auto jumpToDone = jit.jump();
167
168                 LinkBuffer linkBuffer(jit, codeBlock, JITCompilationCanFail);
169                 if (!linkBuffer.didFailToAllocate()) {
170                     linkBuffer.link(generationState.slowPathJumps, slowPathStartLocation());
171                     linkBuffer.link(jumpToDone, doneLocation());
172
173                     m_code = FINALIZE_CODE_FOR(
174                         codeBlock, linkBuffer, JITStubRoutinePtrTag, "JITMathIC: generating out of line fast IC snippet");
175
176                     if (!generationState.shouldSlowPathRepatch) {
177                         // We won't need to regenerate, so we can wire the slow path call
178                         // to a non repatching variant.
179                         replaceCall();
180                     }
181
182                     linkJumpToOutOfLineSnippet();
183
184                     return;
185                 }
186             }
187             
188             // We weren't able to generate an out of line fast path.
189             // We just generate the snippet in its full generality.
190         }
191
192         // We rewire to the alternate regardless of whether or not we can allocate the out of line path
193         // because if we fail allocating the out of line path, we don't want to waste time trying to
194         // allocate it in the future.
195         replaceCall();
196
197         {
198             CCallHelpers jit(codeBlock);
199
200             MacroAssembler::JumpList endJumpList; 
201             MacroAssembler::JumpList slowPathJumpList; 
202
203             bool emittedFastPath = m_generator.generateFastPath(jit, endJumpList, slowPathJumpList, m_arithProfile, shouldEmitProfiling);
204             if (!emittedFastPath)
205                 return;
206             endJumpList.append(jit.jump());
207
208             LinkBuffer linkBuffer(jit, codeBlock, JITCompilationCanFail);
209             if (linkBuffer.didFailToAllocate())
210                 return;
211
212             linkBuffer.link(endJumpList, doneLocation());
213             linkBuffer.link(slowPathJumpList, slowPathStartLocation());
214
215             m_code = FINALIZE_CODE_FOR(
216                 codeBlock, linkBuffer, JITStubRoutinePtrTag, "JITMathIC: generating out of line IC snippet");
217         }
218
219         linkJumpToOutOfLineSnippet();
220     }
221
222     void finalizeInlineCode(const MathICGenerationState& state, LinkBuffer& linkBuffer)
223     {
224         CodeLocationLabel<JSInternalPtrTag> start = linkBuffer.locationOf<JSInternalPtrTag>(state.fastPathStart);
225         m_inlineStart = start;
226
227         m_inlineSize = MacroAssembler::differenceBetweenCodePtr(
228             start, linkBuffer.locationOf<NoPtrTag>(state.fastPathEnd));
229         ASSERT(m_inlineSize > 0);
230
231         m_deltaFromStartToSlowPathCallLocation = MacroAssembler::differenceBetweenCodePtr(
232             start, linkBuffer.locationOf<NoPtrTag>(state.slowPathCall));
233         m_deltaFromStartToSlowPathStart = MacroAssembler::differenceBetweenCodePtr(
234             start, linkBuffer.locationOf<NoPtrTag>(state.slowPathStart));
235     }
236
237     ArithProfile* arithProfile() const { return m_arithProfile; }
238     Instruction* instruction() const { return m_instruction; }
239
240 #if ENABLE(MATH_IC_STATS)
241     size_t m_generatedCodeSize { 0 };
242     size_t codeSize() const
243     {
244         size_t result = m_generatedCodeSize;
245         if (m_code)
246             result += m_code.size();
247         return result;
248     }
249 #endif
250
251     ArithProfile* m_arithProfile;
252     Instruction* m_instruction;
253     MacroAssemblerCodeRef<JITStubRoutinePtrTag> m_code;
254     CodeLocationLabel<JSInternalPtrTag> m_inlineStart;
255     int32_t m_inlineSize;
256     int32_t m_deltaFromStartToSlowPathCallLocation;
257     int32_t m_deltaFromStartToSlowPathStart;
258     bool m_generateFastPathOnRepatch { false };
259     GeneratorType m_generator;
260 };
261
262 inline bool isBinaryProfileEmpty(ArithProfile& arithProfile)
263 {
264     return arithProfile.lhsObservedType().isEmpty() || arithProfile.rhsObservedType().isEmpty();
265 }
266 template <typename GeneratorType>
267 class JITBinaryMathIC : public JITMathIC<GeneratorType, isBinaryProfileEmpty> {
268 public:
269     JITBinaryMathIC(ArithProfile* arithProfile, Instruction* instruction)
270         : JITMathIC<GeneratorType, isBinaryProfileEmpty>(arithProfile, instruction)
271     {
272     }
273 };
274
275 typedef JITBinaryMathIC<JITAddGenerator> JITAddIC;
276 typedef JITBinaryMathIC<JITMulGenerator> JITMulIC;
277 typedef JITBinaryMathIC<JITSubGenerator> JITSubIC;
278
279
280 inline bool isUnaryProfileEmpty(ArithProfile& arithProfile)
281 {
282     return arithProfile.lhsObservedType().isEmpty();
283 }
284 template <typename GeneratorType>
285 class JITUnaryMathIC : public JITMathIC<GeneratorType, isUnaryProfileEmpty> {
286 public:
287     JITUnaryMathIC(ArithProfile* arithProfile, Instruction* instruction)
288         : JITMathIC<GeneratorType, isUnaryProfileEmpty>(arithProfile, instruction)
289     {
290     }
291 };
292
293 typedef JITUnaryMathIC<JITNegGenerator> JITNegIC;
294
295 } // namespace JSC
296
297 #endif // ENABLE(JIT)