Templatize CodePtr/Refs/FunctionPtrs with PtrTags.
[WebKit-https.git] / Source / JavaScriptCore / wasm / WasmOMGPlan.cpp
1 /*
2  * Copyright (C) 2017-2018 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "WasmOMGPlan.h"
28
29 #if ENABLE(WEBASSEMBLY)
30
31 #include "B3Compilation.h"
32 #include "B3OpaqueByproducts.h"
33 #include "JSCInlines.h"
34 #include "LinkBuffer.h"
35 #include "WasmB3IRGenerator.h"
36 #include "WasmCallee.h"
37 #include "WasmContext.h"
38 #include "WasmInstance.h"
39 #include "WasmMachineThreads.h"
40 #include "WasmMemory.h"
41 #include "WasmNameSection.h"
42 #include "WasmValidate.h"
43 #include "WasmWorklist.h"
44 #include <wtf/DataLog.h>
45 #include <wtf/Locker.h>
46 #include <wtf/MonotonicTime.h>
47 #include <wtf/StdLibExtras.h>
48 #include <wtf/ThreadMessage.h>
49
50 namespace JSC { namespace Wasm {
51
52 namespace WasmOMGPlanInternal {
53 static const bool verbose = false;
54 }
55
56 OMGPlan::OMGPlan(Context* context, Ref<Module>&& module, uint32_t functionIndex, MemoryMode mode, CompletionTask&& task)
57     : Base(context, makeRef(const_cast<ModuleInformation&>(module->moduleInformation())), WTFMove(task))
58     , m_module(WTFMove(module))
59     , m_codeBlock(*m_module->codeBlockFor(mode))
60     , m_functionIndex(functionIndex)
61 {
62     setMode(mode);
63     ASSERT(m_codeBlock->runnable());
64     ASSERT(m_codeBlock.ptr() == m_module->codeBlockFor(m_mode));
65     dataLogLnIf(WasmOMGPlanInternal::verbose, "Starting OMG plan for ", functionIndex, " of module: ", RawPointer(&m_module.get()));
66 }
67
68 void OMGPlan::work(CompilationEffort)
69 {
70     ASSERT(m_codeBlock->runnable());
71     ASSERT(m_codeBlock.ptr() == m_module->codeBlockFor(mode()));
72     const FunctionLocationInBinary& location = m_moduleInformation->functionLocationInBinary[m_functionIndex];
73     const uint8_t* functionStart = m_moduleInformation->source.data() + location.start;
74     const size_t functionLength = location.end - location.start;
75     ASSERT(functionStart + functionLength <= m_moduleInformation->source.end());
76
77     const uint32_t functionIndexSpace = m_functionIndex + m_module->moduleInformation().importFunctionCount();
78     ASSERT(functionIndexSpace < m_module->moduleInformation().functionIndexSpaceSize());
79
80     SignatureIndex signatureIndex = m_moduleInformation->internalFunctionSignatureIndices[m_functionIndex];
81     const Signature& signature = SignatureInformation::get(signatureIndex);
82     ASSERT(validateFunction(functionStart, functionLength, signature, m_moduleInformation.get()));
83
84     Vector<UnlinkedWasmToWasmCall> unlinkedCalls;
85     CompilationContext context;
86     auto parseAndCompileResult = parseAndCompile(context, functionStart, functionLength, signature, unlinkedCalls, m_moduleInformation.get(), m_mode, CompilationMode::OMGMode, m_functionIndex);
87
88     if (UNLIKELY(!parseAndCompileResult)) {
89         fail(holdLock(m_lock), makeString(parseAndCompileResult.error(), "when trying to tier up ", String::number(m_functionIndex)));
90         return;
91     }
92
93     Entrypoint omgEntrypoint;
94     LinkBuffer linkBuffer(*context.wasmEntrypointJIT, nullptr, JITCompilationCanFail);
95     if (UNLIKELY(linkBuffer.didFailToAllocate())) {
96         Base::fail(holdLock(m_lock), makeString("Out of executable memory while tiering up function at index ", String::number(m_functionIndex)));
97         return;
98     }
99
100     omgEntrypoint.compilation = std::make_unique<B3::Compilation>(
101         FINALIZE_CODE(linkBuffer, B3CompilationPtrTag, "WebAssembly OMG function[%i] %s", m_functionIndex, signature.toString().ascii().data()),
102         WTFMove(context.wasmEntrypointByproducts));
103
104     omgEntrypoint.calleeSaveRegisters = WTFMove(parseAndCompileResult.value()->entrypoint.calleeSaveRegisters);
105
106     MacroAssemblerCodePtr<WasmEntryPtrTag> entrypoint;
107     {
108         ASSERT(m_codeBlock.ptr() == m_module->codeBlockFor(mode()));
109         Ref<Callee> callee = Callee::create(WTFMove(omgEntrypoint), functionIndexSpace, m_moduleInformation->nameSection->get(functionIndexSpace));
110         MacroAssembler::repatchPointer(parseAndCompileResult.value()->calleeMoveLocation, CalleeBits::boxWasm(callee.ptr()));
111         ASSERT(!m_codeBlock->m_optimizedCallees[m_functionIndex]);
112         entrypoint = callee->entrypoint();
113
114         // We want to make sure we publish our callee at the same time as we link our callsites. This enables us to ensure we
115         // always call the fastest code. Any function linked after us will see our new code and the new callsites, which they
116         // will update. It's also ok if they publish their code before we reset the instruction caches because after we release
117         // the lock our code is ready to be published too.
118         LockHolder holder(m_codeBlock->m_lock);
119         m_codeBlock->m_optimizedCallees[m_functionIndex] = WTFMove(callee);
120
121         for (auto& call : unlinkedCalls) {
122             MacroAssemblerCodePtr<WasmEntryPtrTag> entrypoint;
123             if (call.functionIndexSpace < m_module->moduleInformation().importFunctionCount())
124                 entrypoint = m_codeBlock->m_wasmToWasmExitStubs[call.functionIndexSpace].code();
125             else
126                 entrypoint = m_codeBlock->wasmEntrypointCalleeFromFunctionIndexSpace(call.functionIndexSpace).entrypoint().retagged<WasmEntryPtrTag>();
127
128             MacroAssembler::repatchNearCall(call.callLocation, CodeLocationLabel<WasmEntryPtrTag>(entrypoint));
129         }
130         unlinkedCalls = std::exchange(m_codeBlock->m_wasmToWasmCallsites[m_functionIndex], unlinkedCalls);
131     }
132
133     // It's important to make sure we do this before we make any of the code we just compiled visible. If we didn't, we could end up
134     // where we are tiering up some function A to A' and we repatch some function B to call A' instead of A. Another CPU could see
135     // the updates to B but still not have reset its cache of A', which would lead to all kinds of badness.
136     resetInstructionCacheOnAllThreads();
137     WTF::storeStoreFence(); // This probably isn't necessary but it's good to be paranoid.
138
139     m_codeBlock->m_wasmIndirectCallEntryPoints[m_functionIndex] = entrypoint;
140     {
141         LockHolder holder(m_codeBlock->m_lock);
142
143         auto repatchCalls = [&] (const Vector<UnlinkedWasmToWasmCall>&  callsites) {
144             for (auto& call : callsites) {
145                 dataLogLnIf(WasmOMGPlanInternal::verbose, "Considering repatching call at: ", RawPointer(call.callLocation.dataLocation()), " that targets ", call.functionIndexSpace);
146                 if (call.functionIndexSpace == functionIndexSpace) {
147                     dataLogLnIf(WasmOMGPlanInternal::verbose, "Repatching call at: ", RawPointer(call.callLocation.dataLocation()), " to ", RawPointer(entrypoint.executableAddress()));
148                     MacroAssembler::repatchNearCall(call.callLocation, CodeLocationLabel<WasmEntryPtrTag>(entrypoint));
149                 }
150             }
151
152         };
153
154         for (unsigned i = 0; i < m_codeBlock->m_wasmToWasmCallsites.size(); ++i) {
155             if (i != functionIndexSpace)
156                 repatchCalls(m_codeBlock->m_wasmToWasmCallsites[i]);
157         }
158
159         // Make sure we repatch any recursive calls.
160         repatchCalls(unlinkedCalls);
161     }
162
163     dataLogLnIf(WasmOMGPlanInternal::verbose, "Finished with tier up count at: ", m_codeBlock->tierUpCount(m_functionIndex).count());
164     complete(holdLock(m_lock));
165 }
166
167 void OMGPlan::runForIndex(Instance* instance, uint32_t functionIndex)
168 {
169     Wasm::CodeBlock& codeBlock = *instance->codeBlock();
170     ASSERT(instance->memory()->mode() == codeBlock.mode());
171
172     if (codeBlock.tierUpCount(functionIndex).shouldStartTierUp()) {
173         Ref<Plan> plan = adoptRef(*new OMGPlan(instance->context(), Ref<Wasm::Module>(instance->module()), functionIndex, codeBlock.mode(), Plan::dontFinalize()));
174         ensureWorklist().enqueue(plan.copyRef());
175         if (UNLIKELY(!Options::useConcurrentJIT()))
176             plan->waitForCompletion();
177     }
178 }
179
180 } } // namespace JSC::Wasm
181
182 #endif // ENABLE(WEBASSEMBLY)