53d234f3021e139144be6c5ebcb5c3c8c8c6d8af
[WebKit-https.git] / Source / JavaScriptCore / bytecode / CodeBlock.h
1 /*
2  * Copyright (C) 2008-2015 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Cameron Zwarich <cwzwarich@uwaterloo.ca>
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * 1.  Redistributions of source code must retain the above copyright
10  *     notice, this list of conditions and the following disclaimer.
11  * 2.  Redistributions in binary form must reproduce the above copyright
12  *     notice, this list of conditions and the following disclaimer in the
13  *     documentation and/or other materials provided with the distribution.
14  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
15  *     its contributors may be used to endorse or promote products derived
16  *     from this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28  */
29
30 #ifndef CodeBlock_h
31 #define CodeBlock_h
32
33 #include "ArrayProfile.h"
34 #include "ByValInfo.h"
35 #include "BytecodeConventions.h"
36 #include "BytecodeLivenessAnalysis.h"
37 #include "CallLinkInfo.h"
38 #include "CallReturnOffsetToBytecodeOffset.h"
39 #include "CodeBlockHash.h"
40 #include "CodeBlockSet.h"
41 #include "ConcurrentJITLock.h"
42 #include "CodeOrigin.h"
43 #include "CodeType.h"
44 #include "CompactJITCodeMap.h"
45 #include "DFGCommon.h"
46 #include "DFGCommonData.h"
47 #include "DFGExitProfile.h"
48 #include "DeferredCompilationCallback.h"
49 #include "EvalCodeCache.h"
50 #include "ExecutionCounter.h"
51 #include "ExpressionRangeInfo.h"
52 #include "HandlerInfo.h"
53 #include "ObjectAllocationProfile.h"
54 #include "Options.h"
55 #include "PutPropertySlot.h"
56 #include "Instruction.h"
57 #include "JITCode.h"
58 #include "JITWriteBarrier.h"
59 #include "JSGlobalObject.h"
60 #include "JumpTable.h"
61 #include "LLIntCallLinkInfo.h"
62 #include "LazyOperandValueProfile.h"
63 #include "ProfilerCompilation.h"
64 #include "ProfilerJettisonReason.h"
65 #include "RegExpObject.h"
66 #include "StructureStubInfo.h"
67 #include "UnconditionalFinalizer.h"
68 #include "ValueProfile.h"
69 #include "VirtualRegister.h"
70 #include "Watchpoint.h"
71 #include <wtf/Bag.h>
72 #include <wtf/FastMalloc.h>
73 #include <wtf/RefCountedArray.h>
74 #include <wtf/RefPtr.h>
75 #include <wtf/SegmentedVector.h>
76 #include <wtf/Vector.h>
77 #include <wtf/text/WTFString.h>
78
79 namespace JSC {
80
81 class ExecState;
82 class LLIntOffsetsExtractor;
83 class RegisterAtOffsetList;
84 class TypeLocation;
85 class JSModuleEnvironment;
86
87 enum ReoptimizationMode { DontCountReoptimization, CountReoptimization };
88
89 class CodeBlock : public ThreadSafeRefCounted<CodeBlock>, public UnconditionalFinalizer, public WeakReferenceHarvester {
90     WTF_MAKE_FAST_ALLOCATED;
91     friend class BytecodeLivenessAnalysis;
92     friend class JIT;
93     friend class LLIntOffsetsExtractor;
94 public:
95     enum CopyParsedBlockTag { CopyParsedBlock };
96 protected:
97     CodeBlock(CopyParsedBlockTag, CodeBlock& other);
98         
99     CodeBlock(ScriptExecutable* ownerExecutable, UnlinkedCodeBlock*, JSScope*, PassRefPtr<SourceProvider>, unsigned sourceOffset, unsigned firstLineColumnOffset);
100 #if ENABLE(WEBASSEMBLY)
101     CodeBlock(WebAssemblyExecutable* ownerExecutable, VM&, JSGlobalObject*);
102 #endif
103
104     WriteBarrier<JSGlobalObject> m_globalObject;
105     Heap* m_heap;
106
107 public:
108     JS_EXPORT_PRIVATE virtual ~CodeBlock();
109
110     UnlinkedCodeBlock* unlinkedCodeBlock() const { return m_unlinkedCode.get(); }
111
112     CString inferredName() const;
113     CodeBlockHash hash() const;
114     bool hasHash() const;
115     bool isSafeToComputeHash() const;
116     CString hashAsStringIfPossible() const;
117     CString sourceCodeForTools() const; // Not quite the actual source we parsed; this will do things like prefix the source for a function with a reified signature.
118     CString sourceCodeOnOneLine() const; // As sourceCodeForTools(), but replaces all whitespace runs with a single space.
119     void dumpAssumingJITType(PrintStream&, JITCode::JITType) const;
120     void dump(PrintStream&) const;
121
122     int numParameters() const { return m_numParameters; }
123     void setNumParameters(int newValue);
124
125     int* addressOfNumParameters() { return &m_numParameters; }
126     static ptrdiff_t offsetOfNumParameters() { return OBJECT_OFFSETOF(CodeBlock, m_numParameters); }
127
128     CodeBlock* alternative() { return m_alternative.get(); }
129     PassRefPtr<CodeBlock> releaseAlternative() { return m_alternative.release(); }
130     void setAlternative(PassRefPtr<CodeBlock> alternative) { m_alternative = alternative; }
131
132     template <typename Functor> void forEachRelatedCodeBlock(Functor&& functor)
133     {
134         Functor f(std::forward<Functor>(functor));
135         Vector<CodeBlock*, 4> codeBlocks;
136         codeBlocks.append(this);
137
138         while (!codeBlocks.isEmpty()) {
139             CodeBlock* currentCodeBlock = codeBlocks.takeLast();
140             f(currentCodeBlock);
141
142             if (CodeBlock* alternative = currentCodeBlock->alternative())
143                 codeBlocks.append(alternative);
144             if (CodeBlock* osrEntryBlock = currentCodeBlock->specialOSREntryBlockOrNull())
145                 codeBlocks.append(osrEntryBlock);
146         }
147     }
148     
149     CodeSpecializationKind specializationKind() const
150     {
151         return specializationFromIsConstruct(m_isConstructor);
152     }
153     
154     CodeBlock* baselineAlternative();
155     
156     // FIXME: Get rid of this.
157     // https://bugs.webkit.org/show_bug.cgi?id=123677
158     CodeBlock* baselineVersion();
159
160     void clearMarks();
161     void visitAggregate(SlotVisitor&);
162     void visitStrongly(SlotVisitor&);
163
164     void dumpSource();
165     void dumpSource(PrintStream&);
166
167     void dumpBytecode();
168     void dumpBytecode(PrintStream&);
169     void dumpBytecode(
170         PrintStream&, unsigned bytecodeOffset,
171         const StubInfoMap& = StubInfoMap(), const CallLinkInfoMap& = CallLinkInfoMap());
172     void printStructures(PrintStream&, const Instruction*);
173     void printStructure(PrintStream&, const char* name, const Instruction*, int operand);
174
175     bool isStrictMode() const { return m_isStrictMode; }
176     ECMAMode ecmaMode() const { return isStrictMode() ? StrictMode : NotStrictMode; }
177
178     inline bool isKnownNotImmediate(int index)
179     {
180         if (index == m_thisRegister.offset() && !m_isStrictMode)
181             return true;
182
183         if (isConstantRegisterIndex(index))
184             return getConstant(index).isCell();
185
186         return false;
187     }
188
189     ALWAYS_INLINE bool isTemporaryRegisterIndex(int index)
190     {
191         return index >= m_numVars;
192     }
193
194     enum class RequiredHandler {
195         CatchHandler,
196         AnyHandler
197     };
198     HandlerInfo* handlerForBytecodeOffset(unsigned bytecodeOffset, RequiredHandler = RequiredHandler::AnyHandler);
199     unsigned lineNumberForBytecodeOffset(unsigned bytecodeOffset);
200     unsigned columnNumberForBytecodeOffset(unsigned bytecodeOffset);
201     void expressionRangeForBytecodeOffset(unsigned bytecodeOffset, int& divot,
202                                           int& startOffset, int& endOffset, unsigned& line, unsigned& column);
203
204     void getStubInfoMap(const ConcurrentJITLocker&, StubInfoMap& result);
205     void getStubInfoMap(StubInfoMap& result);
206     
207     void getCallLinkInfoMap(const ConcurrentJITLocker&, CallLinkInfoMap& result);
208     void getCallLinkInfoMap(CallLinkInfoMap& result);
209
210     void getByValInfoMap(const ConcurrentJITLocker&, ByValInfoMap& result);
211     void getByValInfoMap(ByValInfoMap& result);
212     
213 #if ENABLE(JIT)
214     StructureStubInfo* addStubInfo(AccessType);
215     Bag<StructureStubInfo>::iterator stubInfoBegin() { return m_stubInfos.begin(); }
216     Bag<StructureStubInfo>::iterator stubInfoEnd() { return m_stubInfos.end(); }
217     
218     // O(n) operation. Use getStubInfoMap() unless you really only intend to get one
219     // stub info.
220     StructureStubInfo* findStubInfo(CodeOrigin);
221
222     ByValInfo* addByValInfo();
223
224     CallLinkInfo* addCallLinkInfo();
225     Bag<CallLinkInfo>::iterator callLinkInfosBegin() { return m_callLinkInfos.begin(); }
226     Bag<CallLinkInfo>::iterator callLinkInfosEnd() { return m_callLinkInfos.end(); }
227
228     // This is a slow function call used primarily for compiling OSR exits in the case
229     // that there had been inlining. Chances are if you want to use this, you're really
230     // looking for a CallLinkInfoMap to amortize the cost of calling this.
231     CallLinkInfo* getCallLinkInfoForBytecodeIndex(unsigned bytecodeIndex);
232 #endif // ENABLE(JIT)
233
234     void unlinkIncomingCalls();
235
236 #if ENABLE(JIT)
237     void linkIncomingCall(ExecState* callerFrame, CallLinkInfo*);
238     void linkIncomingPolymorphicCall(ExecState* callerFrame, PolymorphicCallNode*);
239 #endif // ENABLE(JIT)
240
241     void linkIncomingCall(ExecState* callerFrame, LLIntCallLinkInfo*);
242
243     void setJITCodeMap(std::unique_ptr<CompactJITCodeMap> jitCodeMap)
244     {
245         m_jitCodeMap = WTF::move(jitCodeMap);
246     }
247     CompactJITCodeMap* jitCodeMap()
248     {
249         return m_jitCodeMap.get();
250     }
251     
252     unsigned bytecodeOffset(Instruction* returnAddress)
253     {
254         RELEASE_ASSERT(returnAddress >= instructions().begin() && returnAddress < instructions().end());
255         return static_cast<Instruction*>(returnAddress) - instructions().begin();
256     }
257
258     unsigned numberOfInstructions() const { return m_instructions.size(); }
259     RefCountedArray<Instruction>& instructions() { return m_instructions; }
260     const RefCountedArray<Instruction>& instructions() const { return m_instructions; }
261
262     size_t predictedMachineCodeSize();
263
264     bool usesOpcode(OpcodeID);
265
266     unsigned instructionCount() const { return m_instructions.size(); }
267
268     // Exactly equivalent to codeBlock->ownerExecutable()->installCode(codeBlock);
269     void install();
270     
271     // Exactly equivalent to codeBlock->ownerExecutable()->newReplacementCodeBlockFor(codeBlock->specializationKind())
272     PassRefPtr<CodeBlock> newReplacement();
273     
274     void setJITCode(PassRefPtr<JITCode> code)
275     {
276         ASSERT(m_heap->isDeferred());
277         m_heap->reportExtraMemoryAllocated(code->size());
278         ConcurrentJITLocker locker(m_lock);
279         WTF::storeStoreFence(); // This is probably not needed because the lock will also do something similar, but it's good to be paranoid.
280         m_jitCode = code;
281     }
282     PassRefPtr<JITCode> jitCode() { return m_jitCode; }
283     JITCode::JITType jitType() const
284     {
285         JITCode* jitCode = m_jitCode.get();
286         WTF::loadLoadFence();
287         JITCode::JITType result = JITCode::jitTypeFor(jitCode);
288         WTF::loadLoadFence(); // This probably isn't needed. Oh well, paranoia is good.
289         return result;
290     }
291
292     bool hasBaselineJITProfiling() const
293     {
294         return jitType() == JITCode::BaselineJIT;
295     }
296     
297 #if ENABLE(JIT)
298     virtual CodeBlock* replacement() = 0;
299
300     virtual DFG::CapabilityLevel capabilityLevelInternal() = 0;
301     DFG::CapabilityLevel capabilityLevel();
302     DFG::CapabilityLevel capabilityLevelState() { return m_capabilityLevelState; }
303
304     bool hasOptimizedReplacement(JITCode::JITType typeToReplace);
305     bool hasOptimizedReplacement(); // the typeToReplace is my JITType
306 #endif
307
308     void jettison(Profiler::JettisonReason, ReoptimizationMode = DontCountReoptimization, const FireDetail* = nullptr);
309     
310     ExecutableBase* ownerExecutable() const { return m_ownerExecutable.get(); }
311     ScriptExecutable* ownerScriptExecutable() const { return jsCast<ScriptExecutable*>(m_ownerExecutable.get()); }
312
313     void setVM(VM* vm) { m_vm = vm; }
314     VM* vm() { return m_vm; }
315
316     void setThisRegister(VirtualRegister thisRegister) { m_thisRegister = thisRegister; }
317     VirtualRegister thisRegister() const { return m_thisRegister; }
318
319     bool usesEval() const { return m_unlinkedCode->usesEval(); }
320
321     void setScopeRegister(VirtualRegister scopeRegister)
322     {
323         ASSERT(scopeRegister.isLocal() || !scopeRegister.isValid());
324         m_scopeRegister = scopeRegister;
325     }
326
327     VirtualRegister scopeRegister() const
328     {
329         return m_scopeRegister;
330     }
331
332     void setActivationRegister(VirtualRegister activationRegister)
333     {
334         m_lexicalEnvironmentRegister = activationRegister;
335     }
336
337     VirtualRegister activationRegister() const
338     {
339         ASSERT(m_lexicalEnvironmentRegister.isValid());
340         return m_lexicalEnvironmentRegister;
341     }
342
343     VirtualRegister uncheckedActivationRegister()
344     {
345         return m_lexicalEnvironmentRegister;
346     }
347
348     bool needsActivation() const
349     {
350         ASSERT(m_lexicalEnvironmentRegister.isValid() == m_needsActivation);
351         return m_needsActivation;
352     }
353     
354     CodeType codeType() const
355     {
356         return m_codeType;
357     }
358
359     PutPropertySlot::Context putByIdContext() const
360     {
361         if (codeType() == EvalCode)
362             return PutPropertySlot::PutByIdEval;
363         return PutPropertySlot::PutById;
364     }
365
366     SourceProvider* source() const { return m_source.get(); }
367     unsigned sourceOffset() const { return m_sourceOffset; }
368     unsigned firstLineColumnOffset() const { return m_firstLineColumnOffset; }
369
370     size_t numberOfJumpTargets() const { return m_unlinkedCode->numberOfJumpTargets(); }
371     unsigned jumpTarget(int index) const { return m_unlinkedCode->jumpTarget(index); }
372
373     String nameForRegister(VirtualRegister);
374
375     unsigned numberOfArgumentValueProfiles()
376     {
377         ASSERT(m_numParameters >= 0);
378         ASSERT(m_argumentValueProfiles.size() == static_cast<unsigned>(m_numParameters));
379         return m_argumentValueProfiles.size();
380     }
381     ValueProfile* valueProfileForArgument(unsigned argumentIndex)
382     {
383         ValueProfile* result = &m_argumentValueProfiles[argumentIndex];
384         ASSERT(result->m_bytecodeOffset == -1);
385         return result;
386     }
387
388     unsigned numberOfValueProfiles() { return m_valueProfiles.size(); }
389     ValueProfile* valueProfile(int index) { return &m_valueProfiles[index]; }
390     ValueProfile* valueProfileForBytecodeOffset(int bytecodeOffset);
391     SpeculatedType valueProfilePredictionForBytecodeOffset(const ConcurrentJITLocker& locker, int bytecodeOffset)
392     {
393         return valueProfileForBytecodeOffset(bytecodeOffset)->computeUpdatedPrediction(locker);
394     }
395
396     unsigned totalNumberOfValueProfiles()
397     {
398         return numberOfArgumentValueProfiles() + numberOfValueProfiles();
399     }
400     ValueProfile* getFromAllValueProfiles(unsigned index)
401     {
402         if (index < numberOfArgumentValueProfiles())
403             return valueProfileForArgument(index);
404         return valueProfile(index - numberOfArgumentValueProfiles());
405     }
406
407     RareCaseProfile* addRareCaseProfile(int bytecodeOffset)
408     {
409         m_rareCaseProfiles.append(RareCaseProfile(bytecodeOffset));
410         return &m_rareCaseProfiles.last();
411     }
412     unsigned numberOfRareCaseProfiles() { return m_rareCaseProfiles.size(); }
413     RareCaseProfile* rareCaseProfile(int index) { return &m_rareCaseProfiles[index]; }
414     RareCaseProfile* rareCaseProfileForBytecodeOffset(int bytecodeOffset);
415
416     bool likelyToTakeSlowCase(int bytecodeOffset)
417     {
418         if (!hasBaselineJITProfiling())
419             return false;
420         unsigned value = rareCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
421         return value >= Options::likelyToTakeSlowCaseMinimumCount();
422     }
423
424     bool couldTakeSlowCase(int bytecodeOffset)
425     {
426         if (!hasBaselineJITProfiling())
427             return false;
428         unsigned value = rareCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
429         return value >= Options::couldTakeSlowCaseMinimumCount();
430     }
431
432     RareCaseProfile* addSpecialFastCaseProfile(int bytecodeOffset)
433     {
434         m_specialFastCaseProfiles.append(RareCaseProfile(bytecodeOffset));
435         return &m_specialFastCaseProfiles.last();
436     }
437     unsigned numberOfSpecialFastCaseProfiles() { return m_specialFastCaseProfiles.size(); }
438     RareCaseProfile* specialFastCaseProfile(int index) { return &m_specialFastCaseProfiles[index]; }
439     RareCaseProfile* specialFastCaseProfileForBytecodeOffset(int bytecodeOffset)
440     {
441         return tryBinarySearch<RareCaseProfile, int>(
442             m_specialFastCaseProfiles, m_specialFastCaseProfiles.size(), bytecodeOffset,
443             getRareCaseProfileBytecodeOffset);
444     }
445
446     bool likelyToTakeSpecialFastCase(int bytecodeOffset)
447     {
448         if (!hasBaselineJITProfiling())
449             return false;
450         unsigned specialFastCaseCount = specialFastCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
451         return specialFastCaseCount >= Options::likelyToTakeSlowCaseMinimumCount();
452     }
453
454     bool couldTakeSpecialFastCase(int bytecodeOffset)
455     {
456         if (!hasBaselineJITProfiling())
457             return false;
458         unsigned specialFastCaseCount = specialFastCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
459         return specialFastCaseCount >= Options::couldTakeSlowCaseMinimumCount();
460     }
461
462     bool likelyToTakeDeepestSlowCase(int bytecodeOffset)
463     {
464         if (!hasBaselineJITProfiling())
465             return false;
466         unsigned slowCaseCount = rareCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
467         unsigned specialFastCaseCount = specialFastCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
468         unsigned value = slowCaseCount - specialFastCaseCount;
469         return value >= Options::likelyToTakeSlowCaseMinimumCount();
470     }
471
472     bool likelyToTakeAnySlowCase(int bytecodeOffset)
473     {
474         if (!hasBaselineJITProfiling())
475             return false;
476         unsigned slowCaseCount = rareCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
477         unsigned specialFastCaseCount = specialFastCaseProfileForBytecodeOffset(bytecodeOffset)->m_counter;
478         unsigned value = slowCaseCount + specialFastCaseCount;
479         return value >= Options::likelyToTakeSlowCaseMinimumCount();
480     }
481
482     unsigned numberOfArrayProfiles() const { return m_arrayProfiles.size(); }
483     const ArrayProfileVector& arrayProfiles() { return m_arrayProfiles; }
484     ArrayProfile* addArrayProfile(unsigned bytecodeOffset)
485     {
486         m_arrayProfiles.append(ArrayProfile(bytecodeOffset));
487         return &m_arrayProfiles.last();
488     }
489     ArrayProfile* getArrayProfile(unsigned bytecodeOffset);
490     ArrayProfile* getOrAddArrayProfile(unsigned bytecodeOffset);
491
492     // Exception handling support
493
494     size_t numberOfExceptionHandlers() const { return m_rareData ? m_rareData->m_exceptionHandlers.size() : 0; }
495     HandlerInfo& exceptionHandler(int index) { RELEASE_ASSERT(m_rareData); return m_rareData->m_exceptionHandlers[index]; }
496
497     bool hasExpressionInfo() { return m_unlinkedCode->hasExpressionInfo(); }
498
499 #if ENABLE(DFG_JIT)
500     Vector<CodeOrigin, 0, UnsafeVectorOverflow>& codeOrigins()
501     {
502         return m_jitCode->dfgCommon()->codeOrigins;
503     }
504     
505     // Having code origins implies that there has been some inlining.
506     bool hasCodeOrigins()
507     {
508         return JITCode::isOptimizingJIT(jitType());
509     }
510         
511     bool canGetCodeOrigin(CallSiteIndex index)
512     {
513         if (!hasCodeOrigins())
514             return false;
515         return index.bits() < codeOrigins().size();
516     }
517
518     CodeOrigin codeOrigin(CallSiteIndex index)
519     {
520         return codeOrigins()[index.bits()];
521     }
522
523     bool addFrequentExitSite(const DFG::FrequentExitSite& site)
524     {
525         ASSERT(JITCode::isBaselineCode(jitType()));
526         ConcurrentJITLocker locker(m_lock);
527         return m_exitProfile.add(locker, site);
528     }
529
530     bool hasExitSite(const ConcurrentJITLocker& locker, const DFG::FrequentExitSite& site) const
531     {
532         return m_exitProfile.hasExitSite(locker, site);
533     }
534     bool hasExitSite(const DFG::FrequentExitSite& site) const
535     {
536         ConcurrentJITLocker locker(m_lock);
537         return hasExitSite(locker, site);
538     }
539
540     DFG::ExitProfile& exitProfile() { return m_exitProfile; }
541
542     CompressedLazyOperandValueProfileHolder& lazyOperandValueProfiles()
543     {
544         return m_lazyOperandValueProfiles;
545     }
546 #endif // ENABLE(DFG_JIT)
547
548     // Constant Pool
549 #if ENABLE(DFG_JIT)
550     size_t numberOfIdentifiers() const { return m_unlinkedCode->numberOfIdentifiers() + numberOfDFGIdentifiers(); }
551     size_t numberOfDFGIdentifiers() const
552     {
553         if (!JITCode::isOptimizingJIT(jitType()))
554             return 0;
555
556         return m_jitCode->dfgCommon()->dfgIdentifiers.size();
557     }
558
559     const Identifier& identifier(int index) const
560     {
561         size_t unlinkedIdentifiers = m_unlinkedCode->numberOfIdentifiers();
562         if (static_cast<unsigned>(index) < unlinkedIdentifiers)
563             return m_unlinkedCode->identifier(index);
564         ASSERT(JITCode::isOptimizingJIT(jitType()));
565         return m_jitCode->dfgCommon()->dfgIdentifiers[index - unlinkedIdentifiers];
566     }
567 #else
568     size_t numberOfIdentifiers() const { return m_unlinkedCode->numberOfIdentifiers(); }
569     const Identifier& identifier(int index) const { return m_unlinkedCode->identifier(index); }
570 #endif
571
572     Vector<WriteBarrier<Unknown>>& constants() { return m_constantRegisters; }
573     Vector<SourceCodeRepresentation>& constantsSourceCodeRepresentation() { return m_constantsSourceCodeRepresentation; }
574     unsigned addConstant(JSValue v)
575     {
576         unsigned result = m_constantRegisters.size();
577         m_constantRegisters.append(WriteBarrier<Unknown>());
578         m_constantRegisters.last().set(m_globalObject->vm(), m_ownerExecutable.get(), v);
579         m_constantsSourceCodeRepresentation.append(SourceCodeRepresentation::Other);
580         return result;
581     }
582
583     unsigned addConstantLazily()
584     {
585         unsigned result = m_constantRegisters.size();
586         m_constantRegisters.append(WriteBarrier<Unknown>());
587         m_constantsSourceCodeRepresentation.append(SourceCodeRepresentation::Other);
588         return result;
589     }
590
591     WriteBarrier<Unknown>& constantRegister(int index) { return m_constantRegisters[index - FirstConstantRegisterIndex]; }
592     ALWAYS_INLINE bool isConstantRegisterIndex(int index) const { return index >= FirstConstantRegisterIndex; }
593     ALWAYS_INLINE JSValue getConstant(int index) const { return m_constantRegisters[index - FirstConstantRegisterIndex].get(); }
594     ALWAYS_INLINE SourceCodeRepresentation constantSourceCodeRepresentation(int index) const { return m_constantsSourceCodeRepresentation[index - FirstConstantRegisterIndex]; }
595
596     FunctionExecutable* functionDecl(int index) { return m_functionDecls[index].get(); }
597     int numberOfFunctionDecls() { return m_functionDecls.size(); }
598     FunctionExecutable* functionExpr(int index) { return m_functionExprs[index].get(); }
599     
600     RegExp* regexp(int index) const { return m_unlinkedCode->regexp(index); }
601
602     unsigned numberOfConstantBuffers() const
603     {
604         if (!m_rareData)
605             return 0;
606         return m_rareData->m_constantBuffers.size();
607     }
608     unsigned addConstantBuffer(const Vector<JSValue>& buffer)
609     {
610         createRareDataIfNecessary();
611         unsigned size = m_rareData->m_constantBuffers.size();
612         m_rareData->m_constantBuffers.append(buffer);
613         return size;
614     }
615
616     Vector<JSValue>& constantBufferAsVector(unsigned index)
617     {
618         ASSERT(m_rareData);
619         return m_rareData->m_constantBuffers[index];
620     }
621     JSValue* constantBuffer(unsigned index)
622     {
623         return constantBufferAsVector(index).data();
624     }
625
626     Heap* heap() const { return m_heap; }
627     JSGlobalObject* globalObject() { return m_globalObject.get(); }
628
629     JSGlobalObject* globalObjectFor(CodeOrigin);
630
631     BytecodeLivenessAnalysis& livenessAnalysis()
632     {
633         {
634             ConcurrentJITLocker locker(m_lock);
635             if (!!m_livenessAnalysis)
636                 return *m_livenessAnalysis;
637         }
638         std::unique_ptr<BytecodeLivenessAnalysis> analysis =
639             std::make_unique<BytecodeLivenessAnalysis>(this);
640         {
641             ConcurrentJITLocker locker(m_lock);
642             if (!m_livenessAnalysis)
643                 m_livenessAnalysis = WTF::move(analysis);
644             return *m_livenessAnalysis;
645         }
646     }
647     
648     void validate();
649
650     // Jump Tables
651
652     size_t numberOfSwitchJumpTables() const { return m_rareData ? m_rareData->m_switchJumpTables.size() : 0; }
653     SimpleJumpTable& addSwitchJumpTable() { createRareDataIfNecessary(); m_rareData->m_switchJumpTables.append(SimpleJumpTable()); return m_rareData->m_switchJumpTables.last(); }
654     SimpleJumpTable& switchJumpTable(int tableIndex) { RELEASE_ASSERT(m_rareData); return m_rareData->m_switchJumpTables[tableIndex]; }
655     void clearSwitchJumpTables()
656     {
657         if (!m_rareData)
658             return;
659         m_rareData->m_switchJumpTables.clear();
660     }
661
662     size_t numberOfStringSwitchJumpTables() const { return m_rareData ? m_rareData->m_stringSwitchJumpTables.size() : 0; }
663     StringJumpTable& addStringSwitchJumpTable() { createRareDataIfNecessary(); m_rareData->m_stringSwitchJumpTables.append(StringJumpTable()); return m_rareData->m_stringSwitchJumpTables.last(); }
664     StringJumpTable& stringSwitchJumpTable(int tableIndex) { RELEASE_ASSERT(m_rareData); return m_rareData->m_stringSwitchJumpTables[tableIndex]; }
665
666     EvalCodeCache& evalCodeCache() { createRareDataIfNecessary(); return m_rareData->m_evalCodeCache; }
667
668     enum ShrinkMode {
669         // Shrink prior to generating machine code that may point directly into vectors.
670         EarlyShrink,
671
672         // Shrink after generating machine code, and after possibly creating new vectors
673         // and appending to others. At this time it is not safe to shrink certain vectors
674         // because we would have generated machine code that references them directly.
675         LateShrink
676     };
677     void shrinkToFit(ShrinkMode);
678
679     // Functions for controlling when JITting kicks in, in a mixed mode
680     // execution world.
681
682     bool checkIfJITThresholdReached()
683     {
684         return m_llintExecuteCounter.checkIfThresholdCrossedAndSet(this);
685     }
686
687     void dontJITAnytimeSoon()
688     {
689         m_llintExecuteCounter.deferIndefinitely();
690     }
691
692     void jitAfterWarmUp()
693     {
694         m_llintExecuteCounter.setNewThreshold(Options::thresholdForJITAfterWarmUp(), this);
695     }
696
697     void jitSoon()
698     {
699         m_llintExecuteCounter.setNewThreshold(Options::thresholdForJITSoon(), this);
700     }
701
702     const BaselineExecutionCounter& llintExecuteCounter() const
703     {
704         return m_llintExecuteCounter;
705     }
706
707     // Functions for controlling when tiered compilation kicks in. This
708     // controls both when the optimizing compiler is invoked and when OSR
709     // entry happens. Two triggers exist: the loop trigger and the return
710     // trigger. In either case, when an addition to m_jitExecuteCounter
711     // causes it to become non-negative, the optimizing compiler is
712     // invoked. This includes a fast check to see if this CodeBlock has
713     // already been optimized (i.e. replacement() returns a CodeBlock
714     // that was optimized with a higher tier JIT than this one). In the
715     // case of the loop trigger, if the optimized compilation succeeds
716     // (or has already succeeded in the past) then OSR is attempted to
717     // redirect program flow into the optimized code.
718
719     // These functions are called from within the optimization triggers,
720     // and are used as a single point at which we define the heuristics
721     // for how much warm-up is mandated before the next optimization
722     // trigger files. All CodeBlocks start out with optimizeAfterWarmUp(),
723     // as this is called from the CodeBlock constructor.
724
725     // When we observe a lot of speculation failures, we trigger a
726     // reoptimization. But each time, we increase the optimization trigger
727     // to avoid thrashing.
728     JS_EXPORT_PRIVATE unsigned reoptimizationRetryCounter() const;
729     void countReoptimization();
730 #if ENABLE(JIT)
731     static unsigned numberOfLLIntBaselineCalleeSaveRegisters() { return RegisterSet::llintBaselineCalleeSaveRegisters().numberOfSetRegisters(); }
732     static size_t llintBaselineCalleeSaveSpaceAsVirtualRegisters();
733     size_t calleeSaveSpaceAsVirtualRegisters();
734
735     unsigned numberOfDFGCompiles();
736
737     int32_t codeTypeThresholdMultiplier() const;
738
739     int32_t adjustedCounterValue(int32_t desiredThreshold);
740
741     int32_t* addressOfJITExecuteCounter()
742     {
743         return &m_jitExecuteCounter.m_counter;
744     }
745
746     static ptrdiff_t offsetOfJITExecuteCounter() { return OBJECT_OFFSETOF(CodeBlock, m_jitExecuteCounter) + OBJECT_OFFSETOF(BaselineExecutionCounter, m_counter); }
747     static ptrdiff_t offsetOfJITExecutionActiveThreshold() { return OBJECT_OFFSETOF(CodeBlock, m_jitExecuteCounter) + OBJECT_OFFSETOF(BaselineExecutionCounter, m_activeThreshold); }
748     static ptrdiff_t offsetOfJITExecutionTotalCount() { return OBJECT_OFFSETOF(CodeBlock, m_jitExecuteCounter) + OBJECT_OFFSETOF(BaselineExecutionCounter, m_totalCount); }
749
750     const BaselineExecutionCounter& jitExecuteCounter() const { return m_jitExecuteCounter; }
751
752     unsigned optimizationDelayCounter() const { return m_optimizationDelayCounter; }
753
754     // Check if the optimization threshold has been reached, and if not,
755     // adjust the heuristics accordingly. Returns true if the threshold has
756     // been reached.
757     bool checkIfOptimizationThresholdReached();
758
759     // Call this to force the next optimization trigger to fire. This is
760     // rarely wise, since optimization triggers are typically more
761     // expensive than executing baseline code.
762     void optimizeNextInvocation();
763
764     // Call this to prevent optimization from happening again. Note that
765     // optimization will still happen after roughly 2^29 invocations,
766     // so this is really meant to delay that as much as possible. This
767     // is called if optimization failed, and we expect it to fail in
768     // the future as well.
769     void dontOptimizeAnytimeSoon();
770
771     // Call this to reinitialize the counter to its starting state,
772     // forcing a warm-up to happen before the next optimization trigger
773     // fires. This is called in the CodeBlock constructor. It also
774     // makes sense to call this if an OSR exit occurred. Note that
775     // OSR exit code is code generated, so the value of the execute
776     // counter that this corresponds to is also available directly.
777     void optimizeAfterWarmUp();
778
779     // Call this to force an optimization trigger to fire only after
780     // a lot of warm-up.
781     void optimizeAfterLongWarmUp();
782
783     // Call this to cause an optimization trigger to fire soon, but
784     // not necessarily the next one. This makes sense if optimization
785     // succeeds. Successfuly optimization means that all calls are
786     // relinked to the optimized code, so this only affects call
787     // frames that are still executing this CodeBlock. The value here
788     // is tuned to strike a balance between the cost of OSR entry
789     // (which is too high to warrant making every loop back edge to
790     // trigger OSR immediately) and the cost of executing baseline
791     // code (which is high enough that we don't necessarily want to
792     // have a full warm-up). The intuition for calling this instead of
793     // optimizeNextInvocation() is for the case of recursive functions
794     // with loops. Consider that there may be N call frames of some
795     // recursive function, for a reasonably large value of N. The top
796     // one triggers optimization, and then returns, and then all of
797     // the others return. We don't want optimization to be triggered on
798     // each return, as that would be superfluous. It only makes sense
799     // to trigger optimization if one of those functions becomes hot
800     // in the baseline code.
801     void optimizeSoon();
802
803     void forceOptimizationSlowPathConcurrently();
804
805     void setOptimizationThresholdBasedOnCompilationResult(CompilationResult);
806     
807     uint32_t osrExitCounter() const { return m_osrExitCounter; }
808
809     void countOSRExit() { m_osrExitCounter++; }
810
811     uint32_t* addressOfOSRExitCounter() { return &m_osrExitCounter; }
812
813     static ptrdiff_t offsetOfOSRExitCounter() { return OBJECT_OFFSETOF(CodeBlock, m_osrExitCounter); }
814
815     uint32_t adjustedExitCountThreshold(uint32_t desiredThreshold);
816     uint32_t exitCountThresholdForReoptimization();
817     uint32_t exitCountThresholdForReoptimizationFromLoop();
818     bool shouldReoptimizeNow();
819     bool shouldReoptimizeFromLoopNow();
820
821     void setCalleeSaveRegisters(RegisterSet);
822     void setCalleeSaveRegisters(std::unique_ptr<RegisterAtOffsetList>);
823     
824     RegisterAtOffsetList* calleeSaveRegisters() const { return m_calleeSaveRegisters.get(); }
825 #else // No JIT
826     static unsigned numberOfLLIntBaselineCalleeSaveRegisters() { return 0; }
827     static size_t llintBaselineCalleeSaveSpaceAsVirtualRegisters() { return 0; };
828     void optimizeAfterWarmUp() { }
829     unsigned numberOfDFGCompiles() { return 0; }
830 #endif
831
832     bool shouldOptimizeNow();
833     void updateAllValueProfilePredictions();
834     void updateAllArrayPredictions();
835     void updateAllPredictions();
836
837     void setInstallTime(std::chrono::steady_clock::time_point installTime) { m_installTime = installTime; }
838
839     unsigned frameRegisterCount();
840     int stackPointerOffset();
841
842     bool hasOpDebugForLineAndColumn(unsigned line, unsigned column);
843
844     bool hasDebuggerRequests() const { return m_debuggerRequests; }
845     void* debuggerRequestsAddress() { return &m_debuggerRequests; }
846
847     void addBreakpoint(unsigned numBreakpoints);
848     void removeBreakpoint(unsigned numBreakpoints)
849     {
850         ASSERT(m_numBreakpoints >= numBreakpoints);
851         m_numBreakpoints -= numBreakpoints;
852     }
853
854     enum SteppingMode {
855         SteppingModeDisabled,
856         SteppingModeEnabled
857     };
858     void setSteppingMode(SteppingMode);
859
860     void clearDebuggerRequests()
861     {
862         m_steppingMode = SteppingModeDisabled;
863         m_numBreakpoints = 0;
864     }
865     
866     // FIXME: Make these remaining members private.
867
868     int m_numLocalRegistersForCalleeSaves;
869     int m_numCalleeRegisters;
870     int m_numVars;
871     bool m_isConstructor : 1;
872     
873     // This is intentionally public; it's the responsibility of anyone doing any
874     // of the following to hold the lock:
875     //
876     // - Modifying any inline cache in this code block.
877     //
878     // - Quering any inline cache in this code block, from a thread other than
879     //   the main thread.
880     //
881     // Additionally, it's only legal to modify the inline cache on the main
882     // thread. This means that the main thread can query the inline cache without
883     // locking. This is crucial since executing the inline cache is effectively
884     // "querying" it.
885     //
886     // Another exception to the rules is that the GC can do whatever it wants
887     // without holding any locks, because the GC is guaranteed to wait until any
888     // concurrent compilation threads finish what they're doing.
889     mutable ConcurrentJITLock m_lock;
890     
891     bool m_shouldAlwaysBeInlined; // Not a bitfield because the JIT wants to store to it.
892     bool m_allTransitionsHaveBeenMarked : 1; // Initialized and used on every GC.
893     
894     bool m_didFailFTLCompilation : 1;
895     bool m_hasBeenCompiledWithFTL : 1;
896
897     // Internal methods for use by validation code. It would be private if it wasn't
898     // for the fact that we use it from anonymous namespaces.
899     void beginValidationDidFail();
900     NO_RETURN_DUE_TO_CRASH void endValidationDidFail();
901
902     bool isKnownToBeLiveDuringGC(); // Will only return valid results when called during GC. Assumes that you've already established that the owner executable is live.
903
904     struct RareData {
905         WTF_MAKE_FAST_ALLOCATED;
906     public:
907         Vector<HandlerInfo> m_exceptionHandlers;
908
909         // Buffers used for large array literals
910         Vector<Vector<JSValue>> m_constantBuffers;
911
912         // Jump Tables
913         Vector<SimpleJumpTable> m_switchJumpTables;
914         Vector<StringJumpTable> m_stringSwitchJumpTables;
915
916         EvalCodeCache m_evalCodeCache;
917     };
918
919 protected:
920     virtual void visitWeakReferences(SlotVisitor&) override;
921     virtual void finalizeUnconditionally() override;
922     void finalizeLLIntInlineCaches();
923     void finalizeBaselineJITInlineCaches();
924
925 #if ENABLE(DFG_JIT)
926     void tallyFrequentExitSites();
927 #else
928     void tallyFrequentExitSites() { }
929 #endif
930
931 private:
932     friend class CodeBlockSet;
933     
934     CodeBlock* specialOSREntryBlockOrNull();
935     
936     void noticeIncomingCall(ExecState* callerFrame);
937     
938     double optimizationThresholdScalingFactor();
939
940     void updateAllPredictionsAndCountLiveness(unsigned& numberOfLiveNonArgumentValueProfiles, unsigned& numberOfSamplesInProfiles);
941
942     void setConstantRegisters(const Vector<WriteBarrier<Unknown>>& constants, const Vector<SourceCodeRepresentation>& constantsSourceCodeRepresentation)
943     {
944         ASSERT(constants.size() == constantsSourceCodeRepresentation.size());
945         size_t count = constants.size();
946         m_constantRegisters.resizeToFit(count);
947         for (size_t i = 0; i < count; i++)
948             m_constantRegisters[i].set(*m_vm, ownerExecutable(), constants[i].get());
949         m_constantsSourceCodeRepresentation = constantsSourceCodeRepresentation;
950     }
951
952     void replaceConstant(int index, JSValue value)
953     {
954         ASSERT(isConstantRegisterIndex(index) && static_cast<size_t>(index - FirstConstantRegisterIndex) < m_constantRegisters.size());
955         m_constantRegisters[index - FirstConstantRegisterIndex].set(m_globalObject->vm(), m_ownerExecutable.get(), value);
956     }
957
958     void dumpBytecode(
959         PrintStream&, ExecState*, const Instruction* begin, const Instruction*&,
960         const StubInfoMap& = StubInfoMap(), const CallLinkInfoMap& = CallLinkInfoMap());
961
962     CString registerName(int r) const;
963     CString constantName(int index) const;
964     void printUnaryOp(PrintStream&, ExecState*, int location, const Instruction*&, const char* op);
965     void printBinaryOp(PrintStream&, ExecState*, int location, const Instruction*&, const char* op);
966     void printConditionalJump(PrintStream&, ExecState*, const Instruction*, const Instruction*&, int location, const char* op);
967     void printGetByIdOp(PrintStream&, ExecState*, int location, const Instruction*&);
968     void printGetByIdCacheStatus(PrintStream&, ExecState*, int location, const StubInfoMap&);
969     enum CacheDumpMode { DumpCaches, DontDumpCaches };
970     void printCallOp(PrintStream&, ExecState*, int location, const Instruction*&, const char* op, CacheDumpMode, bool& hasPrintedProfiling, const CallLinkInfoMap&);
971     void printPutByIdOp(PrintStream&, ExecState*, int location, const Instruction*&, const char* op);
972     void printPutByIdCacheStatus(PrintStream&, int location, const StubInfoMap&);
973     void printLocationAndOp(PrintStream&, ExecState*, int location, const Instruction*&, const char* op);
974     void printLocationOpAndRegisterOperand(PrintStream&, ExecState*, int location, const Instruction*& it, const char* op, int operand);
975
976     void beginDumpProfiling(PrintStream&, bool& hasPrintedProfiling);
977     void dumpValueProfiling(PrintStream&, const Instruction*&, bool& hasPrintedProfiling);
978     void dumpArrayProfiling(PrintStream&, const Instruction*&, bool& hasPrintedProfiling);
979     void dumpRareCaseProfile(PrintStream&, const char* name, RareCaseProfile*, bool& hasPrintedProfiling);
980         
981     bool shouldVisitStrongly();
982     bool shouldJettisonDueToWeakReference();
983     bool shouldJettisonDueToOldAge();
984     
985     void propagateTransitions(SlotVisitor&);
986     void determineLiveness(SlotVisitor&);
987         
988     void stronglyVisitStrongReferences(SlotVisitor&);
989     void stronglyVisitWeakReferences(SlotVisitor&);
990     void visitOSRExitTargets(SlotVisitor&);
991
992     std::chrono::milliseconds timeSinceInstall()
993     {
994         return std::chrono::duration_cast<std::chrono::milliseconds>(
995             std::chrono::steady_clock::now() - m_installTime);
996     }
997
998     void createRareDataIfNecessary()
999     {
1000         if (!m_rareData)
1001             m_rareData = std::make_unique<RareData>();
1002     }
1003
1004     void insertBasicBlockBoundariesForControlFlowProfiler(Vector<Instruction, 0, UnsafeVectorOverflow>&);
1005
1006     WriteBarrier<UnlinkedCodeBlock> m_unlinkedCode;
1007     int m_numParameters;
1008     union {
1009         unsigned m_debuggerRequests;
1010         struct {
1011             unsigned m_hasDebuggerStatement : 1;
1012             unsigned m_steppingMode : 1;
1013             unsigned m_numBreakpoints : 30;
1014         };
1015     };
1016     WriteBarrier<ExecutableBase> m_ownerExecutable;
1017     VM* m_vm;
1018
1019     RefCountedArray<Instruction> m_instructions;
1020     VirtualRegister m_thisRegister;
1021     VirtualRegister m_scopeRegister;
1022     VirtualRegister m_lexicalEnvironmentRegister;
1023
1024     bool m_isStrictMode;
1025     bool m_needsActivation;
1026
1027     Atomic<bool> m_visitAggregateHasBeenCalled;
1028     Atomic<bool> m_visitStronglyHasBeenCalled;
1029
1030     RefPtr<SourceProvider> m_source;
1031     unsigned m_sourceOffset;
1032     unsigned m_firstLineColumnOffset;
1033     CodeType m_codeType;
1034
1035     Vector<LLIntCallLinkInfo> m_llintCallLinkInfos;
1036     SentinelLinkedList<LLIntCallLinkInfo, BasicRawSentinelNode<LLIntCallLinkInfo>> m_incomingLLIntCalls;
1037     RefPtr<JITCode> m_jitCode;
1038 #if ENABLE(JIT)
1039     std::unique_ptr<RegisterAtOffsetList> m_calleeSaveRegisters;
1040     Bag<StructureStubInfo> m_stubInfos;
1041     Bag<ByValInfo> m_byValInfos;
1042     Bag<CallLinkInfo> m_callLinkInfos;
1043     SentinelLinkedList<CallLinkInfo, BasicRawSentinelNode<CallLinkInfo>> m_incomingCalls;
1044     SentinelLinkedList<PolymorphicCallNode, BasicRawSentinelNode<PolymorphicCallNode>> m_incomingPolymorphicCalls;
1045 #endif
1046     std::unique_ptr<CompactJITCodeMap> m_jitCodeMap;
1047 #if ENABLE(DFG_JIT)
1048     // This is relevant to non-DFG code blocks that serve as the profiled code block
1049     // for DFG code blocks.
1050     DFG::ExitProfile m_exitProfile;
1051     CompressedLazyOperandValueProfileHolder m_lazyOperandValueProfiles;
1052 #endif
1053     Vector<ValueProfile> m_argumentValueProfiles;
1054     Vector<ValueProfile> m_valueProfiles;
1055     SegmentedVector<RareCaseProfile, 8> m_rareCaseProfiles;
1056     SegmentedVector<RareCaseProfile, 8> m_specialFastCaseProfiles;
1057     Vector<ArrayAllocationProfile> m_arrayAllocationProfiles;
1058     ArrayProfileVector m_arrayProfiles;
1059     Vector<ObjectAllocationProfile> m_objectAllocationProfiles;
1060
1061     // Constant Pool
1062     COMPILE_ASSERT(sizeof(Register) == sizeof(WriteBarrier<Unknown>), Register_must_be_same_size_as_WriteBarrier_Unknown);
1063     // TODO: This could just be a pointer to m_unlinkedCodeBlock's data, but the DFG mutates
1064     // it, so we're stuck with it for now.
1065     Vector<WriteBarrier<Unknown>> m_constantRegisters;
1066     Vector<SourceCodeRepresentation> m_constantsSourceCodeRepresentation;
1067     Vector<WriteBarrier<FunctionExecutable>> m_functionDecls;
1068     Vector<WriteBarrier<FunctionExecutable>> m_functionExprs;
1069
1070     RefPtr<CodeBlock> m_alternative;
1071     
1072     BaselineExecutionCounter m_llintExecuteCounter;
1073
1074     BaselineExecutionCounter m_jitExecuteCounter;
1075     int32_t m_totalJITExecutions;
1076     uint32_t m_osrExitCounter;
1077     uint16_t m_optimizationDelayCounter;
1078     uint16_t m_reoptimizationRetryCounter;
1079
1080     std::chrono::steady_clock::time_point m_installTime;
1081
1082     mutable CodeBlockHash m_hash;
1083
1084     std::unique_ptr<BytecodeLivenessAnalysis> m_livenessAnalysis;
1085
1086     std::unique_ptr<RareData> m_rareData;
1087 #if ENABLE(JIT)
1088     DFG::CapabilityLevel m_capabilityLevelState;
1089 #endif
1090 };
1091
1092 // Program code is not marked by any function, so we make the global object
1093 // responsible for marking it.
1094
1095 class GlobalCodeBlock : public CodeBlock {
1096 protected:
1097     GlobalCodeBlock(CopyParsedBlockTag, GlobalCodeBlock& other)
1098     : CodeBlock(CopyParsedBlock, other)
1099     {
1100     }
1101         
1102     GlobalCodeBlock(ScriptExecutable* ownerExecutable, UnlinkedCodeBlock* unlinkedCodeBlock, JSScope* scope, PassRefPtr<SourceProvider> sourceProvider, unsigned sourceOffset, unsigned firstLineColumnOffset)
1103         : CodeBlock(ownerExecutable, unlinkedCodeBlock, scope, sourceProvider, sourceOffset, firstLineColumnOffset)
1104     {
1105     }
1106 };
1107
1108 class ProgramCodeBlock : public GlobalCodeBlock {
1109 public:
1110     ProgramCodeBlock(CopyParsedBlockTag, ProgramCodeBlock& other)
1111     : GlobalCodeBlock(CopyParsedBlock, other)
1112     {
1113     }
1114
1115     ProgramCodeBlock(ProgramExecutable* ownerExecutable, UnlinkedProgramCodeBlock* unlinkedCodeBlock, JSScope* scope, PassRefPtr<SourceProvider> sourceProvider, unsigned firstLineColumnOffset)
1116         : GlobalCodeBlock(ownerExecutable, unlinkedCodeBlock, scope, sourceProvider, 0, firstLineColumnOffset)
1117     {
1118     }
1119
1120 #if ENABLE(JIT)
1121 protected:
1122     virtual CodeBlock* replacement() override;
1123     virtual DFG::CapabilityLevel capabilityLevelInternal() override;
1124 #endif
1125 };
1126
1127 class ModuleProgramCodeBlock : public GlobalCodeBlock {
1128 public:
1129     ModuleProgramCodeBlock(CopyParsedBlockTag, ModuleProgramCodeBlock& other)
1130         : GlobalCodeBlock(CopyParsedBlock, other)
1131     {
1132     }
1133
1134     ModuleProgramCodeBlock(ModuleProgramExecutable* ownerExecutable, UnlinkedModuleProgramCodeBlock* unlinkedCodeBlock, JSScope* scope, PassRefPtr<SourceProvider> sourceProvider, unsigned firstLineColumnOffset)
1135         : GlobalCodeBlock(ownerExecutable, unlinkedCodeBlock, scope, sourceProvider, 0, firstLineColumnOffset)
1136     {
1137     }
1138
1139 #if ENABLE(JIT)
1140 protected:
1141     virtual CodeBlock* replacement() override;
1142     virtual DFG::CapabilityLevel capabilityLevelInternal() override;
1143 #endif
1144 };
1145
1146 class EvalCodeBlock : public GlobalCodeBlock {
1147 public:
1148     EvalCodeBlock(CopyParsedBlockTag, EvalCodeBlock& other)
1149         : GlobalCodeBlock(CopyParsedBlock, other)
1150     {
1151     }
1152         
1153     EvalCodeBlock(EvalExecutable* ownerExecutable, UnlinkedEvalCodeBlock* unlinkedCodeBlock, JSScope* scope, PassRefPtr<SourceProvider> sourceProvider)
1154         : GlobalCodeBlock(ownerExecutable, unlinkedCodeBlock, scope, sourceProvider, 0, 1)
1155     {
1156     }
1157     
1158     const Identifier& variable(unsigned index) { return unlinkedEvalCodeBlock()->variable(index); }
1159     unsigned numVariables() { return unlinkedEvalCodeBlock()->numVariables(); }
1160     
1161 #if ENABLE(JIT)
1162 protected:
1163     virtual CodeBlock* replacement() override;
1164     virtual DFG::CapabilityLevel capabilityLevelInternal() override;
1165 #endif
1166     
1167 private:
1168     UnlinkedEvalCodeBlock* unlinkedEvalCodeBlock() const { return jsCast<UnlinkedEvalCodeBlock*>(unlinkedCodeBlock()); }
1169 };
1170
1171 class FunctionCodeBlock : public CodeBlock {
1172 public:
1173     FunctionCodeBlock(CopyParsedBlockTag, FunctionCodeBlock& other)
1174         : CodeBlock(CopyParsedBlock, other)
1175     {
1176     }
1177
1178     FunctionCodeBlock(FunctionExecutable* ownerExecutable, UnlinkedFunctionCodeBlock* unlinkedCodeBlock, JSScope* scope, PassRefPtr<SourceProvider> sourceProvider, unsigned sourceOffset, unsigned firstLineColumnOffset)
1179         : CodeBlock(ownerExecutable, unlinkedCodeBlock, scope, sourceProvider, sourceOffset, firstLineColumnOffset)
1180     {
1181     }
1182     
1183 #if ENABLE(JIT)
1184 protected:
1185     virtual CodeBlock* replacement() override;
1186     virtual DFG::CapabilityLevel capabilityLevelInternal() override;
1187 #endif
1188 };
1189
1190 #if ENABLE(WEBASSEMBLY)
1191 class WebAssemblyCodeBlock : public CodeBlock {
1192 public:
1193     WebAssemblyCodeBlock(CopyParsedBlockTag, WebAssemblyCodeBlock& other)
1194         : CodeBlock(CopyParsedBlock, other)
1195     {
1196     }
1197
1198     WebAssemblyCodeBlock(WebAssemblyExecutable* ownerExecutable, VM& vm, JSGlobalObject* globalObject)
1199         : CodeBlock(ownerExecutable, vm, globalObject)
1200     {
1201     }
1202
1203 #if ENABLE(JIT)
1204 protected:
1205     virtual CodeBlock* replacement() override;
1206     virtual DFG::CapabilityLevel capabilityLevelInternal() override;
1207 #endif
1208 };
1209 #endif
1210
1211 inline Register& ExecState::r(int index)
1212 {
1213     CodeBlock* codeBlock = this->codeBlock();
1214     if (codeBlock->isConstantRegisterIndex(index))
1215         return *reinterpret_cast<Register*>(&codeBlock->constantRegister(index));
1216     return this[index];
1217 }
1218
1219 inline Register& ExecState::r(VirtualRegister reg)
1220 {
1221     return r(reg.offset());
1222 }
1223
1224 inline Register& ExecState::uncheckedR(int index)
1225 {
1226     RELEASE_ASSERT(index < FirstConstantRegisterIndex);
1227     return this[index];
1228 }
1229
1230 inline Register& ExecState::uncheckedR(VirtualRegister reg)
1231 {
1232     return uncheckedR(reg.offset());
1233 }
1234
1235 inline void CodeBlock::clearMarks()
1236 {
1237     m_visitStronglyHasBeenCalled.store(false, std::memory_order_relaxed);
1238     m_visitAggregateHasBeenCalled.store(false, std::memory_order_relaxed);
1239 }
1240
1241 inline void CodeBlockSet::mark(void* candidateCodeBlock)
1242 {
1243     // We have to check for 0 and -1 because those are used by the HashMap as markers.
1244     uintptr_t value = reinterpret_cast<uintptr_t>(candidateCodeBlock);
1245     
1246     // This checks for both of those nasty cases in one go.
1247     // 0 + 1 = 1
1248     // -1 + 1 = 0
1249     if (value + 1 <= 1)
1250         return;
1251
1252     CodeBlock* codeBlock = static_cast<CodeBlock*>(candidateCodeBlock); 
1253     if (!m_oldCodeBlocks.contains(codeBlock) && !m_newCodeBlocks.contains(codeBlock))
1254         return;
1255
1256     mark(codeBlock);
1257 }
1258
1259 inline void CodeBlockSet::mark(CodeBlock* codeBlock)
1260 {
1261     if (!codeBlock)
1262         return;
1263     
1264     // Force GC to visit all CodeBlocks on the stack, including old CodeBlocks
1265     // that have not executed a barrier. This is overkill, but we have always
1266     // done this, and it might help us recover gracefully if we forget to execute
1267     // a barrier when a CodeBlock needs it.
1268     codeBlock->clearMarks();
1269
1270 #if ENABLE(GGC)
1271     m_currentlyExecuting.add(codeBlock);
1272 #endif
1273 }
1274
1275 template <typename Functor> inline void ScriptExecutable::forEachCodeBlock(Functor&& functor)
1276 {
1277     switch (type()) {
1278     case ProgramExecutableType: {
1279         if (CodeBlock* codeBlock = jsCast<ProgramExecutable*>(this)->m_programCodeBlock.get())
1280             codeBlock->forEachRelatedCodeBlock(std::forward<Functor>(functor));
1281         break;
1282     }
1283
1284     case EvalExecutableType: {
1285         if (CodeBlock* codeBlock = jsCast<EvalExecutable*>(this)->m_evalCodeBlock.get())
1286             codeBlock->forEachRelatedCodeBlock(std::forward<Functor>(functor));
1287         break;
1288     }
1289
1290     case FunctionExecutableType: {
1291         Functor f(std::forward<Functor>(functor));
1292         FunctionExecutable* executable = jsCast<FunctionExecutable*>(this);
1293         if (CodeBlock* codeBlock = executable->m_codeBlockForCall.get())
1294             codeBlock->forEachRelatedCodeBlock(f);
1295         if (CodeBlock* codeBlock = executable->m_codeBlockForConstruct.get())
1296             codeBlock->forEachRelatedCodeBlock(f);
1297         break;
1298     }
1299
1300     case ModuleProgramExecutableType: {
1301         if (CodeBlock* codeBlock = jsCast<ModuleProgramExecutable*>(this)->m_moduleProgramCodeBlock.get())
1302             codeBlock->forEachRelatedCodeBlock(std::forward<Functor>(functor));
1303         break;
1304     }
1305
1306     default:
1307         RELEASE_ASSERT_NOT_REACHED();
1308     }
1309 }
1310
1311 } // namespace JSC
1312
1313 #endif // CodeBlock_h