fourthTier: Landing the initial FTL logic in a single commit to avoid spurious
[WebKit-https.git] / Source / JavaScriptCore / assembler / MacroAssemblerX86Common.h
1 /*
2  * Copyright (C) 2008 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef MacroAssemblerX86Common_h
27 #define MacroAssemblerX86Common_h
28
29 #if ENABLE(ASSEMBLER)
30
31 #include "X86Assembler.h"
32 #include "AbstractMacroAssembler.h"
33
34 namespace JSC {
35
36 class MacroAssemblerX86Common : public AbstractMacroAssembler<X86Assembler> {
37 protected:
38 #if CPU(X86_64)
39     static const X86Registers::RegisterID scratchRegister = X86Registers::r11;
40 #endif
41
42     static const int DoubleConditionBitInvert = 0x10;
43     static const int DoubleConditionBitSpecial = 0x20;
44     static const int DoubleConditionBits = DoubleConditionBitInvert | DoubleConditionBitSpecial;
45
46 public:
47     typedef X86Assembler::FPRegisterID FPRegisterID;
48     typedef X86Assembler::XMMRegisterID XMMRegisterID;
49     
50     static bool isCompactPtrAlignedAddressOffset(ptrdiff_t value)
51     {
52         return value >= -128 && value <= 127;
53     }
54
55     enum RelationalCondition {
56         Equal = X86Assembler::ConditionE,
57         NotEqual = X86Assembler::ConditionNE,
58         Above = X86Assembler::ConditionA,
59         AboveOrEqual = X86Assembler::ConditionAE,
60         Below = X86Assembler::ConditionB,
61         BelowOrEqual = X86Assembler::ConditionBE,
62         GreaterThan = X86Assembler::ConditionG,
63         GreaterThanOrEqual = X86Assembler::ConditionGE,
64         LessThan = X86Assembler::ConditionL,
65         LessThanOrEqual = X86Assembler::ConditionLE
66     };
67
68     enum ResultCondition {
69         Overflow = X86Assembler::ConditionO,
70         Signed = X86Assembler::ConditionS,
71         PositiveOrZero = X86Assembler::ConditionNS,
72         Zero = X86Assembler::ConditionE,
73         NonZero = X86Assembler::ConditionNE
74     };
75
76     enum DoubleCondition {
77         // These conditions will only evaluate to true if the comparison is ordered - i.e. neither operand is NaN.
78         DoubleEqual = X86Assembler::ConditionE | DoubleConditionBitSpecial,
79         DoubleNotEqual = X86Assembler::ConditionNE,
80         DoubleGreaterThan = X86Assembler::ConditionA,
81         DoubleGreaterThanOrEqual = X86Assembler::ConditionAE,
82         DoubleLessThan = X86Assembler::ConditionA | DoubleConditionBitInvert,
83         DoubleLessThanOrEqual = X86Assembler::ConditionAE | DoubleConditionBitInvert,
84         // If either operand is NaN, these conditions always evaluate to true.
85         DoubleEqualOrUnordered = X86Assembler::ConditionE,
86         DoubleNotEqualOrUnordered = X86Assembler::ConditionNE | DoubleConditionBitSpecial,
87         DoubleGreaterThanOrUnordered = X86Assembler::ConditionB | DoubleConditionBitInvert,
88         DoubleGreaterThanOrEqualOrUnordered = X86Assembler::ConditionBE | DoubleConditionBitInvert,
89         DoubleLessThanOrUnordered = X86Assembler::ConditionB,
90         DoubleLessThanOrEqualOrUnordered = X86Assembler::ConditionBE,
91     };
92     COMPILE_ASSERT(
93         !((X86Assembler::ConditionE | X86Assembler::ConditionNE | X86Assembler::ConditionA | X86Assembler::ConditionAE | X86Assembler::ConditionB | X86Assembler::ConditionBE) & DoubleConditionBits),
94         DoubleConditionBits_should_not_interfere_with_X86Assembler_Condition_codes);
95
96     static const RegisterID stackPointerRegister = X86Registers::esp;
97     static const RegisterID framePointerRegister = X86Registers::ebp;
98
99 #if ENABLE(JIT_CONSTANT_BLINDING)
100     static bool shouldBlindForSpecificArch(uint32_t value) { return value >= 0x00ffffff; }
101 #if CPU(X86_64)
102     static bool shouldBlindForSpecificArch(uint64_t value) { return value >= 0x00ffffff; }
103 #if OS(DARWIN) // On 64-bit systems other than DARWIN uint64_t and uintptr_t are the same type so overload is prohibited.
104     static bool shouldBlindForSpecificArch(uintptr_t value) { return value >= 0x00ffffff; }
105 #endif
106 #endif
107 #endif
108
109     // Integer arithmetic operations:
110     //
111     // Operations are typically two operand - operation(source, srcDst)
112     // For many operations the source may be an TrustedImm32, the srcDst operand
113     // may often be a memory location (explictly described using an Address
114     // object).
115
116     void add32(RegisterID src, RegisterID dest)
117     {
118         m_assembler.addl_rr(src, dest);
119     }
120
121     void add32(TrustedImm32 imm, Address address)
122     {
123         m_assembler.addl_im(imm.m_value, address.offset, address.base);
124     }
125
126     void add32(TrustedImm32 imm, RegisterID dest)
127     {
128         m_assembler.addl_ir(imm.m_value, dest);
129     }
130     
131     void add32(Address src, RegisterID dest)
132     {
133         m_assembler.addl_mr(src.offset, src.base, dest);
134     }
135
136     void add32(RegisterID src, Address dest)
137     {
138         m_assembler.addl_rm(src, dest.offset, dest.base);
139     }
140
141     void add32(TrustedImm32 imm, RegisterID src, RegisterID dest)
142     {
143         m_assembler.leal_mr(imm.m_value, src, dest);
144     }
145     
146     void and32(RegisterID src, RegisterID dest)
147     {
148         m_assembler.andl_rr(src, dest);
149     }
150
151     void and32(TrustedImm32 imm, RegisterID dest)
152     {
153         m_assembler.andl_ir(imm.m_value, dest);
154     }
155
156     void and32(RegisterID src, Address dest)
157     {
158         m_assembler.andl_rm(src, dest.offset, dest.base);
159     }
160
161     void and32(Address src, RegisterID dest)
162     {
163         m_assembler.andl_mr(src.offset, src.base, dest);
164     }
165
166     void and32(TrustedImm32 imm, Address address)
167     {
168         m_assembler.andl_im(imm.m_value, address.offset, address.base);
169     }
170
171     void and32(RegisterID op1, RegisterID op2, RegisterID dest)
172     {
173         if (op1 == op2)
174             zeroExtend32ToPtr(op1, dest);
175         else if (op1 == dest)
176             and32(op2, dest);
177         else {
178             move(op2, dest);
179             and32(op1, dest);
180         }
181     }
182
183     void and32(TrustedImm32 imm, RegisterID src, RegisterID dest)
184     {
185         move(src, dest);
186         and32(imm, dest);
187     }
188
189     void lshift32(RegisterID shift_amount, RegisterID dest)
190     {
191         ASSERT(shift_amount != dest);
192
193         if (shift_amount == X86Registers::ecx)
194             m_assembler.shll_CLr(dest);
195         else {
196             // On x86 we can only shift by ecx; if asked to shift by another register we'll
197             // need rejig the shift amount into ecx first, and restore the registers afterwards.
198             // If we dest is ecx, then shift the swapped register!
199             swap(shift_amount, X86Registers::ecx);
200             m_assembler.shll_CLr(dest == X86Registers::ecx ? shift_amount : dest);
201             swap(shift_amount, X86Registers::ecx);
202         }
203     }
204
205     void lshift32(RegisterID src, RegisterID shift_amount, RegisterID dest)
206     {
207         ASSERT(shift_amount != dest);
208
209         if (src != dest)
210             move(src, dest);
211         lshift32(shift_amount, dest);
212     }
213
214     void lshift32(TrustedImm32 imm, RegisterID dest)
215     {
216         m_assembler.shll_i8r(imm.m_value, dest);
217     }
218     
219     void lshift32(RegisterID src, TrustedImm32 imm, RegisterID dest)
220     {
221         if (src != dest)
222             move(src, dest);
223         lshift32(imm, dest);
224     }
225     
226     void mul32(RegisterID src, RegisterID dest)
227     {
228         m_assembler.imull_rr(src, dest);
229     }
230
231     void mul32(Address src, RegisterID dest)
232     {
233         m_assembler.imull_mr(src.offset, src.base, dest);
234     }
235     
236     void mul32(TrustedImm32 imm, RegisterID src, RegisterID dest)
237     {
238         m_assembler.imull_i32r(src, imm.m_value, dest);
239     }
240
241     void neg32(RegisterID srcDest)
242     {
243         m_assembler.negl_r(srcDest);
244     }
245
246     void neg32(Address srcDest)
247     {
248         m_assembler.negl_m(srcDest.offset, srcDest.base);
249     }
250
251     void or32(RegisterID src, RegisterID dest)
252     {
253         m_assembler.orl_rr(src, dest);
254     }
255
256     void or32(TrustedImm32 imm, RegisterID dest)
257     {
258         m_assembler.orl_ir(imm.m_value, dest);
259     }
260
261     void or32(RegisterID src, Address dest)
262     {
263         m_assembler.orl_rm(src, dest.offset, dest.base);
264     }
265
266     void or32(Address src, RegisterID dest)
267     {
268         m_assembler.orl_mr(src.offset, src.base, dest);
269     }
270
271     void or32(TrustedImm32 imm, Address address)
272     {
273         m_assembler.orl_im(imm.m_value, address.offset, address.base);
274     }
275
276     void or32(RegisterID op1, RegisterID op2, RegisterID dest)
277     {
278         if (op1 == op2)
279             zeroExtend32ToPtr(op1, dest);
280         else if (op1 == dest)
281             or32(op2, dest);
282         else {
283             move(op2, dest);
284             or32(op1, dest);
285         }
286     }
287
288     void or32(TrustedImm32 imm, RegisterID src, RegisterID dest)
289     {
290         move(src, dest);
291         or32(imm, dest);
292     }
293
294     void rshift32(RegisterID shift_amount, RegisterID dest)
295     {
296         ASSERT(shift_amount != dest);
297
298         if (shift_amount == X86Registers::ecx)
299             m_assembler.sarl_CLr(dest);
300         else {
301             // On x86 we can only shift by ecx; if asked to shift by another register we'll
302             // need rejig the shift amount into ecx first, and restore the registers afterwards.
303             // If we dest is ecx, then shift the swapped register!
304             swap(shift_amount, X86Registers::ecx);
305             m_assembler.sarl_CLr(dest == X86Registers::ecx ? shift_amount : dest);
306             swap(shift_amount, X86Registers::ecx);
307         }
308     }
309
310     void rshift32(RegisterID src, RegisterID shift_amount, RegisterID dest)
311     {
312         ASSERT(shift_amount != dest);
313
314         if (src != dest)
315             move(src, dest);
316         rshift32(shift_amount, dest);
317     }
318
319     void rshift32(TrustedImm32 imm, RegisterID dest)
320     {
321         m_assembler.sarl_i8r(imm.m_value, dest);
322     }
323     
324     void rshift32(RegisterID src, TrustedImm32 imm, RegisterID dest)
325     {
326         if (src != dest)
327             move(src, dest);
328         rshift32(imm, dest);
329     }
330     
331     void urshift32(RegisterID shift_amount, RegisterID dest)
332     {
333         ASSERT(shift_amount != dest);
334
335         if (shift_amount == X86Registers::ecx)
336             m_assembler.shrl_CLr(dest);
337         else {
338             // On x86 we can only shift by ecx; if asked to shift by another register we'll
339             // need rejig the shift amount into ecx first, and restore the registers afterwards.
340             // If we dest is ecx, then shift the swapped register!
341             swap(shift_amount, X86Registers::ecx);
342             m_assembler.shrl_CLr(dest == X86Registers::ecx ? shift_amount : dest);
343             swap(shift_amount, X86Registers::ecx);
344         }
345     }
346
347     void urshift32(RegisterID src, RegisterID shift_amount, RegisterID dest)
348     {
349         ASSERT(shift_amount != dest);
350
351         if (src != dest)
352             move(src, dest);
353         urshift32(shift_amount, dest);
354     }
355
356     void urshift32(TrustedImm32 imm, RegisterID dest)
357     {
358         m_assembler.shrl_i8r(imm.m_value, dest);
359     }
360     
361     void urshift32(RegisterID src, TrustedImm32 imm, RegisterID dest)
362     {
363         if (src != dest)
364             move(src, dest);
365         urshift32(imm, dest);
366     }
367     
368     void sub32(RegisterID src, RegisterID dest)
369     {
370         m_assembler.subl_rr(src, dest);
371     }
372     
373     void sub32(TrustedImm32 imm, RegisterID dest)
374     {
375         m_assembler.subl_ir(imm.m_value, dest);
376     }
377     
378     void sub32(TrustedImm32 imm, Address address)
379     {
380         m_assembler.subl_im(imm.m_value, address.offset, address.base);
381     }
382
383     void sub32(Address src, RegisterID dest)
384     {
385         m_assembler.subl_mr(src.offset, src.base, dest);
386     }
387
388     void sub32(RegisterID src, Address dest)
389     {
390         m_assembler.subl_rm(src, dest.offset, dest.base);
391     }
392
393     void xor32(RegisterID src, RegisterID dest)
394     {
395         m_assembler.xorl_rr(src, dest);
396     }
397
398     void xor32(TrustedImm32 imm, Address dest)
399     {
400         if (imm.m_value == -1)
401             m_assembler.notl_m(dest.offset, dest.base);
402         else
403             m_assembler.xorl_im(imm.m_value, dest.offset, dest.base);
404     }
405
406     void xor32(TrustedImm32 imm, RegisterID dest)
407     {
408         if (imm.m_value == -1)
409         m_assembler.notl_r(dest);
410         else
411         m_assembler.xorl_ir(imm.m_value, dest);
412     }
413
414     void xor32(RegisterID src, Address dest)
415     {
416         m_assembler.xorl_rm(src, dest.offset, dest.base);
417     }
418
419     void xor32(Address src, RegisterID dest)
420     {
421         m_assembler.xorl_mr(src.offset, src.base, dest);
422     }
423     
424     void xor32(RegisterID op1, RegisterID op2, RegisterID dest)
425     {
426         if (op1 == op2)
427             move(TrustedImm32(0), dest);
428         else if (op1 == dest)
429             xor32(op2, dest);
430         else {
431             move(op2, dest);
432             xor32(op1, dest);
433         }
434     }
435
436     void xor32(TrustedImm32 imm, RegisterID src, RegisterID dest)
437     {
438         move(src, dest);
439         xor32(imm, dest);
440     }
441
442     void sqrtDouble(FPRegisterID src, FPRegisterID dst)
443     {
444         m_assembler.sqrtsd_rr(src, dst);
445     }
446
447     void absDouble(FPRegisterID src, FPRegisterID dst)
448     {
449         ASSERT(src != dst);
450         static const double negativeZeroConstant = -0.0;
451         loadDouble(&negativeZeroConstant, dst);
452         m_assembler.andnpd_rr(src, dst);
453     }
454
455     void negateDouble(FPRegisterID src, FPRegisterID dst)
456     {
457         ASSERT(src != dst);
458         static const double negativeZeroConstant = -0.0;
459         loadDouble(&negativeZeroConstant, dst);
460         m_assembler.xorpd_rr(src, dst);
461     }
462
463
464     // Memory access operations:
465     //
466     // Loads are of the form load(address, destination) and stores of the form
467     // store(source, address).  The source for a store may be an TrustedImm32.  Address
468     // operand objects to loads and store will be implicitly constructed if a
469     // register is passed.
470
471     void load32(ImplicitAddress address, RegisterID dest)
472     {
473         m_assembler.movl_mr(address.offset, address.base, dest);
474     }
475
476     void load32(BaseIndex address, RegisterID dest)
477     {
478         m_assembler.movl_mr(address.offset, address.base, address.index, address.scale, dest);
479     }
480
481     void load32WithUnalignedHalfWords(BaseIndex address, RegisterID dest)
482     {
483         load32(address, dest);
484     }
485
486     void load16Unaligned(BaseIndex address, RegisterID dest)
487     {
488         load16(address, dest);
489     }
490
491     DataLabel32 load32WithAddressOffsetPatch(Address address, RegisterID dest)
492     {
493         padBeforePatch();
494         m_assembler.movl_mr_disp32(address.offset, address.base, dest);
495         return DataLabel32(this);
496     }
497     
498     DataLabelCompact load32WithCompactAddressOffsetPatch(Address address, RegisterID dest)
499     {
500         padBeforePatch();
501         m_assembler.movl_mr_disp8(address.offset, address.base, dest);
502         return DataLabelCompact(this);
503     }
504     
505     static void repatchCompact(CodeLocationDataLabelCompact dataLabelCompact, int32_t value)
506     {
507         ASSERT(isCompactPtrAlignedAddressOffset(value));
508         AssemblerType_T::repatchCompact(dataLabelCompact.dataLocation(), value);
509     }
510     
511     DataLabelCompact loadCompactWithAddressOffsetPatch(Address address, RegisterID dest)
512     {
513         padBeforePatch();
514         m_assembler.movl_mr_disp8(address.offset, address.base, dest);
515         return DataLabelCompact(this);
516     }
517
518     void load8(BaseIndex address, RegisterID dest)
519     {
520         m_assembler.movzbl_mr(address.offset, address.base, address.index, address.scale, dest);
521     }
522
523     void load8(ImplicitAddress address, RegisterID dest)
524     {
525         m_assembler.movzbl_mr(address.offset, address.base, dest);
526     }
527     
528     void load8Signed(BaseIndex address, RegisterID dest)
529     {
530         m_assembler.movsbl_mr(address.offset, address.base, address.index, address.scale, dest);
531     }
532
533     void load8Signed(ImplicitAddress address, RegisterID dest)
534     {
535         m_assembler.movsbl_mr(address.offset, address.base, dest);
536     }
537     
538     void load16(BaseIndex address, RegisterID dest)
539     {
540         m_assembler.movzwl_mr(address.offset, address.base, address.index, address.scale, dest);
541     }
542     
543     void load16(Address address, RegisterID dest)
544     {
545         m_assembler.movzwl_mr(address.offset, address.base, dest);
546     }
547
548     void load16Signed(BaseIndex address, RegisterID dest)
549     {
550         m_assembler.movswl_mr(address.offset, address.base, address.index, address.scale, dest);
551     }
552     
553     void load16Signed(Address address, RegisterID dest)
554     {
555         m_assembler.movswl_mr(address.offset, address.base, dest);
556     }
557
558     DataLabel32 store32WithAddressOffsetPatch(RegisterID src, Address address)
559     {
560         padBeforePatch();
561         m_assembler.movl_rm_disp32(src, address.offset, address.base);
562         return DataLabel32(this);
563     }
564
565     void store32(RegisterID src, ImplicitAddress address)
566     {
567         m_assembler.movl_rm(src, address.offset, address.base);
568     }
569
570     void store32(RegisterID src, BaseIndex address)
571     {
572         m_assembler.movl_rm(src, address.offset, address.base, address.index, address.scale);
573     }
574
575     void store32(TrustedImm32 imm, ImplicitAddress address)
576     {
577         m_assembler.movl_i32m(imm.m_value, address.offset, address.base);
578     }
579     
580     void store32(TrustedImm32 imm, BaseIndex address)
581     {
582         m_assembler.movl_i32m(imm.m_value, address.offset, address.base, address.index, address.scale);
583     }
584
585     void store8(TrustedImm32 imm, Address address)
586     {
587         ASSERT(-128 <= imm.m_value && imm.m_value < 128);
588         m_assembler.movb_i8m(imm.m_value, address.offset, address.base);
589     }
590
591     void store8(TrustedImm32 imm, BaseIndex address)
592     {
593         ASSERT(-128 <= imm.m_value && imm.m_value < 128);
594         m_assembler.movb_i8m(imm.m_value, address.offset, address.base, address.index, address.scale);
595     }
596     
597     void store8(RegisterID src, BaseIndex address)
598     {
599 #if CPU(X86)
600         // On 32-bit x86 we can only store from the first 4 registers;
601         // esp..edi are mapped to the 'h' registers!
602         if (src >= 4) {
603             // Pick a temporary register.
604             RegisterID temp;
605             if (address.base != X86Registers::eax && address.index != X86Registers::eax)
606                 temp = X86Registers::eax;
607             else if (address.base != X86Registers::ebx && address.index != X86Registers::ebx)
608                 temp = X86Registers::ebx;
609             else {
610                 ASSERT(address.base != X86Registers::ecx && address.index != X86Registers::ecx);
611                 temp = X86Registers::ecx;
612             }
613
614             // Swap to the temporary register to perform the store.
615             swap(src, temp);
616             m_assembler.movb_rm(temp, address.offset, address.base, address.index, address.scale);
617             swap(src, temp);
618             return;
619         }
620 #endif
621         m_assembler.movb_rm(src, address.offset, address.base, address.index, address.scale);
622     }
623
624     void store16(RegisterID src, BaseIndex address)
625     {
626 #if CPU(X86)
627         // On 32-bit x86 we can only store from the first 4 registers;
628         // esp..edi are mapped to the 'h' registers!
629         if (src >= 4) {
630             // Pick a temporary register.
631             RegisterID temp;
632             if (address.base != X86Registers::eax && address.index != X86Registers::eax)
633                 temp = X86Registers::eax;
634             else if (address.base != X86Registers::ebx && address.index != X86Registers::ebx)
635                 temp = X86Registers::ebx;
636             else {
637                 ASSERT(address.base != X86Registers::ecx && address.index != X86Registers::ecx);
638                 temp = X86Registers::ecx;
639             }
640             
641             // Swap to the temporary register to perform the store.
642             swap(src, temp);
643             m_assembler.movw_rm(temp, address.offset, address.base, address.index, address.scale);
644             swap(src, temp);
645             return;
646         }
647 #endif
648         m_assembler.movw_rm(src, address.offset, address.base, address.index, address.scale);
649     }
650
651
652     // Floating-point operation:
653     //
654     // Presently only supports SSE, not x87 floating point.
655
656     void moveDouble(FPRegisterID src, FPRegisterID dest)
657     {
658         ASSERT(isSSE2Present());
659         if (src != dest)
660             m_assembler.movsd_rr(src, dest);
661     }
662
663     void loadDouble(const void* address, FPRegisterID dest)
664     {
665 #if CPU(X86)
666         ASSERT(isSSE2Present());
667         m_assembler.movsd_mr(address, dest);
668 #else
669         move(TrustedImmPtr(address), scratchRegister);
670         loadDouble(scratchRegister, dest);
671 #endif
672     }
673
674     void loadDouble(ImplicitAddress address, FPRegisterID dest)
675     {
676         ASSERT(isSSE2Present());
677         m_assembler.movsd_mr(address.offset, address.base, dest);
678     }
679     
680     void loadDouble(BaseIndex address, FPRegisterID dest)
681     {
682         ASSERT(isSSE2Present());
683         m_assembler.movsd_mr(address.offset, address.base, address.index, address.scale, dest);
684     }
685     void loadFloat(BaseIndex address, FPRegisterID dest)
686     {
687         ASSERT(isSSE2Present());
688         m_assembler.movss_mr(address.offset, address.base, address.index, address.scale, dest);
689     }
690
691     void storeDouble(FPRegisterID src, ImplicitAddress address)
692     {
693         ASSERT(isSSE2Present());
694         m_assembler.movsd_rm(src, address.offset, address.base);
695     }
696     
697     void storeDouble(FPRegisterID src, BaseIndex address)
698     {
699         ASSERT(isSSE2Present());
700         m_assembler.movsd_rm(src, address.offset, address.base, address.index, address.scale);
701     }
702     
703     void storeFloat(FPRegisterID src, BaseIndex address)
704     {
705         ASSERT(isSSE2Present());
706         m_assembler.movss_rm(src, address.offset, address.base, address.index, address.scale);
707     }
708     
709     void convertDoubleToFloat(FPRegisterID src, FPRegisterID dst)
710     {
711         ASSERT(isSSE2Present());
712         m_assembler.cvtsd2ss_rr(src, dst);
713     }
714
715     void convertFloatToDouble(FPRegisterID src, FPRegisterID dst)
716     {
717         ASSERT(isSSE2Present());
718         m_assembler.cvtss2sd_rr(src, dst);
719     }
720
721     void addDouble(FPRegisterID src, FPRegisterID dest)
722     {
723         ASSERT(isSSE2Present());
724         m_assembler.addsd_rr(src, dest);
725     }
726
727     void addDouble(FPRegisterID op1, FPRegisterID op2, FPRegisterID dest)
728     {
729         ASSERT(isSSE2Present());
730         if (op1 == dest)
731             addDouble(op2, dest);
732         else {
733             moveDouble(op2, dest);
734             addDouble(op1, dest);
735         }
736     }
737
738     void addDouble(Address src, FPRegisterID dest)
739     {
740         ASSERT(isSSE2Present());
741         m_assembler.addsd_mr(src.offset, src.base, dest);
742     }
743
744     void divDouble(FPRegisterID src, FPRegisterID dest)
745     {
746         ASSERT(isSSE2Present());
747         m_assembler.divsd_rr(src, dest);
748     }
749
750     void divDouble(FPRegisterID op1, FPRegisterID op2, FPRegisterID dest)
751     {
752         // B := A / B is invalid.
753         ASSERT(op1 == dest || op2 != dest);
754
755         moveDouble(op1, dest);
756         divDouble(op2, dest);
757     }
758
759     void divDouble(Address src, FPRegisterID dest)
760     {
761         ASSERT(isSSE2Present());
762         m_assembler.divsd_mr(src.offset, src.base, dest);
763     }
764
765     void subDouble(FPRegisterID src, FPRegisterID dest)
766     {
767         ASSERT(isSSE2Present());
768         m_assembler.subsd_rr(src, dest);
769     }
770
771     void subDouble(FPRegisterID op1, FPRegisterID op2, FPRegisterID dest)
772     {
773         // B := A - B is invalid.
774         ASSERT(op1 == dest || op2 != dest);
775
776         moveDouble(op1, dest);
777         subDouble(op2, dest);
778     }
779
780     void subDouble(Address src, FPRegisterID dest)
781     {
782         ASSERT(isSSE2Present());
783         m_assembler.subsd_mr(src.offset, src.base, dest);
784     }
785
786     void mulDouble(FPRegisterID src, FPRegisterID dest)
787     {
788         ASSERT(isSSE2Present());
789         m_assembler.mulsd_rr(src, dest);
790     }
791
792     void mulDouble(FPRegisterID op1, FPRegisterID op2, FPRegisterID dest)
793     {
794         ASSERT(isSSE2Present());
795         if (op1 == dest)
796             mulDouble(op2, dest);
797         else {
798             moveDouble(op2, dest);
799             mulDouble(op1, dest);
800         }
801     }
802
803     void mulDouble(Address src, FPRegisterID dest)
804     {
805         ASSERT(isSSE2Present());
806         m_assembler.mulsd_mr(src.offset, src.base, dest);
807     }
808
809     void convertInt32ToDouble(RegisterID src, FPRegisterID dest)
810     {
811         ASSERT(isSSE2Present());
812         m_assembler.cvtsi2sd_rr(src, dest);
813     }
814
815     void convertInt32ToDouble(Address src, FPRegisterID dest)
816     {
817         ASSERT(isSSE2Present());
818         m_assembler.cvtsi2sd_mr(src.offset, src.base, dest);
819     }
820
821     Jump branchDouble(DoubleCondition cond, FPRegisterID left, FPRegisterID right)
822     {
823         ASSERT(isSSE2Present());
824
825         if (cond & DoubleConditionBitInvert)
826             m_assembler.ucomisd_rr(left, right);
827         else
828             m_assembler.ucomisd_rr(right, left);
829
830         if (cond == DoubleEqual) {
831             if (left == right)
832                 return Jump(m_assembler.jnp());
833             Jump isUnordered(m_assembler.jp());
834             Jump result = Jump(m_assembler.je());
835             isUnordered.link(this);
836             return result;
837         } else if (cond == DoubleNotEqualOrUnordered) {
838             if (left == right)
839                 return Jump(m_assembler.jp());
840             Jump isUnordered(m_assembler.jp());
841             Jump isEqual(m_assembler.je());
842             isUnordered.link(this);
843             Jump result = jump();
844             isEqual.link(this);
845             return result;
846         }
847
848         ASSERT(!(cond & DoubleConditionBitSpecial));
849         return Jump(m_assembler.jCC(static_cast<X86Assembler::Condition>(cond & ~DoubleConditionBits)));
850     }
851
852     // Truncates 'src' to an integer, and places the resulting 'dest'.
853     // If the result is not representable as a 32 bit value, branch.
854     // May also branch for some values that are representable in 32 bits
855     // (specifically, in this case, INT_MIN).
856     enum BranchTruncateType { BranchIfTruncateFailed, BranchIfTruncateSuccessful };
857     Jump branchTruncateDoubleToInt32(FPRegisterID src, RegisterID dest, BranchTruncateType branchType = BranchIfTruncateFailed)
858     {
859         ASSERT(isSSE2Present());
860         m_assembler.cvttsd2si_rr(src, dest);
861         return branch32(branchType ? NotEqual : Equal, dest, TrustedImm32(0x80000000));
862     }
863
864     Jump branchTruncateDoubleToUint32(FPRegisterID src, RegisterID dest, BranchTruncateType branchType = BranchIfTruncateFailed)
865     {
866         ASSERT(isSSE2Present());
867         m_assembler.cvttsd2si_rr(src, dest);
868         return branch32(branchType ? GreaterThanOrEqual : LessThan, dest, TrustedImm32(0));
869     }
870
871     void truncateDoubleToInt32(FPRegisterID src, RegisterID dest)
872     {
873         ASSERT(isSSE2Present());
874         m_assembler.cvttsd2si_rr(src, dest);
875     }
876     
877 #if CPU(X86_64)
878     void truncateDoubleToUint32(FPRegisterID src, RegisterID dest)
879     {
880         ASSERT(isSSE2Present());
881         m_assembler.cvttsd2siq_rr(src, dest);
882     }
883 #endif
884     
885     // Convert 'src' to an integer, and places the resulting 'dest'.
886     // If the result is not representable as a 32 bit value, branch.
887     // May also branch for some values that are representable in 32 bits
888     // (specifically, in this case, 0).
889     void branchConvertDoubleToInt32(FPRegisterID src, RegisterID dest, JumpList& failureCases, FPRegisterID fpTemp, bool negZeroCheck = true)
890     {
891         ASSERT(isSSE2Present());
892         m_assembler.cvttsd2si_rr(src, dest);
893
894         // If the result is zero, it might have been -0.0, and the double comparison won't catch this!
895         if (negZeroCheck)
896             failureCases.append(branchTest32(Zero, dest));
897
898         // Convert the integer result back to float & compare to the original value - if not equal or unordered (NaN) then jump.
899         convertInt32ToDouble(dest, fpTemp);
900         m_assembler.ucomisd_rr(fpTemp, src);
901         failureCases.append(m_assembler.jp());
902         failureCases.append(m_assembler.jne());
903     }
904
905     Jump branchDoubleNonZero(FPRegisterID reg, FPRegisterID scratch)
906     {
907         ASSERT(isSSE2Present());
908         m_assembler.xorpd_rr(scratch, scratch);
909         return branchDouble(DoubleNotEqual, reg, scratch);
910     }
911
912     Jump branchDoubleZeroOrNaN(FPRegisterID reg, FPRegisterID scratch)
913     {
914         ASSERT(isSSE2Present());
915         m_assembler.xorpd_rr(scratch, scratch);
916         return branchDouble(DoubleEqualOrUnordered, reg, scratch);
917     }
918
919     void lshiftPacked(TrustedImm32 imm, XMMRegisterID reg)
920     {
921         ASSERT(isSSE2Present());
922         m_assembler.psllq_i8r(imm.m_value, reg);
923     }
924
925     void rshiftPacked(TrustedImm32 imm, XMMRegisterID reg)
926     {
927         ASSERT(isSSE2Present());
928         m_assembler.psrlq_i8r(imm.m_value, reg);
929     }
930
931     void orPacked(XMMRegisterID src, XMMRegisterID dst)
932     {
933         ASSERT(isSSE2Present());
934         m_assembler.por_rr(src, dst);
935     }
936
937     void moveInt32ToPacked(RegisterID src, XMMRegisterID dst)
938     {
939         ASSERT(isSSE2Present());
940         m_assembler.movd_rr(src, dst);
941     }
942
943     void movePackedToInt32(XMMRegisterID src, RegisterID dst)
944     {
945         ASSERT(isSSE2Present());
946         m_assembler.movd_rr(src, dst);
947     }
948
949     // Stack manipulation operations:
950     //
951     // The ABI is assumed to provide a stack abstraction to memory,
952     // containing machine word sized units of data.  Push and pop
953     // operations add and remove a single register sized unit of data
954     // to or from the stack.  Peek and poke operations read or write
955     // values on the stack, without moving the current stack position.
956     
957     void pop(RegisterID dest)
958     {
959         m_assembler.pop_r(dest);
960     }
961
962     void push(RegisterID src)
963     {
964         m_assembler.push_r(src);
965     }
966
967     void push(Address address)
968     {
969         m_assembler.push_m(address.offset, address.base);
970     }
971
972     void push(TrustedImm32 imm)
973     {
974         m_assembler.push_i32(imm.m_value);
975     }
976
977
978     // Register move operations:
979     //
980     // Move values in registers.
981
982     void move(TrustedImm32 imm, RegisterID dest)
983     {
984         // Note: on 64-bit the TrustedImm32 value is zero extended into the register, it
985         // may be useful to have a separate version that sign extends the value?
986         if (!imm.m_value)
987             m_assembler.xorl_rr(dest, dest);
988         else
989             m_assembler.movl_i32r(imm.m_value, dest);
990     }
991
992 #if CPU(X86_64)
993     void move(RegisterID src, RegisterID dest)
994     {
995         // Note: on 64-bit this is is a full register move; perhaps it would be
996         // useful to have separate move32 & movePtr, with move32 zero extending?
997         if (src != dest)
998             m_assembler.movq_rr(src, dest);
999     }
1000
1001     void move(TrustedImmPtr imm, RegisterID dest)
1002     {
1003         m_assembler.movq_i64r(imm.asIntptr(), dest);
1004     }
1005
1006     void move(TrustedImm64 imm, RegisterID dest)
1007     {
1008         m_assembler.movq_i64r(imm.m_value, dest);
1009     }
1010
1011     void swap(RegisterID reg1, RegisterID reg2)
1012     {
1013         if (reg1 != reg2)
1014             m_assembler.xchgq_rr(reg1, reg2);
1015     }
1016
1017     void signExtend32ToPtr(RegisterID src, RegisterID dest)
1018     {
1019         m_assembler.movsxd_rr(src, dest);
1020     }
1021
1022     void zeroExtend32ToPtr(RegisterID src, RegisterID dest)
1023     {
1024         m_assembler.movl_rr(src, dest);
1025     }
1026 #else
1027     void move(RegisterID src, RegisterID dest)
1028     {
1029         if (src != dest)
1030             m_assembler.movl_rr(src, dest);
1031     }
1032
1033     void move(TrustedImmPtr imm, RegisterID dest)
1034     {
1035         m_assembler.movl_i32r(imm.asIntptr(), dest);
1036     }
1037
1038     void swap(RegisterID reg1, RegisterID reg2)
1039     {
1040         if (reg1 != reg2)
1041             m_assembler.xchgl_rr(reg1, reg2);
1042     }
1043
1044     void signExtend32ToPtr(RegisterID src, RegisterID dest)
1045     {
1046         move(src, dest);
1047     }
1048
1049     void zeroExtend32ToPtr(RegisterID src, RegisterID dest)
1050     {
1051         move(src, dest);
1052     }
1053 #endif
1054
1055
1056     // Forwards / external control flow operations:
1057     //
1058     // This set of jump and conditional branch operations return a Jump
1059     // object which may linked at a later point, allow forwards jump,
1060     // or jumps that will require external linkage (after the code has been
1061     // relocated).
1062     //
1063     // For branches, signed <, >, <= and >= are denoted as l, g, le, and ge
1064     // respecitvely, for unsigned comparisons the names b, a, be, and ae are
1065     // used (representing the names 'below' and 'above').
1066     //
1067     // Operands to the comparision are provided in the expected order, e.g.
1068     // jle32(reg1, TrustedImm32(5)) will branch if the value held in reg1, when
1069     // treated as a signed 32bit value, is less than or equal to 5.
1070     //
1071     // jz and jnz test whether the first operand is equal to zero, and take
1072     // an optional second operand of a mask under which to perform the test.
1073
1074 public:
1075     Jump branch8(RelationalCondition cond, Address left, TrustedImm32 right)
1076     {
1077         m_assembler.cmpb_im(right.m_value, left.offset, left.base);
1078         return Jump(m_assembler.jCC(x86Condition(cond)));
1079     }
1080
1081     Jump branch32(RelationalCondition cond, RegisterID left, RegisterID right)
1082     {
1083         m_assembler.cmpl_rr(right, left);
1084         return Jump(m_assembler.jCC(x86Condition(cond)));
1085     }
1086
1087     Jump branch32(RelationalCondition cond, RegisterID left, TrustedImm32 right)
1088     {
1089         if (((cond == Equal) || (cond == NotEqual)) && !right.m_value)
1090             m_assembler.testl_rr(left, left);
1091         else
1092             m_assembler.cmpl_ir(right.m_value, left);
1093         return Jump(m_assembler.jCC(x86Condition(cond)));
1094     }
1095     
1096     Jump branch32(RelationalCondition cond, RegisterID left, Address right)
1097     {
1098         m_assembler.cmpl_mr(right.offset, right.base, left);
1099         return Jump(m_assembler.jCC(x86Condition(cond)));
1100     }
1101     
1102     Jump branch32(RelationalCondition cond, Address left, RegisterID right)
1103     {
1104         m_assembler.cmpl_rm(right, left.offset, left.base);
1105         return Jump(m_assembler.jCC(x86Condition(cond)));
1106     }
1107
1108     Jump branch32(RelationalCondition cond, Address left, TrustedImm32 right)
1109     {
1110         m_assembler.cmpl_im(right.m_value, left.offset, left.base);
1111         return Jump(m_assembler.jCC(x86Condition(cond)));
1112     }
1113
1114     Jump branch32(RelationalCondition cond, BaseIndex left, TrustedImm32 right)
1115     {
1116         m_assembler.cmpl_im(right.m_value, left.offset, left.base, left.index, left.scale);
1117         return Jump(m_assembler.jCC(x86Condition(cond)));
1118     }
1119
1120     Jump branch32WithUnalignedHalfWords(RelationalCondition cond, BaseIndex left, TrustedImm32 right)
1121     {
1122         return branch32(cond, left, right);
1123     }
1124
1125     Jump branchTest32(ResultCondition cond, RegisterID reg, RegisterID mask)
1126     {
1127         m_assembler.testl_rr(reg, mask);
1128         return Jump(m_assembler.jCC(x86Condition(cond)));
1129     }
1130
1131     Jump branchTest32(ResultCondition cond, RegisterID reg, TrustedImm32 mask = TrustedImm32(-1))
1132     {
1133         // if we are only interested in the low seven bits, this can be tested with a testb
1134         if (mask.m_value == -1)
1135             m_assembler.testl_rr(reg, reg);
1136         else
1137             m_assembler.testl_i32r(mask.m_value, reg);
1138         return Jump(m_assembler.jCC(x86Condition(cond)));
1139     }
1140
1141     Jump branchTest32(ResultCondition cond, Address address, TrustedImm32 mask = TrustedImm32(-1))
1142     {
1143         if (mask.m_value == -1)
1144             m_assembler.cmpl_im(0, address.offset, address.base);
1145         else
1146             m_assembler.testl_i32m(mask.m_value, address.offset, address.base);
1147         return Jump(m_assembler.jCC(x86Condition(cond)));
1148     }
1149
1150     Jump branchTest32(ResultCondition cond, BaseIndex address, TrustedImm32 mask = TrustedImm32(-1))
1151     {
1152         if (mask.m_value == -1)
1153             m_assembler.cmpl_im(0, address.offset, address.base, address.index, address.scale);
1154         else
1155             m_assembler.testl_i32m(mask.m_value, address.offset, address.base, address.index, address.scale);
1156         return Jump(m_assembler.jCC(x86Condition(cond)));
1157     }
1158     
1159     Jump branchTest8(ResultCondition cond, Address address, TrustedImm32 mask = TrustedImm32(-1))
1160     {
1161         // Byte in TrustedImm32 is not well defined, so be a little permisive here, but don't accept nonsense values.
1162         ASSERT(mask.m_value >= -128 && mask.m_value <= 255);
1163         if (mask.m_value == -1)
1164             m_assembler.cmpb_im(0, address.offset, address.base);
1165         else
1166             m_assembler.testb_im(mask.m_value, address.offset, address.base);
1167         return Jump(m_assembler.jCC(x86Condition(cond)));
1168     }
1169     
1170     Jump branchTest8(ResultCondition cond, BaseIndex address, TrustedImm32 mask = TrustedImm32(-1))
1171     {
1172         // Byte in TrustedImm32 is not well defined, so be a little permisive here, but don't accept nonsense values.
1173         ASSERT(mask.m_value >= -128 && mask.m_value <= 255);
1174         if (mask.m_value == -1)
1175             m_assembler.cmpb_im(0, address.offset, address.base, address.index, address.scale);
1176         else
1177             m_assembler.testb_im(mask.m_value, address.offset, address.base, address.index, address.scale);
1178         return Jump(m_assembler.jCC(x86Condition(cond)));
1179     }
1180
1181     Jump branch8(RelationalCondition cond, BaseIndex left, TrustedImm32 right)
1182     {
1183         ASSERT(!(right.m_value & 0xFFFFFF00));
1184
1185         m_assembler.cmpb_im(right.m_value, left.offset, left.base, left.index, left.scale);
1186         return Jump(m_assembler.jCC(x86Condition(cond)));
1187     }
1188
1189     Jump jump()
1190     {
1191         return Jump(m_assembler.jmp());
1192     }
1193
1194     void jump(RegisterID target)
1195     {
1196         m_assembler.jmp_r(target);
1197     }
1198
1199     // Address is a memory location containing the address to jump to
1200     void jump(Address address)
1201     {
1202         m_assembler.jmp_m(address.offset, address.base);
1203     }
1204
1205
1206     // Arithmetic control flow operations:
1207     //
1208     // This set of conditional branch operations branch based
1209     // on the result of an arithmetic operation.  The operation
1210     // is performed as normal, storing the result.
1211     //
1212     // * jz operations branch if the result is zero.
1213     // * jo operations branch if the (signed) arithmetic
1214     //   operation caused an overflow to occur.
1215     
1216     Jump branchAdd32(ResultCondition cond, RegisterID src, RegisterID dest)
1217     {
1218         add32(src, dest);
1219         return Jump(m_assembler.jCC(x86Condition(cond)));
1220     }
1221
1222     Jump branchAdd32(ResultCondition cond, TrustedImm32 imm, RegisterID dest)
1223     {
1224         add32(imm, dest);
1225         return Jump(m_assembler.jCC(x86Condition(cond)));
1226     }
1227     
1228     Jump branchAdd32(ResultCondition cond, TrustedImm32 src, Address dest)
1229     {
1230         add32(src, dest);
1231         return Jump(m_assembler.jCC(x86Condition(cond)));
1232     }
1233
1234     Jump branchAdd32(ResultCondition cond, RegisterID src, Address dest)
1235     {
1236         add32(src, dest);
1237         return Jump(m_assembler.jCC(x86Condition(cond)));
1238     }
1239
1240     Jump branchAdd32(ResultCondition cond, Address src, RegisterID dest)
1241     {
1242         add32(src, dest);
1243         return Jump(m_assembler.jCC(x86Condition(cond)));
1244     }
1245
1246     Jump branchAdd32(ResultCondition cond, RegisterID src1, RegisterID src2, RegisterID dest)
1247     {
1248         if (src1 == dest)
1249             return branchAdd32(cond, src2, dest);
1250         move(src2, dest);
1251         return branchAdd32(cond, src1, dest);
1252     }
1253
1254     Jump branchAdd32(ResultCondition cond, RegisterID src, TrustedImm32 imm, RegisterID dest)
1255     {
1256         move(src, dest);
1257         return branchAdd32(cond, imm, dest);
1258     }
1259
1260     Jump branchMul32(ResultCondition cond, RegisterID src, RegisterID dest)
1261     {
1262         mul32(src, dest);
1263         if (cond != Overflow)
1264             m_assembler.testl_rr(dest, dest);
1265         return Jump(m_assembler.jCC(x86Condition(cond)));
1266     }
1267
1268     Jump branchMul32(ResultCondition cond, Address src, RegisterID dest)
1269     {
1270         mul32(src, dest);
1271         if (cond != Overflow)
1272             m_assembler.testl_rr(dest, dest);
1273         return Jump(m_assembler.jCC(x86Condition(cond)));
1274     }
1275     
1276     Jump branchMul32(ResultCondition cond, TrustedImm32 imm, RegisterID src, RegisterID dest)
1277     {
1278         mul32(imm, src, dest);
1279         if (cond != Overflow)
1280             m_assembler.testl_rr(dest, dest);
1281         return Jump(m_assembler.jCC(x86Condition(cond)));
1282     }
1283     
1284     Jump branchMul32(ResultCondition cond, RegisterID src1, RegisterID src2, RegisterID dest)
1285     {
1286         if (src1 == dest)
1287             return branchMul32(cond, src2, dest);
1288         move(src2, dest);
1289         return branchMul32(cond, src1, dest);
1290     }
1291
1292     Jump branchSub32(ResultCondition cond, RegisterID src, RegisterID dest)
1293     {
1294         sub32(src, dest);
1295         return Jump(m_assembler.jCC(x86Condition(cond)));
1296     }
1297     
1298     Jump branchSub32(ResultCondition cond, TrustedImm32 imm, RegisterID dest)
1299     {
1300         sub32(imm, dest);
1301         return Jump(m_assembler.jCC(x86Condition(cond)));
1302     }
1303
1304     Jump branchSub32(ResultCondition cond, TrustedImm32 imm, Address dest)
1305     {
1306         sub32(imm, dest);
1307         return Jump(m_assembler.jCC(x86Condition(cond)));
1308     }
1309
1310     Jump branchSub32(ResultCondition cond, RegisterID src, Address dest)
1311     {
1312         sub32(src, dest);
1313         return Jump(m_assembler.jCC(x86Condition(cond)));
1314     }
1315
1316     Jump branchSub32(ResultCondition cond, Address src, RegisterID dest)
1317     {
1318         sub32(src, dest);
1319         return Jump(m_assembler.jCC(x86Condition(cond)));
1320     }
1321
1322     Jump branchSub32(ResultCondition cond, RegisterID src1, RegisterID src2, RegisterID dest)
1323     {
1324         // B := A - B is invalid.
1325         ASSERT(src1 == dest || src2 != dest);
1326
1327         move(src1, dest);
1328         return branchSub32(cond, src2, dest);
1329     }
1330
1331     Jump branchSub32(ResultCondition cond, RegisterID src1, TrustedImm32 src2, RegisterID dest)
1332     {
1333         move(src1, dest);
1334         return branchSub32(cond, src2, dest);
1335     }
1336
1337     Jump branchNeg32(ResultCondition cond, RegisterID srcDest)
1338     {
1339         neg32(srcDest);
1340         return Jump(m_assembler.jCC(x86Condition(cond)));
1341     }
1342
1343     Jump branchOr32(ResultCondition cond, RegisterID src, RegisterID dest)
1344     {
1345         or32(src, dest);
1346         return Jump(m_assembler.jCC(x86Condition(cond)));
1347     }
1348
1349
1350     // Miscellaneous operations:
1351
1352     void breakpoint()
1353     {
1354         m_assembler.int3();
1355     }
1356
1357     Call nearCall()
1358     {
1359         return Call(m_assembler.call(), Call::LinkableNear);
1360     }
1361
1362     Call call(RegisterID target)
1363     {
1364         return Call(m_assembler.call(target), Call::None);
1365     }
1366
1367     void call(Address address)
1368     {
1369         m_assembler.call_m(address.offset, address.base);
1370     }
1371
1372     void ret()
1373     {
1374         m_assembler.ret();
1375     }
1376
1377     void compare8(RelationalCondition cond, Address left, TrustedImm32 right, RegisterID dest)
1378     {
1379         m_assembler.cmpb_im(right.m_value, left.offset, left.base);
1380         set32(x86Condition(cond), dest);
1381     }
1382     
1383     void compare32(RelationalCondition cond, RegisterID left, RegisterID right, RegisterID dest)
1384     {
1385         m_assembler.cmpl_rr(right, left);
1386         set32(x86Condition(cond), dest);
1387     }
1388
1389     void compare32(RelationalCondition cond, RegisterID left, TrustedImm32 right, RegisterID dest)
1390     {
1391         if (((cond == Equal) || (cond == NotEqual)) && !right.m_value)
1392             m_assembler.testl_rr(left, left);
1393         else
1394             m_assembler.cmpl_ir(right.m_value, left);
1395         set32(x86Condition(cond), dest);
1396     }
1397
1398     // FIXME:
1399     // The mask should be optional... perhaps the argument order should be
1400     // dest-src, operations always have a dest? ... possibly not true, considering
1401     // asm ops like test, or pseudo ops like pop().
1402
1403     void test8(ResultCondition cond, Address address, TrustedImm32 mask, RegisterID dest)
1404     {
1405         if (mask.m_value == -1)
1406             m_assembler.cmpb_im(0, address.offset, address.base);
1407         else
1408             m_assembler.testb_im(mask.m_value, address.offset, address.base);
1409         set32(x86Condition(cond), dest);
1410     }
1411
1412     void test32(ResultCondition cond, Address address, TrustedImm32 mask, RegisterID dest)
1413     {
1414         if (mask.m_value == -1)
1415             m_assembler.cmpl_im(0, address.offset, address.base);
1416         else
1417             m_assembler.testl_i32m(mask.m_value, address.offset, address.base);
1418         set32(x86Condition(cond), dest);
1419     }
1420
1421     // Invert a relational condition, e.g. == becomes !=, < becomes >=, etc.
1422     static RelationalCondition invert(RelationalCondition cond)
1423     {
1424         return static_cast<RelationalCondition>(cond ^ 1);
1425     }
1426
1427     void nop()
1428     {
1429         m_assembler.nop();
1430     }
1431
1432     static void replaceWithJump(CodeLocationLabel instructionStart, CodeLocationLabel destination)
1433     {
1434         X86Assembler::replaceWithJump(instructionStart.executableAddress(), destination.executableAddress());
1435     }
1436     
1437     static ptrdiff_t maxJumpReplacementSize()
1438     {
1439         return X86Assembler::maxJumpReplacementSize();
1440     }
1441
1442 protected:
1443     X86Assembler::Condition x86Condition(RelationalCondition cond)
1444     {
1445         return static_cast<X86Assembler::Condition>(cond);
1446     }
1447
1448     X86Assembler::Condition x86Condition(ResultCondition cond)
1449     {
1450         return static_cast<X86Assembler::Condition>(cond);
1451     }
1452
1453     void set32(X86Assembler::Condition cond, RegisterID dest)
1454     {
1455 #if CPU(X86)
1456         // On 32-bit x86 we can only set the first 4 registers;
1457         // esp..edi are mapped to the 'h' registers!
1458         if (dest >= 4) {
1459             m_assembler.xchgl_rr(dest, X86Registers::eax);
1460             m_assembler.setCC_r(cond, X86Registers::eax);
1461             m_assembler.movzbl_rr(X86Registers::eax, X86Registers::eax);
1462             m_assembler.xchgl_rr(dest, X86Registers::eax);
1463             return;
1464         }
1465 #endif
1466         m_assembler.setCC_r(cond, dest);
1467         m_assembler.movzbl_rr(dest, dest);
1468     }
1469
1470 private:
1471     // Only MacroAssemblerX86 should be using the following method; SSE2 is always available on
1472     // x86_64, and clients & subclasses of MacroAssembler should be using 'supportsFloatingPoint()'.
1473     friend class MacroAssemblerX86;
1474
1475 #if CPU(X86)
1476 #if OS(MAC_OS_X)
1477
1478     // All X86 Macs are guaranteed to support at least SSE2,
1479     static bool isSSE2Present()
1480     {
1481         return true;
1482     }
1483
1484 #else // OS(MAC_OS_X)
1485
1486     enum SSE2CheckState {
1487         NotCheckedSSE2,
1488         HasSSE2,
1489         NoSSE2
1490     };
1491
1492     static bool isSSE2Present()
1493     {
1494         if (s_sse2CheckState == NotCheckedSSE2) {
1495             // Default the flags value to zero; if the compiler is
1496             // not MSVC or GCC we will read this as SSE2 not present.
1497             int flags = 0;
1498 #if COMPILER(MSVC)
1499             _asm {
1500                 mov eax, 1 // cpuid function 1 gives us the standard feature set
1501                 cpuid;
1502                 mov flags, edx;
1503             }
1504 #elif COMPILER(GCC)
1505             asm (
1506                  "movl $0x1, %%eax;"
1507                  "pushl %%ebx;"
1508                  "cpuid;"
1509                  "popl %%ebx;"
1510                  "movl %%edx, %0;"
1511                  : "=g" (flags)
1512                  :
1513                  : "%eax", "%ecx", "%edx"
1514                  );
1515 #endif
1516             static const int SSE2FeatureBit = 1 << 26;
1517             s_sse2CheckState = (flags & SSE2FeatureBit) ? HasSSE2 : NoSSE2;
1518         }
1519         // Only check once.
1520         ASSERT(s_sse2CheckState != NotCheckedSSE2);
1521
1522         return s_sse2CheckState == HasSSE2;
1523     }
1524     
1525     static SSE2CheckState s_sse2CheckState;
1526
1527 #endif // OS(MAC_OS_X)
1528 #elif !defined(NDEBUG) // CPU(X86)
1529
1530     // On x86-64 we should never be checking for SSE2 in a non-debug build,
1531     // but non debug add this method to keep the asserts above happy.
1532     static bool isSSE2Present()
1533     {
1534         return true;
1535     }
1536
1537 #endif
1538 };
1539
1540 } // namespace JSC
1541
1542 #endif // ENABLE(ASSEMBLER)
1543
1544 #endif // MacroAssemblerX86Common_h