JavaScriptCore:
[WebKit-https.git] / JavaScriptCore / pcre / pcre_internal.h
1 /* This is JavaScriptCore's variant of the PCRE library. While this library
2 started out as a copy of PCRE, many of the features of PCRE have been
3 removed. This library now supports only the regular expression features
4 required by the JavaScript language specification, and has only the functions
5 needed by JavaScriptCore and the rest of WebKit.
6
7                  Originally written by Philip Hazel
8            Copyright (c) 1997-2006 University of Cambridge
9     Copyright (C) 2002, 2004, 2006, 2007 Apple Inc. All rights reserved.
10
11 -----------------------------------------------------------------------------
12 Redistribution and use in source and binary forms, with or without
13 modification, are permitted provided that the following conditions are met:
14
15     * Redistributions of source code must retain the above copyright notice,
16       this list of conditions and the following disclaimer.
17
18     * Redistributions in binary form must reproduce the above copyright
19       notice, this list of conditions and the following disclaimer in the
20       documentation and/or other materials provided with the distribution.
21
22     * Neither the name of the University of Cambridge nor the names of its
23       contributors may be used to endorse or promote products derived from
24       this software without specific prior written permission.
25
26 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
27 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
28 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
29 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
30 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
31 CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
32 SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
33 INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
34 CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
35 ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
36 POSSIBILITY OF SUCH DAMAGE.
37 -----------------------------------------------------------------------------
38 */
39
40 /* This header contains definitions that are shared between the different
41 modules, but which are not relevant to the exported API. This includes some
42 functions whose names all begin with "_pcre_". */
43
44 #ifndef PCRE_INTERNAL_H
45 #define PCRE_INTERNAL_H
46
47 /* Bit definitions for entries in the pcre_ctypes table. */
48
49 #define ctype_space   0x01
50 #define ctype_xdigit  0x08
51 #define ctype_word    0x10   /* alphameric or '_' */
52
53 /* Offsets for the bitmap tables in pcre_cbits. Each table contains a set
54 of bits for a class map. Some classes are built by combining these tables. */
55
56 #define cbit_space     0      /* \s */
57 #define cbit_digit    32      /* \d */
58 #define cbit_word     64      /* \w */
59 #define cbit_length   96      /* Length of the cbits table */
60
61 /* Offsets of the various tables from the base tables pointer, and
62 total length. */
63
64 #define lcc_offset      0
65 #define fcc_offset    128
66 #define cbits_offset  256
67 #define ctypes_offset (cbits_offset + cbit_length)
68 #define tables_length (ctypes_offset + 128)
69
70 #ifndef DFTABLES
71
72 #include "Assertions.h"
73
74 #if COMPILER(MSVC)
75 #pragma warning(disable: 4232)
76 #pragma warning(disable: 4244)
77 #endif
78
79 /* The value of LINK_SIZE determines the number of bytes used to store links as
80 offsets within the compiled regex. The default is 2, which allows for compiled
81 patterns up to 64K long. This covers the vast majority of cases. However, PCRE
82 can also be compiled to use 3 or 4 bytes instead. This allows for longer
83 patterns in extreme cases. On systems that support it, "configure" can be used
84 to override this default. */
85
86 #define LINK_SIZE   2
87
88 /* The below limit restricts the number of recursive match calls in order to
89 limit the maximum amount of stack (or heap, if NO_RECURSE is defined) that is used. The
90 value of MATCH_LIMIT_RECURSION applies only to recursive calls of match().
91  
92  This limit is tied to the size of MatchFrame.  Right now we allow PCRE to allocate up
93  to MATCH_LIMIT_RECURSION - 16 * sizeof(MatchFrame) bytes of "stack" space before we give up.
94  Currently that's 100000 - 16 * (23 * 4)  ~ 90MB
95  */
96
97 #define MATCH_LIMIT_RECURSION 100000
98
99 #define _pcre_default_tables kjs_pcre_default_tables
100 #define _pcre_ord2utf8 kjs_pcre_ord2utf8
101 #define _pcre_utf8_table1 kjs_pcre_utf8_table1
102 #define _pcre_utf8_table2 kjs_pcre_utf8_table2
103 #define _pcre_utf8_table3 kjs_pcre_utf8_table3
104 #define _pcre_utf8_table4 kjs_pcre_utf8_table4
105 #define _pcre_xclass kjs_pcre_xclass
106
107 /* Define DEBUG to get debugging output on stdout. */
108
109 #if 0
110 #define DEBUG
111 #endif
112
113 /* Use a macro for debugging printing, 'cause that eliminates the use of #ifdef
114 inline, and there are *still* stupid compilers about that don't like indented
115 pre-processor statements, or at least there were when I first wrote this. After
116 all, it had only been about 10 years then... */
117
118 #ifdef DEBUG
119 #define DPRINTF(p) printf p
120 #else
121 #define DPRINTF(p) /*nothing*/
122 #endif
123
124 /* Standard C headers plus the external interface definition. The only time
125 setjmp and stdarg are used is when NO_RECURSE is set. */
126
127 #include <ctype.h>
128 #include <limits.h>
129 #include <setjmp.h>
130 #include <stdarg.h>
131 #include <stddef.h>
132 #include <stdio.h>
133 #include <stdlib.h>
134 #include <string.h>
135
136 /* Include the public PCRE header and the definitions of UCP character property
137 values. */
138
139 #include "pcre.h"
140
141 typedef unsigned short pcre_uint16;
142 typedef unsigned pcre_uint32;
143 typedef unsigned char uschar;
144
145 /* PCRE keeps offsets in its compiled code as 2-byte quantities (always stored
146 in big-endian order) by default. These are used, for example, to link from the
147 start of a subpattern to its alternatives and its end. The use of 2 bytes per
148 offset limits the size of the compiled regex to around 64K, which is big enough
149 for almost everybody. However, I received a request for an even bigger limit.
150 For this reason, and also to make the code easier to maintain, the storing and
151 loading of offsets from the byte string is now handled by the macros that are
152 defined here.
153
154 The macros are controlled by the value of LINK_SIZE. This defaults to 2 in
155 the config.h file, but can be overridden by using -D on the command line. This
156 is automated on Unix systems via the "configure" command. */
157
158 #if LINK_SIZE == 2
159
160 static inline void putOpcodeValueAtOffset(uschar* opcodePtr, size_t offset, unsigned short value)
161 {
162     opcodePtr[offset] = value >> 8;
163     opcodePtr[offset + 1] = value & 255;
164 }
165
166 static inline short getOpcodeValueAtOffset(const uschar* opcodePtr, size_t offset)
167 {
168     return ((opcodePtr[offset] << 8) | opcodePtr[offset + 1]);
169 }
170
171 #define MAX_PATTERN_SIZE (1 << 16)
172
173 #elif LINK_SIZE == 3
174
175 static inline void putOpcodeValueAtOffset(uschar* opcodePtr, size_t offset, unsigned value)
176 {
177     ASSERT(!(value & 0xFF000000)); // This function only allows values < 2^24
178     opcodePtr[offset] = value >> 16;
179     opcodePtr[offset + 1] = value >> 8;
180     opcodePtr[offset + 2] = value & 255;
181 }
182
183 static inline int getOpcodeValueAtOffset(const uschar* opcodePtr, size_t offset)
184 {
185     return ((opcodePtr[offset] << 16) | (opcodePtr[offset + 1] << 8) | opcodePtr[offset + 2]);
186 }
187
188 #define MAX_PATTERN_SIZE (1 << 24)
189
190 #elif LINK_SIZE == 4
191
192 static inline void putOpcodeValueAtOffset(uschar* opcodePtr, size_t offset, unsigned value)
193 {
194     opcodePtr[offset] = value >> 24;
195     opcodePtr[offset + 1] = value >> 16;
196     opcodePtr[offset + 2] = value >> 8;
197     opcodePtr[offset + 3] = value & 255;
198 }
199
200 static inline int getOpcodeValueAtOffset(const uschar* opcodePtr, size_t offset)
201 {
202     return ((opcodePtr[offset] << 24) | (opcodePtr[offset + 1] << 16) | (opcodePtr[offset + 2] << 8) | opcodePtr[offset + 3]);
203 }
204
205 #define MAX_PATTERN_SIZE (1 << 30)   /* Keep it positive */
206
207 #else
208 #error LINK_SIZE must be either 2, 3, or 4
209 #endif
210
211 static inline void putOpcodeValueAtOffsetAndAdvance(uschar*& opcodePtr, size_t offset, unsigned short value)
212 {
213     putOpcodeValueAtOffset(opcodePtr, offset, value);
214     opcodePtr += LINK_SIZE;
215 }
216
217 /* PCRE uses some other 2-byte quantities that do not change when the size of
218 offsets changes. There are used for repeat counts and for other things such as
219 capturing parenthesis numbers in back references. */
220
221 static inline void put2ByteOpcodeValueAtOffset(uschar* opcodePtr, size_t offset, unsigned short value)
222 {
223     opcodePtr[offset] = value >> 8;
224     opcodePtr[offset + 1] = value & 255;
225 }
226
227 static inline short get2ByteOpcodeValueAtOffset(const uschar* opcodePtr, size_t offset)
228 {
229     return ((opcodePtr[offset] << 8) | opcodePtr[offset + 1]);
230 }
231
232 static inline void put2ByteOpcodeValueAtOffsetAndAdvance(uschar*& opcodePtr, size_t offset, unsigned short value)
233 {
234     put2ByteOpcodeValueAtOffset(opcodePtr, offset, value);
235     opcodePtr += 2;
236 }
237
238 // FIXME: These are really more of a "compiled regexp state" than "regexp options"
239 enum RegExpOptions {
240     UseFirstByteOptimizationOption = 0x40000000,  /* first_byte is set */
241     UseRequiredByteOptimizationOption = 0x20000000,  /* req_byte is set */
242     UseMultiLineFirstByteOptimizationOption = 0x10000000,  /* start after \n for multiline */
243     IsAnchoredOption = 0x02000000,  /* can't use partial with this regex */
244     IgnoreCaseOption = 0x00000001,
245     MatchAcrossMultipleLinesOption = 0x00000002
246 };
247
248 /* Negative values for the firstchar and reqchar variables */
249
250 #define REQ_UNSET (-2)
251 #define REQ_NONE  (-1)
252
253 /* The maximum remaining length of subject we are prepared to search for a
254 req_byte match. */
255
256 #define REQ_BYTE_MAX 1000
257
258 /* Flags added to firstbyte or reqbyte; a "non-literal" item is either a
259 variable-length repeat, or a anything other than literal characters. */
260
261 #define REQ_IGNORE_CASE 0x0100    /* indicates should ignore case */
262 #define REQ_VARY     0x0200    /* reqbyte followed non-literal item */
263
264 /* Miscellaneous definitions */
265
266 /* Flag bits and data types for the extended class (OP_XCLASS) for classes that
267 contain UTF-8 characters with values greater than 255. */
268
269 #define XCL_NOT    0x01    /* Flag: this is a negative class */
270 #define XCL_MAP    0x02    /* Flag: a 32-byte map is present */
271
272 #define XCL_END       0    /* Marks end of individual items */
273 #define XCL_SINGLE    1    /* Single item (one multibyte char) follows */
274 #define XCL_RANGE     2    /* A range (two multibyte chars) follows */
275
276 /* These are escaped items that aren't just an encoding of a particular data
277 value such as \n. They must have non-zero values, as check_escape() returns
278 their negation. Also, they must appear in the same order as in the opcode
279 definitions below, up to ESC_w. The final one must be
280 ESC_REF as subsequent values are used for \1, \2, \3, etc. There is are two
281 tests in the code for an escape > ESC_b and <= ESC_w to
282 detect the types that may be repeated. These are the types that consume
283 characters. If any new escapes are put in between that don't consume a
284 character, that code will have to change. */
285
286 enum { ESC_B = 1, ESC_b, ESC_D, ESC_d, ESC_S, ESC_s, ESC_W, ESC_w, ESC_REF };
287
288 /* Opcode table: OP_BRA must be last, as all values >= it are used for brackets
289 that extract substrings. Starting from 1 (i.e. after OP_END), the values up to
290 OP_EOD must correspond in order to the list of escapes immediately above.
291 Note that whenever this list is updated, the two macro definitions that follow
292 must also be updated to match. */
293
294 #define FOR_EACH_OPCODE(macro) \
295     macro(END) \
296     \
297     macro(NOT_WORD_BOUNDARY) \
298     macro(WORD_BOUNDARY) \
299     macro(NOT_DIGIT) \
300     macro(DIGIT) \
301     macro(NOT_WHITESPACE) \
302     macro(WHITESPACE) \
303     macro(NOT_WORDCHAR) \
304     macro(WORDCHAR) \
305     \
306     macro(NOT_NEWLINE) \
307     \
308     macro(CIRC) \
309     macro(DOLL) \
310     macro(CHAR) \
311     macro(CHAR_IGNORING_CASE) \
312     macro(ASCII_CHAR) \
313     macro(ASCII_LETTER_IGNORING_CASE) \
314     macro(NOT) \
315     \
316     macro(STAR) \
317     macro(MINSTAR) \
318     macro(PLUS) \
319     macro(MINPLUS) \
320     macro(QUERY) \
321     macro(MINQUERY) \
322     macro(UPTO) \
323     macro(MINUPTO) \
324     macro(EXACT) \
325     \
326     macro(NOTSTAR) \
327     macro(NOTMINSTAR) \
328     macro(NOTPLUS) \
329     macro(NOTMINPLUS) \
330     macro(NOTQUERY) \
331     macro(NOTMINQUERY) \
332     macro(NOTUPTO) \
333     macro(NOTMINUPTO) \
334     macro(NOTEXACT) \
335     \
336     macro(TYPESTAR) \
337     macro(TYPEMINSTAR) \
338     macro(TYPEPLUS) \
339     macro(TYPEMINPLUS) \
340     macro(TYPEQUERY) \
341     macro(TYPEMINQUERY) \
342     macro(TYPEUPTO) \
343     macro(TYPEMINUPTO) \
344     macro(TYPEEXACT) \
345     \
346     macro(CRSTAR) \
347     macro(CRMINSTAR) \
348     macro(CRPLUS) \
349     macro(CRMINPLUS) \
350     macro(CRQUERY) \
351     macro(CRMINQUERY) \
352     macro(CRRANGE) \
353     macro(CRMINRANGE) \
354     \
355     macro(CLASS) \
356     macro(NCLASS) \
357     macro(XCLASS) \
358     \
359     macro(REF) \
360     \
361     macro(ALT) \
362     macro(KET) \
363     macro(KETRMAX) \
364     macro(KETRMIN) \
365     \
366     macro(ASSERT) \
367     macro(ASSERT_NOT) \
368     \
369     macro(ONCE) \
370     \
371     macro(BRAZERO) \
372     macro(BRAMINZERO) \
373     macro(BRANUMBER) \
374     macro(BRA)
375
376 #define OPCODE_ENUM_VALUE(opcode) OP_##opcode,
377 enum { FOR_EACH_OPCODE(OPCODE_ENUM_VALUE) };
378
379 /* WARNING WARNING WARNING: There is an implicit assumption in pcre.c and
380 study.c that all opcodes are less than 128 in value. This makes handling UTF-8
381 character sequences easier. */
382
383 /* The highest extraction number before we have to start using additional
384 bytes. (Originally PCRE didn't have support for extraction counts highter than
385 this number.) The value is limited by the number of opcodes left after OP_BRA,
386 i.e. 255 - OP_BRA. We actually set it a bit lower to leave room for additional
387 opcodes. */
388
389 #define EXTRACT_BASIC_MAX  100
390
391 /* This macro defines the length of fixed length operations in the compiled
392 regex. The lengths are used when searching for specific things, and also in the
393 debugging printing of a compiled regex. We use a macro so that it can be
394 defined close to the definitions of the opcodes themselves.
395
396 As things have been extended, some of these are no longer fixed lenths, but are
397 minima instead. For example, the length of a single-character repeat may vary
398 in UTF-8 mode. The code that uses this table must know about such things. */
399
400 #define OP_LENGTHS \
401   1,                             /* End                                    */ \
402   1, 1, 1, 1, 1, 1, 1, 1,        /* \B, \b, \D, \d, \S, \s, \W, \w         */ \
403   1,                             /* Any                                    */ \
404   1, 1,                          /* ^, $                                   */ \
405   2, 2,                          /* Char, Charnc - minimum lengths         */ \
406   2, 2,                          /* ASCII char or non-cased                */ \
407   2,                             /* not                                    */ \
408   /* Positive single-char repeats                            ** These are  */ \
409   2, 2, 2, 2, 2, 2,              /* *, *?, +, +?, ?, ??      ** minima in  */ \
410   4, 4, 4,                       /* upto, minupto, exact     ** UTF-8 mode */ \
411   /* Negative single-char repeats - only for chars < 256                   */ \
412   2, 2, 2, 2, 2, 2,              /* NOT *, *?, +, +?, ?, ??                */ \
413   4, 4, 4,                       /* NOT upto, minupto, exact               */ \
414   /* Positive type repeats                                                 */ \
415   2, 2, 2, 2, 2, 2,              /* Type *, *?, +, +?, ?, ??               */ \
416   4, 4, 4,                       /* Type upto, minupto, exact              */ \
417   /* Character class & ref repeats                                         */ \
418   1, 1, 1, 1, 1, 1,              /* *, *?, +, +?, ?, ??                    */ \
419   5, 5,                          /* CRRANGE, CRMINRANGE                    */ \
420  33,                             /* CLASS                                  */ \
421  33,                             /* NCLASS                                 */ \
422   0,                             /* XCLASS - variable length               */ \
423   3,                             /* REF                                    */ \
424   1 + LINK_SIZE,                   /* Alt                                    */ \
425   1 + LINK_SIZE,                   /* Ket                                    */ \
426   1 + LINK_SIZE,                   /* KetRmax                                */ \
427   1 + LINK_SIZE,                   /* KetRmin                                */ \
428   1 + LINK_SIZE,                   /* Assert                                 */ \
429   1 + LINK_SIZE,                   /* Assert not                             */ \
430   1 + LINK_SIZE,                   /* Once                                   */ \
431   1, 1,                          /* BRAZERO, BRAMINZERO                    */ \
432   3,                             /* BRANUMBER                              */ \
433   1 + LINK_SIZE                    /* BRA                                    */ \
434
435
436 /* The index of names and the
437 code vector run on as long as necessary after the end. We store an explicit
438 offset to the name table so that if a regex is compiled on one host, saved, and
439 then run on another where the size of pointers is different, all might still
440 be well. For the case of compiled-on-4 and run-on-8, we include an extra
441 pointer that is always NULL.
442 */
443
444 struct JSRegExp {
445     pcre_uint32 size;               /* Total that was malloced */
446     pcre_uint32 options;
447
448     pcre_uint16 top_bracket;
449     pcre_uint16 top_backref;
450     
451     // jsRegExpExecute && jsRegExpCompile currently only how to handle ASCII
452     // chars for thse optimizations, however it would be trivial to add support
453     // for optimized UChar first_byte/req_byte scans
454     pcre_uint16 first_byte;
455     pcre_uint16 req_byte;
456 };
457
458 /* Internal shared data tables. These are tables that are used by more than one
459  of the exported public functions. They have to be "external" in the C sense,
460  but are not part of the PCRE public API. The data for these tables is in the
461  pcre_tables.c module. */
462
463 #define _pcre_utf8_table1_size 6
464
465 extern const int    _pcre_utf8_table1[6];
466 extern const int    _pcre_utf8_table2[6];
467 extern const int    _pcre_utf8_table3[6];
468 extern const uschar _pcre_utf8_table4[0x40];
469
470 extern const uschar _pcre_default_tables[tables_length];
471
472 static inline uschar toLowerCase(uschar c)
473 {
474     static const uschar* lowerCaseChars = _pcre_default_tables + lcc_offset;
475     return lowerCaseChars[c];
476 }
477
478 static inline uschar flipCase(uschar c)
479 {
480     static const uschar* flippedCaseChars = _pcre_default_tables + fcc_offset;
481     return flippedCaseChars[c];
482 }
483
484 static inline uschar classBitmapForChar(uschar c)
485 {
486     static const uschar* charClassBitmaps = _pcre_default_tables + cbits_offset;
487     return charClassBitmaps[c];
488 }
489
490 static inline uschar charTypeForChar(uschar c)
491 {
492     const uschar* charTypeMap = _pcre_default_tables + ctypes_offset;
493     return charTypeMap[c];
494 }
495
496 static inline bool isWordChar(UChar c)
497 {
498     /* UTF8 Characters > 128 are assumed to be "non-word" characters. */
499     return (c < 128 && (charTypeForChar(c) & ctype_word));
500 }
501
502 static inline bool isSpaceChar(UChar c)
503 {
504     return (c < 128 && (charTypeForChar(c) & ctype_space));
505 }
506
507 /* Structure for passing "static" information around between the functions
508 doing the compiling, so that they are thread-safe. */
509
510 struct CompileData {
511     CompileData() {
512         start_code = 0;
513         start_pattern = 0;
514         top_backref = 0;
515         backref_map = 0;
516         req_varyopt = 0;
517     }
518   const uschar* start_code;     /* The start of the compiled code */
519   const UChar* start_pattern;   /* The start of the pattern */
520   int  top_backref;             /* Maximum back reference */
521   unsigned backref_map;     /* Bitmap of low back refs */
522   int  req_varyopt;             /* "After variable item" flag for reqbyte */
523 };
524
525 /* Internal shared functions. These are functions that are used by more than
526 one of the exported public functions. They have to be "external" in the C
527 sense, but are not part of the PCRE public API. */
528
529 extern int         _pcre_ucp_othercase(const unsigned int);
530 extern bool        _pcre_xclass(int, const uschar*);
531
532 static inline bool isNewline(UChar nl)
533 {
534     return (nl == 0xA || nl == 0xD || nl == 0x2028 || nl == 0x2029);
535 }
536
537 // FIXME: It's unclear to me if this moves the opcode ptr to the start of all branches
538 // or to the end of all branches -- ecs
539 // FIXME: This abstraction is poor since it assumes that you want to jump based on whatever
540 // the next value in the stream is, and *then* follow any OP_ALT branches.
541 static inline void moveOpcodePtrPastAnyAlternateBranches(const uschar*& opcodePtr)
542 {
543     do {
544         opcodePtr += getOpcodeValueAtOffset(opcodePtr, 1);
545     } while (*opcodePtr == OP_ALT);
546 }
547
548 #endif
549
550 #endif
551
552 /* End of pcre_internal.h */