2007-11-24 Eric Seidel <eric@webkit.org>
[WebKit-https.git] / JavaScriptCore / pcre / pcre_internal.h
1 /* This is JavaScriptCore's variant of the PCRE library. While this library
2 started out as a copy of PCRE, many of the features of PCRE have been
3 removed. This library now supports only the regular expression features
4 required by the JavaScript language specification, and has only the functions
5 needed by JavaScriptCore and the rest of WebKit.
6
7                  Originally written by Philip Hazel
8            Copyright (c) 1997-2006 University of Cambridge
9     Copyright (C) 2002, 2004, 2006, 2007 Apple Inc. All rights reserved.
10
11 -----------------------------------------------------------------------------
12 Redistribution and use in source and binary forms, with or without
13 modification, are permitted provided that the following conditions are met:
14
15     * Redistributions of source code must retain the above copyright notice,
16       this list of conditions and the following disclaimer.
17
18     * Redistributions in binary form must reproduce the above copyright
19       notice, this list of conditions and the following disclaimer in the
20       documentation and/or other materials provided with the distribution.
21
22     * Neither the name of the University of Cambridge nor the names of its
23       contributors may be used to endorse or promote products derived from
24       this software without specific prior written permission.
25
26 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
27 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
28 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
29 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
30 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
31 CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
32 SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
33 INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
34 CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
35 ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
36 POSSIBILITY OF SUCH DAMAGE.
37 -----------------------------------------------------------------------------
38 */
39
40 /* This header contains definitions that are shared between the different
41 modules, but which are not relevant to the exported API. This includes some
42 functions whose names all begin with "_pcre_". */
43
44 #ifndef PCRE_INTERNAL_H
45 #define PCRE_INTERNAL_H
46
47 /* Bit definitions for entries in the pcre_ctypes table. */
48
49 #define ctype_space   0x01
50 #define ctype_xdigit  0x08
51 #define ctype_word    0x10   /* alphameric or '_' */
52
53 /* Offsets for the bitmap tables in pcre_cbits. Each table contains a set
54 of bits for a class map. Some classes are built by combining these tables. */
55
56 #define cbit_space     0      /* \s */
57 #define cbit_digit    32      /* \d */
58 #define cbit_word     64      /* \w */
59 #define cbit_length   96      /* Length of the cbits table */
60
61 /* Offsets of the various tables from the base tables pointer, and
62 total length. */
63
64 #define lcc_offset      0
65 #define fcc_offset    128
66 #define cbits_offset  256
67 #define ctypes_offset (cbits_offset + cbit_length)
68 #define tables_length (ctypes_offset + 128)
69
70 #ifndef DFTABLES
71
72 #include "Assertions.h"
73
74 #if COMPILER(MSVC)
75 #pragma warning(disable: 4232)
76 #pragma warning(disable: 4244)
77 #endif
78
79 /* The value of LINK_SIZE determines the number of bytes used to store links as
80 offsets within the compiled regex. The default is 2, which allows for compiled
81 patterns up to 64K long. This covers the vast majority of cases. However, PCRE
82 can also be compiled to use 3 or 4 bytes instead. This allows for longer
83 patterns in extreme cases. On systems that support it, "configure" can be used
84 to override this default. */
85
86 #define LINK_SIZE   2
87
88 /* The value of MATCH_LIMIT determines the default number of times the internal
89 match() function can be called during a single execution of pcre_exec(). There
90 is a runtime interface for setting a different limit. The limit exists in order
91 to catch runaway regular expressions that take for ever to determine that they
92 do not match. The default is set very large so that it does not accidentally
93 catch legitimate cases. On systems that support it, "configure" can be used to
94 override this default default. */
95
96 #define MATCH_LIMIT 10000000
97
98 /* The above limit applies to all calls of match(), whether or not they
99 increase the recursion depth. In some environments it is desirable to limit the
100 depth of recursive calls of match() more strictly, in order to restrict the
101 maximum amount of stack (or heap, if NO_RECURSE is defined) that is used. The
102 value of MATCH_LIMIT_RECURSION applies only to recursive calls of match(). To
103 have any useful effect, it must be less than the value of MATCH_LIMIT. There is
104 a runtime method for setting a different limit. On systems that support it,
105 "configure" can be used to override this default default. */
106
107 #define MATCH_LIMIT_RECURSION MATCH_LIMIT
108
109 #define _pcre_default_tables kjs_pcre_default_tables
110 #define _pcre_ord2utf8 kjs_pcre_ord2utf8
111 #define _pcre_utf8_table1 kjs_pcre_utf8_table1
112 #define _pcre_utf8_table2 kjs_pcre_utf8_table2
113 #define _pcre_utf8_table3 kjs_pcre_utf8_table3
114 #define _pcre_utf8_table4 kjs_pcre_utf8_table4
115 #define _pcre_xclass kjs_pcre_xclass
116
117 /* Define DEBUG to get debugging output on stdout. */
118
119 #if 0
120 #define DEBUG
121 #endif
122
123 /* Use a macro for debugging printing, 'cause that eliminates the use of #ifdef
124 inline, and there are *still* stupid compilers about that don't like indented
125 pre-processor statements, or at least there were when I first wrote this. After
126 all, it had only been about 10 years then... */
127
128 #ifdef DEBUG
129 #define DPRINTF(p) printf p
130 #else
131 #define DPRINTF(p) /*nothing*/
132 #endif
133
134 /* Standard C headers plus the external interface definition. The only time
135 setjmp and stdarg are used is when NO_RECURSE is set. */
136
137 #include <ctype.h>
138 #include <limits.h>
139 #include <setjmp.h>
140 #include <stdarg.h>
141 #include <stddef.h>
142 #include <stdio.h>
143 #include <stdlib.h>
144 #include <string.h>
145
146 /* Include the public PCRE header and the definitions of UCP character property
147 values. */
148
149 #include "pcre.h"
150
151 typedef unsigned short pcre_uint16;
152 typedef unsigned pcre_uint32;
153 typedef unsigned char uschar;
154
155 /* PCRE keeps offsets in its compiled code as 2-byte quantities (always stored
156 in big-endian order) by default. These are used, for example, to link from the
157 start of a subpattern to its alternatives and its end. The use of 2 bytes per
158 offset limits the size of the compiled regex to around 64K, which is big enough
159 for almost everybody. However, I received a request for an even bigger limit.
160 For this reason, and also to make the code easier to maintain, the storing and
161 loading of offsets from the byte string is now handled by the macros that are
162 defined here.
163
164 The macros are controlled by the value of LINK_SIZE. This defaults to 2 in
165 the config.h file, but can be overridden by using -D on the command line. This
166 is automated on Unix systems via the "configure" command. */
167
168 #if LINK_SIZE == 2
169
170 static inline void PUT(uschar* a, size_t n, unsigned short d)
171 {
172     a[n] = d >> 8;
173     a[n+1] = d & 255;
174 }
175
176 static inline short GET(const uschar* a, size_t n)
177 {
178     return ((a[n] << 8) | a[n + 1]);
179 }
180
181 #define MAX_PATTERN_SIZE (1 << 16)
182
183 #elif LINK_SIZE == 3
184
185 static inline void PUT(uschar* a, size_t n, unsigned d)
186 {
187     a[n] = d >> 16;
188     a[n+1] = d >> 8;
189     a[n+2] = d & 255;
190 }
191
192 static inline int GET(const uschar* a, size_t n)
193 {
194     return ((a[n] << 16) | (a[n+1] << 8) | a[n+2]);
195 }
196
197 #define MAX_PATTERN_SIZE (1 << 24)
198
199 #elif LINK_SIZE == 4
200
201 static inline void PUT(uschar* a, size_t n, unsigned d)
202 {
203     a[n] = d >> 24;
204     a[n+1] = d >> 16;
205     a[n+2] = d >> 8;
206     a[n+3] = d & 255;
207 }
208
209 static inline int GET(const uschar* a, size_t n)
210 {
211     return ((a[n] << 24) | (a[n+1] << 16) | (a[n+2] << 8) | a[n+3]);
212 }
213
214 #define MAX_PATTERN_SIZE (1 << 30)   /* Keep it positive */
215
216 #else
217 #error LINK_SIZE must be either 2, 3, or 4
218 #endif
219
220
221 /* Convenience macro defined in terms of the others */
222
223 #define PUTINC(a,n,d)   PUT(a,n,d), a += LINK_SIZE
224
225
226 /* PCRE uses some other 2-byte quantities that do not change when the size of
227 offsets changes. There are used for repeat counts and for other things such as
228 capturing parenthesis numbers in back references. */
229
230 static inline void PUT2(uschar* a, size_t n, unsigned short d)
231 {
232     a[n] = d >> 8;
233     a[n+1] = d & 255;
234 }
235
236 static inline short GET2(const uschar* a, size_t n)
237 {
238     return ((a[n] << 8) | a[n + 1]);
239 }
240
241 static inline void PUT2INC(uschar*& a, size_t n, unsigned short d)
242 {
243     PUT2(a,n,d);
244     a += 2;
245 }
246
247 #define LEAD_OFFSET (0xd800 - (0x10000 >> 10))
248 #define SURROGATE_OFFSET (0x10000 - (0xd800 << 10) - 0xdc00)
249
250 static inline bool isLeadingSurrogate(int c)
251 {
252     return ((c & ~0x3ff) == 0xd800);
253 }
254
255 static inline bool isTrailingSurrogate(int c)
256 {
257     return ((c & ~0x3ff) == 0xdc00);
258 }
259
260 static inline int decodeSurrogatePair(int l, int t)
261 {
262     return ((l << 10) + t + SURROGATE_OFFSET);
263 }
264
265 static inline void getChar(int& c, const UChar* eptr)
266 {
267     c = eptr[0];
268     if (isLeadingSurrogate(c))
269         c = decodeSurrogatePair(c, eptr[1]);
270 }
271
272 #define GETCHARINC(c, eptr) \
273   c = *eptr++; \
274   if (isLeadingSurrogate(c)) \
275     c = decodeSurrogatePair(c, *eptr++)
276
277 #define GETCHARINCTEST(c, eptr) GETCHARINC(c, eptr)
278
279 #define GETCHARLEN(c, eptr, len) \
280   c = eptr[0]; \
281   if (isLeadingSurrogate(c)) { \
282     c = decodeSurrogatePair(c, eptr[1]); \
283     ++len; \
284     }
285
286 #define GETCHARLENEND(c, eptr, end, len) \
287   c = eptr[0]; \
288   if (isLeadingSurrogate(c)) { \
289     c = decodeSurrogatePair(c, eptr + 1 < end ? eptr[1] : 0); \
290     ++len; \
291     }
292
293 #define BACKCHAR(eptr) while(isTrailingSurrogate(*eptr)) eptr--;
294
295 // FIXME: These are really more of a "regexp state" than "regexp options"
296 enum PCREOptions {
297     PCRE_FIRSTSET = 0x40000000,  /* first_byte is set */
298     PCRE_REQCHSET = 0x20000000,  /* req_byte is set */
299     OptionUseMultiLineFirstCharOptimization = 0x10000000,  /* start after \n for multiline */
300     PCRE_ANCHORED = 0x02000000,  /* can't use partial with this regex */
301     PCRE_CASELESS = 0x00000001,
302     PCRE_MULTILINE = 0x00000002
303 };
304
305 /* Negative values for the firstchar and reqchar variables */
306
307 #define REQ_UNSET (-2)
308 #define REQ_NONE  (-1)
309
310 /* The maximum remaining length of subject we are prepared to search for a
311 req_byte match. */
312
313 #define REQ_BYTE_MAX 1000
314
315 /* Flags added to firstbyte or reqbyte; a "non-literal" item is either a
316 variable-length repeat, or a anything other than literal characters. */
317
318 #define REQ_CASELESS 0x0100    /* indicates caselessness */
319 #define REQ_VARY     0x0200    /* reqbyte followed non-literal item */
320
321 /* Miscellaneous definitions */
322
323 /* Flag bits and data types for the extended class (OP_XCLASS) for classes that
324 contain UTF-8 characters with values greater than 255. */
325
326 #define XCL_NOT    0x01    /* Flag: this is a negative class */
327 #define XCL_MAP    0x02    /* Flag: a 32-byte map is present */
328
329 #define XCL_END       0    /* Marks end of individual items */
330 #define XCL_SINGLE    1    /* Single item (one multibyte char) follows */
331 #define XCL_RANGE     2    /* A range (two multibyte chars) follows */
332
333 /* These are escaped items that aren't just an encoding of a particular data
334 value such as \n. They must have non-zero values, as check_escape() returns
335 their negation. Also, they must appear in the same order as in the opcode
336 definitions below, up to ESC_z. There's a dummy for OP_ANY because it
337 corresponds to "." rather than an escape sequence. The final one must be
338 ESC_REF as subsequent values are used for \1, \2, \3, etc. There is are two
339 tests in the code for an escape greater than ESC_b and less than ESC_Z to
340 detect the types that may be repeated. These are the types that consume
341 characters. If any new escapes are put in between that don't consume a
342 character, that code will have to change. */
343
344 enum { ESC_B = 1, ESC_b, ESC_D, ESC_d, ESC_S, ESC_s, ESC_W, ESC_w, ESC_REF };
345
346 /* Opcode table: OP_BRA must be last, as all values >= it are used for brackets
347 that extract substrings. Starting from 1 (i.e. after OP_END), the values up to
348 OP_EOD must correspond in order to the list of escapes immediately above.
349 Note that whenever this list is updated, the two macro definitions that follow
350 must also be updated to match. */
351
352 #define FOR_EACH_OPCODE(macro) \
353     macro(END) \
354     \
355     macro(NOT_WORD_BOUNDARY) \
356     macro(WORD_BOUNDARY) \
357     macro(NOT_DIGIT) \
358     macro(DIGIT) \
359     macro(NOT_WHITESPACE) \
360     macro(WHITESPACE) \
361     macro(NOT_WORDCHAR) \
362     macro(WORDCHAR) \
363     \
364     macro(ANY) \
365     \
366     macro(CIRC) \
367     macro(DOLL) \
368     macro(CHAR) \
369     macro(CHARNC) \
370     macro(ASCII_CHAR) \
371     macro(ASCII_LETTER_NC) \
372     macro(NOT) \
373     \
374     macro(STAR) \
375     macro(MINSTAR) \
376     macro(PLUS) \
377     macro(MINPLUS) \
378     macro(QUERY) \
379     macro(MINQUERY) \
380     macro(UPTO) \
381     macro(MINUPTO) \
382     macro(EXACT) \
383     \
384     macro(NOTSTAR) \
385     macro(NOTMINSTAR) \
386     macro(NOTPLUS) \
387     macro(NOTMINPLUS) \
388     macro(NOTQUERY) \
389     macro(NOTMINQUERY) \
390     macro(NOTUPTO) \
391     macro(NOTMINUPTO) \
392     macro(NOTEXACT) \
393     \
394     macro(TYPESTAR) \
395     macro(TYPEMINSTAR) \
396     macro(TYPEPLUS) \
397     macro(TYPEMINPLUS) \
398     macro(TYPEQUERY) \
399     macro(TYPEMINQUERY) \
400     macro(TYPEUPTO) \
401     macro(TYPEMINUPTO) \
402     macro(TYPEEXACT) \
403     \
404     macro(CRSTAR) \
405     macro(CRMINSTAR) \
406     macro(CRPLUS) \
407     macro(CRMINPLUS) \
408     macro(CRQUERY) \
409     macro(CRMINQUERY) \
410     macro(CRRANGE) \
411     macro(CRMINRANGE) \
412     \
413     macro(CLASS) \
414     macro(NCLASS) \
415     macro(XCLASS) \
416     \
417     macro(REF) \
418     \
419     macro(ALT) \
420     macro(KET) \
421     macro(KETRMAX) \
422     macro(KETRMIN) \
423     \
424     macro(ASSERT) \
425     macro(ASSERT_NOT) \
426     \
427     macro(ONCE) \
428     \
429     macro(BRAZERO) \
430     macro(BRAMINZERO) \
431     macro(BRANUMBER) \
432     macro(BRA)
433
434 #define OPCODE_ENUM_VALUE(opcode) OP_##opcode,
435 enum { FOR_EACH_OPCODE(OPCODE_ENUM_VALUE) };
436
437 /* WARNING WARNING WARNING: There is an implicit assumption in pcre.c and
438 study.c that all opcodes are less than 128 in value. This makes handling UTF-8
439 character sequences easier. */
440
441 /* The highest extraction number before we have to start using additional
442 bytes. (Originally PCRE didn't have support for extraction counts highter than
443 this number.) The value is limited by the number of opcodes left after OP_BRA,
444 i.e. 255 - OP_BRA. We actually set it a bit lower to leave room for additional
445 opcodes. */
446
447 #define EXTRACT_BASIC_MAX  100
448
449 /* This macro defines the length of fixed length operations in the compiled
450 regex. The lengths are used when searching for specific things, and also in the
451 debugging printing of a compiled regex. We use a macro so that it can be
452 defined close to the definitions of the opcodes themselves.
453
454 As things have been extended, some of these are no longer fixed lenths, but are
455 minima instead. For example, the length of a single-character repeat may vary
456 in UTF-8 mode. The code that uses this table must know about such things. */
457
458 #define OP_LENGTHS \
459   1,                             /* End                                    */ \
460   1, 1, 1, 1, 1, 1, 1, 1,        /* \B, \b, \D, \d, \S, \s, \W, \w         */ \
461   1,                             /* Any                                    */ \
462   1, 1,                          /* ^, $                                   */ \
463   2, 2,                          /* Char, Charnc - minimum lengths         */ \
464   2, 2,                          /* ASCII char or non-cased                */ \
465   2,                             /* not                                    */ \
466   /* Positive single-char repeats                            ** These are  */ \
467   2, 2, 2, 2, 2, 2,              /* *, *?, +, +?, ?, ??      ** minima in  */ \
468   4, 4, 4,                       /* upto, minupto, exact     ** UTF-8 mode */ \
469   /* Negative single-char repeats - only for chars < 256                   */ \
470   2, 2, 2, 2, 2, 2,              /* NOT *, *?, +, +?, ?, ??                */ \
471   4, 4, 4,                       /* NOT upto, minupto, exact               */ \
472   /* Positive type repeats                                                 */ \
473   2, 2, 2, 2, 2, 2,              /* Type *, *?, +, +?, ?, ??               */ \
474   4, 4, 4,                       /* Type upto, minupto, exact              */ \
475   /* Character class & ref repeats                                         */ \
476   1, 1, 1, 1, 1, 1,              /* *, *?, +, +?, ?, ??                    */ \
477   5, 5,                          /* CRRANGE, CRMINRANGE                    */ \
478  33,                             /* CLASS                                  */ \
479  33,                             /* NCLASS                                 */ \
480   0,                             /* XCLASS - variable length               */ \
481   3,                             /* REF                                    */ \
482   1+LINK_SIZE,                   /* Alt                                    */ \
483   1+LINK_SIZE,                   /* Ket                                    */ \
484   1+LINK_SIZE,                   /* KetRmax                                */ \
485   1+LINK_SIZE,                   /* KetRmin                                */ \
486   1+LINK_SIZE,                   /* Assert                                 */ \
487   1+LINK_SIZE,                   /* Assert not                             */ \
488   1+LINK_SIZE,                   /* Once                                   */ \
489   1, 1,                          /* BRAZERO, BRAMINZERO                    */ \
490   3,                             /* BRANUMBER                              */ \
491   1+LINK_SIZE                    /* BRA                                    */ \
492
493
494 /* The real format of the start of the pcre block; the index of names and the
495 code vector run on as long as necessary after the end. We store an explicit
496 offset to the name table so that if a regex is compiled on one host, saved, and
497 then run on another where the size of pointers is different, all might still
498 be well. For the case of compiled-on-4 and run-on-8, we include an extra
499 pointer that is always NULL. For future-proofing, a few dummy fields were
500 originally included - even though you can never get this planning right - but
501 there is only one left now.
502
503 NOTE NOTE NOTE:
504 Because people can now save and re-use compiled patterns, any additions to this
505 structure should be made at the end, and something earlier (e.g. a new
506 flag in the options or one of the dummy fields) should indicate that the new
507 fields are present. Currently PCRE always sets the dummy fields to zero.
508 NOTE NOTE NOTE:
509 */
510
511 struct JSRegExp {
512   pcre_uint32 size;               /* Total that was malloced */
513   pcre_uint32 options;
514
515   pcre_uint16 top_bracket;
516   pcre_uint16 top_backref;
517   pcre_uint16 first_byte;
518   pcre_uint16 req_byte;
519 };
520
521 /* Internal shared data tables. These are tables that are used by more than one
522  of the exported public functions. They have to be "external" in the C sense,
523  but are not part of the PCRE public API. The data for these tables is in the
524  pcre_tables.c module. */
525
526 #define _pcre_utf8_table1_size 6
527
528 extern const int    _pcre_utf8_table1[6];
529 extern const int    _pcre_utf8_table2[6];
530 extern const int    _pcre_utf8_table3[6];
531 extern const uschar _pcre_utf8_table4[0x40];
532
533 extern const uschar _pcre_default_tables[tables_length];
534
535 /* Structure for passing "static" information around between the functions
536 doing the compiling, so that they are thread-safe. */
537
538 struct CompileData {
539     CompileData() {
540         lcc = _pcre_default_tables + lcc_offset;
541         fcc = _pcre_default_tables + fcc_offset;
542         cbits = _pcre_default_tables + cbits_offset;
543         ctypes = _pcre_default_tables + ctypes_offset;
544         start_code = 0;
545         start_pattern = 0;
546         top_backref = 0;
547         backref_map = 0;
548         req_varyopt = 0;
549     }
550     
551   const uschar* lcc;            /* Points to lower casing table */
552   const uschar* fcc;            /* Points to case-flipping table */
553   const uschar* cbits;          /* Points to character type table */
554   const uschar* ctypes;         /* Points to table of type maps */
555   const uschar* start_code;     /* The start of the compiled code */
556   const UChar* start_pattern;   /* The start of the pattern */
557   int  top_backref;             /* Maximum back reference */
558   unsigned int backref_map;     /* Bitmap of low back refs */
559   int  req_varyopt;             /* "After variable item" flag for reqbyte */
560 };
561
562 /* Internal shared functions. These are functions that are used by more than
563 one of the exported public functions. They have to be "external" in the C
564 sense, but are not part of the PCRE public API. */
565
566 extern int         _pcre_ucp_othercase(const unsigned int);
567 extern bool        _pcre_xclass(int, const uschar*);
568
569 static inline bool isNewline(UChar nl)
570 {
571     return (nl == 0xA || nl == 0xD || nl == 0x2028 || nl == 0x2029);
572 }
573
574 #endif
575
576 #endif
577
578 /* End of pcre_internal.h */