2007-11-24 Eric Seidel <eric@webkit.org>
[WebKit-https.git] / JavaScriptCore / pcre / pcre_internal.h
1 /* This is JavaScriptCore's variant of the PCRE library. While this library
2 started out as a copy of PCRE, many of the features of PCRE have been
3 removed. This library now supports only the regular expression features
4 required by the JavaScript language specification, and has only the functions
5 needed by JavaScriptCore and the rest of WebKit.
6
7                  Originally written by Philip Hazel
8            Copyright (c) 1997-2006 University of Cambridge
9     Copyright (C) 2002, 2004, 2006, 2007 Apple Inc. All rights reserved.
10
11 -----------------------------------------------------------------------------
12 Redistribution and use in source and binary forms, with or without
13 modification, are permitted provided that the following conditions are met:
14
15     * Redistributions of source code must retain the above copyright notice,
16       this list of conditions and the following disclaimer.
17
18     * Redistributions in binary form must reproduce the above copyright
19       notice, this list of conditions and the following disclaimer in the
20       documentation and/or other materials provided with the distribution.
21
22     * Neither the name of the University of Cambridge nor the names of its
23       contributors may be used to endorse or promote products derived from
24       this software without specific prior written permission.
25
26 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
27 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
28 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
29 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
30 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
31 CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
32 SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
33 INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
34 CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
35 ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
36 POSSIBILITY OF SUCH DAMAGE.
37 -----------------------------------------------------------------------------
38 */
39
40 /* This header contains definitions that are shared between the different
41 modules, but which are not relevant to the exported API. This includes some
42 functions whose names all begin with "_pcre_". */
43
44 #ifndef PCRE_INTERNAL_H
45 #define PCRE_INTERNAL_H
46
47 /* Bit definitions for entries in the pcre_ctypes table. */
48
49 #define ctype_space   0x01
50 #define ctype_xdigit  0x08
51 #define ctype_word    0x10   /* alphameric or '_' */
52
53 /* Offsets for the bitmap tables in pcre_cbits. Each table contains a set
54 of bits for a class map. Some classes are built by combining these tables. */
55
56 #define cbit_space     0      /* \s */
57 #define cbit_digit    32      /* \d */
58 #define cbit_word     64      /* \w */
59 #define cbit_length   96      /* Length of the cbits table */
60
61 /* Offsets of the various tables from the base tables pointer, and
62 total length. */
63
64 #define lcc_offset      0
65 #define fcc_offset    128
66 #define cbits_offset  256
67 #define ctypes_offset (cbits_offset + cbit_length)
68 #define tables_length (ctypes_offset + 128)
69
70 #ifndef DFTABLES
71
72 #include "Assertions.h"
73
74 #if COMPILER(MSVC)
75 #pragma warning(disable: 4232)
76 #pragma warning(disable: 4244)
77 #endif
78
79 /* The value of LINK_SIZE determines the number of bytes used to store links as
80 offsets within the compiled regex. The default is 2, which allows for compiled
81 patterns up to 64K long. This covers the vast majority of cases. However, PCRE
82 can also be compiled to use 3 or 4 bytes instead. This allows for longer
83 patterns in extreme cases. On systems that support it, "configure" can be used
84 to override this default. */
85
86 #define LINK_SIZE   2
87
88 /* The value of MATCH_LIMIT determines the default number of times the internal
89 match() function can be called during a single execution of pcre_exec(). There
90 is a runtime interface for setting a different limit. The limit exists in order
91 to catch runaway regular expressions that take for ever to determine that they
92 do not match. The default is set very large so that it does not accidentally
93 catch legitimate cases. On systems that support it, "configure" can be used to
94 override this default default. */
95
96 #define MATCH_LIMIT 10000000
97
98 /* The above limit applies to all calls of match(), whether or not they
99 increase the recursion depth. In some environments it is desirable to limit the
100 depth of recursive calls of match() more strictly, in order to restrict the
101 maximum amount of stack (or heap, if NO_RECURSE is defined) that is used. The
102 value of MATCH_LIMIT_RECURSION applies only to recursive calls of match(). To
103 have any useful effect, it must be less than the value of MATCH_LIMIT. There is
104 a runtime method for setting a different limit. On systems that support it,
105 "configure" can be used to override this default default. */
106
107 #define MATCH_LIMIT_RECURSION MATCH_LIMIT
108
109 #define _pcre_default_tables kjs_pcre_default_tables
110 #define _pcre_ord2utf8 kjs_pcre_ord2utf8
111 #define _pcre_utf8_table1 kjs_pcre_utf8_table1
112 #define _pcre_utf8_table2 kjs_pcre_utf8_table2
113 #define _pcre_utf8_table3 kjs_pcre_utf8_table3
114 #define _pcre_utf8_table4 kjs_pcre_utf8_table4
115 #define _pcre_xclass kjs_pcre_xclass
116
117 /* Define DEBUG to get debugging output on stdout. */
118
119 #if 0
120 #define DEBUG
121 #endif
122
123 /* Use a macro for debugging printing, 'cause that eliminates the use of #ifdef
124 inline, and there are *still* stupid compilers about that don't like indented
125 pre-processor statements, or at least there were when I first wrote this. After
126 all, it had only been about 10 years then... */
127
128 #ifdef DEBUG
129 #define DPRINTF(p) printf p
130 #else
131 #define DPRINTF(p) /*nothing*/
132 #endif
133
134 /* Standard C headers plus the external interface definition. The only time
135 setjmp and stdarg are used is when NO_RECURSE is set. */
136
137 #include <ctype.h>
138 #include <limits.h>
139 #include <setjmp.h>
140 #include <stdarg.h>
141 #include <stddef.h>
142 #include <stdio.h>
143 #include <stdlib.h>
144 #include <string.h>
145
146 /* Include the public PCRE header and the definitions of UCP character property
147 values. */
148
149 #include "pcre.h"
150
151 typedef unsigned short pcre_uint16;
152 typedef unsigned pcre_uint32;
153 typedef unsigned char uschar;
154
155 /* PCRE keeps offsets in its compiled code as 2-byte quantities (always stored
156 in big-endian order) by default. These are used, for example, to link from the
157 start of a subpattern to its alternatives and its end. The use of 2 bytes per
158 offset limits the size of the compiled regex to around 64K, which is big enough
159 for almost everybody. However, I received a request for an even bigger limit.
160 For this reason, and also to make the code easier to maintain, the storing and
161 loading of offsets from the byte string is now handled by the macros that are
162 defined here.
163
164 The macros are controlled by the value of LINK_SIZE. This defaults to 2 in
165 the config.h file, but can be overridden by using -D on the command line. This
166 is automated on Unix systems via the "configure" command. */
167
168 #if LINK_SIZE == 2
169
170 static inline void PUT(uschar* a, size_t n, unsigned short d)
171 {
172     a[n] = d >> 8;
173     a[n+1] = d & 255;
174 }
175
176 static inline short GET(const uschar* a, size_t n)
177 {
178     return ((a[n] << 8) | a[n + 1]);
179 }
180
181 #define MAX_PATTERN_SIZE (1 << 16)
182
183 #elif LINK_SIZE == 3
184
185 static inline void PUT(uschar* a, size_t n, unsigned d)
186 {
187     a[n] = d >> 16;
188     a[n+1] = d >> 8;
189     a[n+2] = d & 255;
190 }
191
192 static inline int GET(const uschar* a, size_t n)
193 {
194     return ((a[n] << 16) | (a[n+1] << 8) | a[n+2]);
195 }
196
197 #define MAX_PATTERN_SIZE (1 << 24)
198
199 #elif LINK_SIZE == 4
200
201 static inline void PUT(uschar* a, size_t n, unsigned d)
202 {
203     a[n] = d >> 24;
204     a[n+1] = d >> 16;
205     a[n+2] = d >> 8;
206     a[n+3] = d & 255;
207 }
208
209 static inline int GET(const uschar* a, size_t n)
210 {
211     return ((a[n] << 24) | (a[n+1] << 16) | (a[n+2] << 8) | a[n+3]);
212 }
213
214 #define MAX_PATTERN_SIZE (1 << 30)   /* Keep it positive */
215
216 #else
217 #error LINK_SIZE must be either 2, 3, or 4
218 #endif
219
220
221 /* Convenience macro defined in terms of the others */
222
223 #define PUTINC(a,n,d)   PUT(a,n,d), a += LINK_SIZE
224
225
226 /* PCRE uses some other 2-byte quantities that do not change when the size of
227 offsets changes. There are used for repeat counts and for other things such as
228 capturing parenthesis numbers in back references. */
229
230 static inline void PUT2(uschar* a, size_t n, unsigned short d)
231 {
232     a[n] = d >> 8;
233     a[n+1] = d & 255;
234 }
235
236 static inline short GET2(const uschar* a, size_t n)
237 {
238     return ((a[n] << 8) | a[n + 1]);
239 }
240
241 static inline void PUT2INC(uschar*& a, size_t n, unsigned short d)
242 {
243     PUT2(a,n,d);
244     a += 2;
245 }
246
247 #define LEAD_OFFSET (0xd800 - (0x10000 >> 10))
248 #define SURROGATE_OFFSET (0x10000 - (0xd800 << 10) - 0xdc00)
249
250 static inline bool isLeadingSurrogate(int c)
251 {
252     return ((c & ~0x3ff) == 0xd800);
253 }
254
255 static inline bool isTrailingSurrogate(int c)
256 {
257     return ((c & ~0x3ff) == 0xdc00);
258 }
259
260 static inline int decodeSurrogatePair(int l, int t)
261 {
262     return ((l << 10) + t + SURROGATE_OFFSET);
263 }
264
265 static inline void getChar(int& c, const UChar* eptr)
266 {
267     c = eptr[0];
268     if (isLeadingSurrogate(c))
269         c = decodeSurrogatePair(c, eptr[1]);
270 }
271
272 #define GETCHARINC(c, eptr) \
273   c = *eptr++; \
274   if (isLeadingSurrogate(c)) \
275     c = decodeSurrogatePair(c, *eptr++)
276
277 #define GETCHARINCTEST(c, eptr) GETCHARINC(c, eptr)
278
279 #define GETCHARLEN(c, eptr, len) \
280   c = eptr[0]; \
281   if (isLeadingSurrogate(c)) { \
282     c = decodeSurrogatePair(c, eptr[1]); \
283     ++len; \
284     }
285
286 #define GETCHARLENEND(c, eptr, end, len) \
287   c = eptr[0]; \
288   if (isLeadingSurrogate(c)) { \
289     c = decodeSurrogatePair(c, eptr + 1 < end ? eptr[1] : 0); \
290     ++len; \
291     }
292
293 #define BACKCHAR(eptr) while(isTrailingSurrogate(*eptr)) eptr--;
294
295 enum PCREOptions {
296     PCRE_FIRSTSET = 0x40000000,  /* first_byte is set */
297     PCRE_REQCHSET = 0x20000000,  /* req_byte is set */
298     PCRE_STARTLINE = 0x10000000,  /* start after \n for multiline */
299     PCRE_ANCHORED = 0x02000000,  /* can't use partial with this regex */
300     PCRE_CASELESS = 0x00000001,
301     PCRE_MULTILINE = 0x00000002
302 };
303
304 /* Negative values for the firstchar and reqchar variables */
305
306 #define REQ_UNSET (-2)
307 #define REQ_NONE  (-1)
308
309 /* The maximum remaining length of subject we are prepared to search for a
310 req_byte match. */
311
312 #define REQ_BYTE_MAX 1000
313
314 /* Flags added to firstbyte or reqbyte; a "non-literal" item is either a
315 variable-length repeat, or a anything other than literal characters. */
316
317 #define REQ_CASELESS 0x0100    /* indicates caselessness */
318 #define REQ_VARY     0x0200    /* reqbyte followed non-literal item */
319
320 /* Miscellaneous definitions */
321
322 /* Flag bits and data types for the extended class (OP_XCLASS) for classes that
323 contain UTF-8 characters with values greater than 255. */
324
325 #define XCL_NOT    0x01    /* Flag: this is a negative class */
326 #define XCL_MAP    0x02    /* Flag: a 32-byte map is present */
327
328 #define XCL_END       0    /* Marks end of individual items */
329 #define XCL_SINGLE    1    /* Single item (one multibyte char) follows */
330 #define XCL_RANGE     2    /* A range (two multibyte chars) follows */
331
332 /* These are escaped items that aren't just an encoding of a particular data
333 value such as \n. They must have non-zero values, as check_escape() returns
334 their negation. Also, they must appear in the same order as in the opcode
335 definitions below, up to ESC_z. There's a dummy for OP_ANY because it
336 corresponds to "." rather than an escape sequence. The final one must be
337 ESC_REF as subsequent values are used for \1, \2, \3, etc. There is are two
338 tests in the code for an escape greater than ESC_b and less than ESC_Z to
339 detect the types that may be repeated. These are the types that consume
340 characters. If any new escapes are put in between that don't consume a
341 character, that code will have to change. */
342
343 enum { ESC_B = 1, ESC_b, ESC_D, ESC_d, ESC_S, ESC_s, ESC_W, ESC_w, ESC_REF };
344
345 /* Opcode table: OP_BRA must be last, as all values >= it are used for brackets
346 that extract substrings. Starting from 1 (i.e. after OP_END), the values up to
347 OP_EOD must correspond in order to the list of escapes immediately above.
348 Note that whenever this list is updated, the two macro definitions that follow
349 must also be updated to match. */
350
351 #define FOR_EACH_OPCODE(macro) \
352     macro(END) \
353     \
354     macro(NOT_WORD_BOUNDARY) \
355     macro(WORD_BOUNDARY) \
356     macro(NOT_DIGIT) \
357     macro(DIGIT) \
358     macro(NOT_WHITESPACE) \
359     macro(WHITESPACE) \
360     macro(NOT_WORDCHAR) \
361     macro(WORDCHAR) \
362     \
363     macro(ANY) \
364     \
365     macro(CIRC) \
366     macro(DOLL) \
367     macro(CHAR) \
368     macro(CHARNC) \
369     macro(ASCII_CHAR) \
370     macro(ASCII_LETTER_NC) \
371     macro(NOT) \
372     \
373     macro(STAR) \
374     macro(MINSTAR) \
375     macro(PLUS) \
376     macro(MINPLUS) \
377     macro(QUERY) \
378     macro(MINQUERY) \
379     macro(UPTO) \
380     macro(MINUPTO) \
381     macro(EXACT) \
382     \
383     macro(NOTSTAR) \
384     macro(NOTMINSTAR) \
385     macro(NOTPLUS) \
386     macro(NOTMINPLUS) \
387     macro(NOTQUERY) \
388     macro(NOTMINQUERY) \
389     macro(NOTUPTO) \
390     macro(NOTMINUPTO) \
391     macro(NOTEXACT) \
392     \
393     macro(TYPESTAR) \
394     macro(TYPEMINSTAR) \
395     macro(TYPEPLUS) \
396     macro(TYPEMINPLUS) \
397     macro(TYPEQUERY) \
398     macro(TYPEMINQUERY) \
399     macro(TYPEUPTO) \
400     macro(TYPEMINUPTO) \
401     macro(TYPEEXACT) \
402     \
403     macro(CRSTAR) \
404     macro(CRMINSTAR) \
405     macro(CRPLUS) \
406     macro(CRMINPLUS) \
407     macro(CRQUERY) \
408     macro(CRMINQUERY) \
409     macro(CRRANGE) \
410     macro(CRMINRANGE) \
411     \
412     macro(CLASS) \
413     macro(NCLASS) \
414     macro(XCLASS) \
415     \
416     macro(REF) \
417     \
418     macro(ALT) \
419     macro(KET) \
420     macro(KETRMAX) \
421     macro(KETRMIN) \
422     \
423     macro(ASSERT) \
424     macro(ASSERT_NOT) \
425     \
426     macro(ONCE) \
427     \
428     macro(BRAZERO) \
429     macro(BRAMINZERO) \
430     macro(BRANUMBER) \
431     macro(BRA)
432
433 #define OPCODE_ENUM_VALUE(opcode) OP_##opcode,
434 enum { FOR_EACH_OPCODE(OPCODE_ENUM_VALUE) };
435
436 /* WARNING WARNING WARNING: There is an implicit assumption in pcre.c and
437 study.c that all opcodes are less than 128 in value. This makes handling UTF-8
438 character sequences easier. */
439
440 /* The highest extraction number before we have to start using additional
441 bytes. (Originally PCRE didn't have support for extraction counts highter than
442 this number.) The value is limited by the number of opcodes left after OP_BRA,
443 i.e. 255 - OP_BRA. We actually set it a bit lower to leave room for additional
444 opcodes. */
445
446 #define EXTRACT_BASIC_MAX  100
447
448 /* This macro defines the length of fixed length operations in the compiled
449 regex. The lengths are used when searching for specific things, and also in the
450 debugging printing of a compiled regex. We use a macro so that it can be
451 defined close to the definitions of the opcodes themselves.
452
453 As things have been extended, some of these are no longer fixed lenths, but are
454 minima instead. For example, the length of a single-character repeat may vary
455 in UTF-8 mode. The code that uses this table must know about such things. */
456
457 #define OP_LENGTHS \
458   1,                             /* End                                    */ \
459   1, 1, 1, 1, 1, 1, 1, 1,        /* \B, \b, \D, \d, \S, \s, \W, \w         */ \
460   1,                             /* Any                                    */ \
461   1, 1,                          /* ^, $                                   */ \
462   2, 2,                          /* Char, Charnc - minimum lengths         */ \
463   2, 2,                          /* ASCII char or non-cased                */ \
464   2,                             /* not                                    */ \
465   /* Positive single-char repeats                            ** These are  */ \
466   2, 2, 2, 2, 2, 2,              /* *, *?, +, +?, ?, ??      ** minima in  */ \
467   4, 4, 4,                       /* upto, minupto, exact     ** UTF-8 mode */ \
468   /* Negative single-char repeats - only for chars < 256                   */ \
469   2, 2, 2, 2, 2, 2,              /* NOT *, *?, +, +?, ?, ??                */ \
470   4, 4, 4,                       /* NOT upto, minupto, exact               */ \
471   /* Positive type repeats                                                 */ \
472   2, 2, 2, 2, 2, 2,              /* Type *, *?, +, +?, ?, ??               */ \
473   4, 4, 4,                       /* Type upto, minupto, exact              */ \
474   /* Character class & ref repeats                                         */ \
475   1, 1, 1, 1, 1, 1,              /* *, *?, +, +?, ?, ??                    */ \
476   5, 5,                          /* CRRANGE, CRMINRANGE                    */ \
477  33,                             /* CLASS                                  */ \
478  33,                             /* NCLASS                                 */ \
479   0,                             /* XCLASS - variable length               */ \
480   3,                             /* REF                                    */ \
481   1+LINK_SIZE,                   /* Alt                                    */ \
482   1+LINK_SIZE,                   /* Ket                                    */ \
483   1+LINK_SIZE,                   /* KetRmax                                */ \
484   1+LINK_SIZE,                   /* KetRmin                                */ \
485   1+LINK_SIZE,                   /* Assert                                 */ \
486   1+LINK_SIZE,                   /* Assert not                             */ \
487   1+LINK_SIZE,                   /* Once                                   */ \
488   1, 1,                          /* BRAZERO, BRAMINZERO                    */ \
489   3,                             /* BRANUMBER                              */ \
490   1+LINK_SIZE                    /* BRA                                    */ \
491
492
493 /* The real format of the start of the pcre block; the index of names and the
494 code vector run on as long as necessary after the end. We store an explicit
495 offset to the name table so that if a regex is compiled on one host, saved, and
496 then run on another where the size of pointers is different, all might still
497 be well. For the case of compiled-on-4 and run-on-8, we include an extra
498 pointer that is always NULL. For future-proofing, a few dummy fields were
499 originally included - even though you can never get this planning right - but
500 there is only one left now.
501
502 NOTE NOTE NOTE:
503 Because people can now save and re-use compiled patterns, any additions to this
504 structure should be made at the end, and something earlier (e.g. a new
505 flag in the options or one of the dummy fields) should indicate that the new
506 fields are present. Currently PCRE always sets the dummy fields to zero.
507 NOTE NOTE NOTE:
508 */
509
510 struct JSRegExp {
511   pcre_uint32 size;               /* Total that was malloced */
512   pcre_uint32 options;
513
514   pcre_uint16 top_bracket;
515   pcre_uint16 top_backref;
516   pcre_uint16 first_byte;
517   pcre_uint16 req_byte;
518 };
519
520 /* Internal shared data tables. These are tables that are used by more than one
521  of the exported public functions. They have to be "external" in the C sense,
522  but are not part of the PCRE public API. The data for these tables is in the
523  pcre_tables.c module. */
524
525 #define _pcre_utf8_table1_size 6
526
527 extern const int    _pcre_utf8_table1[6];
528 extern const int    _pcre_utf8_table2[6];
529 extern const int    _pcre_utf8_table3[6];
530 extern const uschar _pcre_utf8_table4[0x40];
531
532 extern const uschar _pcre_default_tables[tables_length];
533
534 /* Structure for passing "static" information around between the functions
535 doing the compiling, so that they are thread-safe. */
536
537 typedef struct compile_data {
538     compile_data() {
539         lcc = _pcre_default_tables + lcc_offset;
540         fcc = _pcre_default_tables + fcc_offset;
541         cbits = _pcre_default_tables + cbits_offset;
542         ctypes = _pcre_default_tables + ctypes_offset;
543         start_code = 0;
544         start_pattern = 0;
545         top_backref = 0;
546         backref_map = 0;
547         req_varyopt = 0;
548     }
549     
550   const uschar *lcc;            /* Points to lower casing table */
551   const uschar *fcc;            /* Points to case-flipping table */
552   const uschar *cbits;          /* Points to character type table */
553   const uschar *ctypes;         /* Points to table of type maps */
554   const uschar *start_code;     /* The start of the compiled code */
555   const UChar* start_pattern;   /* The start of the pattern */
556   int  top_backref;             /* Maximum back reference */
557   unsigned int backref_map;     /* Bitmap of low back refs */
558   int  req_varyopt;             /* "After variable item" flag for reqbyte */
559 } compile_data;
560
561 /* Internal shared functions. These are functions that are used by more than
562 one of the exported public functions. They have to be "external" in the C
563 sense, but are not part of the PCRE public API. */
564
565 extern int         _pcre_ord2utf8(int, uschar*);
566 extern int         _pcre_ucp_othercase(const unsigned int);
567 extern bool        _pcre_xclass(int, const uschar*);
568
569 static inline bool isNewline(UChar nl)
570 {
571     return (nl == 0xA || nl == 0xD || nl == 0x2028 || nl == 0x2029);
572 }
573
574 #endif
575
576 #endif
577
578 /* End of pcre_internal.h */