c17010876f3f2719e0bbfdb856a5958c21880ca3
[WebKit-https.git] / WebKitTools / DumpRenderTree / mac / DumpRenderTree.mm
1 /*
2  * Copyright (C) 2005, 2006, 2007 Apple Inc. All rights reserved.
3  *           (C) 2007 Graham Dennis (graham.dennis@gmail.com)
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * 1.  Redistributions of source code must retain the above copyright
10  *     notice, this list of conditions and the following disclaimer. 
11  * 2.  Redistributions in binary form must reproduce the above copyright
12  *     notice, this list of conditions and the following disclaimer in the
13  *     documentation and/or other materials provided with the distribution. 
14  * 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
15  *     its contributors may be used to endorse or promote products derived
16  *     from this software without specific prior written permission. 
17  *
18  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28  */
29  
30 #import "DumpRenderTree.h"
31
32 #import "AccessibilityController.h"
33 #import "CheckedMalloc.h"
34 #import "DumpRenderTreePasteboard.h"
35 #import "DumpRenderTreeWindow.h"
36 #import "EditingDelegate.h"
37 #import "EventSendingController.h"
38 #import "FrameLoadDelegate.h"
39 #import "JavaScriptThreading.h"
40 #import "LayoutTestController.h"
41 #import "NavigationController.h"
42 #import "ObjCPlugin.h"
43 #import "ObjCPluginFunction.h"
44 #import "PixelDumpSupport.h"
45 #import "PolicyDelegate.h"
46 #import "ResourceLoadDelegate.h"
47 #import "UIDelegate.h"
48 #import "WorkQueue.h"
49 #import "WorkQueueItem.h"
50 #import <Carbon/Carbon.h>
51 #import <CoreFoundation/CoreFoundation.h>
52 #import <WebKit/DOMElementPrivate.h>
53 #import <WebKit/DOMExtensions.h>
54 #import <WebKit/DOMRange.h>
55 #import <WebKit/WebBackForwardList.h>
56 #import <WebKit/WebCache.h>
57 #import <WebKit/WebCoreStatistics.h>
58 #import <WebKit/WebDataSourcePrivate.h>
59 #import <WebKit/WebDatabaseManagerPrivate.h>
60 #import <WebKit/WebDocumentPrivate.h>
61 #import <WebKit/WebEditingDelegate.h>
62 #import <WebKit/WebFrameView.h>
63 #import <WebKit/WebHTMLRepresentationInternal.h>
64 #import <WebKit/WebHistory.h>
65 #import <WebKit/WebHistoryItemPrivate.h>
66 #import <WebKit/WebInspector.h>
67 #import <WebKit/WebPluginDatabase.h>
68 #import <WebKit/WebPreferences.h>
69 #import <WebKit/WebPreferencesPrivate.h>
70 #import <WebKit/WebResourceLoadDelegate.h>
71 #import <WebKit/WebTypesInternal.h>
72 #import <WebKit/WebViewPrivate.h>
73 #import <getopt.h>
74 #import <mach-o/getsect.h>
75 #import <objc/objc-runtime.h>
76 #import <wtf/Assertions.h>
77 #import <wtf/RetainPtr.h>
78 #import <wtf/OwnPtr.h>
79
80 using namespace std;
81
82 @interface DumpRenderTreeEvent : NSEvent
83 @end
84
85 static void runTest(const string& testPathOrURL);
86
87 // Deciding when it's OK to dump out the state is a bit tricky.  All these must be true:
88 // - There is no load in progress
89 // - There is no work queued up (see workQueue var, below)
90 // - waitToDump==NO.  This means either waitUntilDone was never called, or it was called
91 //       and notifyDone was called subsequently.
92 // Note that the call to notifyDone and the end of the load can happen in either order.
93
94 volatile bool done;
95
96 NavigationController* gNavigationController = 0;
97 LayoutTestController* gLayoutTestController = 0;
98
99 WebFrame *mainFrame = 0;
100 // This is the topmost frame that is loading, during a given load, or nil when no load is 
101 // in progress.  Usually this is the same as the main frame, but not always.  In the case
102 // where a frameset is loaded, and then new content is loaded into one of the child frames,
103 // that child frame is the "topmost frame that is loading".
104 WebFrame *topLoadingFrame = nil;     // !nil iff a load is in progress
105
106
107 CFMutableSetRef disallowedURLs = 0;
108 CFRunLoopTimerRef waitToDumpWatchdog = 0;
109
110 // Delegates
111 static FrameLoadDelegate *frameLoadDelegate;
112 static UIDelegate *uiDelegate;
113 static EditingDelegate *editingDelegate;
114 static ResourceLoadDelegate *resourceLoadDelegate;
115 PolicyDelegate *policyDelegate;
116
117 static int dumpPixels;
118 static int threaded;
119 static int dumpTree = YES;
120 static int forceComplexText;
121 static BOOL printSeparators;
122 static RetainPtr<CFStringRef> persistentUserStyleSheetLocation;
123
124 static WebHistoryItem *prevTestBFItem = nil;  // current b/f item at the end of the previous test
125
126 const unsigned maxViewHeight = 600;
127 const unsigned maxViewWidth = 800;
128
129 #if __OBJC2__
130 static void swizzleAllMethods(Class imposter, Class original)
131 {
132     unsigned int imposterMethodCount;
133     Method* imposterMethods = class_copyMethodList(imposter, &imposterMethodCount);
134
135     unsigned int originalMethodCount;
136     Method* originalMethods = class_copyMethodList(original, &originalMethodCount);
137
138     for (unsigned int i = 0; i < imposterMethodCount; i++) {
139         SEL imposterMethodName = method_getName(imposterMethods[i]);
140
141         // Attempt to add the method to the original class.  If it fails, the method already exists and we should
142         // instead exchange the implementations.
143         if (class_addMethod(original, imposterMethodName, method_getImplementation(originalMethods[i]), method_getTypeEncoding(originalMethods[i])))
144             continue;
145
146         unsigned int j = 0;
147         for (; j < originalMethodCount; j++) {
148             SEL originalMethodName = method_getName(originalMethods[j]);
149             if (sel_isEqual(imposterMethodName, originalMethodName))
150                 break;
151         }
152
153         // If class_addMethod failed above then the method must exist on the original class.
154         ASSERT(j < originalMethodCount);
155         method_exchangeImplementations(imposterMethods[i], originalMethods[j]);
156     }
157
158     free(imposterMethods);
159     free(originalMethods);
160 }
161 #endif
162
163 static void poseAsClass(const char* imposter, const char* original)
164 {
165     Class imposterClass = objc_getClass(imposter);
166     Class originalClass = objc_getClass(original);
167
168 #if !__OBJC2__
169     class_poseAs(imposterClass, originalClass);
170 #else
171
172     // Swizzle instance methods
173     swizzleAllMethods(imposterClass, originalClass);
174     // and then class methods
175     swizzleAllMethods(object_getClass(imposterClass), object_getClass(originalClass));
176 #endif
177 }
178
179 void setPersistentUserStyleSheetLocation(CFStringRef url)
180 {
181     persistentUserStyleSheetLocation = url;
182 }
183
184 static bool shouldIgnoreWebCoreNodeLeaks(const string& URLString)
185 {
186     static char* const ignoreSet[] = {
187         // Keeping this infrastructure around in case we ever need it again.
188     };
189     static const int ignoreSetCount = sizeof(ignoreSet) / sizeof(char*);
190     
191     for (int i = 0; i < ignoreSetCount; i++) {
192         // FIXME: ignore case
193         string curIgnore(ignoreSet[i]);
194         // Match at the end of the URLString
195         if (!URLString.compare(URLString.length() - curIgnore.length(), curIgnore.length(), curIgnore))
196             return true;
197     }
198     return false;
199 }
200
201 static void activateFonts()
202 {
203     static const char* fontSectionNames[] = {
204         "Ahem",
205         "WeightWatcher100",
206         "WeightWatcher200",
207         "WeightWatcher300",
208         "WeightWatcher400",
209         "WeightWatcher500",
210         "WeightWatcher600",
211         "WeightWatcher700",
212         "WeightWatcher800",
213         "WeightWatcher900",
214         0
215     };
216
217     for (unsigned i = 0; fontSectionNames[i]; ++i) {
218         unsigned long fontDataLength;
219         char* fontData = getsectdata("__DATA", fontSectionNames[i], &fontDataLength);
220         if (!fontData) {
221             fprintf(stderr, "Failed to locate the %s font.\n", fontSectionNames[i]);
222             exit(1);
223         }
224
225         ATSFontContainerRef fontContainer;
226         OSStatus status = ATSFontActivateFromMemory(fontData, fontDataLength, kATSFontContextLocal, kATSFontFormatUnspecified, NULL, kATSOptionFlagsDefault, &fontContainer);
227
228         if (status != noErr) {
229             fprintf(stderr, "Failed to activate the %s font.\n", fontSectionNames[i]);
230             exit(1);
231         }
232     }
233 }
234
235 WebView *createWebViewAndOffscreenWindow()
236 {
237     NSRect rect = NSMakeRect(0, 0, maxViewWidth, maxViewHeight);
238     WebView *webView = [[WebView alloc] initWithFrame:rect frameName:nil groupName:@"org.webkit.DumpRenderTree"];
239         
240     [webView setUIDelegate:uiDelegate];
241     [webView setFrameLoadDelegate:frameLoadDelegate];
242     [webView setEditingDelegate:editingDelegate];
243     [webView setResourceLoadDelegate:resourceLoadDelegate];
244
245     // Register the same schemes that Safari does
246     [WebView registerURLSchemeAsLocal:@"feed"];
247     [WebView registerURLSchemeAsLocal:@"feeds"];
248     [WebView registerURLSchemeAsLocal:@"feedsearch"];
249     
250     [webView setContinuousSpellCheckingEnabled:YES];
251     
252     // To make things like certain NSViews, dragging, and plug-ins work, put the WebView a window, but put it off-screen so you don't see it.
253     // Put it at -10000, -10000 in "flipped coordinates", since WebCore and the DOM use flipped coordinates.
254     NSRect windowRect = NSOffsetRect(rect, -10000, [[[NSScreen screens] objectAtIndex:0] frame].size.height - rect.size.height + 10000);
255     DumpRenderTreeWindow *window = [[DumpRenderTreeWindow alloc] initWithContentRect:windowRect styleMask:NSBorderlessWindowMask backing:NSBackingStoreBuffered defer:YES];
256     [[window contentView] addSubview:webView];
257     [window orderBack:nil];
258     [window setAutodisplay:NO];
259     
260     // For reasons that are not entirely clear, the following pair of calls makes WebView handle its
261     // dynamic scrollbars properly. Without it, every frame will always have scrollbars.
262     NSBitmapImageRep *imageRep = [webView bitmapImageRepForCachingDisplayInRect:[webView bounds]];
263     [webView cacheDisplayInRect:[webView bounds] toBitmapImageRep:imageRep];
264         
265     return webView;
266 }
267
268 void testStringByEvaluatingJavaScriptFromString()
269 {
270     // maps expected result <= JavaScript expression
271     NSDictionary *expressions = [NSDictionary dictionaryWithObjectsAndKeys:
272         @"0", @"0", 
273         @"0", @"'0'", 
274         @"", @"",
275         @"", @"''", 
276         @"", @"new String()", 
277         @"", @"new String('0')", 
278         @"", @"throw 1", 
279         @"", @"{ }", 
280         @"", @"[ ]", 
281         @"", @"//", 
282         @"", @"a.b.c", 
283         @"", @"(function() { throw 'error'; })()", 
284         @"", @"null",
285         @"", @"undefined",
286         @"true", @"true",
287         @"false", @"false",
288         nil
289     ];
290
291     NSAutoreleasePool *pool = [[NSAutoreleasePool alloc] init];
292     WebView *webView = [[WebView alloc] initWithFrame:NSZeroRect frameName:@"" groupName:@""];
293
294     NSEnumerator *enumerator = [expressions keyEnumerator];
295     id expression;
296     while ((expression = [enumerator nextObject])) {
297         NSString *expectedResult = [expressions objectForKey:expression];
298         NSString *result = [webView stringByEvaluatingJavaScriptFromString:expression];
299         assert([result isEqualToString:expectedResult]);
300     }
301
302     [webView close];
303     [webView release];
304     [pool release];
305 }
306
307 static void setDefaultsToConsistentValuesForTesting()
308 {
309     // Give some clear to undocumented defaults values
310     static const int NoFontSmoothing = 0;
311     static const int BlueTintedAppearance = 1;
312
313     NSUserDefaults *defaults = [NSUserDefaults standardUserDefaults];
314     [defaults setInteger:4 forKey:@"AppleAntiAliasingThreshold"]; // smallest font size to CG should perform antialiasing on
315     [defaults setInteger:NoFontSmoothing forKey:@"AppleFontSmoothing"];
316     [defaults setInteger:BlueTintedAppearance forKey:@"AppleAquaColorVariant"];
317     [defaults setObject:@"0.709800 0.835300 1.000000" forKey:@"AppleHighlightColor"];
318     [defaults setObject:@"0.500000 0.500000 0.500000" forKey:@"AppleOtherHighlightColor"];
319     [defaults setObject:[NSArray arrayWithObject:@"en"] forKey:@"AppleLanguages"];
320
321     // Scrollbars are drawn either using AppKit (which uses NSUserDefaults) or using HIToolbox (which uses CFPreferences / kCFPreferencesAnyApplication / kCFPreferencesCurrentUser / kCFPreferencesAnyHost)
322     [defaults setObject:@"DoubleMax" forKey:@"AppleScrollBarVariant"];
323     RetainPtr<CFTypeRef> initialValue = CFPreferencesCopyValue(CFSTR("AppleScrollBarVariant"), kCFPreferencesAnyApplication, kCFPreferencesCurrentUser, kCFPreferencesAnyHost);
324     CFPreferencesSetValue(CFSTR("AppleScrollBarVariant"), CFSTR("DoubleMax"), kCFPreferencesAnyApplication, kCFPreferencesCurrentUser, kCFPreferencesAnyHost);
325 #ifndef __LP64__
326     // See <rdar://problem/6347388>.
327     ThemeScrollBarArrowStyle style;
328     GetThemeScrollBarArrowStyle(&style); // Force HIToolbox to read from CFPreferences
329 #endif
330     if (initialValue)
331         CFPreferencesSetValue(CFSTR("AppleScrollBarVariant"), initialValue.get(), kCFPreferencesAnyApplication, kCFPreferencesCurrentUser, kCFPreferencesAnyHost);
332
333     NSString *libraryPath = [@"~/Library/Application Support/DumpRenderTree" stringByExpandingTildeInPath];
334     [defaults setObject:[libraryPath stringByAppendingPathComponent:@"Databases"] forKey:WebDatabaseDirectoryDefaultsKey];
335     
336     WebPreferences *preferences = [WebPreferences standardPreferences];
337
338     [preferences setStandardFontFamily:@"Times"];
339     [preferences setFixedFontFamily:@"Courier"];
340     [preferences setSerifFontFamily:@"Times"];
341     [preferences setSansSerifFontFamily:@"Helvetica"];
342     [preferences setCursiveFontFamily:@"Apple Chancery"];
343     [preferences setFantasyFontFamily:@"Papyrus"];
344     [preferences setDefaultFontSize:16];
345     [preferences setDefaultFixedFontSize:13];
346     [preferences setMinimumFontSize:1];
347     [preferences setJavaEnabled:NO];
348     [preferences setEditableLinkBehavior:WebKitEditableLinkOnlyLiveWithShiftKey];
349     [preferences setTabsToLinks:NO];
350     [preferences setDOMPasteAllowed:YES];
351     [preferences setFullDocumentTeardownEnabled:YES];
352     [preferences setShouldPrintBackgrounds:YES];
353
354     // The back/forward cache is causing problems due to layouts during transition from one page to another.
355     // So, turn it off for now, but we might want to turn it back on some day.
356     [preferences setUsesPageCache:NO];
357 }
358
359 static void crashHandler(int sig)
360 {
361     char *signalName = strsignal(sig);
362     write(STDERR_FILENO, signalName, strlen(signalName));
363     write(STDERR_FILENO, "\n", 1);
364     restoreMainDisplayColorProfile(0);
365     exit(128 + sig);
366 }
367
368 static void installSignalHandlers()
369 {
370     signal(SIGILL, crashHandler);    /* 4:   illegal instruction (not reset when caught) */
371     signal(SIGTRAP, crashHandler);   /* 5:   trace trap (not reset when caught) */
372     signal(SIGEMT, crashHandler);    /* 7:   EMT instruction */
373     signal(SIGFPE, crashHandler);    /* 8:   floating point exception */
374     signal(SIGBUS, crashHandler);    /* 10:  bus error */
375     signal(SIGSEGV, crashHandler);   /* 11:  segmentation violation */
376     signal(SIGSYS, crashHandler);    /* 12:  bad argument to system call */
377     signal(SIGPIPE, crashHandler);   /* 13:  write on a pipe with no reader */
378     signal(SIGXCPU, crashHandler);   /* 24:  exceeded CPU time limit */
379     signal(SIGXFSZ, crashHandler);   /* 25:  exceeded file size limit */
380 }
381
382 static void allocateGlobalControllers()
383 {
384     // FIXME: We should remove these and move to the ObjC standard [Foo sharedInstance] model
385     gNavigationController = [[NavigationController alloc] init];
386     frameLoadDelegate = [[FrameLoadDelegate alloc] init];
387     uiDelegate = [[UIDelegate alloc] init];
388     editingDelegate = [[EditingDelegate alloc] init];
389     resourceLoadDelegate = [[ResourceLoadDelegate alloc] init];
390     policyDelegate = [[PolicyDelegate alloc] init];
391 }
392
393 // ObjC++ doens't seem to let me pass NSObject*& sadly.
394 static inline void releaseAndZero(NSObject** object)
395 {
396     [*object release];
397     *object = nil;
398 }
399
400 static void releaseGlobalControllers()
401 {
402     releaseAndZero(&gNavigationController);
403     releaseAndZero(&frameLoadDelegate);
404     releaseAndZero(&editingDelegate);
405     releaseAndZero(&resourceLoadDelegate);
406     releaseAndZero(&uiDelegate);
407     releaseAndZero(&policyDelegate);
408 }
409
410 static void initializeGlobalsFromCommandLineOptions(int argc, const char *argv[])
411 {
412     struct option options[] = {
413         {"notree", no_argument, &dumpTree, NO},
414         {"pixel-tests", no_argument, &dumpPixels, YES},
415         {"tree", no_argument, &dumpTree, YES},
416         {"threaded", no_argument, &threaded, YES},
417         {"complex-text", no_argument, &forceComplexText, YES},
418         {NULL, 0, NULL, 0}
419     };
420     
421     int option;
422     while ((option = getopt_long(argc, (char * const *)argv, "", options, NULL)) != -1) {
423         switch (option) {
424             case '?':   // unknown or ambiguous option
425             case ':':   // missing argument
426                 exit(1);
427                 break;
428         }
429     }
430 }
431
432 static void addTestPluginsToPluginSearchPath(const char* executablePath)
433 {
434     NSString *pwd = [[NSString stringWithUTF8String:executablePath] stringByDeletingLastPathComponent];
435     [WebPluginDatabase setAdditionalWebPlugInPaths:[NSArray arrayWithObject:pwd]];
436     [[WebPluginDatabase sharedDatabase] refresh];
437 }
438
439 static bool useLongRunningServerMode(int argc, const char *argv[])
440 {
441     // This assumes you've already called getopt_long
442     return (argc == optind+1 && strcmp(argv[optind], "-") == 0);
443 }
444
445 static void runTestingServerLoop()
446 {
447     // When DumpRenderTree run in server mode, we just wait around for file names
448     // to be passed to us and read each in turn, passing the results back to the client
449     char filenameBuffer[2048];
450     while (fgets(filenameBuffer, sizeof(filenameBuffer), stdin)) {
451         char *newLineCharacter = strchr(filenameBuffer, '\n');
452         if (newLineCharacter)
453             *newLineCharacter = '\0';
454
455         if (strlen(filenameBuffer) == 0)
456             continue;
457
458         runTest(filenameBuffer);
459     }
460 }
461
462 static void prepareConsistentTestingEnvironment()
463 {
464     poseAsClass("DumpRenderTreePasteboard", "NSPasteboard");
465     poseAsClass("DumpRenderTreeEvent", "NSEvent");
466
467     setDefaultsToConsistentValuesForTesting();
468     activateFonts();
469     
470     if (dumpPixels)
471         setupMainDisplayColorProfile();
472     allocateGlobalControllers();
473     
474     makeLargeMallocFailSilently();
475 }
476
477 void dumpRenderTree(int argc, const char *argv[])
478 {
479     initializeGlobalsFromCommandLineOptions(argc, argv);
480     prepareConsistentTestingEnvironment();
481     addTestPluginsToPluginSearchPath(argv[0]);
482     if (dumpPixels)
483         installSignalHandlers();
484
485     if (forceComplexText)
486         [WebView _setAlwaysUsesComplexTextCodePath:YES];
487
488     WebView *webView = createWebViewAndOffscreenWindow();
489     mainFrame = [webView mainFrame];
490
491     [[NSURLCache sharedURLCache] removeAllCachedResponses];
492
493     [WebCache empty];
494      
495     // <rdar://problem/5222911>
496     testStringByEvaluatingJavaScriptFromString();
497
498     if (threaded)
499         startJavaScriptThreads();
500
501     if (useLongRunningServerMode(argc, argv)) {
502         printSeparators = YES;
503         runTestingServerLoop();
504     } else {
505         printSeparators = (optind < argc-1 || (dumpPixels && dumpTree));
506         for (int i = optind; i != argc; ++i)
507             runTest(argv[i]);
508     }
509
510     if (threaded)
511         stopJavaScriptThreads();
512
513     [webView close];
514     mainFrame = nil;
515
516     // Work around problem where registering drag types leaves an outstanding
517     // "perform selector" on the window, which retains the window. It's a bit
518     // inelegant and perhaps dangerous to just blow them all away, but in practice
519     // it probably won't cause any trouble (and this is just a test tool, after all).
520     NSWindow *window = [webView window];
521     [NSObject cancelPreviousPerformRequestsWithTarget:window];
522     
523     [window close]; // releases when closed
524     [webView release];
525     
526     releaseGlobalControllers();
527     
528     [DumpRenderTreePasteboard releaseLocalPasteboards];
529
530     // FIXME: This should be moved onto LayoutTestController and made into a HashSet
531     if (disallowedURLs) {
532         CFRelease(disallowedURLs);
533         disallowedURLs = 0;
534     }
535
536     if (dumpPixels)
537         restoreMainDisplayColorProfile(0);
538 }
539
540 int main(int argc, const char *argv[])
541 {
542     NSAutoreleasePool *pool = [[NSAutoreleasePool alloc] init];
543     [NSApplication sharedApplication]; // Force AppKit to init itself
544     dumpRenderTree(argc, argv);
545     [WebCoreStatistics garbageCollectJavaScriptObjects];
546     [WebCoreStatistics emptyCache]; // Otherwise SVGImages trigger false positives for Frame/Node counts    
547     [pool release];
548     return 0;
549 }
550
551 static NSInteger compareHistoryItems(id item1, id item2, void *context)
552 {
553     return [[item1 target] caseInsensitiveCompare:[item2 target]];
554 }
555
556 static void dumpHistoryItem(WebHistoryItem *item, int indent, BOOL current)
557 {
558     int start = 0;
559     if (current) {
560         printf("curr->");
561         start = 6;
562     }
563     for (int i = start; i < indent; i++)
564         putchar(' ');
565     printf("%s", [[item URLString] UTF8String]);
566     NSString *target = [item target];
567     if (target && [target length] > 0)
568         printf(" (in frame \"%s\")", [target UTF8String]);
569     if ([item isTargetItem])
570         printf("  **nav target**");
571     putchar('\n');
572     NSArray *kids = [item children];
573     if (kids) {
574         // must sort to eliminate arbitrary result ordering which defeats reproducible testing
575         kids = [kids sortedArrayUsingFunction:&compareHistoryItems context:nil];
576         for (unsigned i = 0; i < [kids count]; i++)
577             dumpHistoryItem([kids objectAtIndex:i], indent+4, NO);
578     }
579 }
580
581 static void dumpFrameScrollPosition(WebFrame *f)
582 {
583     NSPoint scrollPosition = [[[[f frameView] documentView] superview] bounds].origin;
584     if (ABS(scrollPosition.x) > 0.00000001 || ABS(scrollPosition.y) > 0.00000001) {
585         if ([f parentFrame] != nil)
586             printf("frame '%s' ", [[f name] UTF8String]);
587         printf("scrolled to %.f,%.f\n", scrollPosition.x, scrollPosition.y);
588     }
589
590     if (gLayoutTestController->dumpChildFrameScrollPositions()) {
591         NSArray *kids = [f childFrames];
592         if (kids)
593             for (unsigned i = 0; i < [kids count]; i++)
594                 dumpFrameScrollPosition([kids objectAtIndex:i]);
595     }
596 }
597
598 static NSString *dumpFramesAsText(WebFrame *frame)
599 {
600     DOMDocument *document = [frame DOMDocument];
601     DOMElement *documentElement = [document documentElement];
602
603     if (!documentElement)
604         return @"";
605
606     NSMutableString *result = [[[NSMutableString alloc] init] autorelease];
607
608     // Add header for all but the main frame.
609     if ([frame parentFrame])
610         result = [NSMutableString stringWithFormat:@"\n--------\nFrame: '%@'\n--------\n", [frame name]];
611
612     [result appendFormat:@"%@\n", [documentElement innerText]];
613
614     if (gLayoutTestController->dumpChildFramesAsText()) {
615         NSArray *kids = [frame childFrames];
616         if (kids) {
617             for (unsigned i = 0; i < [kids count]; i++)
618                 [result appendString:dumpFramesAsText([kids objectAtIndex:i])];
619         }
620     }
621
622     return result;
623 }
624
625 static NSData *dumpFrameAsPDF(WebFrame *frame)
626 {
627     if (!frame)
628         return nil;
629
630     // Sadly we have to dump to a file and then read from that file again
631     // +[NSPrintOperation PDFOperationWithView:insideRect:] requires a rect and prints to a single page
632     // likewise +[NSView dataWithPDFInsideRect:] also prints to a single continuous page
633     // The goal of this function is to test "real" printing across multiple pages.
634     // FIXME: It's possible there might be printing SPI to let us print a multi-page PDF to an NSData object
635     NSString *path = @"/tmp/test.pdf";
636
637     NSMutableDictionary *printInfoDict = [NSMutableDictionary dictionaryWithDictionary:[[NSPrintInfo sharedPrintInfo] dictionary]];
638     [printInfoDict setObject:NSPrintSaveJob forKey:NSPrintJobDisposition];
639     [printInfoDict setObject:path forKey:NSPrintSavePath];
640
641     NSPrintInfo *printInfo = [[NSPrintInfo alloc] initWithDictionary:printInfoDict];
642     [printInfo setHorizontalPagination:NSAutoPagination];
643     [printInfo setVerticalPagination:NSAutoPagination];
644     [printInfo setVerticallyCentered:NO];
645
646     NSPrintOperation *printOperation = [NSPrintOperation printOperationWithView:[frame frameView] printInfo:printInfo];
647     [printOperation setShowPanels:NO];
648     [printOperation runOperation];
649
650     [printInfo release];
651
652     NSData *pdfData = [NSData dataWithContentsOfFile:path];
653     [[NSFileManager defaultManager] removeFileAtPath:path handler:nil];
654
655     return pdfData;
656 }
657
658 static void convertMIMEType(NSMutableString *mimeType)
659 {
660 #ifdef BUILDING_ON_LEOPARD
661     // Workaround for <rdar://problem/5539824> on Leopard
662     if ([mimeType isEqualToString:@"text/xml"])
663         [mimeType setString:@"application/xml"];
664 #endif
665     // Workaround for <rdar://problem/6234318> with Dashcode 2.0
666     if ([mimeType isEqualToString:@"application/x-javascript"])
667         [mimeType setString:@"text/javascript"];
668 }
669
670 static void convertWebResourceDataToString(NSMutableDictionary *resource)
671 {
672     NSMutableString *mimeType = [resource objectForKey:@"WebResourceMIMEType"];
673     convertMIMEType(mimeType);
674
675     if ([mimeType hasPrefix:@"text/"] || [[WebHTMLRepresentation supportedNonImageMIMETypes] containsObject:mimeType]) {
676         NSString *textEncodingName = [resource objectForKey:@"WebResourceTextEncodingName"];
677         NSStringEncoding stringEncoding;
678         if ([textEncodingName length] > 0)
679             stringEncoding = CFStringConvertEncodingToNSStringEncoding(CFStringConvertIANACharSetNameToEncoding((CFStringRef)textEncodingName));
680         else
681             stringEncoding = NSUTF8StringEncoding;
682
683         NSData *data = [resource objectForKey:@"WebResourceData"];
684         NSString *dataAsString = [[NSString alloc] initWithData:data encoding:stringEncoding];
685         if (dataAsString)
686             [resource setObject:dataAsString forKey:@"WebResourceData"];
687         [dataAsString release];
688     }
689 }
690
691 static void normalizeWebResourceURL(NSMutableString *webResourceURL)
692 {
693     static int fileUrlLength = [(NSString *)@"file://" length];
694     NSRange layoutTestsWebArchivePathRange = [webResourceURL rangeOfString:@"/LayoutTests/" options:NSBackwardsSearch];
695     if (layoutTestsWebArchivePathRange.location == NSNotFound)
696         return;
697     NSRange currentWorkingDirectoryRange = NSMakeRange(fileUrlLength, layoutTestsWebArchivePathRange.location - fileUrlLength);
698     [webResourceURL replaceCharactersInRange:currentWorkingDirectoryRange withString:@""];
699 }
700
701 static void convertWebResourceResponseToDictionary(NSMutableDictionary *propertyList)
702 {
703     NSURLResponse *response = nil;
704     NSData *responseData = [propertyList objectForKey:@"WebResourceResponse"]; // WebResourceResponseKey in WebResource.m
705     if ([responseData isKindOfClass:[NSData class]]) {
706         // Decode NSURLResponse
707         NSKeyedUnarchiver *unarchiver = [[NSKeyedUnarchiver alloc] initForReadingWithData:responseData];
708         response = [unarchiver decodeObjectForKey:@"WebResourceResponse"]; // WebResourceResponseKey in WebResource.m
709         [unarchiver finishDecoding];
710         [unarchiver release];
711     }        
712     
713     NSMutableDictionary *responseDictionary = [[NSMutableDictionary alloc] init];
714     
715     NSMutableString *urlString = [[[response URL] description] mutableCopy];
716     normalizeWebResourceURL(urlString);
717     [responseDictionary setObject:urlString forKey:@"URL"];
718     [urlString release];
719     
720     NSMutableString *mimeTypeString = [[response MIMEType] mutableCopy];
721     convertMIMEType(mimeTypeString);
722     [responseDictionary setObject:mimeTypeString forKey:@"MIMEType"];
723     [mimeTypeString release];
724
725     NSString *textEncodingName = [response textEncodingName];
726     if (textEncodingName)
727         [responseDictionary setObject:textEncodingName forKey:@"textEncodingName"];
728     [responseDictionary setObject:[NSNumber numberWithLongLong:[response expectedContentLength]] forKey:@"expectedContentLength"];
729     
730     if ([response isKindOfClass:[NSHTTPURLResponse class]]) {
731         NSHTTPURLResponse *httpResponse = (NSHTTPURLResponse *)response;
732         
733         [responseDictionary setObject:[httpResponse allHeaderFields] forKey:@"allHeaderFields"];
734         [responseDictionary setObject:[NSNumber numberWithInt:[httpResponse statusCode]] forKey:@"statusCode"];
735     }
736     
737     [propertyList setObject:responseDictionary forKey:@"WebResourceResponse"];
738     [responseDictionary release];
739 }
740
741 static NSInteger compareResourceURLs(id resource1, id resource2, void *context)
742 {
743     NSString *url1 = [resource1 objectForKey:@"WebResourceURL"];
744     NSString *url2 = [resource2 objectForKey:@"WebResourceURL"];
745  
746     return [url1 compare:url2];
747 }
748
749 static NSString *serializeWebArchiveToXML(WebArchive *webArchive)
750 {
751     NSString *errorString;
752     NSMutableDictionary *propertyList = [NSPropertyListSerialization propertyListFromData:[webArchive data]
753                                                                          mutabilityOption:NSPropertyListMutableContainersAndLeaves
754                                                                                    format:NULL
755                                                                          errorDescription:&errorString];
756     if (!propertyList)
757         return errorString;
758
759     NSMutableArray *resources = [NSMutableArray arrayWithCapacity:1];
760     [resources addObject:propertyList];
761
762     while ([resources count]) {
763         NSMutableDictionary *resourcePropertyList = [resources objectAtIndex:0];
764         [resources removeObjectAtIndex:0];
765
766         NSMutableDictionary *mainResource = [resourcePropertyList objectForKey:@"WebMainResource"];
767         normalizeWebResourceURL([mainResource objectForKey:@"WebResourceURL"]);
768         convertWebResourceDataToString(mainResource);
769
770         // Add subframeArchives to list for processing
771         NSMutableArray *subframeArchives = [resourcePropertyList objectForKey:@"WebSubframeArchives"]; // WebSubframeArchivesKey in WebArchive.m
772         if (subframeArchives)
773             [resources addObjectsFromArray:subframeArchives];
774
775         NSMutableArray *subresources = [resourcePropertyList objectForKey:@"WebSubresources"]; // WebSubresourcesKey in WebArchive.m
776         NSEnumerator *enumerator = [subresources objectEnumerator];
777         NSMutableDictionary *subresourcePropertyList;
778         while ((subresourcePropertyList = [enumerator nextObject])) {
779             normalizeWebResourceURL([subresourcePropertyList objectForKey:@"WebResourceURL"]);
780             convertWebResourceResponseToDictionary(subresourcePropertyList);
781             convertWebResourceDataToString(subresourcePropertyList);
782         }
783         
784         // Sort the subresources so they're always in a predictable order for the dump
785         if (NSArray *sortedSubresources = [subresources sortedArrayUsingFunction:compareResourceURLs context:nil])
786             [resourcePropertyList setObject:sortedSubresources forKey:@"WebSubresources"];
787     }
788
789     NSData *xmlData = [NSPropertyListSerialization dataFromPropertyList:propertyList
790                                                                  format:NSPropertyListXMLFormat_v1_0
791                                                        errorDescription:&errorString];
792     if (!xmlData)
793         return errorString;
794
795     NSMutableString *string = [[[NSMutableString alloc] initWithData:xmlData encoding:NSUTF8StringEncoding] autorelease];
796
797     // Replace "Apple Computer" with "Apple" in the DTD declaration.
798     NSRange range = [string rangeOfString:@"-//Apple Computer//"];
799     if (range.location != NSNotFound)
800         [string replaceCharactersInRange:range withString:@"-//Apple//"];
801     
802     return string;
803 }
804
805 static void dumpBackForwardListForWebView(WebView *view)
806 {
807     printf("\n============== Back Forward List ==============\n");
808     WebBackForwardList *bfList = [view backForwardList];
809
810     // Print out all items in the list after prevTestBFItem, which was from the previous test
811     // Gather items from the end of the list, the print them out from oldest to newest
812     NSMutableArray *itemsToPrint = [[NSMutableArray alloc] init];
813     for (int i = [bfList forwardListCount]; i > 0; i--) {
814         WebHistoryItem *item = [bfList itemAtIndex:i];
815         // something is wrong if the item from the last test is in the forward part of the b/f list
816         assert(item != prevTestBFItem);
817         [itemsToPrint addObject:item];
818     }
819             
820     assert([bfList currentItem] != prevTestBFItem);
821     [itemsToPrint addObject:[bfList currentItem]];
822     int currentItemIndex = [itemsToPrint count] - 1;
823
824     for (int i = -1; i >= -[bfList backListCount]; i--) {
825         WebHistoryItem *item = [bfList itemAtIndex:i];
826         if (item == prevTestBFItem)
827             break;
828         [itemsToPrint addObject:item];
829     }
830
831     for (int i = [itemsToPrint count]-1; i >= 0; i--)
832         dumpHistoryItem([itemsToPrint objectAtIndex:i], 8, i == currentItemIndex);
833
834     [itemsToPrint release];
835     printf("===============================================\n");
836 }
837
838 static void sizeWebViewForCurrentTest()
839 {
840     // W3C SVG tests expect to be 480x360
841     bool isSVGW3CTest = (gLayoutTestController->testPathOrURL().find("svg/W3C-SVG-1.1") != string::npos);
842     if (isSVGW3CTest)
843         [[mainFrame webView] setFrameSize:NSMakeSize(480, 360)];
844     else
845         [[mainFrame webView] setFrameSize:NSMakeSize(maxViewWidth, maxViewHeight)];
846 }
847
848 static const char *methodNameStringForFailedTest()
849 {
850     const char *errorMessage;
851     if (gLayoutTestController->dumpAsText())
852         errorMessage = "[documentElement innerText]";
853     else if (gLayoutTestController->dumpDOMAsWebArchive())
854         errorMessage = "[[mainFrame DOMDocument] webArchive]";
855     else if (gLayoutTestController->dumpSourceAsWebArchive())
856         errorMessage = "[[mainFrame dataSource] webArchive]";
857     else
858         errorMessage = "[mainFrame renderTreeAsExternalRepresentation]";
859
860     return errorMessage;
861 }
862
863 static void dumpBackForwardListForAllWindows()
864 {
865     CFArrayRef openWindows = (CFArrayRef)[DumpRenderTreeWindow openWindows];
866     unsigned count = CFArrayGetCount(openWindows);
867     for (unsigned i = 0; i < count; i++) {
868         NSWindow *window = (NSWindow *)CFArrayGetValueAtIndex(openWindows, i);
869         WebView *webView = [[[window contentView] subviews] objectAtIndex:0];
870         dumpBackForwardListForWebView(webView);
871     }
872 }
873
874 static void invalidateAnyPreviousWaitToDumpWatchdog()
875 {
876     if (waitToDumpWatchdog) {
877         CFRunLoopTimerInvalidate(waitToDumpWatchdog);
878         CFRelease(waitToDumpWatchdog);
879         waitToDumpWatchdog = 0;
880     }
881 }
882
883 void dump()
884 {
885     invalidateAnyPreviousWaitToDumpWatchdog();
886
887     bool dumpAsText = gLayoutTestController->dumpAsText();
888     if (dumpTree) {
889         NSString *resultString = nil;
890         NSData *resultData = nil;
891         NSString *resultMimeType = @"text/plain";
892
893         dumpAsText |= [[[mainFrame dataSource] _responseMIMEType] isEqualToString:@"text/plain"];
894         gLayoutTestController->setDumpAsText(dumpAsText);
895         if (gLayoutTestController->dumpAsText()) {
896             resultString = dumpFramesAsText(mainFrame);
897         } else if (gLayoutTestController->dumpAsPDF()) {
898             resultData = dumpFrameAsPDF(mainFrame);
899             resultMimeType = @"application/pdf";
900         } else if (gLayoutTestController->dumpDOMAsWebArchive()) {
901             WebArchive *webArchive = [[mainFrame DOMDocument] webArchive];
902             resultString = serializeWebArchiveToXML(webArchive);
903             resultMimeType = @"application/x-webarchive";
904         } else if (gLayoutTestController->dumpSourceAsWebArchive()) {
905             WebArchive *webArchive = [[mainFrame dataSource] webArchive];
906             resultString = serializeWebArchiveToXML(webArchive);
907             resultMimeType = @"application/x-webarchive";
908         } else {
909             sizeWebViewForCurrentTest();
910             resultString = [mainFrame renderTreeAsExternalRepresentation];
911         }
912
913         if (resultString && !resultData)
914             resultData = [resultString dataUsingEncoding:NSUTF8StringEncoding];
915
916         printf("Content-Type: %s\n", [resultMimeType UTF8String]);
917
918         if (resultData) {
919             fwrite([resultData bytes], 1, [resultData length], stdout);
920
921             if (!gLayoutTestController->dumpAsText() && !gLayoutTestController->dumpDOMAsWebArchive() && !gLayoutTestController->dumpSourceAsWebArchive())
922                 dumpFrameScrollPosition(mainFrame);
923
924             if (gLayoutTestController->dumpBackForwardList())
925                 dumpBackForwardListForAllWindows();
926         } else
927             printf("ERROR: nil result from %s", methodNameStringForFailedTest());
928
929         if (printSeparators) {
930             puts("#EOF");       // terminate the content block
931             fputs("#EOF\n", stderr);
932         }            
933     }
934     
935     if (dumpPixels && !dumpAsText)
936         dumpWebViewAsPixelsAndCompareWithExpected(gLayoutTestController->expectedPixelHash());
937     
938     puts("#EOF");   // terminate the (possibly empty) pixels block
939
940     fflush(stdout);
941     fflush(stderr);
942
943     done = YES;
944 }
945
946 static bool shouldLogFrameLoadDelegates(const char *pathOrURL)
947 {
948     return strstr(pathOrURL, "loading/");
949 }
950
951 static void resetWebViewToConsistentStateBeforeTesting()
952 {
953     WebView *webView = [mainFrame webView];
954     [(EditingDelegate *)[webView editingDelegate] setAcceptsEditing:YES];
955     [webView makeTextStandardSize:nil];
956     [webView resetPageZoom:nil];
957     [webView setTabKeyCyclesThroughElements:YES];
958     [webView setPolicyDelegate:nil];
959     [webView _setDashboardBehavior:WebDashboardBehaviorUseBackwardCompatibilityMode to:NO];
960     [webView _clearMainFrameName];
961
962     WebPreferences *preferences = [webView preferences];
963     [preferences setPrivateBrowsingEnabled:NO];
964     [preferences setAuthorAndUserStylesEnabled:YES];
965     [preferences setJavaScriptCanOpenWindowsAutomatically:YES];
966     [preferences setOfflineWebApplicationCacheEnabled:YES];
967     [preferences setFullDocumentTeardownEnabled:YES];
968     [preferences setDeveloperExtrasEnabled:NO];
969
970     if (persistentUserStyleSheetLocation) {
971         [preferences setUserStyleSheetLocation:[NSURL URLWithString:(NSString *)(persistentUserStyleSheetLocation.get())]];
972         [preferences setUserStyleSheetEnabled:YES];
973     } else
974         [preferences setUserStyleSheetEnabled:NO];
975
976     [[mainFrame webView] setSmartInsertDeleteEnabled:YES];
977     [[[mainFrame webView] inspector] setJavaScriptProfilingEnabled:NO];
978
979     [WebView _setUsesTestModeFocusRingColor:YES];
980 }
981
982 static void runTest(const string& testPathOrURL)
983 {
984     ASSERT(!testPathOrURL.empty());
985     
986     // Look for "'" as a separator between the path or URL, and the pixel dump hash that follows.
987     string pathOrURL(testPathOrURL);
988     string expectedPixelHash;
989     
990     size_t separatorPos = pathOrURL.find("'");
991     if (separatorPos != string::npos) {
992         pathOrURL = string(testPathOrURL, 0, separatorPos);
993         expectedPixelHash = string(testPathOrURL, separatorPos + 1);
994     }
995
996     NSString *pathOrURLString = [NSString stringWithUTF8String:pathOrURL.c_str()];
997     if (!pathOrURLString) {
998         fprintf(stderr, "Failed to parse \"%s\" as UTF-8\n", pathOrURL.c_str());
999         return;
1000     }
1001
1002     NSURL *url;
1003     if ([pathOrURLString hasPrefix:@"http://"] || [pathOrURLString hasPrefix:@"https://"])
1004         url = [NSURL URLWithString:pathOrURLString];
1005     else
1006         url = [NSURL fileURLWithPath:pathOrURLString];
1007     if (!url) {
1008         fprintf(stderr, "Failed to parse \"%s\" as a URL\n", pathOrURL.c_str());
1009         return;
1010     }
1011
1012     const string testURL([[url absoluteString] UTF8String]);
1013     
1014     resetWebViewToConsistentStateBeforeTesting();
1015
1016     gLayoutTestController = new LayoutTestController(testURL, expectedPixelHash);
1017     topLoadingFrame = nil;
1018     done = NO;
1019
1020     if (disallowedURLs)
1021         CFSetRemoveAllValues(disallowedURLs);
1022     if (shouldLogFrameLoadDelegates(pathOrURL.c_str()))
1023         gLayoutTestController->setDumpFrameLoadCallbacks(true);
1024
1025     if ([WebHistory optionalSharedHistory])
1026         [WebHistory setOptionalSharedHistory:nil];
1027     lastMousePosition = NSZeroPoint;
1028     lastClickPosition = NSZeroPoint;
1029
1030     [prevTestBFItem release];
1031     prevTestBFItem = [[[[mainFrame webView] backForwardList] currentItem] retain];
1032
1033     WorkQueue::shared()->clear();
1034     WorkQueue::shared()->setFrozen(false);
1035
1036     bool ignoreWebCoreNodeLeaks = shouldIgnoreWebCoreNodeLeaks(testURL);
1037     if (ignoreWebCoreNodeLeaks)
1038         [WebCoreStatistics startIgnoringWebCoreNodeLeaks];
1039
1040     NSAutoreleasePool *pool = [[NSAutoreleasePool alloc] init];
1041     [mainFrame loadRequest:[NSURLRequest requestWithURL:url]];
1042     [pool release];
1043     while (!done) {
1044         pool = [[NSAutoreleasePool alloc] init];
1045         [[NSRunLoop currentRunLoop] runMode:NSDefaultRunLoopMode beforeDate:[NSDate distantPast]];
1046         [pool release];
1047     }
1048     pool = [[NSAutoreleasePool alloc] init];
1049     [EventSendingController clearSavedEvents];
1050     [[mainFrame webView] setSelectedDOMRange:nil affinity:NSSelectionAffinityDownstream];
1051
1052     WorkQueue::shared()->clear();
1053
1054     if (gLayoutTestController->closeRemainingWindowsWhenComplete()) {
1055         NSArray* array = [DumpRenderTreeWindow openWindows];
1056
1057         unsigned count = [array count];
1058         for (unsigned i = 0; i < count; i++) {
1059             NSWindow *window = [array objectAtIndex:i];
1060
1061             // Don't try to close the main window
1062             if (window == [[mainFrame webView] window])
1063                 continue;
1064             
1065             WebView *webView = [[[window contentView] subviews] objectAtIndex:0];
1066
1067             [webView close];
1068             [window close];
1069         }
1070     }
1071     
1072     [mainFrame loadHTMLString:@"<html></html>" baseURL:[NSURL URLWithString:@"about:blank"]];
1073     [mainFrame stopLoading];
1074     
1075     [pool release];
1076
1077     // We should only have our main window left open when we're done
1078     ASSERT(CFArrayGetCount(openWindowsRef) == 1);
1079     ASSERT(CFArrayGetValueAtIndex(openWindowsRef, 0) == [[mainFrame webView] window]);
1080
1081     gLayoutTestController->deref();
1082     gLayoutTestController = 0;
1083
1084     if (ignoreWebCoreNodeLeaks)
1085         [WebCoreStatistics stopIgnoringWebCoreNodeLeaks];
1086 }
1087
1088 void displayWebView()
1089 {
1090     NSView *webView = [mainFrame webView];
1091     [webView display];
1092     [webView lockFocus];
1093     [[[NSColor blackColor] colorWithAlphaComponent:0.66] set];
1094     NSRectFillUsingOperation([webView frame], NSCompositeSourceOver);
1095     [webView unlockFocus];
1096 }
1097
1098 @implementation DumpRenderTreeEvent
1099
1100 + (NSPoint)mouseLocation
1101 {
1102     return [[[mainFrame webView] window] convertBaseToScreen:lastMousePosition];
1103 }
1104
1105 @end