Teach the Apple port how to build the test tools in build-webkit
[WebKit-https.git] / Tools / Scripts / build-webkit
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012 Apple Inc. All rights reserved.
4 # Copyright (C) 2009 Google Inc. All rights reserved.
5 # Copyright (C) 2010 moiji-mobile.com All rights reserved.
6 # Copyright (C) 2011 Research In Motion Limited. All rights reserved.
7 #
8 # Redistribution and use in source and binary forms, with or without
9 # modification, are permitted provided that the following conditions
10 # are met:
11 #
12 # 1.  Redistributions of source code must retain the above copyright
13 #     notice, this list of conditions and the following disclaimer. 
14 # 2.  Redistributions in binary form must reproduce the above copyright
15 #     notice, this list of conditions and the following disclaimer in the
16 #     documentation and/or other materials provided with the distribution. 
17 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
18 #     its contributors may be used to endorse or promote products derived
19 #     from this software without specific prior written permission. 
20 #
21 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
22 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
23 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
24 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
25 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
26 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
27 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
28 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
29 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
30 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
31
32 # Build script wrapper for the WebKit Open Source Project.
33
34 use strict;
35 use File::Basename;
36 use File::Find;
37 use File::Spec;
38 use FindBin;
39 use Getopt::Long qw(:config pass_through);
40 use lib $FindBin::Bin;
41 use webkitdirs;
42 use webkitperl::FeatureList qw(getFeatureOptionList);
43 use POSIX;
44
45 sub cMakeArgsFromFeatures();
46 sub checkForJavaSDK();
47 sub formatBuildTime($);
48 sub writeCongrats();
49
50 my $originalWorkingDirectory = getcwd();
51 chdirWebKit();
52
53 my $showHelp = 0;
54 my $clean = 0;
55 my $useGYP = 0;
56 my $minimal = 0;
57 my $v8 = 0;
58 my $installHeaders;
59 my $installLibs;
60 my $prefixPath;
61 my $makeArgs = "";
62 my $cmakeArgs;
63 my $onlyWebKitProject = 0;
64 my $noWebKit2 = 0;
65 my $coverageSupport = 0;
66 my $startTime = time();
67
68 my @features = getFeatureOptionList();
69
70 # Update defaults from Qt's project file
71 if (isQt()) {
72     # Take a sneek peek at the arguments, since we will need the qmake binary early
73     # on to do profile parsing. We also need to know if we're showing the help-text.
74     foreach (@ARGV) {
75         if (/^--qmake=(.*)/) {
76             setQmakeBinaryPath($1);
77         } elsif (/^--help$/) {
78             $showHelp = 1;
79         }
80     }
81
82     my %qtDefaults;
83     if ($showHelp) {
84         %qtDefaults = qtFeatureDefaults();
85     }
86
87     foreach (@features) {
88         $_->{default} = (%qtDefaults ? $qtDefaults{$_->{define}} || 0 : -1);
89     }
90 }
91
92 # Additional environment parameters
93 push @ARGV, split(/ /, $ENV{'BUILD_WEBKIT_ARGS'}) if ($ENV{'BUILD_WEBKIT_ARGS'});
94
95 # Initialize values from defaults
96 foreach (@ARGV) {
97     if ($_ eq '--minimal') {
98         $minimal = 1;
99     } elsif ($_ eq '--v8') {
100         $v8 = 1;
101     }
102 }
103
104 # Initialize values from defaults
105 foreach (@features) {
106     ${$_->{value}} = ($minimal ? 0 : $_->{default});
107 }
108
109 my $programName = basename($0);
110 my $usage = <<EOF;
111 Usage: $programName [options] [options to pass to build system]
112   --help                            Show this help message
113   --clean                           Cleanup the build directory
114   --debug                           Compile in debug mode
115   --gyp                             Use GYP-generated project files
116   --coverage                        Enable Code Coverage support (Mac only)
117
118   --blackberry                      Build the BlackBerry port on Mac/Linux
119   --chromium                        Build the Chromium port on Mac/Win/Linux
120   --chromium-android                Build the Chromium port on Android
121   --efl                             Build the EFL port
122   --gtk                             Build the GTK+ port
123   --qt                              Build the Qt port
124   --wincairo                        Build using Cairo (rather than CoreGraphics) on Windows
125   --wince                           Build the WinCE port
126
127   --inspector-frontend              Copy changes to the inspector front-end files to the build directory
128
129   --install-headers=<path>          Set installation path for the headers (Qt only)
130   --install-libs=<path>             Set installation path for the libraries (Qt only)
131   --v8                              Use V8 as JavaScript engine (Qt only)
132
133   --prefix=<path>                   Set installation prefix to the given path (Gtk/Efl/BlackBerry only)
134   --makeargs=<arguments>            Optional Makefile flags
135   --qmakearg=<arguments>            Optional qmake flags (Qt only, e.g. --qmakearg="CONFIG+=webkit2" to build WebKit2)
136   --cmakearg=<arguments>            Optional CMake flags (e.g. --cmakearg="-DFOO=bar -DCMAKE_PREFIX_PATH=/usr/local")
137
138   --minimal                         No optional features, unless explicitly enabled
139
140   --only-webkit                     Build only the WebKit project
141   --no-webkit2                      Omit WebKit2 code from the build
142
143 EOF
144
145 my %options = (
146     'help' => \$showHelp,
147     'clean' => \$clean,
148     'gyp' => \$useGYP,
149     'install-headers=s' => \$installHeaders,
150     'install-libs=s' => \$installLibs,
151     'prefix=s' => \$prefixPath,
152     'makeargs=s' => \$makeArgs,
153     'cmakeargs=s' => \$cmakeArgs,
154     'minimal' => \$minimal,
155     'v8' => \$v8,
156     'only-webkit' => \$onlyWebKitProject,
157     'no-webkit2' => \$noWebKit2,
158     'coverage' => \$coverageSupport,
159 );
160
161 # Build usage text and options list from features
162 foreach (@features) {
163     my $opt = sprintf("%-35s", "  --[no-]$_->{option}");
164     $usage .= "$opt $_->{desc} (default: $_->{default})\n";
165     $options{"$_->{option}!"} = $_->{value};
166 }
167
168 GetOptions(%options);
169
170 if ($showHelp) {
171    print STDERR $usage;
172    exit 1;
173 }
174
175 checkRequiredSystemConfig();
176 setConfiguration();
177
178 my $productDir = productDir();
179
180 # Remove 0 byte sized files from productDir after slave lost for Qt buildbots.
181 File::Find::find(\&unlinkZeroFiles, $productDir) if (isQt() && -e $productDir);
182
183 sub unlinkZeroFiles()
184 {
185     my $file = $File::Find::name;
186     # Remove 0 byte sized files, except
187     # - directories (Because they are always 0 byte sized on Windows)
188     # - .d files used for dependency tracking
189     if (! -d $file && ! -s $file && $file !~ m/\.d$/) {
190         unlink $file;
191         print "0 byte sized file removed from build directory: $file\n";
192     }
193 }
194
195 # Check that all the project directories are there.
196 my @projects = ("Source/JavaScriptCore", "Source/WebCore", "Source/WebKit");
197
198 # Build WTF as a separate static library on ports which support it.
199 splice @projects, 0, 0, "Source/WTF" if isAppleMacWebKit() or isAppleWinWebKit();
200
201 for my $dir (@projects) {
202     if (! -d $dir) {
203         die "Error: No $dir directory found. Please do a fresh checkout.\n";
204     }
205 }
206
207 if (!isQt() && !-d "WebKitLibraries") {
208     die "Error: No WebKitLibraries directory found. Please do a fresh checkout.\n";
209 }
210
211 # Generate the generate project files from .gyp files
212 if ($useGYP) {
213     system("perl", "Tools/Scripts/generate-project-files") == 0 or die "Failed to run generate-project-files";
214 }
215
216 my @options = ();
217
218 # enable autotool options accordingly
219 if (isGtk()) {
220     @options = @ARGV;
221     foreach (@features) {
222         push @options, autotoolsFlag(${$_->{value}}, $_->{option});
223     }
224
225     push @options, "--prefix=" . $prefixPath if defined($prefixPath);
226     push @options, "--makeargs=" . $makeArgs if $makeArgs;
227 } elsif (isAppleMacWebKit()) {
228     checkForJavaSDK();
229     push @options, XcodeOptions();
230
231     sub option($$$)
232     {
233         my ($feature, $isEnabled, $defaultValue) = @_;
234         return "" if $defaultValue == $isEnabled;
235         return $feature . "=" . ($isEnabled ? $feature : "");
236     }
237
238     foreach (@features) {
239         my $option = option($_->{define}, ${$_->{value}}, $_->{default});
240         push @options, $option unless $option eq "";
241     }
242
243     # ANGLE must come before WebCore
244     splice @projects, 0, 0, "Source/ThirdParty/ANGLE";
245
246     # WebKit2 is only supported in SnowLeopard and later at present.
247     push @projects, ("Source/WebKit2", "Tools/MiniBrowser") if osXVersion()->{"minor"} >= 6 and !$noWebKit2;
248
249     # Build Tools needed for Apple ports
250     push @projects, ("Tools/DumpRenderTree", "Tools/WebKitTestRunner", "Source/ThirdParty/gtest", "Tools/TestWebKitAPI");
251     
252     # Copy library and header from WebKitLibraries to a findable place in the product directory.
253     (system("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", $productDir) == 0) or die;
254 } elsif (isWinCairo()) {
255     (system("perl Tools/Scripts/update-webkit-wincairo-libs") == 0) or die;
256 } elsif (isAppleWinWebKit()) {
257     # Copy WebKitSupportLibrary to the correct location in WebKitLibraries so it can be found.
258     # Will fail if WebKitSupportLibrary.zip is not in source root.
259     (system("perl Tools/Scripts/update-webkit-support-libs") == 0) or die;
260 } elsif (isQt()) {
261     push @options, "--install-headers=" . $installHeaders if defined($installHeaders);
262     push @options, "--install-libs=" . $installLibs if defined($installLibs);
263     push @options, "--makeargs=" . $makeArgs if $makeArgs;
264     push @options, "--qmakearg=CONFIG+=no_webkit2" if $noWebKit2;
265
266     if (checkForArgumentAndRemoveFromARGV("-2")) {
267         print "Note: WebKit2 is now built by default, you don't need to pass -2. Disable using --no-webkit2\n";
268     }
269
270     @options = (@ARGV, @options);
271
272     foreach (@features) {
273         push @options, "DEFINES+=$_->{define}=${$_->{value}}" if $_->{define} && ${$_->{value}} != $_->{default};
274     }
275
276     if ($v8) {
277         print "Building WebKit2 with v8 is not supported currently. Disabling WebKit2.\n";
278         # FIXME: Deal with this in defaults_pre, once Qt has support for getting at the
279         # command line arguments at that stage.
280         push @options, "CONFIG+=v8 CONFIG+=no_webkit2";
281     }
282 }
283
284 # If asked to build just the WebKit project, overwrite the projects
285 # list after all of the port specific tweaks have been made to
286 # build options, etc.
287 @projects = ("Source/WebKit") if $onlyWebKitProject;
288
289 if (isInspectorFrontend()) {
290     exit exitStatus(copyInspectorFrontendFiles());
291 }
292
293 my $result = 0;
294
295 if (isWx()) {
296     $makeArgs .= " --port=wx";
297
298     downloadWafIfNeeded();
299     @options = split(/ /, $makeArgs);
300     @projects = ();
301     $result = buildWafProject('.', $clean, @options);
302     exit exitStatus($result) if exitStatus($result);
303 }
304
305 if (isChromium()) {
306     # Currently chromium does not honour the features passed to build-webkit.
307     # Until this is solved, we issue a warning about that.
308     foreach (@features) {
309         if (${$_->{value}} ne $_->{default}) {
310             print "\n";
311             print "===========================================================\n";
312             print " Chromium does not honor the features passed to build-webkit.\n";
313             print " The preferred way is to set up your overrides in ~/.gyp/include.gypi.\n";
314             print " See https://trac.webkit.org/wiki/Chromium#Buildingwithfeaturedefines\n";
315             print " on how to do that.\n";
316             print "===========================================================\n";
317             last;
318         }
319     }
320
321     @options = @ARGV;
322     # Chromium doesn't build by project directories.
323     @projects = ();
324     push @options, "--makeargs=" . $makeArgs if $makeArgs;
325     $result = buildChromium($clean, @options);
326     exit exitStatus($result) if exitStatus($result);
327 }
328
329 if (isEfl()) {
330     # By default we build using all of the available CPUs.
331     $makeArgs .= ($makeArgs ? " " : "") . "-j" . numberOfCPUs() if $makeArgs !~ /-j\s*\d+/;
332     $cmakeArgs .= ($cmakeArgs ? " " : "") . "-DENABLE_WEBKIT=ON";
333     $cmakeArgs .= " -DENABLE_WEBKIT2=ON" if !$noWebKit2;
334     buildCMakeProjectOrExit($clean, "Efl", $prefixPath, $makeArgs, (cmakeBasedPortArguments(), cMakeArgsFromFeatures()), $cmakeArgs);
335 }
336
337 if (isWinCE()) {
338     buildCMakeProjectOrExit($clean, "WinCE", $prefixPath, $makeArgs, (cmakeBasedPortArguments(), cMakeArgsFromFeatures()), $cmakeArgs);
339 }
340
341 if (isBlackBerry()) {
342     my $numberOfJobs;
343     if ($ENV{"USE_ICECC"}) {
344         $numberOfJobs = 50; # 50 is the number we choose for internal development
345     } else {
346         $numberOfJobs = numberOfCPUs();
347     }
348     $makeArgs .= ($makeArgs ? " " : "") . "-j" . $numberOfJobs if $makeArgs !~ /-j\s*\d+/;
349     $prefixPath = $ENV{"STAGE_DIR"} unless $prefixPath;
350     buildCMakeProjectOrExit($clean, "BlackBerry", $prefixPath, $makeArgs, (cmakeBasedPortArguments(), cMakeArgsFromFeatures()), $cmakeArgs);
351 }
352
353 if (isQt()) {
354     @projects = (); # An empty projects list will build the default projects
355     $result = buildQMakeProjects(\@projects, $clean, @options);
356     exit exitStatus($result) if exitStatus($result);
357 }
358
359 # Build, and abort if the build fails.
360 for my $dir (@projects) {
361     chdir $dir or die;
362     $result = 0;
363
364     # For Gtk the WebKit project builds all others
365     if (isGtk() && $dir ne "Source/WebKit") {
366         chdirWebKit();
367         next;
368     }
369
370     my $project = basename($dir);
371     if (isGtk()) {
372         if ($noWebKit2) {
373             unshift(@options, "--disable-webkit2");
374         }
375         $result = buildGtkProject($project, $clean, @options);
376     } elsif (isAppleMacWebKit()) {
377         my @local_options = @options;
378         push @local_options, XcodeCoverageSupportOptions() if $coverageSupport && $project ne "ANGLE";
379         my $useGYPProject = $useGYP && ($project =~ "WebCore|JavaScriptCore");
380         my $projectPath = $useGYPProject ? "gyp/$project" : $project;
381         $projectPath = $project =~ /gtest/ ? "xcode/gtest" : $project;
382         $result = buildXCodeProject($projectPath, $clean, @local_options, @ARGV);
383     } elsif (isAppleWinWebKit()) {
384         if ($project eq "WebKit") {
385             $result = buildVisualStudioProject("win/WebKit.vcproj/WebKit.sln", $clean);
386         }
387     }
388     # Various build* calls above may change the CWD.
389     chdirWebKit();
390
391     if (exitStatus($result)) {
392         my $scriptDir = relativeScriptsDir();
393         if (usingVisualStudioExpress()) {
394             # Visual Studio Express is so lame it can't stdout build failures.
395             # So we find its logs and dump them to the console ourselves.
396             system(File::Spec->catfile($scriptDir, "print-vse-failure-logs"));
397         }
398         if (isAppleWinWebKit()) {
399             print "\n\n===== BUILD FAILED ======\n\n";
400             print "Please ensure you have run $scriptDir/update-webkit to install dependencies.\n\n";
401             my $baseProductDir = baseProductDir();
402             print "You can view build errors by checking the BuildLog.htm files located at:\n$baseProductDir/obj/<project>/<config>.\n";
403         }
404         exit exitStatus($result);
405     }
406 }
407
408 # Don't report the "WebKit is now built" message after a clean operation.
409 exit if $clean;
410
411 # Don't report congrats message if build was interrupted by the user.
412 exit if ($result & 127) == SIGINT;
413
414 # Explicitly chdir back to where exit will take us anyway, since the following "launcher"
415 # message is relative to that directory.
416 chdir $originalWorkingDirectory;
417
418 # Write out congratulations message.
419 writeCongrats();
420
421 exit 0;
422
423 sub cMakeArgsFromFeatures()
424 {
425     my @args;
426     foreach (@features) {
427         my $featureName = $_->{define};
428         if ($featureName) {
429             my $featureEnabled = ${$_->{value}} ? "ON" : "OFF";
430             push @args, "-D$featureName=$featureEnabled";
431         }
432     }
433     return @args;
434 }
435
436 sub checkForJavaSDK()
437 {
438     my $jniHeader = "/System/Library/Frameworks/JavaVM.framework/Headers/jni.h";
439     if (-e $jniHeader) {
440         return;
441     }
442     print "\nCan't find required $jniHeader, build will fail.\n\n";
443     print "After installing \"Java for Mac OS X 10.6 Update 3\", the Java Developer Package is required to build WebKit.\n";
444     print "Please install the package from http://connect.apple.com (found under Downloads > Java).\n\n";
445     print "For more information, see:\n";
446     print "https://lists.webkit.org/pipermail/webkit-dev/2010-October/014867.html\n";
447     print "https://webkit.org/building/tools.html\n\n";
448     exit 1;
449 }
450
451 sub formatBuildTime($)
452 {
453     my ($buildTime) = @_;
454
455     my $buildHours = int($buildTime / 3600);
456     my $buildMins = int(($buildTime - $buildHours * 3600) / 60);
457     my $buildSecs = $buildTime - $buildHours * 3600 - $buildMins * 60;
458
459     if ($buildHours) {
460         return sprintf("%dh:%02dm:%02ds", $buildHours, $buildMins, $buildSecs);
461     }
462     return sprintf("%02dm:%02ds", $buildMins, $buildSecs);
463 }
464
465 sub writeCongrats()
466 {
467     my $launcherPath = launcherPath();
468     my $launcherName = launcherName();
469     my $endTime = time();
470     my $buildTime = formatBuildTime($endTime - $startTime);
471
472     print "\n";
473     print "===========================================================\n";
474     print " WebKit is now built ($buildTime). \n";
475     if (!isChromium()) {
476         print " To run $launcherName with this newly-built code, use the\n";
477         print " \"$launcherPath\" script.\n";
478     }
479     print "===========================================================\n";
480 }