build-webkit: document sdk, debug, release, device, and simulator options
[WebKit-https.git] / Tools / Scripts / build-webkit
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012 Apple Inc. All rights reserved.
4 # Copyright (C) 2009 Google Inc. All rights reserved.
5 # Copyright (C) 2010 moiji-mobile.com All rights reserved.
6 # Copyright (C) 2011 Research In Motion Limited. All rights reserved.
7 #
8 # Redistribution and use in source and binary forms, with or without
9 # modification, are permitted provided that the following conditions
10 # are met:
11 #
12 # 1.  Redistributions of source code must retain the above copyright
13 #     notice, this list of conditions and the following disclaimer. 
14 # 2.  Redistributions in binary form must reproduce the above copyright
15 #     notice, this list of conditions and the following disclaimer in the
16 #     documentation and/or other materials provided with the distribution. 
17 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
18 #     its contributors may be used to endorse or promote products derived
19 #     from this software without specific prior written permission. 
20 #
21 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
22 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
23 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
24 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
25 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
26 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
27 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
28 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
29 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
30 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
31
32 # Build script wrapper for the WebKit Open Source Project.
33
34 use strict;
35 use File::Basename;
36 use File::Find;
37 use File::Spec;
38 use FindBin;
39 use Getopt::Long qw(:config pass_through);
40 use lib $FindBin::Bin;
41 use webkitdirs;
42 use webkitperl::FeatureList qw(getFeatureOptionList);
43 use POSIX;
44
45 sub cMakeArgsFromFeatures();
46 sub formatBuildTime($);
47 sub writeCongrats();
48
49 my $originalWorkingDirectory = getcwd();
50 chdirWebKit();
51
52 my $showHelp = 0;
53 my $clean = 0;
54 my $useGYP = 0;
55 my $minimal = 0;
56 my $installHeaders;
57 my $installLibs;
58 my $prefixPath;
59 my $makeArgs = "";
60 my $cmakeArgs = "";
61 my $onlyWebKitProject = 0;
62 my $noWebKit1 = 0;
63 my $noWebKit2 = 0;
64 my $coverageSupport = 0;
65 my $startTime = time();
66
67 my @features = getFeatureOptionList();
68
69 # Update defaults from Qt's project file
70 if (isQt()) {
71     # Take a sneek peek at the arguments, since we will need the qmake binary early
72     # on to do profile parsing. We also need to know if we're showing the help-text.
73     foreach (@ARGV) {
74         if (/^--qmake=(.*)/) {
75             setQmakeBinaryPath($1);
76         } elsif (/^--help$/) {
77             $showHelp = 1;
78         }
79     }
80
81     my %qtDefaults;
82     if ($showHelp) {
83         %qtDefaults = qtFeatureDefaults();
84     }
85
86     foreach (@features) {
87         $_->{default} = (%qtDefaults ? $qtDefaults{$_->{define}} || 0 : -1);
88     }
89 }
90
91 # Additional environment parameters
92 push @ARGV, split(/ /, $ENV{'BUILD_WEBKIT_ARGS'}) if ($ENV{'BUILD_WEBKIT_ARGS'});
93
94 # Initialize values from defaults
95 foreach (@ARGV) {
96     if ($_ eq '--minimal') {
97         $minimal = 1;
98     }
99 }
100
101 # Initialize values from defaults
102 foreach (@features) {
103     ${$_->{value}} = ($minimal ? 0 : $_->{default});
104 }
105
106 my $programName = basename($0);
107 my $usage = <<EOF;
108 Usage: $programName [options] [options to pass to build system]
109   --help                            Show this help message
110   --clean                           Cleanup the build directory
111   --debug                           Compile with Debug configuration
112   --release                         Compile with Release configuration
113   --sdk=<sdk>                       Use a specific Xcode SDK (iOS and Mac only)
114   --device                          Use the current iphoneos.internal SDK (iOS only)
115   --simulator                       Use the current iphonesimulator SDK (iOS only)
116   --gyp                             Use GYP-generated project files
117   --coverage                        Enable Code Coverage support (Mac only)
118
119   --blackberry                      Build the BlackBerry port on Mac/Linux
120   --chromium                        Build the Chromium port on Mac/Win/Linux
121   --chromium-android                Build the Chromium port on Android
122   --efl                             Build the EFL port
123   --gtk                             Build the GTK+ port
124   --qt                              Build the Qt port
125   --wincairo                        Build using Cairo (rather than CoreGraphics) on Windows
126   --wince                           Build the WinCE port
127
128   --inspector-frontend              Copy changes to the inspector front-end files to the build directory
129
130   --install-headers=<path>          Set installation path for the headers (Qt only)
131   --install-libs=<path>             Set installation path for the libraries (Qt only)
132
133   --prefix=<path>                   Set installation prefix to the given path (Gtk/Efl/BlackBerry only)
134   --makeargs=<arguments>            Optional Makefile flags
135   --qmakearg=<arguments>            Optional qmake flags (Qt only, e.g. --qmakearg="CONFIG+=webkit2" to build WebKit2)
136   --cmakeargs=<arguments>           Optional CMake flags (e.g. --cmakeargs="-DFOO=bar -DCMAKE_PREFIX_PATH=/usr/local")
137
138   --minimal                         No optional features, unless explicitly enabled
139
140   --only-webkit                     Build only the WebKit project
141   --no-webkit1                      Omit WebKit1 code from the build (Qt/EFL/GTK only)
142   --no-webkit2                      Omit WebKit2 code from the build
143
144 EOF
145
146 my %options = (
147     'help' => \$showHelp,
148     'clean' => \$clean,
149     'gyp' => \$useGYP,
150     'install-headers=s' => \$installHeaders,
151     'install-libs=s' => \$installLibs,
152     'prefix=s' => \$prefixPath,
153     'makeargs=s' => \$makeArgs,
154     'cmakeargs=s' => \$cmakeArgs,
155     'minimal' => \$minimal,
156     'only-webkit' => \$onlyWebKitProject,
157     'no-webkit1' => \$noWebKit1,
158     'no-webkit2' => \$noWebKit2,
159     'coverage' => \$coverageSupport,
160 );
161
162 # Build usage text and options list from features
163 foreach (@features) {
164     my $opt = sprintf("%-35s", "  --[no-]$_->{option}");
165     $usage .= "$opt $_->{desc} (default: $_->{default})\n";
166     $options{"$_->{option}!"} = $_->{value};
167 }
168
169 GetOptions(%options);
170
171 if ($showHelp) {
172    print STDERR $usage;
173    exit 1;
174 }
175
176 checkRequiredSystemConfig();
177 setConfiguration();
178
179 my $productDir = productDir();
180
181 # Remove 0 byte sized files from productDir after slave lost for Qt buildbots.
182 File::Find::find(\&unlinkZeroFiles, $productDir) if (isQt() && -e $productDir);
183
184 sub unlinkZeroFiles()
185 {
186     my $file = $File::Find::name;
187     # Remove 0 byte sized files, except
188     # - directories (Because they are always 0 byte sized on Windows)
189     # - .d files used for dependency tracking
190     if (! -d $file && ! -s $file && $file !~ m/\.d$/) {
191         unlink $file;
192         print "0 byte sized file removed from build directory: $file\n";
193     }
194 }
195
196 # Check that all the project directories are there.
197 my @projects = ("Source/JavaScriptCore", "Source/WebCore", "Source/WebKit");
198
199 # Build WTF as a separate static library on ports which support it.
200 splice @projects, 0, 0, "Source/WTF" if isAppleMacWebKit() or isAppleWinWebKit();
201
202 for my $dir (@projects) {
203     if (! -d $dir) {
204         die "Error: No $dir directory found. Please do a fresh checkout.\n";
205     }
206 }
207
208 if (!isQt() && !-d "WebKitLibraries") {
209     die "Error: No WebKitLibraries directory found. Please do a fresh checkout.\n";
210 }
211
212 # Generate the generate project files from .gyp files
213 if ($useGYP) {
214     system("perl", "Tools/Scripts/generate-project-files") == 0 or die "Failed to run generate-project-files";
215 }
216
217 my @options = ();
218
219 if (isAppleMacWebKit()) {
220     push @options, XcodeOptions();
221
222     sub option($$$)
223     {
224         my ($feature, $isEnabled, $defaultValue) = @_;
225         return "" if $defaultValue == $isEnabled;
226         return $feature . "=" . ($isEnabled ? $feature : "");
227     }
228
229     foreach (@features) {
230         my $option = option($_->{define}, ${$_->{value}}, $_->{default});
231         push @options, $option unless $option eq "";
232     }
233
234     # ANGLE must come before WebCore
235     splice @projects, 0, 0, "Source/ThirdParty/ANGLE";
236
237     # WebKit2 is only supported in SnowLeopard and later at present.
238     push @projects, ("Source/WebKit2", "Tools/MiniBrowser") if osXVersion()->{"minor"} >= 6 and !$noWebKit2;
239
240     # Build Tools needed for Apple ports
241     push @projects, ("Tools/DumpRenderTree", "Tools/WebKitTestRunner", "Source/ThirdParty/gtest", "Tools/TestWebKitAPI");
242     
243     # Copy library and header from WebKitLibraries to a findable place in the product directory.
244     (system("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", $productDir) == 0) or die;
245 } elsif (isWinCairo()) {
246     (system("perl Tools/Scripts/update-webkit-wincairo-libs") == 0) or die;
247 } elsif (isAppleWinWebKit()) {
248     # Copy WebKitSupportLibrary to the correct location in WebKitLibraries so it can be found.
249     # Will fail if WebKitSupportLibrary.zip is not in source root.
250     (system("perl Tools/Scripts/update-webkit-support-libs") == 0) or die;
251 } elsif (isQt()) {
252     push @options, "--install-headers=" . $installHeaders if defined($installHeaders);
253     push @options, "--install-libs=" . $installLibs if defined($installLibs);
254     push @options, "--makeargs=" . $makeArgs if $makeArgs;
255     push @options, "WEBKIT_CONFIG-=build_webkit1" if $noWebKit1;
256     push @options, "WEBKIT_CONFIG-=build_webkit2" if $noWebKit2;
257
258     if (checkForArgumentAndRemoveFromARGV("-2")) {
259         print "Note: WebKit2 is now built by default, you don't need to pass -2. Disable using --no-webkit2\n";
260     }
261
262     @options = (@ARGV, @options);
263
264     foreach (@features) {
265         if ($_->{define} && ${$_->{value}} != $_->{default}) {
266             my $define = lc($_->{define});
267             $define =~ s/^enable_//;
268             push @options, "WEBKIT_CONFIG" . (${$_->{value}} == 1 ? "+" : "-") . "=" . $define;
269         }
270     }
271 }
272
273 # If asked to build just the WebKit project, overwrite the projects
274 # list after all of the port specific tweaks have been made to
275 # build options, etc.
276 @projects = ("Source/WebKit") if $onlyWebKitProject;
277
278 if (isInspectorFrontend()) {
279     exit exitStatus(copyInspectorFrontendFiles());
280 }
281
282 my $result = 0;
283
284 if (isWx()) {
285     $makeArgs .= " --port=wx";
286
287     downloadWafIfNeeded();
288     @options = split(/ /, $makeArgs);
289     @projects = ();
290     $result = buildWafProject('.', $clean, @options);
291     exit exitStatus($result) if exitStatus($result);
292 }
293
294 if (isChromium()) {
295     # Currently chromium does not honour the features passed to build-webkit.
296     # Until this is solved, we issue a warning about that.
297     foreach (@features) {
298         if (${$_->{value}} ne $_->{default}) {
299             print "\n";
300             print "===========================================================\n";
301             print " Chromium does not honor the features passed to build-webkit.\n";
302             print " The preferred way is to set up your overrides in ~/.gyp/include.gypi.\n";
303             print " See https://trac.webkit.org/wiki/Chromium#Buildingwithfeaturedefines\n";
304             print " on how to do that.\n";
305             print "===========================================================\n";
306             last;
307         }
308     }
309
310     @options = @ARGV;
311     # Chromium doesn't build by project directories.
312     @projects = ();
313     push @options, "--makeargs=" . $makeArgs if $makeArgs;
314     $result = buildChromium($clean, @options);
315     exit exitStatus($result) if exitStatus($result);
316 }
317
318 if (isEfl()) {
319     # By default we build using all of the available CPUs.
320     $makeArgs .= ($makeArgs ? " " : "") . "-j" . numberOfCPUs() if $makeArgs !~ /-j\s*\d+/;
321     $cmakeArgs = "-DENABLE_WEBKIT=OFF "  . $cmakeArgs if $noWebKit1;
322     $cmakeArgs = "-DENABLE_WEBKIT2=OFF " . $cmakeArgs if $noWebKit2;
323
324     # We remove CMakeCache to avoid the bots to reuse cached flags when
325     # we enable new features. This forces a reconfiguration.
326     removeCMakeCache();
327
328     buildCMakeProjectOrExit($clean, "Efl", $prefixPath, $makeArgs, (cmakeBasedPortArguments(), cMakeArgsFromFeatures()), $cmakeArgs);
329 }
330
331 if (isWinCE()) {
332     buildCMakeProjectOrExit($clean, "WinCE", $prefixPath, $makeArgs, (cmakeBasedPortArguments(), cMakeArgsFromFeatures()), $cmakeArgs);
333 }
334
335 if (isBlackBerry()) {
336     my $numberOfJobs;
337     if ($ENV{"USE_ICECC"}) {
338         $numberOfJobs = 50; # 50 is the number we choose for internal development
339     } else {
340         $numberOfJobs = numberOfCPUs();
341     }
342     $makeArgs .= ($makeArgs ? " " : "") . "-j" . $numberOfJobs if $makeArgs !~ /-j\s*\d+/;
343     $prefixPath = $ENV{"STAGE_DIR"} unless $prefixPath;
344     buildCMakeProjectOrExit($clean, "BlackBerry", $prefixPath, $makeArgs, (cmakeBasedPortArguments(), cMakeArgsFromFeatures()), $cmakeArgs);
345 }
346
347 if (isQt()) {
348     @projects = (); # An empty projects list will build the default projects
349     $result = buildQMakeProjects(\@projects, $clean, @options);
350     exit exitStatus($result) if exitStatus($result);
351 }
352
353 # Build, and abort if the build fails.
354 for my $dir (@projects) {
355     chdir $dir or die;
356     $result = 0;
357
358     # For Gtk the WebKit project builds all others
359     if (isGtk() && $dir ne "Source/WebKit") {
360         chdirWebKit();
361         next;
362     }
363
364     my $project = basename($dir);
365     if (isGtk()) {
366         $result = buildGtkProject($project, $clean, $prefixPath, $makeArgs, $noWebKit1, $noWebKit2, @features);
367     } elsif (isAppleMacWebKit()) {
368         my @local_options = @options;
369         push @local_options, XcodeCoverageSupportOptions() if $coverageSupport && $project ne "ANGLE";
370         my $useGYPProject = $useGYP && ($project =~ "WebCore|JavaScriptCore");
371         my $projectPath = $useGYPProject ? "gyp/$project" : $project;
372         $projectPath = $project =~ /gtest/ ? "xcode/gtest" : $project;
373         $result = buildXCodeProject($projectPath, $clean, @local_options, @ARGV);
374     } elsif (isAppleWinWebKit()) {
375         if ($project eq "WebKit") {
376             $result = buildVisualStudioProject("win/WebKit.vcproj/WebKit.sln", $clean);
377         }
378     }
379     # Various build* calls above may change the CWD.
380     chdirWebKit();
381
382     if (exitStatus($result)) {
383         my $scriptDir = relativeScriptsDir();
384         if (usingVisualStudioExpress()) {
385             # Visual Studio Express is so lame it can't stdout build failures.
386             # So we find its logs and dump them to the console ourselves.
387             system(File::Spec->catfile($scriptDir, "print-vse-failure-logs"));
388         }
389         if (isAppleWinWebKit()) {
390             print "\n\n===== BUILD FAILED ======\n\n";
391             print "Please ensure you have run $scriptDir/update-webkit to install dependencies.\n\n";
392             my $baseProductDir = baseProductDir();
393             print "You can view build errors by checking the BuildLog.htm files located at:\n$baseProductDir/obj/<project>/<config>.\n";
394         }
395         exit exitStatus($result);
396     }
397 }
398
399 # Don't report the "WebKit is now built" message after a clean operation.
400 exit if $clean;
401
402 # Don't report congrats message if build was interrupted by the user.
403 exit if ($result & 127) == SIGINT;
404
405 # Explicitly chdir back to where exit will take us anyway, since the following "launcher"
406 # message is relative to that directory.
407 chdir $originalWorkingDirectory;
408
409 # Write out congratulations message.
410 writeCongrats();
411
412 exit 0;
413
414 sub cMakeArgsFromFeatures()
415 {
416     my @args;
417     foreach (@features) {
418         my $featureName = $_->{define};
419         if ($featureName) {
420             my $featureEnabled = ${$_->{value}} ? "ON" : "OFF";
421             push @args, "-D$featureName=$featureEnabled";
422         }
423     }
424     return @args;
425 }
426
427 sub formatBuildTime($)
428 {
429     my ($buildTime) = @_;
430
431     my $buildHours = int($buildTime / 3600);
432     my $buildMins = int(($buildTime - $buildHours * 3600) / 60);
433     my $buildSecs = $buildTime - $buildHours * 3600 - $buildMins * 60;
434
435     if ($buildHours) {
436         return sprintf("%dh:%02dm:%02ds", $buildHours, $buildMins, $buildSecs);
437     }
438     return sprintf("%02dm:%02ds", $buildMins, $buildSecs);
439 }
440
441 sub writeCongrats()
442 {
443     my $launcherPath = launcherPath();
444     my $launcherName = launcherName();
445     my $endTime = time();
446     my $buildTime = formatBuildTime($endTime - $startTime);
447
448     print "\n";
449     print "====================================================================\n";
450     print " WebKit is now built ($buildTime). \n";
451     if (!isChromium()) {
452         print " To run $launcherName with this newly-built code, use the\n";
453         print " \"$launcherPath\" script.\n";
454     }
455     print "====================================================================\n";
456 }