Build bmalloc on Mac
[WebKit-https.git] / Tools / Scripts / build-webkit
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014 Apple Inc. All rights reserved.
4 # Copyright (C) 2009 Google Inc. All rights reserved.
5 # Copyright (C) 2010 moiji-mobile.com All rights reserved.
6 # Copyright (C) 2011 Research In Motion Limited. All rights reserved.
7 # Copyright (C) 2013 Nokia Corporation and/or its subsidiary(-ies).
8 #
9 # Redistribution and use in source and binary forms, with or without
10 # modification, are permitted provided that the following conditions
11 # are met:
12 #
13 # 1.  Redistributions of source code must retain the above copyright
14 #     notice, this list of conditions and the following disclaimer. 
15 # 2.  Redistributions in binary form must reproduce the above copyright
16 #     notice, this list of conditions and the following disclaimer in the
17 #     documentation and/or other materials provided with the distribution. 
18 # 3.  Neither the name of Apple Inc. ("Apple") nor the names of
19 #     its contributors may be used to endorse or promote products derived
20 #     from this software without specific prior written permission. 
21 #
22 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
23 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
24 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
25 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
26 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
27 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
29 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
30 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
31 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
32
33 # Build script wrapper for the WebKit Open Source Project.
34
35 use strict;
36 use File::Basename;
37 use File::Find;
38 use File::Spec;
39 use FindBin;
40 use Getopt::Long qw(:config pass_through no_auto_abbrev);
41 use lib $FindBin::Bin;
42 use webkitdirs;
43 use List::Util qw(first);
44 use webkitperl::FeatureList qw(getFeatureOptionList);
45 use POSIX;
46
47 sub cMakeArgsFromFeatures();
48 sub formatBuildTime($);
49 sub writeCongrats();
50
51 my $originalWorkingDirectory = getcwd();
52 chdirWebKit();
53
54 my $showHelp = 0;
55 my $clean = 0;
56 my $minimal = 0;
57 my $installHeaders;
58 my $installLibs;
59 my $prefixPath;
60 my $makeArgs = "";
61 my $cmakeArgs = "";
62 my $onlyWebKitProject = 0;
63 my $noWebKit1 = 0;
64 my $noWebKit2 = 0;
65 my $coverageSupport = 0;
66 my $startTime = time();
67
68 my @features = getFeatureOptionList();
69
70 # Additional environment parameters
71 push @ARGV, split(/ /, $ENV{'BUILD_WEBKIT_ARGS'}) if ($ENV{'BUILD_WEBKIT_ARGS'});
72
73 # Initialize values from defaults
74 foreach (@ARGV) {
75     if ($_ eq '--minimal') {
76         $minimal = 1;
77     }
78 }
79
80 # Initialize values from defaults
81 foreach (@features) {
82     ${$_->{value}} = ($minimal ? 0 : $_->{default});
83 }
84
85 my $programName = basename($0);
86 my $usage = <<EOF;
87 Usage: $programName [options] [options to pass to build system]
88   --help                            Show this help message
89   --clean                           Cleanup the build directory
90   --debug                           Compile with Debug configuration
91   --release                         Compile with Release configuration
92   --sdk=<sdk>                       Use a specific Xcode SDK (iOS and Mac only)
93   --device                          Use the current iphoneos.internal SDK (iOS only)
94   --simulator                       Use the current iphonesimulator SDK (iOS only)
95   --coverage                        Enable Code Coverage support (Mac only)
96
97   --efl                             Build the EFL port
98   --gtk                             Build the GTK+ port
99   --wincairo                        Build using Cairo (rather than CoreGraphics) on Windows
100   --wince                           Build the WinCE port
101
102   --inspector-frontend              Copy changes to the inspector front-end files to the build directory
103
104   --prefix=<path>                   Set installation prefix to the given path (Gtk/Efl only)
105   --makeargs=<arguments>            Optional Makefile flags
106   --cmakeargs=<arguments>           Optional CMake flags (e.g. --cmakeargs="-DFOO=bar -DCMAKE_PREFIX_PATH=/usr/local")
107
108   --minimal                         No optional features, unless explicitly enabled
109
110   --only-webkit                     Build only the WebKit project
111   --no-webkit1                      Omit WebKit1 code from the build (EFL/GTK only)
112   --no-webkit2                      Omit WebKit2 code from the build
113
114 EOF
115
116 my %options = (
117     'help' => \$showHelp,
118     'clean' => \$clean,
119     'install-headers=s' => \$installHeaders,
120     'install-libs=s' => \$installLibs,
121     'prefix=s' => \$prefixPath,
122     'makeargs=s' => \$makeArgs,
123     'cmakeargs=s' => \$cmakeArgs,
124     'minimal' => \$minimal,
125     'only-webkit' => \$onlyWebKitProject,
126     'no-webkit1' => \$noWebKit1,
127     'no-webkit2' => \$noWebKit2,
128     'coverage' => \$coverageSupport,
129 );
130
131 # Build usage text and options list from features
132 foreach (@features) {
133     my $opt = sprintf("%-35s", "  --[no-]$_->{option}");
134     $usage .= "$opt $_->{desc} (default: $_->{default})\n";
135     $options{"$_->{option}!"} = $_->{value};
136 }
137
138 GetOptions(%options);
139
140 if ($showHelp) {
141    print STDERR $usage;
142    exit 1;
143 }
144
145 checkRequiredSystemConfig();
146 setConfiguration();
147
148 my $productDir = productDir();
149
150 sub unlinkZeroFiles()
151 {
152     my $file = $File::Find::name;
153     # Remove 0 byte sized files, except
154     # - directories (Because they are always 0 byte sized on Windows)
155     # - .d files used for dependency tracking
156     if (! -d $file && ! -s $file && $file !~ m/\.d$/) {
157         unlink $file;
158         print "0 byte sized file removed from build directory: $file\n";
159     }
160 }
161
162 # Check that all the project directories are there.
163 my @projects = ("Source/JavaScriptCore", "Source/WebCore", "Source/WebKit");
164
165 # Build WTF as a separate static library on ports which support it.
166 splice @projects, 0, 0, "Source/WTF" if isAppleMacWebKit() or isAppleWinWebKit() or isWinCairo();
167
168 splice @projects, 0, 0, "Source/bmalloc" if isAppleMacWebKit() && !isIOSWebKit();
169
170 for my $dir (@projects) {
171     if (! -d $dir) {
172         die "Error: No $dir directory found. Please do a fresh checkout.\n";
173     }
174 }
175
176 if (!isIOSWebKit() && !-d "WebKitLibraries") {
177     die "Error: No WebKitLibraries directory found. Please do a fresh checkout.\n";
178 }
179
180 my @options = ();
181 my $hasFTLJIT = 0;
182
183 if (isAppleMacWebKit()) {
184     push @options, XcodeOptions();
185     sub option($$$)
186     {
187         my ($feature, $isEnabled, $defaultValue) = @_;
188         return "" if $defaultValue == $isEnabled;
189         return $feature . "=" . ($isEnabled ? $feature : "");
190     }
191
192     foreach (@features) {
193         my $option = option($_->{define}, ${$_->{value}}, $_->{default});
194         $hasFTLJIT = 1 if ($_->{define} eq "ENABLE_FTL_JIT") and (${$_->{value}});
195         push @options, $option unless $option eq "";
196     }
197
198     if (isIOSWebKit()) {
199         # FIXME: Remove the inclusion of both WebKit System Interface and WebKit Additions projects
200         # once the iOS build is stable.
201
202         # WebKitSystemInterface should always be built just before WebKit.
203         my $webKitIndex = first { $projects[$_] eq "Source/WebKit" } 0..$#projects;
204         splice(@projects, $webKitIndex, 0, "../Internal/WebKitSystemInterface");
205
206         # WebKitAdditions must come before WebCore
207         splice(@projects, 0, 0, "../Internal/WebKitAdditions");
208     } else {
209         # WebKit2 should always be built just before WebKit.
210         my $webKitIndex = first { $projects[$_] eq "Source/WebKit" } 0..$#projects;
211         splice(@projects, $webKitIndex, 0, "Source/WebKit2");
212     }
213
214     # ANGLE must come before WebCore
215     splice @projects, 0, 0, "Source/ThirdParty/ANGLE";
216
217     if (!isIOSWebKit()) {
218         push @projects, ("Tools/MiniBrowser");
219
220         # WebInspectorUI must come after JavaScriptCore and WebCore but before WebKit and WebKit2
221         my $webKitIndex = first { $projects[$_] eq "Source/WebKit" } 0..$#projects;
222         splice(@projects, $webKitIndex, 0, "Source/WebInspectorUI");
223
224         # Copy library and header from WebKitLibraries to a findable place in the product directory.
225         my @copyLibrariesArgs = ("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", "--wksi");
226         if ($hasFTLJIT) {
227             push @copyLibrariesArgs, "--llvm";
228         }
229         push @copyLibrariesArgs, productDir();
230         print(join(" ", @copyLibrariesArgs) . "\n");
231         (system(@copyLibrariesArgs) == 0) or die;
232     } else {
233         push @projects, ("Source/WebKit2");
234         
235         my @copyLibrariesArgs = (
236             "perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory",
237             "--sdk", xcodeSDK(), "--llvm", "--prefer-system-llvm",
238             "--llvm-subdirectory", "internal-llvm", productDir()
239         );
240         print(join(" ", @copyLibrariesArgs) . "\n");
241         (system(@copyLibrariesArgs) == 0) or die;
242     }
243
244     # Build Tools needed for Apple ports
245     push @projects, ("Tools/DumpRenderTree", "Tools/WebKitTestRunner", "Source/ThirdParty/gtest", "Tools/TestWebKitAPI");
246
247 } elsif (isWinCairo()) {
248     (system("perl Tools/Scripts/update-webkit-wincairo-libs") == 0) or die;
249 } elsif (isAppleWinWebKit()) {
250     # Copy WebKitSupportLibrary to the correct location in WebKitLibraries so it can be found.
251     # Will fail if WebKitSupportLibrary.zip is not in source root.
252     (system("perl Tools/Scripts/update-webkit-support-libs") == 0) or die;
253 }
254
255 # If asked to build just the WebKit project, overwrite the projects
256 # list after all of the port specific tweaks have been made to
257 # build options, etc.
258 @projects = ("Source/WebKit") if $onlyWebKitProject;
259
260 my $result = 0;
261
262 if (isInspectorFrontend()) {
263     $result = copyInspectorFrontendFiles();
264     exit exitStatus($result) if exitStatus($result);
265     @projects = ("Source/WebInspectorUI");
266 }
267
268 if (isCMakeBuild()) {
269     $cmakeArgs = "-DENABLE_WEBKIT=OFF "  . $cmakeArgs if $noWebKit1;
270     $cmakeArgs = "-DENABLE_WEBKIT2=OFF " . $cmakeArgs if $noWebKit2;
271
272     # By default we build using all of the available CPUs.
273     if (!isWinCE()) {
274         $makeArgs .= ($makeArgs ? " " : "") . "-j" . numberOfCPUs() if $makeArgs !~ /-j\s*\d+/;
275         my $maxCPULoad = maxCPULoad() if $makeArgs !~ /-l\s*\d+\.?\d*/;
276         $makeArgs .= " -l" . maxCPULoad() if defined $maxCPULoad;
277     }
278
279     # We remove CMakeCache to avoid the bots to reuse cached flags when
280     # we enable new features. This forces a reconfiguration.
281     my @featureArgs = cMakeArgsFromFeatures();
282     removeCMakeCache(@featureArgs);
283
284     buildCMakeProjectOrExit($clean, cmakeBasedPortName(), $prefixPath, $makeArgs, (cmakeBasedPortArguments(), @featureArgs), $cmakeArgs);
285 }
286
287 # Build, and abort if the build fails.
288 for my $dir (@projects) {
289     chdir $dir or die;
290     $result = 0;
291
292     my $project = basename($dir);
293     my $baseProductDir = baseProductDir();
294     if (isAppleMacWebKit()) {
295         my @local_options = @options;
296         push @local_options, XcodeCoverageSupportOptions() if $coverageSupport;
297         my $projectPath = $project =~ /gtest/ ? "xcode/gtest" : $project;
298         if (isIOSWebKit()){
299             push @local_options, qw(-target WebKitTestRunnerApp) if ($project eq "WebKitTestRunner") && !$clean;
300         }
301         $result = buildXCodeProject($projectPath, $clean, @local_options, @ARGV);
302     } elsif (isAppleWinWebKit() || isWinCairo()) {
303         if ($project eq "WebKit") {
304             my $webkitSolutionPath = "WebKit.vcxproj/WebKit.sln";
305             $result = buildVisualStudioProject($webkitSolutionPath, $clean);
306             my $vsConfiguration = configuration();
307             if (usingVisualStudioExpress()) {
308                 # Visual Studio Express is so lame it can't stdout build failures.
309                 # So we find its logs and dump them to the console ourselves.
310                 open(my $OUTPUT_HANDLE, '<', "$baseProductDir/$vsConfiguration/BuildOutput.htm") or die "Could not open build log file at $baseProductDir/$vsConfiguration/BuildOutput.htm";
311                 print while (<$OUTPUT_HANDLE>);
312             }
313         }
314     }
315     # Various build* calls above may change the CWD.
316     chdirWebKit();
317
318     if (exitStatus($result)) {
319         my $scriptDir = relativeScriptsDir();
320         if (isAppleWinWebKit() || isWinCairo()) {
321             print "\n\n===== BUILD FAILED ======\n\n";
322             print "Please ensure you have run $scriptDir/update-webkit to install dependencies.\n\n";
323             print "You can view build errors by checking the BuildLog.htm files located at:\n$baseProductDir/obj/<project>/<config>.\n";
324         }
325         exit exitStatus($result);
326     }
327 }
328
329 # Don't report the "WebKit is now built" message after a clean operation.
330 exit if $clean;
331
332 # Don't report congrats message if build was interrupted by the user.
333 exit if ($result & 127) == SIGINT;
334
335 # Explicitly chdir back to where exit will take us anyway, since the following "launcher"
336 # message is relative to that directory.
337 chdir $originalWorkingDirectory;
338
339 # Write out congratulations message.
340 writeCongrats();
341
342 exit 0;
343
344 sub cMakeArgsFromFeatures()
345 {
346     my @args;
347     foreach (@features) {
348         my $featureName = $_->{define};
349         if ($featureName) {
350             my $featureEnabled = ${$_->{value}} ? "ON" : "OFF";
351             push @args, "-D$featureName=$featureEnabled";
352         }
353     }
354     return @args;
355 }
356
357 sub formatBuildTime($)
358 {
359     my ($buildTime) = @_;
360
361     my $buildHours = int($buildTime / 3600);
362     my $buildMins = int(($buildTime - $buildHours * 3600) / 60);
363     my $buildSecs = $buildTime - $buildHours * 3600 - $buildMins * 60;
364
365     if ($buildHours) {
366         return sprintf("%dh:%02dm:%02ds", $buildHours, $buildMins, $buildSecs);
367     }
368     return sprintf("%02dm:%02ds", $buildMins, $buildSecs);
369 }
370
371 sub writeCongrats()
372 {
373     my $launcherPath = launcherPath();
374     my $launcherName = launcherName();
375     my $endTime = time();
376     my $buildTime = formatBuildTime($endTime - $startTime);
377
378     print "\n";
379     print "====================================================================\n";
380     print " WebKit is now built ($buildTime). \n";
381     if ($launcherPath && $launcherName) {
382         print " To run $launcherName with this newly-built code, use the\n";
383         print " \"$launcherPath\" script.\n";
384     }
385     print "====================================================================\n";
386 }