7f6b8086d62de5ae2ecba4e26650bf51455e7ee3
[WebKit-https.git] / Tools / Scripts / webkitpy / benchmark_runner / run_benchmark.py
1 #!/usr/bin/env python
2
3 import argparse
4 import json
5 import logging
6 import platform
7 import os
8 import sys
9
10 from benchmark_runner import BenchmarkRunner
11 from browser_driver.browser_driver_factory import BrowserDriverFactory
12
13
14 _log = logging.getLogger(__name__)
15
16
17 def default_platform():
18     if sys.platform.startswith('linux'):
19         return 'linux'
20     return 'osx'
21
22
23 def default_browser():
24     if sys.platform.startswith('linux'):
25         return 'minibrowser-gtk'
26     return 'safari'
27
28
29 def parse_args():
30     parser = argparse.ArgumentParser(description='Automate the browser based performance benchmarks')
31     parser.add_argument('--output-file', dest='output', default=None)
32     parser.add_argument('--build-directory', dest='buildDir', help='Path to the browser executable. e.g. WebKitBuild/Release/')
33     parser.add_argument('--platform', dest='platform', default=default_platform(), choices=BrowserDriverFactory.available_platforms())
34     parser.add_argument('--browser', dest='browser', default=default_browser(), choices=BrowserDriverFactory.available_browsers())
35     parser.add_argument('--debug', action='store_true')
36     parser.add_argument('--local-copy', dest='localCopy', help='Path to a local copy of the benchmark. e.g. PerformanceTests/SunSpider/')
37     parser.add_argument('--count', dest='countOverride', type=int, help='Number of times to run the benchmark. e.g. 5')
38     parser.add_argument('--device-id', dest='device_id', default=None)
39     parser.add_argument('--no-adjust-unit', dest='scale_unit', action='store_false')
40     mutual_group = parser.add_mutually_exclusive_group(required=True)
41     mutual_group.add_argument('--read-results-json', dest='json_file', help='Specify file you want to format')
42     mutual_group.add_argument('--plan', dest='plan', help='Benchmark plan to run. e.g. speedometer, jetstream')
43     mutual_group.add_argument('--allplans', action='store_true', help='Run all available benchmark plans sequentially')
44
45     args = parser.parse_args()
46
47     if args.debug:
48         _log.setLevel(logging.DEBUG)
49     _log.debug('Initializing program with following parameters')
50     _log.debug('\toutput file name\t: %s' % args.output)
51     _log.debug('\tbuild directory\t: %s' % args.buildDir)
52     _log.debug('\tplan name\t: %s', args.plan)
53
54     return args
55
56
57 def start(args):
58     if args.json_file:
59         results_json = json.load(open(args.json_file, 'r'))
60         if 'debugOutput' in results_json:
61             del results_json['debugOutput']
62         BenchmarkRunner.show_results(results_json, args.scale_unit)
63         return
64     if args.allplans:
65         failed = []
66         skipped = []
67         plandir = os.path.join(os.path.dirname(__file__), 'data/plans')
68         planlist = [os.path.splitext(f)[0] for f in os.listdir(plandir) if f.endswith('.plan')]
69         skippedfile = os.path.join(plandir, 'Skipped')
70         if not planlist:
71             raise Exception('Cant find any .plan file in directory %s' % plandir)
72         if os.path.isfile(skippedfile):
73             skipped = [line.strip() for line in open(skippedfile) if not line.startswith('#') and len(line) > 1]
74         for plan in sorted(planlist):
75             if plan in skipped:
76                 _log.info('Skipping benchmark plan: %s because is listed on the Skipped file' % plan)
77                 continue
78             _log.info('Starting benchmark plan: %s' % plan)
79             try:
80                 runner = BenchmarkRunner(plan, args.localCopy, args.countOverride, args.buildDir, args.output, args.platform, args.browser, args.scale_unit, args.device_id)
81                 runner.execute()
82                 _log.info('Finished benchmark plan: %s' % plan)
83             except KeyboardInterrupt:
84                 raise
85             except:
86                 failed.append(plan)
87                 _log.exception('Error running benchmark plan: %s' % plan)
88         if failed:
89             _log.error('The following benchmark plans have failed: %s' % failed)
90         return len(failed)
91     runner = BenchmarkRunner(args.plan, args.localCopy, args.countOverride, args.buildDir, args.output, args.platform, args.browser, args.scale_unit, args.device_id)
92     runner.execute()
93
94
95 def format_logger(logger):
96     logger.setLevel(logging.INFO)
97     ch = logging.StreamHandler()
98     formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
99     ch.setFormatter(formatter)
100     logger.addHandler(ch)
101
102
103 def main():
104     return start(parse_args())