Selenium, Browsermob-Proxy 抓取浏览器network console的HAR

Yishto 2021-08-20 21:46:53
Categories： Tags：

Web测试的时候，我们经常用到浏览器的开发者工具，分析网页元素，样式（Elements），查看资源加载性能（Network），查看控制台信息（Console）甚至client端源码（Sources）等。

Selenium Webdriver能够定位DOM元素，与之交互，读取样式以进行验证等。但是Selenium只处理“结果”，它无法得知浏览器的网络控制台的信息。如果浏览器在渲染出页面之前，从某个站点加载大量资源信息，Selenium无法知道。

解决方案是，可以使webdriver通过proxy访问网络，再收集proxy端的HAR内容，以分析web应用的行为。

即 Selenium Webdriver + Browsermob-Proxy。

下面是一个简单的Demo， Windows， Python36。

下载Browsermob Proxy

Browsermob-Proxy: https://github.com/lightbody/browsermob-proxy 

截止到本文撰写，最新版是2.1.4 (12/26, 2016)。支持Linux和Windows。

启停Proxy

1
2
3
4
5
6
7
from browsermobproxy import Server
 
base_url='https://blog.csdn.net/'
server = Server(r'<path-to-browsermob-proxy>\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
server.start()
proxy = server.create_proxy()

配置并启动Selenium webdriver

1
2
3
4
5
6
7
8
9
10
11
12
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
 
chrome_options = Options()
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--disable-gpu')
 
chrome_driver = r'<path-to-chromedriver.exe>\chromedriver.exe'
 
driver = webdriver.Chrome(executable_path=chrome_driver, chrome_options = chrome_options)

以目标URL配置一个新的HAR并获取HAR内容

1
2
3
proxy.new_har(base_url)
driver.get(base_url)

分析HAR内容

1
2
3
4
5
6
7
8
result = proxy.har
 
for entry in result['log']['entries']:
    print(entry['request']['url'])
 
server.stop()
driver.quit()

参考： 

https://testpappy.wordpress.com/2016/12/30/network-console-for-your-test-scripts/

http://www.softwareishard.com/blog/har-12-spec/ 

browsermob-proxy
chromedriver