KPBroswer - 最小化浏览器程序


GPL
跨平台
Python

软件简介

KPBroswer是一个基于QtWebKit的最小化浏览器程序,通过被第三方程序调用,
能实现对复杂页面加载后数据(例如,复杂Ajax、数据加密)的抓取,支持屏幕截图。
KP是“鲲鹏”二字的拼音首字母。

适用场景:

页面数据动态加载(例如,Ajax过程过于复杂,分析成本太高);
数据加密(客户端JS解密,解密算法难以获取或难以用其它语言实现);
屏幕截图;
跨平台的抓取方案;

依赖库:

PyQt4
Ubuntu下安装方法:sudo apt-get install python-qt4
Windows下安装方法:在这里下载二进制安装包直接安装http://www.riverbankcomputing.co.uk/software/pyqt/download/

调用方法:

若在Linux终端下运行,需要安装Xvfb。Ubuntu下安装方法:apt-get install xvfb xfonts-base
xfonts-75dpi xfonts-100dpi xfonts-wqy
调用举例(Linux):xvfb-run python KPBroswer.py http://www.site-digger.com
–flags=redice –output=”page.html” –screenshot=”sitedigger.jpg”
调用举例(Windows):python KPBroswer.py http://www.site-digger.com –flags=redice
–output=”page.html” –screenshot=”sitedigger.jpg”

Usage: KPBroswer.py [options]

Options:
-h, –help show this help message and exit
-p PROXY, –proxy=PROXY
Proxy to use.
-t TIMEOUT, –timeout=TIMEOUT
The timeout time of loading page.
-f FLAGS, –flags=FLAGS
Flags need to wait for. Semicolon can be used as a
eperator.
-w WAIT_TIMEOUT, –wait_timeout=WAIT_TIMEOUT
The timeout time of waitting for flags.
-g, –gui Whether to show the broswer GUI.
-o OUTPUT, –output=OUTPUT
The output filename.
-s SCREENSHOT, –screenshot=SCREENSHOT
If the value is not empty, take a screenshot and save
it here.

注意:
Linux下不要忘记安装相关字体库,否则截图中的汉字将会是乱码,如下图site-digger-font-problem.jpg所示。

安装后,就正常了,如图site-digger.jpg所示。

示例:
sample.py文件为一个Python以外部程序方式调用KPBroswer.py的示例,其它语言的调用可以参考其实现。