skycaiji - 基于 PHP 的数据采集发布爬虫系统


Apache
跨平台
PHP

软件简介

蓝天采集器(skycaiji)是一款免费的数据采集发布爬虫软件,采用php+mysql开发,可部署在云服务器,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是大数据、云时代网站数据自动化采集的最佳云端爬虫软件。

  • 支持 php5.4~php7

  • 支持多级、多页、分页抓取

  • 支持正则、xpath、json 匹配内容

  • 可将数据导入 cms 系统或自己开发的程序、直接入库、保存为文件等

  • 实现定时定量全自动采集发布

  • 图片本地化,可自定义图片下载目录

  • 代理ip防屏蔽、将内容翻译成各类语言

  • 可循环入库同页面格式一致的数据列表

  • 可以配合谷歌浏览器实现网页渲染自动加载ajax内容

  • 界面自适应宽度,手机也可以操作采集