DungProxy - 代理IP池


Apache
跨平台
Java

软件简介

DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务。

DungProxy主要用在爬虫,它是为突破目标网站封堵而实现的一个网络层封装。

DungProxy实现了对httpclient较为深度的定制,将一些适合爬虫的特性做成了默认,同时支持了多个用户并发登录。

DungProxy实现了对webmagic的适配,支持自动集成代理池,支持在webmagic多个账户登录爬取数据。

DungProxy有一个server,他以极小的服务器资源收集了互联网百万级别的代理IP,并使用一种反馈叠加验证的调度模型高效的维护了大概一万的活跃IP,并将这些IP作为dungproxy的默认数据源,提供默认的代理服务。

DungProxy实现了在免费代理IP资源上面构建的稳定爬虫代理服务。