IP代理池的实现框架(安装包)

上一篇 IP代理池的实现 讲解了IP代理池的实现细节。

由于爬虫多个项目都需要用到IP代理,打造一个公用的IP代理库就很有必要。本文主要讲解公用的IP代理库的实现框架。

实现思路如下:
1,数据抓取:从各个IP代理网站抓取大量IP数据;
2,数据筛选:Ping每个IP,连接速度<1.5s的IP地址入库;
3,定时更新:设置定时任务,每日重新Ping数据库内的IP,更新连接速度;

4,定时新增:设置定时任务,每日定时从IP代理网站取新数据
5,提供获取接口

1,数据抓取

定义IPItem

1
2
3