自建免费爬虫代理IP池有用吗

发布时间：2018年10月10日来源：智游代理 www.zhiyoudaili.com

爬虫正在欢快地爬行，突然，遇到了反爬虫，爬不下去了，怎么办？江湖告急，求助神通广大的网友大神们。大神们摩拳擦掌，指点江山，激扬文字，一条条解决办法喷涌而出，什么购买代理IP、ADSL拨号、放慢爬取速度等等。

ADSL拨号太麻烦！放慢爬取速度怎么可能？购买代理花费很大啊！那么，怎么办呢？突然想起了某位伟人说过的一句至理名言——“自力更生，丰衣足食”。那么多代理IP服务提供商不都有免费代理IP吗，何不都爬取过来自建IP池呢，这样既有了代理IP又节省了成本，两全其美，何乐而不为呢？

如何爬取免费代理IP自建IP池呢？这可难不住聪明的爬虫工程师，小小爬虫还不是信手沾来。

一、寻找目标网站。提供免费代理IP的网站太多了，网上一搜一大把，这里就不一一列举了，可以选择其中一个网站进行爬取，贪心呢就一网打尽。

二、分析网站结构。不同的网站结构不同，可以通过浏览器的F12打开开发者工具进行分析，获取的数据选择IP地址和端口即可，再加上类型（选择高匿代理），具体如何操作，相信都会，这里就不啰嗦了。

三、编写代码爬取。万事俱备，只欠编写代码了，匹配数据，随机获取IP并自定义好IP的存储格式，可以现抓现用，也可以存起来一起拿出来使用，由于篇幅太长这里就不贴出来了，网上多的是。

四、代理IP投入使用。代理IP有了，接下来就是投入到爬虫工作中去使用了，当然，在投入使用前要先验证一遍，但是，验证结果一出来，傻眼了，总共爬取了四万八千个IP，结果验证成功的只有36个，结果一用，还一卡一卡的，欲哭无泪，白忙乎一场。

2345截图20180930114836.png

爬取免费代理自建IP池进行爬虫工作真的不可取，代理IP对于爬虫的作用，无异于水对鱼儿的作用，有了代理IP，爬虫就如鱼得水。而爬取免费代理IP，无异于提取一条污水沟进行加工过滤，最终得到一碗水，味道还不咋样，也不健康。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 免费代理ip存在什么风险

相信python爬虫，网络营销刷量的用户，都对ip代理池有一定了解。因为这些工作都需要用到ip代理来开展，如果缺少了这一环，对于工作是非常不利的。刷量、爬虫等用户通常通过代理ip来突破限制，爬虫代理IP一般采集一次或者多次就会更换ip,如局域网对上网用户的端口、目的网站、协议、游戏、即时通讯软件等的限制，网站对于IP的访问频率、访问次数的限制等；另一方面，通过代理也可以隐藏用户的真实身份，访问一些不希望对方知道你IP的服务器，爬取一些数据等等。但是很多用户想着省钱，就用免费代理ip来操作。但免费ip代理服务器是不太安全的。下面来说说免费代理ip存在什么风险。1、cookies被利用。如果对方的服务器会记录登录信息，cookies也可能会被利用。而且免费代理IP是没有运维人员的，出现问题也无处可寻。2、接收信息不安全。接收的信息是通过免费服务器发送的，访问页面的时候如果是伪造的钓鱼站点，接收的信息就有很大危险。3、传送的信息危险。使用免费换IP软件，数据会先到代理服务然后再转出。如果免费代理服务器有数据抓包软件，是可以截获信息的，甚至可以破解密码。... [阅读全文]

2 代理IP可以分为Http代理，Https代理，Socks代理

1).Http代理:www对于每一个上网的人都再熟悉不过了，www连接请求就是采用的http协议，所以我们在浏览网页，下载数据（也可采用ftp协议）时就是用http代理。它通常绑定在代理服务器的80、3128、8080等端口上。2).Https代理:HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议,它是由Netscape开发并内置于其浏览器中，用于对数据进行压缩和解压操作，并返回网络上传送回的结果。HTTPS实际上应用了Netscape的完全套接字层（SSL）作为HTTP应用层的子层。（HTTPS使用端口443，而不是象HTTP那样使用端口80来和TCP/IP进行通信。）SSL使用40位关键字作为RC4流加密算法，这对于商业信息的加密是合适的。HTTPS和SSL支持使用X.509数字认证，如果需要的话用户可以确认发送者是谁。3).Socks代理：采用socks协议的代理服务器就是SOCKS服务器，是一种通用的代理服务器。Socks是个电路级的底层网关，是DavidKoblas在1990年开发的，... [阅读全文]

热门标签