爬虫正在欢快地爬行，突然，遇到了反爬虫，爬不下去了，怎么办？江湖告急，求助神通广大的网友大神们。大神们摩拳擦掌，指点江山，激扬文字，一条条解决办法喷涌而出，什么购买代理IP、ADSL拨号、放慢爬取速度等等。
ADSL拨号太麻烦！放慢爬取速度怎么可能？购买代理花费很大啊！那么，怎么办呢？突然想起了某位伟人说过的一句至理名言——“自力更生，丰衣足食”。那么多代理IP服务提供商不都有免费代理IP吗，何不都爬取过来自建IP池呢，这样既有了代理IP又节省了成本，两全其美，何乐而不为呢？
如何爬取免费代理IP自建IP池呢？这可难不住聪明的爬虫工程师，小小爬虫还不是信手沾来。
一、寻找目标网站。提供免费代理IP的网站太多了，网上一搜一大把，这里就不一一列举了，可以选择其中一个网站进行爬取，贪心呢就一网打尽。
二、分析网站结构。不同的网站结构不同，可以通过浏览器的F12打开开发者工具进行分析，获取的数据选择IP地址和端口即可，再加上类型（选择高匿代理），具体如何操作，相信都会，这里就不啰嗦了。
三、编写代码爬取。万事俱备，只欠编写代码了，匹配数据，随机获取IP并自定义好IP的存储格式，可以现抓现用，也可以存起来一起拿出来使用，由于篇幅太长这里就不贴出来了，网上多的是。
四、代理IP投入使用。代理IP有了，接下来就是投入到爬虫工作中去使用了，当然，在投入使用前要先验证一遍，但是，验证结果一出来，傻眼了，总共爬取了四万八千个IP，结果验证成功的只有36个，结果一用，还一卡一卡的，欲哭无泪，白忙乎一场。
爬取免费代理自建IP池进行爬虫工作真的不可取，代理IP对于爬虫的作用，无异于水对鱼儿的作用，有了代理IP，爬虫就如鱼得水。而爬取免费代理IP，无异于提取一条污水沟进行加工过滤，最终得到一碗水，味道还不咋样，也不健康。
相关文章内容简介
1 使用国内代理IP谨防上当受骗
不少查看这篇文章的很多小伙伴都有这样的体验，当我们在搜索引擎中输入"代理IP"关键字时，能搜出很多很多关于代理IP的服务器或软件。有客户端安装也有在线web，有直接提供API端口对接也有需要通过网址访问的，有免费的也有收费的。在这些琳琅满目的代理IP中，如何选择一款最适合自己的产品着实让人为难。抛开代理IP的稳定性和速度不说，是否安全也不得不小心提防。免费代理IP不建议使用，首先这种IP质量不好，重复率高，经常出现IP不可用情况；其次供应商不正规，有些商家生产所谓的Web Filter，一方面向用户出售产品，一方面利用自己后台收集用户数据。如果你经常使用这些代理IP上网，那你的网络动态很可能已经暴露在对方的监控下，更严重的结果是随着个人信息泄漏，造成难以挽回的经济财产损失。为了避免这种情况发生，也为了让大家更安全的使用代理IP，小编推荐选择正规的IP供应商，例如智游代理。智游代理上线运营多年，合作知名企业众多，可信度和IP质量更高。在互联网不断发展的今天，使用代理IP已成为一种不错的上网方式，只有选择口碑品牌，对自己才是最好的... [阅读全文]
2 效果补量用代理IP安全吗
随着互联网的不断发展，广大网民朋友对代理IP的认识也越来越多，尤其是做效果补量的用户，工作中简直离不开代理IP。但不可否认的是，很多人对于代理IP上网是否安全还是心存疑问，经常在使用过程中或者使用后，用杀毒软件彻底清理电脑。针对大家的种种疑问，在这里我们有必要仔细探讨一下使用代理IP到底安不安全。我们进行网页浏览器时，HTTP协议是最常见的，因而HTTP代理IP也是我们最常用到的代理方式。它分为透明代理、匿名代理、高匿名代理三种，其中高匿名的安全性更高。智游代理是国内较早的一家HTTP代理IP供应商，所有代理IP均为高匿名HTTP代理IP。当用户使用智游代理浏览网页时，从安全性角度讲，跟我们不使用代理IP上网时没有区别的，相反，因为不使用本地IP，在访问网页时不会被对方服务器记录IP，从某种层面上讲，反倒提升了安全度。效果补量用代理IP安全吗？选择智游代理这样一款专业品牌，广大用户可以放心使用！... [阅读全文]
热门标签
最新标签
推荐阅读
22
2019-05
如何检验代理IP是否有效？
互联网的工作人员都知道代理IP，工作中代理IP也带来了很大的方便。那么，如何检验代理IP是否有效呢？哪里找到性价比高的代理IP呢？在选择代理IP的时候，还是要看我们要用代理IP做哪些工
15
2019-06
代理IP能保护隐私吗
在这个网络时代，我们在上网或者注册帐号的时候，都要输入个人信息，如果被泄露出去，被不法分子得到，甚至会造成经济损失。那么，代理IP能保护隐私吗？代理IP简单来说是一个中转站，
08
2019-08
免费代理IP有安全吗
代理IP的应用越来越广泛，免费代理IP很多人都知道，也有很多人都喜欢用免费代理，虽然是免费的，但也有一些不好的方面，例如安全问题。那么，免费代理IP有安全吗？代理IP就是来代替用户
27
2019-05
代理IP里的＂透明＂＂普匿＂＂高匿＂分别是什么意思？
提到代理IP，经常能听到透明代理、普匿代理、高匿代理这三个名词，让许多小伙伴丈二和尚摸不着头脑。下面由小编详细说说它们三个到底有何区别。首先我们先了解下什么是代理服务器，形
13
2018-11
如何使用免费代理ip上网
我对使用代理ip上网一直怀有一种神秘感，昨天实在感到无聊，于是就想能不能使用代理ip上网，原来这玩意还是很简单的，只是一直没有去尝试。
23
2019-08
效果补量用代理IP安全吗
随着互联网的不断发展，广大网民朋友对代理IP的认识也越来越多，尤其是做效果补量的用户，工作中简直离不开代理IP。但不可否认的是，很多人对于代理IP上网是否安全还是心存疑问，经常在
热门文章
