如何用代理IP应对爬虫被源网站流量监控封杀IP

发布时间：2019年08月04日来源：智游代理 www.zhiyoudaili.com

爬虫经常需要配合代理IP，但并不是所有网站都会监控流量来源，一些运行良好的网站需要考虑数据安全性和核心竞争力，才会对流量进行监控，防止爬虫的高频率抓取导致核心数据外泄。

这部分网站一般是通过IP来识别爬虫，当同个IP在一段时间内请求明显高于人访问网页的速度时，会判定为爬虫请求从而对该请求的IP进行短期或长期封杀。

那这时候就需要使用代理来绕过对IP的监控或封杀。在网上能找到一些提供免费代理IP的平台，不过亲测极其不稳定，通常100个里只有个别能用。

所以真正的想用代理IP来做爬虫，还是找付费的比较好。通常爬虫用途可以买动态IP：平台提供一个API，每次刷新请求会得到一个或一堆有效期比较短的IP，然后从这些IP里挑选来代理请求，失效时重新生成可用的IP即可。

我写的爬虫是node里跑的，这里不得不提的是，在js里非常流行的axios请求库亲测并不能实现代理请求（也许是我姿势不对），参考网上教程需要使用request这个请求库（然而并不好用，API并不是流行的Promise方式）

所以我在逻辑代码里是这样实现的，首先封装一个请求函数，封装过后的请求函数就暴露了一个统一的request方法，使用时候只需要request(url)即可。

从代码里也可以看到：当代理有效时会用代理，当代理无效、超时或其他任何错误时会返回正常的请求，这也是降级保障了爬虫代码的健壮性。

在使用拨号服务器获取的代理IP时，超时时间是个需要不断调整的设置。超时太短了会导致代理不可用的概率提高，而超时太长则会影响整个爬虫的速度。

比如我给客户跑的这个爬虫，不使用代理时跑完需要4个小时，而如果使用代理，每次请求的时间就加长了，在设置2000毫秒的超时下，整个任务跑下来需要翻2倍的时间。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 选择代理IP要从实际出发

很多互联网方面的工作都需要使用代理IP，可以说代理IP已经越来越普遍了。代理IP有多种类型，我们应该如何选择呢？代理IP的作用就是通过更换新的IP来代替自己的真实IP，这样做有很多好处，但是不同类型的代理IP使用效果也是不同的，所以代理IP一定要根据自己的实际情况进行选择。代理IP最常见的应用就是爬虫，因为爬虫在进行数据采集时，会向目标服务器发出大量请求，导致目标服务器压力增加，从而触发网站的反爬虫机制，这样爬虫的IP就会被限制了。如果想要继续爬取，就必须要更换IP才行，这时就可以使用代理IP来更换爬虫的IP了。不过爬虫需要隐匿性好的代理IP，否则即使更换了IP同样会被限制，所以爬虫要选择高匿代理IP。而有的业务不像爬虫那样需要很高的隐匿性，所以选择透明代理或者普通匿名代理就可以了。... [阅读全文]

2 网络扫描获取的代理ip能用吗？

从事互联网大数据的工作者都众所周知代理ip的来源方式有很多，获取到的ip用途千百种，如网络爬虫采集，网络营销，投票助力等等，用途广泛，深受广大用户使用。代理ip来源有哪些获取方式？网络扫描获取的代理ip能用吗？ADLS动态拨号VPS；购买动态拨号VPS，通过拨号获取到ip，更繁琐的是需要自己搭建ip池。通过处理后放入ip池中待用，通过生成的提取链接提取ip使用。这种ip需要时间和大力的精力去维护，成本也相对来说偏高，但ip的质量很高，因为可以根据自己的需求量身定制。收费代理ip在网上有很多代理ip的服务商，如开心代理ip服务平台，这种ip是现成制定好的，购买后通过api直接获取即可使用，这种代理ip简单方便，特殊业务还可以私人定制，ip质量高，不需要花时间精力维护，性价比极高，所以这种方式也是大部分所选择的。网络扫描获取ip很多用户为了省钱节约成本会自己写代码在网上扫描大量的公用ip，然后自己筛选后放入搭建好的ip池中，这种ip可用率极低，不到10%有效率，还有一个众所周知的问题，就是不安全，万人骑，很多人都使用过，不知道使用前别人用这个ip做什... [阅读全文]

热门标签