换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部
您的位置: 首页 > 新闻资讯 > 免费代理ip > 正文

如何用代理IP应对爬虫被源网站流量监控封杀IP

发布时间:2019年08月04日 来源:智游代理 www.zhiyoudaili.com

爬虫经常需要配合代理IP,但并不是所有网站都会监控流量来源,一些运行良好的网站需要考虑数据安全性和核心竞争力,才会对流量进行监控,防止爬虫的高频率抓取导致核心数据外泄。


这部分网站一般是通过IP来识别爬虫,当同个IP在一段时间内请求明显高于人访问网页的速度时,会判定为爬虫请求从而对该请求的IP进行短期或长期封杀。


如何用代理IP应对爬虫被源网站流量监控封杀IP


那这时候就需要使用代理来绕过对IP的监控或封杀。在网上能找到一些提供免费代理IP的平台,不过亲测极其不稳定,通常100个里只有个别能用。


所以真正的想用代理IP来做爬虫,还是找付费的比较好。通常爬虫用途可以买动态IP:平台提供一个API,每次刷新请求会得到一个或一堆有效期比较短的IP,然后从这些IP里挑选来代理请求,失效时重新生成可用的IP即可。


我写的爬虫是node里跑的,这里不得不提的是,在js里非常流行的axios请求库亲测并不能实现代理请求(也许是我姿势不对),参考网上教程需要使用request这个请求库(然而并不好用,API并不是流行的Promise方式)


所以我在逻辑代码里是这样实现的,首先封装一个请求函数,封装过后的请求函数就暴露了一个统一的request方法,使用时候只需要request(url)即可。


从代码里也可以看到:当代理有效时会用代理,当代理无效、超时或其他任何错误时会返回正常的请求,这也是降级保障了爬虫代码的健壮性。


在使用拨号服务器获取的代理IP时,超时时间是个需要不断调整的设置。超时太短了会导致代理不可用的概率提高,而超时太长则会影响整个爬虫的速度。


比如我给客户跑的这个爬虫,不使用代理时跑完需要4个小时,而如果使用代理,每次请求的时间就加长了,在设置2000毫秒的超时下,整个任务跑下来需要翻2倍的时间。


转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 选择代理IP要从实际出发

很多互联网方面的工作都需要使用代理IP,可以说代理IP已经越来越普遍了。代理IP有多种类型,我们应该如何选择呢?代理IP的作用就是通过更换新的IP来代替自己的真实IP,这样做有很多好处,但是不同类型的代理IP使用效果也是不同的,所以代理IP一定要根据自己的实际情况进行选择。代理IP最常见的应用就是爬虫,因为爬虫在进行数据采集时,会向目标服务器发出大量请求,导致目标服务器压力增加,从而触发网站的反爬虫机制,这样爬虫的IP就会被限制了。如果想要继续爬取,就必须要更换IP才行,这时就可以使用代理IP来更换爬虫的IP了。不过爬虫需要隐匿性好的代理IP,否则即使更换了IP同样会被限制,所以爬虫要选择高匿代理IP。而有的业务不像爬虫那样需要很高的隐匿性,所以选择透明代理或者普通匿名代理就可以了。... [阅读全文]

2 网络扫描获取的代理ip能用吗?

从事互联网大数据的工作者都众所周知代理ip的来源方式有很多,获取到的ip用途千百种,如网络爬虫采集,网络营销,投票助力等等,用途广泛,深受广大用户使用。代理ip来源有哪些获取方式?网络扫描获取的代理ip能用吗?ADLS动态拨号VPS;购买动态拨号VPS,通过拨号获取到ip,更繁琐的是需要自己搭建ip池。通过处理后放入ip池中待用,通过生成的提取链接提取ip使用。这种ip需要时间和大力的精力去维护,成本也相对来说偏高,但ip的质量很高,因为可以根据自己的需求量身定制。收费代理ip在网上有很多代理ip的服务商,如开心代理ip服务平台,这种ip是现成制定好的,购买后通过api直接获取即可使用,这种代理ip简单方便,特殊业务还可以私人定制,ip质量高,不需要花时间精力维护,性价比极高,所以这种方式也是大部分所选择的。网络扫描获取ip很多用户为了省钱节约成本会自己写代码在网上扫描大量的公用ip,然后自己筛选后放入搭建好的ip池中,这种ip可用率极低,不到10%有效率,还有一个众所周知的问题,就是不安全,万人骑,很多人都使用过,不知道使用前别人用这个ip做什... [阅读全文]

热门标签

推荐阅读

  1. 28

    2019-10

    如何维护爬虫程序中的代理ip库?

    如何维护爬虫程序中的代理ip库?代理ip有的变得连接很慢,甚至连不上,有什么样的机制可以让ip列表保持较好的可用性?不如创建一个验证代理的服务吧,定期扫描库存代理,更新可用性,遇

  2. 10

    2020-03

    初次使用代理IP要注意什么问题

    对于营销行业的用户来说,代理IP的使用是很常见的,但对于一些刚接触代理的用户来说,可能对其不是很了解。那么,下面就为大家讲一下初次使用代理IP要注意什么问题。

  3. 15

    2019-07

    玩游戏需要用到代理IP吗

    玩游戏需要用到代理IP吗?很多人认为在玩游戏的时候是防封的,IP地址不重要。其实不然,如果同一个IP地址登录了同一款游戏的多个账号,也是有被封账号的危险哦。在服务器的认识中,一个

  4. 30

    2019-05

    爬虫工作如何选择代理IP类型

    之前为大家介绍过代理IP的类型分别是透明代理IP、匿名代理IP、高匿名代理IP、混淆代理IP。那么,爬虫工作如何选择代理IP类型呢?下面为大家详解。普通的匿名代理IP是能对客户机器的真是IP

  5. 02

    2019-01

    如何利用Python爬虫抓取免费代理IP

    ​当我们在利用爬虫去抓取网站信息时可能会遇到遇到过“访问频率太高”这样的网站提示,这时就需要等待一段时间或者输入一个验证码才能解封,但这样的情况之后还是会出现。

  6. 11

    2019-06

    如何利用代理ip保护自己

    早前,代理ip并没有被人们时长接触到,更早之前,甚至有人还不知道什么ip,更别说代理ip了。但是随着时代的发展,以及互联网的不断进步,越来越多的人也就开始意识到了ip,尤其是代理ip