换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800821111 售前客服
在线客服,实时响应

大客户经理
2110220233

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

解决爬虫采集网站时被封IP的几种方法

发布时间:2018年10月15日 来源:智游代理 www.zhiyoudaili.com

本文主要介绍了使用爬虫采集网站时,解决被封IP常见的几种方法的相关资料,需要的朋友可以参考下。

 

方法1:

之前由于公司项目需要,采集过google地图数据,还有一些大型网站数据。

经验如下:

1.IP必须需要,如果有条件,可以直接使用成熟的代理IP服务商,类似像智游代理这种。

2.在有外网IP的机器上,部署代理服务器。

3.你的程序,使用轮训替换代理服务器来访问想要采集的网站。

好处:

1.程序逻辑变化小,只需要代理功能。

2.根据对方网站屏蔽规则不同,你只需要添加更多的代理就行了。

3.就算具体IP被屏蔽了,你可以直接把代理服务器下线就OK,程序逻辑不需要变化。

 

方法2:

有小部分网站的防范措施比较弱,可以伪装下IP,修改X-Forwarded-for即可绕过。

大部分网站么,如果要频繁抓取,一般还是要多IP。我比较喜欢的解决方案是国外VPS再配多IP,通过默认网关切换来实现IP切换,比HTTP代理高效得多,估计也比多数情况下的ADSL切换更高效。

 

方法3:

ADSL + 脚本,监测是否被封,然后不断切换 ip

设置查询频率限制

正统的做法是调用该网站提供的服务接口。

 

方法4:

1 user agent 伪装和轮换

2 使用代理 ip 和轮换

3 cookies 的处理,有的网站对登陆用户政策宽松些

友情提示:考虑爬虫给人家网站带来的负担,be a responsible crawler :)

 

方法5:

尽可能的模拟用户行为:

1、UserAgent经常换一换;

2、访问时间间隔设长一点,访问时间设置为随机数;

3、访问页面的顺序也可以随机着来

 

方法6:

网站封的依据一般是单位时间内特定IP的访问次数.

我是将采集的任务按 目标站点的IP进行分组 通过控制每个IP 在单位时间内发出任务的个数,来避免被封.当然,这个前题是你采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。

 

方法7:

1. 对爬虫抓取进行压力控制;

2. 可以考虑使用代理的方式访问目标站点。

-降低抓取频率,时间设置长一些,访问时间采用随机数

-频繁切换UserAgent(模拟浏览器访问)

-多页面数据,随机访问然后抓取数据

-更换用户IP

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫用代理ip解决封禁

随着大数据时代的到来,很多做爬虫要用到代理IP,爬虫已经成了获取数据的必不可少的方式,在使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁IP的问题,通常会使用以下两种方式:1、放慢抓取速度,减小对于目标网站造成的压力,但会减少单位时间类的抓取量。2、使用代理IP,使用代理IP之后可以让爬虫伪装自己的真实IP。对于python爬虫来说,有时业务量繁重,分布式爬虫是最好的提升效率方式,而分布式爬虫又急切需要数目众多的IP资源,这一点免费IP是满足不了的,所以对于免费代理,真的不用考虑了,其IP可用率能超过10%就已经是谢天谢地了,使用这种质量的IP资源简直苦不堪言。要想有效突破反爬虫机制继续高频率抓取,使用一款优质的代理IP是必不可少的,这里就不得不推荐我们的智游代理了,智游代理价格不贵且稳定性要远远超过免费的代理IP。多个服务器稳定服务,不仅拥有海量的资源,而且还能够实现极速更换IP地址,是比较简单方便的代理服务器,最为重要的是可以确保安全性,不会出现任何弹窗广告或病毒,选择代理ip,大大提高工作效率,稳定靠谱更安心!... [阅读全文]

2 网络爬虫伪装的三种方式

爬虫和反爬虫相爱相杀,没有了爬虫,反爬虫毫无存在的意义,有了反爬虫,爬虫的日子也别想好过。爬虫每天都在想怎么甩了反爬虫,反爬虫则是每天都在想怎么黏住爬虫,它们不断的在对抗中,不断的在提升自己,谁落后谁就要输。爬虫在此期间为了甩开反爬虫自创了一招技能——伪装术,这技能又分为三招,分别是:伪装UA,伪装IP和伪装真实用户。下面我们来将技能进行分解,希望对新手朋友们有所帮助。一、伪装UA。UA全称是User-Agent,叫做用户代理,不同的浏览器UA各有不同。反爬虫会根据UA来判断某个IP是否爬虫,所以需要进行伪装。网上有很多UA,搜集起来写在自己的配置里,在添加UA的时候随机选一个,这样毫无规律的设置UA,会让反爬虫傻眼。二、伪装IP。很多时候反爬虫都是根据单IP的行为来判断是否爬虫,比如某IP访问频率太快,访问次数太多了……反爬虫就会限制IP再次访问。解决方法也很简单,找代理IP服务商购买高效稳定的代理IP,比如智游代理。三、伪装真实用户。这个伪装技术就比较厉害了,反爬虫不可能杀死真实用户,不然网站就没什么意义了。那么如何伪装真实用户呢,也很简单,... [阅读全文]

热门标签

推荐阅读

  1. 15

    2018-11

    Python语言需要代理ip

    网络科技发达的今天,很多语言随之诞生,如Java、.net、php等等,但是作为现在最热门的网络爬虫语言,Python在编程语言中的地位也是无可取代的。

  2. 28

    2018-11

    爬虫怎么解决封IP的问题?

    ​在网络爬虫抓取信息的过程中,如果抓取频率高过了网站的设置阀值,将会被禁止访问。通常,网站的反爬虫机制都是依据IP来标识爬虫的。

  3. 28

    2018-12

    爬虫代理ip的基本实现原理

    ​爬虫工作者在试用爬虫进行数据搜集的过程中经常会遇到这样的情况,刚开始的时候爬虫的运行情况是正常的,数据的抓取状况也在有条不紊的进行着,

  4. 23

    2018-11

    用代理上网的电脑怎样共享无线网络?

    ​平常我们都喜欢用代理服务器上网,那么在这种情况下如何共享无线网络呢?请看下面的步骤。

  5. 03

    2019-07

    爬虫工作如何最大程度避免被封IP

    做爬虫,碰到最多的问题不是代码bug,而是封IP。开发好一个爬虫,部署好服务器,然后开始抓取信息,不一会儿,就提示封IP了,这时候的内心是崩溃的。那么,有什么办法不封IP呢?首先,要

  6. 30

    2018-11

    反爬虫策略去哪找代理IP?

    ​大家应该都听过爬虫和反爬虫吧,它们两就是一对天敌,这么说其实一点都不过分。在大数据时代,数据就是金钱,很多网站为了保护自己网站数据运用了反爬策略。