换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800821111 售前客服
在线客服,实时响应

大客户经理
2110220233

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

分布式爬虫代理IP有什么解决方案

发布时间:2018年10月13日 来源:智游代理 www.zhiyoudaili.com

没有代理IP,爬虫工作将寸步难行,所以很多爬虫工程师都需要去选购高效稳定的代理IP。有了优质代理IP后,是不是就可以高枕无忧了呢?事情没有那么简单,还需要优化方案,合理分配资源,提高工作效率,更高效更快速更稳定地进行爬虫工作。

 

方案一、每个进程从接口API中随机取一个IP列表(比如一次提取100IP)来循环使用,失败则再调用API获取,大概逻辑如下:

 

1、每个进程(或线程),从接口随机取回一批IP回来,循环尝试IP列表去抓取数据;

2、如果访问成功,则继续抓取下一条;

3、如果失败了(比如超时、出现验证码等),再从接口取一批IP,继续尝试。

方案缺点:每个IP都是有有效期的,如果提取了100个,当使用了第10个的时候,可能后面的大部分都失效了。如果你设置HTTP请求的时候连接时间超时为3秒,读取时间超时为5秒,那你将会有可能浪费3-8秒的时间,说不定这3-8秒已经可以抓取几十次了。

 

方案二:每个进程从接口API中随机取一个IP来使用,失败则再调用API获取一个IP,大概逻辑如下:

 

1、每个进程(或线程),从接口随机取回一个IP来,用这个IP去访问资源;

2、如果访问成功,则继续抓下一条;

3、如果失败了(比如超时、出现验证码等),再从接口随机取一个IP,继续尝试。

方案缺点:调用API获取IP的行为非常频繁,会对代理服务器造成非常大的压力,影响API接口稳定,可能会被限制提取。这种方案也不适合,不能持久稳定的运行。


方案三:先提取大量IP导入本地数据库,从数据库里面取IP,大概逻辑如下:


1、在数据库里面建一个表,写一个导入脚本,每分钟请求多少次API(咨询代理IP服务商建议),把IP列表导入到数据库里面;

2、在数据库里面记录好:导入时间、IPPort、过期时间、IP可用状态 等字段;

3、写一个抓取脚本,抓取脚本从数据库里面读取可用IP,每个进程从数据库获取一个IP进行使用;

4、执行抓取,对结果进行判断,处理cookie等,只要出现验证码或者失败就放弃这个IP,重新换一个IP

 

这种方案有效地避开了代理服务器资源的消耗,有效地分配代理IP的使用,更加的高效和稳定,保障了爬虫工作的持久性和稳定性。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫用代理ip解决封禁

随着大数据时代的到来,很多做爬虫要用到代理IP,爬虫已经成了获取数据的必不可少的方式,在使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁IP的问题,通常会使用以下两种方式:1、放慢抓取速度,减小对于目标网站造成的压力,但会减少单位时间类的抓取量。2、使用代理IP,使用代理IP之后可以让爬虫伪装自己的真实IP。对于python爬虫来说,有时业务量繁重,分布式爬虫是最好的提升效率方式,而分布式爬虫又急切需要数目众多的IP资源,这一点免费IP是满足不了的,所以对于免费代理,真的不用考虑了,其IP可用率能超过10%就已经是谢天谢地了,使用这种质量的IP资源简直苦不堪言。要想有效突破反爬虫机制继续高频率抓取,使用一款优质的代理IP是必不可少的,这里就不得不推荐我们的智游代理了,智游代理价格不贵且稳定性要远远超过免费的代理IP。多个服务器稳定服务,不仅拥有海量的资源,而且还能够实现极速更换IP地址,是比较简单方便的代理服务器,最为重要的是可以确保安全性,不会出现任何弹窗广告或病毒,选择代理ip,大大提高工作效率,稳定靠谱更安心!... [阅读全文]

2 网络爬虫伪装的三种方式

爬虫和反爬虫相爱相杀,没有了爬虫,反爬虫毫无存在的意义,有了反爬虫,爬虫的日子也别想好过。爬虫每天都在想怎么甩了反爬虫,反爬虫则是每天都在想怎么黏住爬虫,它们不断的在对抗中,不断的在提升自己,谁落后谁就要输。爬虫在此期间为了甩开反爬虫自创了一招技能——伪装术,这技能又分为三招,分别是:伪装UA,伪装IP和伪装真实用户。下面我们来将技能进行分解,希望对新手朋友们有所帮助。一、伪装UA。UA全称是User-Agent,叫做用户代理,不同的浏览器UA各有不同。反爬虫会根据UA来判断某个IP是否爬虫,所以需要进行伪装。网上有很多UA,搜集起来写在自己的配置里,在添加UA的时候随机选一个,这样毫无规律的设置UA,会让反爬虫傻眼。二、伪装IP。很多时候反爬虫都是根据单IP的行为来判断是否爬虫,比如某IP访问频率太快,访问次数太多了……反爬虫就会限制IP再次访问。解决方法也很简单,找代理IP服务商购买高效稳定的代理IP,比如智游代理。三、伪装真实用户。这个伪装技术就比较厉害了,反爬虫不可能杀死真实用户,不然网站就没什么意义了。那么如何伪装真实用户呢,也很简单,... [阅读全文]

热门标签

推荐阅读

  1. 31

    2019-01

    python如何实现http代理

    说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。

  2. 24

    2018-11

    怎样设置代理服务器节省网络费用

    正常情况下,浏览器发送的浏览请求会首先传到ISP服务器,由ISP的DNS把URL翻译成IP、返回给浏览器,然后浏览器连上该IP对应的网站,下载网页。

  3. 23

    2018-11

    用代理上网的电脑怎样共享无线网络?

    ​平常我们都喜欢用代理服务器上网,那么在这种情况下如何共享无线网络呢?请看下面的步骤。

  4. 22

    2018-11

    python爬虫使用代理IP的正确方式

    ​现在从事爬虫行业的朋友非常多,但是很多都不知道Python爬虫程序里应该怎样来使用代理IP,今天小编就来分享一下这方面经验。这里以python3为例,请看下面介绍。

  5. 11

    2019-05

    爬虫过程中代理ip的使用

    目前很多网站都会设置相对应的防爬虫机制,这是因为有一部分人在实际的爬虫主权过程中会进行恶意采集或者恶意攻击,通常情况下,防爬虫程序是通过IP来识别哪一些是机器人用户,因此可

  6. 09

    2018-11

    为何有那么多网络代理ip资源?

    很多网络代理ip资源初衷都是差不多,就是为了方便大众人群的使用,另外这种功能还能保护人们的隐私,很多需求人群在了解到这匹黑马之后都毅然决然地选择了这个平台