换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800821111 售前客服
在线客服,实时响应

大客户经理
2110220233

800821111 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

爬虫IP被禁怎么解决?可以使用代理ip吗

发布时间:2019年01月02日 来源:智游代理 www.zhiyoudaili.com

爬虫以前听上去好厉害好神秘的样子,用好了可以成就像Google、百度这样的索索引擎,用不好可以凭借不恰当的高并发分分钟崩掉一个小型网站。写到这里想到12306每年扛住的并发请求量,觉得好牛逼。


peitu1.png


爬虫和反爬虫从一直以来都是一个道高一尺魔高一丈的架势。反爬虫技术增加了爬取的难度,各路crawler的爬取过程可以说是一个和各种网站站长斗智斗勇的过程,各种解决方式可谓层出不穷,但是这里说是“简单”解决方案,肯定就是立足于一些比较基础的方法,分分钟就可以上手。


user_agent 伪装和轮换


不同浏览器的不同版本都有不同的user_agent,是浏览器类型的详细信息,也是浏览器提交Http请求的重要头部信息。我们可以在每次请求的时候提供不同的user_agent,绕过网站检测客户端的反爬虫机制。比如说,可以把很多的user_agent放在一个列表中,每次随机选一个用于提交访问请求。


使用代理IP和轮换


检查ip的访问情况是网站的反爬机制最喜欢也最喜欢用的方式。这种时候就可以更换不同的ip地址来爬取内容。当然,你有很多有公网ip地址的主机或者vps是更好的选择,如果没有的话就可以考虑使用代理,让代理服务器去帮你获得网页内容,然后再转发回你的电脑。代理按透明度可以分为透明代理、匿名代理和高度匿名代理:


透明代理:目标网站知道你使用了代理并且知道你的源IP地址,这种代理显然不符合我们这里使用代理的初衷。

匿名代理:匿名程度比较低,也就是网站知道你使用了代理,但是并不知道你的源IP地址。

高匿代理:这是最保险的方式,目标网站既不知道你使用的代理更不知道你的源IP 。

代理的获取方式可以去购买,当然也可以去自己爬取免费的,但是免费的代理通常不够稳定。


设置访问时间间隔


很多网站的反爬虫机制都设置了访问间隔时间,一个IP如果短时间内超过了指定的次数就会进入“冷却CD”,所以除了轮换IP和user_agent 可以设置访问的时间间间隔长一点,比如没抓取一个页面休眠一个随机时间:

import time,random

time.sleep(random.random()*3)

对于一个crawler来说,这是一个比较responsible的做法。 

因为本来爬虫就可能会给对方网站造成访问的负载压力,所以这种防范既可以从一定程度上防止被封,还可以降低对方的访问压力。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 分布式爬虫为什么要用代理IP

什么叫分布式爬虫?分布式爬虫是在计算机集群之上运转的爬虫系统。集群每一个节点上运行的爬虫程序与集中式爬虫系统工作原理相同,随着计算机集群使用数量增加,分布式爬虫优势也逐渐体现,对比单机爬虫,工作效率翻倍增长。分布式爬虫为什么要用代理IP?分布式爬虫在高速完成spider任务时,也会因过量过频的访问次数,更容易触发网站反爬机制,这时候单一IP地址早已无法满足分布式爬虫的抓取需要,使用大量代理IP成为必然趋势。智游代理拥有海量优质代理IP资源,特有分布式系统架构,从容应对分布式爬虫爆发增长,成为分布式爬虫的刚需资源,通过接入智游代理平台直接多线程操作,省去了多余的人力和时间。智游代理的优势是IP数量多,IP分布地区广,支持多语言开发,支持多终端并发使用。而这些优势,足以使智游代理成为最适合Python爬虫使用的代理IP资源了。... [阅读全文]

2 代理IP对爬虫的重要性以及IP池的优质特性

  大数据时代,网络数据非常多,我们即使要做个小小的数据分析,也是需要抓取非常多的网页数据来分析结果,这单靠人工获取数据是不现实的,因此大家都是使用各种采集器或者直接使用爬虫去爬取数据的,这都离不开代理IP的支持,不然不突破IP限制,是无法进行大量的收集。  既然代理IP对爬虫这么重要,那么应该如何选择代理IP呢?网上选择代理IP的方法,各种评测,让人眼花缭乱,其实都是广告软文,不要太过较真,选择代理IP要具体情况具体分析。比如只是入门学习爬虫,那么网上爬取一些免费代理IP也勉强能够应付;比如只是小小的爬虫工作,数据量很小,那么购买一些差不多的小套餐,也可以完成工作;如果是比较大的工作量的爬虫,每天上百万甚至更多数据量时,那么就很有必要购买优质代理IP或者自己搭建IP池了。  什么是代理IP池呢?通俗地比喻一下,它就是一个池子,里面装了很多代理ip,要用的时候可以从池子里取出IP来使用。它有如下的行为特征:  1、池子里的ip是有生命周期的,它们将被定期验证,其中失效的将被从池子里面剔除。  2、池子里的ip是有补充渠道的,会有新的代理ip不断被... [阅读全文]

热门标签

推荐阅读

  1. 24

    2018-11

    爬虫代理ip应该怎么选择?

    ​很多爬虫工作者选择代理IP的时候不知道该怎么去选择,需要关注哪些指标和参数,满目地选择代理IP,导致跳了不少的坑,绕了不少的弯路。

  2. 31

    2019-01

    python如何实现http代理

    说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。

  3. 31

    2018-12

    如何选择爬虫所需的代理IP

    在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力。

  4. 29

    2018-11

    爬虫代理技术有什么优点?

    ​在如今这个互联网发达的时代,很多工作都要通过互联网交易,这些互联网工作使用到爬虫代理技术的机会有很多。那么,爬虫的代理技术能帮助互联网工作哪些方面?或者说它有什么优点呢

  5. 15

    2018-11

    Python语言需要代理ip

    网络科技发达的今天,很多语言随之诞生,如Java、.net、php等等,但是作为现在最热门的网络爬虫语言,Python在编程语言中的地位也是无可取代的。

  6. 04

    2019-07

    爬虫代理IP从哪里来?有什么优缺点?

    随着互联网的迅猛发展,爬虫工作日益重要,而爬虫工作者一般都绕不过代理IP这个问题,为什么呢,这是因为在网络爬虫抓取信息的过程中,抓取频率高过了目标网站的设置阀值,将会被禁止