换ip软件,代理ip软件,更改ip地址-智游代理
您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

代理IP怎么解决爬虫被封的问题

发布时间:2018年10月15日 来源:本站

在编写爬虫爬取数据的时候,尤其是爬取大量数据的时候,因为很多网站都有反爬虫措施,所以很容易被封IP,就不能继续爬了。这个时候该怎么办呢?我们可以使用动态代理ip来解决这个问题。


在同事的介绍下,买了智游代理的动态高质量代理IP,接下来就是使用代理IP来继续爬虫工作了。通过python官方文档得知,可用urllib库的request方法中的ProxyHandler方法,build_opener方法,install_opener方法来使用代理IP。


官方文档很官方,有点难以理解,下面是部分关键文档,一起来看下:


class urllib.request.ProxyHandler(proxies=None)

Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.(通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


urllib.request.build_opener([handler, ...])

Return an OpenerDirector instance, which chains the handlers in the order given.(build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)


urllib.request.install_opener(opener)

Install an OpenerDirector instance as the default global opener.(install_opener方法安装OpenerDirector实例作为默认的全局opener。)


是不是云里雾里的,如果这样理顺下,就会发现其实很简单:

1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;

2、将opener_support载入build_opener方法,创建opener;

3、安装opener。


具体代码如下:

from urllib import request

def ProxySpider(url, proxy_ip, header):

opener_support = request.ProxyHandler({'http': proxy_ip}) 

opener = request.build_opener(opener_support) 

request.install_opener(opener) 

req = request.Request(url, headers=header)

rsp = request.urlopen(req).read()

return rsp


有了代理IP,又学会了使用代理IP来做爬虫,这下可以不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。

按字母排序文章

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

相关文章内容简介

1 什么是分布式爬虫?

使用爬虫就是可以快速、大量的完成数据抓取,满足抓取上百、上千甚至更多的网页需求。如果在大量抓取的时候,单机式爬虫的抓取速度就很有限了。为了提高效率,可以使用多爬虫的框架。比如分布式爬虫。什么是分布式爬虫?1.单机式爬虫,我们使用scrapy框架进行爬虫的时候,使用的就是单击爬虫,只能在一台电脑上运行,其他电脑是无法另一台电脑上的内容的。2.分布式爬虫,可以让很多台电脑都使用同一个的爬虫程序,将爬虫分发得到多台电脑上,这样可以提高爬虫的速度,也就是分布式爬虫。以上是对分布式爬虫的简单介绍,无论是单机式爬虫还是分布式爬虫,在使用的时候都离不开代理IP。使用代理IP才能保证工作的继续进行,大大提高了爬虫效率。... [阅读全文]

2 代理工程师告诉你分布式爬虫有什么优点

爬虫抓取数据大家已经都不陌生,随着技术的发展及抓取数据量的增大,分布式爬虫走进了我们的工作。分布式爬虫就是可以让一个爬虫程序发到多台电脑上。分布式爬虫主要的优点就是提高工作效率,很多爬虫工作者任务量巨大,如果使用单机式爬虫就需要很多时间才能完成工作。如果使用分布式爬虫,只需要准备多台电脑,就能很大的提高工作效率。爬虫要提高工作效率更离不开代理IP的帮助,智游代理提供优质的网络IP,操作很简单,有专业的技术人员在线指导,网络小白也可以得心应手的使用。... [阅读全文]

热门标签

推荐阅读

  1. 03

    2019-07

    爬虫工作如何最大程度避免被封IP

    做爬虫,碰到最多的问题不是代码bug,而是封IP。开发好一个爬虫,部署好服务器,然后开始抓取信息,不一会儿,就提示封IP了,这时候的内心是崩溃的。那么,有什么办法不封IP呢?首先,要

  2. 12

    2018-11

    python爬虫需要了解的代理IP知识

    随着现在社会的境界快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会。

  3. 11

    2019-06

    企业爬虫为什么不能用免费代理ip

    在大数据的前提下,现在会用代理IP的人增多,本着有便宜不占王八蛋的心里,还是有很多用户不愿意使用付费的爬虫代理ip.而是选择网上公开的免费代理ip,尽管是完全免费,但是老话说得好

  4. 22

    2018-11

    爬虫代理ip与互联网工作的关系

    现在从事爬虫工作的朋友是很多的,这个工作换ip的场景是经常遇到的,这个时候就要用到爬虫代理ip了,它不仅能防止ip被封,而且能减少许多人工方面的工作。

  5. 29

    2019-01

    python开发软件有哪些?

    ​Python开发软件可根据其用途不同分为两种,一种是Python代码编辑器,一种是Python集成开发工具,两者的配合使用可以极大的提高Python开发人员的编程效率

  6. 28

    2018-11

    Python如何使用http/https代理

    在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种