换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

Python爬虫如何使用代理IP

发布时间:2018年12月13日 来源:智游代理 www.zhiyoudaili.com

一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息,一般来说,Python爬虫程序很多时候都要使用代理的IP地址来爬取程序,但是默认的urlopen是无法使用代理IP的,我就来分享一下Python爬虫怎样使用代理IP的经验。


这里小编用的是Python3,所以要导入urllib的request,然后我们调用ProxyHandler,它可以接收代理IP的参数。代理可以根据自己需要选择,当然免费的也是有的,但是可用率可想而知的。

image.png


接着把IP地址以字典的形式放入其中,这个IP地址是我乱写的,只是用来举例。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号(9000),具体看你的IP地址是什么类型的,不同IP端口号可能不同根据你在智游提取的端口为准。

image.png


接着再用build_opener()来构建一个opener对象。

image.png


然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

image.png


当然了,如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。

image.png


设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。

image.png


最后再来说说使用代理遇到的错误,提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。(这边现在是乱填写的IP地址)可选择智游的代理IP。

image.png




转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫IP被封了怎么解决

在数据采集或者爬虫的工作中,我们不可避免的会遭遇反爬封锁,所以就会有爬虫的攻防,在攻和守之间两股力量不断的抗衡。接下来就讲讲在数据采集或爬虫时ip被限制的几种解决方案问题:解决方案一:建议一定要使用代理IP;在有外网IP的机器上,部署爬虫代理服务器;使用轮训替换代理服务器来访问想要采集的网站。这样的话,你的程序逻辑变化小,只需要代理功能就可以,而且根据对方网站屏蔽规则不同,你只需要添加不同的代理就可以了。再者,就算具体IP被屏蔽了,你可以直接把代理服务器下线就OK,程序逻辑不需要变化。解决方案二:useragent伪装和轮换,使用代理ip和轮换,cookies的处理。解决方案三:使用ADSL+脚本,监测是否被封,然后不断切换ip;设置查询频率限制,也就是限制调用该网站提供的服务接口。解决方案四:网站封IP的依据一般是单位时间内特定IP的访问次数过多,采集很多网站时可以将采集的任务按目标站点的IP进行分组,然后通过控制每个IP在单位时间内发出任务的个数来避免被封。解决方案五:尽可能的模拟用户行为,比如UserAgent经常换一换,访问时间间隔设长一... [阅读全文]

2 哪种代理ip适合网络爬虫

现时代大数据兴起,网络成为了重要的部分,线上运营就有了大量的信息数据。网商竞争,市场调查,数据分析,如何获取?成就网络爬虫问世,通过网络爬虫采集才能获取到大量的数据信息。爬虫采集也不是那么简单就能爬取到数据,网站的自我保护意思,将信息保护防止流失也同样做出了相对的策略,使用了反爬虫机制。正常的用户访问网站浏览时间较长,访问也不会太过于频繁,终端网站如何对对网络爬虫作出判断的,爬虫采集需要频繁并发对服务器进行访问,访问停留很短,需要不停请求响应返回信息数据,服务器很快很能察觉发现,对其ip进行限制访问。使用代理ip隐藏真实ip,突破反爬虫机制,使爬虫采集畅通无阻。代理ip分为很多种类,那哪种代理ip适合网络爬虫?高质量优质短效代理ip,是一款专业爬虫的代理ip,高质量高匿极速,稳定绿色安全,短效3-6分钟,可选择失效或者时间切换ip,防止ip被封遭受限制,具有海量的ip存储的短效优质代理ip是网络爬虫采集的首选。... [阅读全文]

热门标签

推荐阅读

  1. 28

    2020-03

    网络爬虫伪装有哪些方式?

    爬虫和反爬虫一直相爱相杀着:没有爬虫,反爬虫毫无存在的意义;有了反爬虫,爬虫的日子也别想好过。爬虫每天都在想怎么甩了反爬虫,反爬虫则是每天都在想怎么黏住爬虫,它们不断地在

  2. 04

    2018-12

    爬虫工作者缺数据可以用代理ip吗?

    ​近几年来互联网行业飞速发展,搞人工智能和大数据应用没有数据,好比“巧妇难为无米之炊”的尴尬。要想快速获得数据,最好的办法就是使用Python爬虫,批量从互联网搞“拿来主义”。

  3. 13

    2019-09

    python爬虫怎能离开代理IP

    做过python爬虫的人应该都知道,抓取网站数据多了,如果爬得过快,免不了触发网站的防爬机制,而最普遍的防爬手段,几乎用的同一招就是封IP。解决方案有2个:

  4. 31

    2019-07

    爬虫刷量代理ip提供商怎么选择?

    现在的网络业务中,越来越多的需要使用到高匿真实动态,尤其是http代理,相比https以及socks5代理,http更加常见,需求量也更加广泛。对于初学者,可能更多的是去寻找一些免费的代理ip,虽然

  5. 10

    2018-11

    微信电脑版怎么使用网络代理上网?

    微信如今已经是人人都离不开的社交渠道了,不但手机上必装,很多人的电脑上也得来一个,办公啥的会方便很多。

  6. 08

    2018-11

    爬虫选择什么代理IP比较好

    大数据时代,爬虫工作者已经成为互联网数据公司的关键性职位,他们不但要精通数据抓取和分析,其次还要熟悉搜索引擎和相关检索算法,对内存、性能、分布式算法都要有一定的了解。