Python爬虫如何使用代理IP

发布时间：2018年12月13日来源：智游代理 www.zhiyoudaili.com

一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用代理的IP地址来爬取程序，但是默认的urlopen是无法使用代理IP的，我就来分享一下Python爬虫怎样使用代理IP的经验。

这里小编用的是Python3，所以要导入urllib的request，然后我们调用ProxyHandler，它可以接收代理IP的参数。代理可以根据自己需要选择，当然免费的也是有的，但是可用率可想而知的。

接着把IP地址以字典的形式放入其中，这个IP地址是我乱写的，只是用来举例。设置键为http，当然有些是https的，然后后面就是IP地址以及端口号（9000），具体看你的IP地址是什么类型的，不同IP端口号可能不同根据你在智游提取的端口为准。

接着再用build_opener()来构建一个opener对象。

然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就相当于我们自己重写。

当然了，如果我们使用install_opener()，就可以把之前自定义的opener设置成全局的。

设置成全局之后，如果我们再使用urlopen来发送请求，那么发送请求使用的IP地址就是代理IP，而不是本机的IP地址了。

最后再来说说使用代理遇到的错误，提示目标计算机积极拒绝，这就说明可能是代理IP无效，或者端口号错误，这就需要使用有效的IP才行哦。（这边现在是乱填写的IP地址）可选择智游的代理IP。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫IP被封了怎么解决

在数据采集或者爬虫的工作中，我们不可避免的会遭遇反爬封锁，所以就会有爬虫的攻防，在攻和守之间两股力量不断的抗衡。接下来就讲讲在数据采集或爬虫时ip被限制的几种解决方案问题：解决方案一：建议一定要使用代理IP；在有外网IP的机器上，部署爬虫代理服务器；使用轮训替换代理服务器来访问想要采集的网站。这样的话，你的程序逻辑变化小，只需要代理功能就可以，而且根据对方网站屏蔽规则不同，你只需要添加不同的代理就可以了。再者，就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。解决方案二：useragent伪装和轮换，使用代理ip和轮换，cookies的处理。解决方案三：使用ADSL+脚本，监测是否被封，然后不断切换ip；设置查询频率限制，也就是限制调用该网站提供的服务接口。解决方案四：网站封IP的依据一般是单位时间内特定IP的访问次数过多，采集很多网站时可以将采集的任务按目标站点的IP进行分组，然后通过控制每个IP在单位时间内发出任务的个数来避免被封。解决方案五：尽可能的模拟用户行为，比如UserAgent经常换一换，访问时间间隔设长一... [阅读全文]

2 哪种代理ip适合网络爬虫

现时代大数据兴起，网络成为了重要的部分，线上运营就有了大量的信息数据。网商竞争，市场调查，数据分析，如何获取？成就网络爬虫问世，通过网络爬虫采集才能获取到大量的数据信息。爬虫采集也不是那么简单就能爬取到数据，网站的自我保护意思，将信息保护防止流失也同样做出了相对的策略，使用了反爬虫机制。正常的用户访问网站浏览时间较长，访问也不会太过于频繁，终端网站如何对对网络爬虫作出判断的，爬虫采集需要频繁并发对服务器进行访问，访问停留很短，需要不停请求响应返回信息数据，服务器很快很能察觉发现，对其ip进行限制访问。使用代理ip隐藏真实ip，突破反爬虫机制，使爬虫采集畅通无阻。代理ip分为很多种类，那哪种代理ip适合网络爬虫？高质量优质短效代理ip，是一款专业爬虫的代理ip，高质量高匿极速，稳定绿色安全，短效3-6分钟，可选择失效或者时间切换ip，防止ip被封遭受限制，具有海量的ip存储的短效优质代理ip是网络爬虫采集的首选。... [阅读全文]

热门标签