
qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
400-998-9776转3
一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息,一般来说,Python爬虫程序很多时候都要使用代理的IP地址来爬取程序,但是默认的urlopen是无法使用代理IP的,我就来分享一下Python爬虫怎样使用代理IP的经验。
这里小编用的是Python3,所以要导入urllib的request,然后我们调用ProxyHandler,它可以接收代理IP的参数。代理可以根据自己需要选择,当然免费的也是有的,但是可用率可想而知的。
接着把IP地址以字典的形式放入其中,这个IP地址是我乱写的,只是用来举例。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号(9000),具体看你的IP地址是什么类型的,不同IP端口号可能不同根据你在智游提取的端口为准。
接着再用build_opener()来构建一个opener对象。
然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。
当然了,如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。
设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。
最后再来说说使用代理遇到的错误,提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。(这边现在是乱填写的IP地址)可选择智游的代理IP。
转载注明来自:智游代理IP http://www.zhiyoudaili.com/
相关文章内容简介
1 为什么爬虫需要代理IP
现在已经是大数据时代,爬虫是数据采集的重要手段,而爬虫在数据采集的过程中,常常会因为IP受到限制而无法继续采集,这时候需要更换爬虫的IP才能继续下去。爬虫的IP在数据采集的过程中为什么会受到限制呢?因为现在很多网站都会有反爬虫措施,爬虫在采集过程中会发出大量的请求,触发了网站的反爬虫措施,因此IP就会被限制,导致采集工作无法继续。如果想让爬虫继续下去,就需要更换它的IP,而代理IP就是一种快捷方便的换IP工具,爬虫换了新的IP之后就可以继续工作了。我们使用爬虫,最大的目的就是为了提高工作效率,如果IP受限就毫无效率可言,所以为了保证爬虫的效率,搭配稳定可靠的代理IP就显得非常必要了。... [阅读全文]
2 优质爬虫http代理ip怎么选择?
最近跟多个爬虫采集的客户聊天,无论互联网行业发展到何种地步,“资源”永远是任何互联网公司必不可少的弹药粮草。夸大些讲,任何一个互联网公司都会用到不同类型的数据。那么数据从何而来,这就要讲到爬虫http代理IP的重要性了。因为我们的爬虫采集无论如何都绕不过去http爬虫IP代理。传统意义上讲,代理服务器主要用于安全领域,而爬虫代理IP主要用于突破互联网访问限制,但今天,随着我们对营销要求的提高,高质量代理IP就起到了必不可少的作用。1、高质量代理IP是什么?所谓高质量代理IP,必须要具体3个特点:A.高匿名,B.私密性,C.纯净资源;2、如何做到“高匿名”?智游代理所提供的高质量代理ip均为高匿类型,对方服务器检测不到你的真实源IP。3、如何做到“私密性”?在使用智游代理所提供的代理IP时,可以使用安全IP白名单授权,并且是即时生效型,即只有绑定的IP才可以使用代理IP,最大化化解客户IP所有权的安全问题。4、什么是“纯净资源”?智游代理的IP的资源来自自建机房,阿里云平台进行节点管理和运营支撑,也有P2P CDN节点,这种IP具有活跃时间长,真实... [阅读全文]
热门标签
最新标签
推荐阅读
31
2019-01
为什么你的Python爬虫总是不行?
为何称之为大数据时代,由于互联网和移动网的迅猛发展,各种各样数据信息存在在互联网世界中,由网络爬虫采集整理,以方便日后用户查看。
13
2020-04
爬虫如何伪装和防Ban?
在一次真实的请求中,我们都会带着各种样的请求参数,如果将这些参数补全,那我们被ban的机率也会相应的减少很多。如何将这些参数在scrapy的项目补齐?在开始这个问题之前,我们回头来看
06
2020-08
用就用最好用的HTTP代理
随着网络的迅速发展大家逐渐知道了IP代理这个名词,而对很多网络工作人员来说更是必不可少的工具,提高了工作效率。虽然IP代理有着很多优势,但是很多人还是对HTTP代理不是很了解,还保
09
2018-11
爬虫程序怎么加入动态代理
相信很多人都用过代码写过不同的爬虫程序吧,来获取互联网上自己需要的信息,这比自己手动的去一个一个复制来的容易。
12
2019-03
可以使用换ip软件访问淘宝吗?
可以使用换ip软件访问淘宝吗?淘宝是亚太地区的大型综合C2C在线购物平台。它目前拥有数亿注册会员和数千家商店。这么多商店,这么多商品,他们怎么排名?
12
2019-03
HTTP代理IP为网络兼职工作带来便利
HTTP代理IP为网络兼职工作带来便利,在互联网的快速发展下,在线兼职工作已经成为许多人赚钱的一种方式。如今,越来越多的人加入了在线赚钱行业,这可以增加他们的收入。
热门文章