换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

python如何使用http代理

发布时间:2018年11月10日 来源:智游代理 www.zhiyoudaili.com

社会科技发展迅速,相信大家对HTTP代理应该都非常熟悉,它在很多方面都有着极为广泛的应用。首先简单介绍一下,什么是HTTP代理呢?HTTP代理本质上是一个Web应用,它和其他普通Web应用没有根本区别。HTTP代理收到请求后,根据Header中Host字段的主机名和Get/POST请求地址综合判断目标主机,建立新的HTTP请求并转发请求数据,并将收到的响应数据转发给客户端。那么如何在Python程序中设置HTTP代理呢?请看下面的介绍。

 

urllib2/urllib 代理设置:urllib2是Python标准库,功能很强大,只是使用起来稍微麻烦一点。在Python 3中,urllib2不再保留,迁移到了urllib模块中。urllib2中通过ProxyHandler来设置使用代理服务器。


  proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'})

  opener = urllib2.build_opener(proxy_handler)

  r = opener.open('http://httpbin.org/ip')

  print(r.read())

  proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'})

  opener = urllib2.build_opener(proxy_handler)

  r = opener.open('http://httpbin.org/ip')

  print(r.read())

  

也可以用install_opener将配置好的opener安装到全局环境中,这样所有的urllib2.urlopen都会自动使用代理。


  urllib2.install_opener(opener)

  r = urllib2.urlopen('http://httpbin.org/ip')

  print(r.read())

  在Python3中,使用urllib:

  proxy_handler = urllib.request.ProxyHandler({'http': 'http://121.193.143.249:80/'})

  opener = urllib.request.build_opener(proxy_handler)

  r = opener.open('http://httpbin.org/ip')

        print(r.read())


这个就是小编给大家带来的分享了,大家明白了吗?有程序员大牛可以试试哦。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 哪种代理ip适合网络爬虫

现时代大数据兴起,网络成为了重要的部分,线上运营就有了大量的信息数据。网商竞争,市场调查,数据分析,如何获取?成就网络爬虫问世,通过网络爬虫采集才能获取到大量的数据信息。爬虫采集也不是那么简单就能爬取到数据,网站的自我保护意思,将信息保护防止流失也同样做出了相对的策略,使用了反爬虫机制。正常的用户访问网站浏览时间较长,访问也不会太过于频繁,终端网站如何对对网络爬虫作出判断的,爬虫采集需要频繁并发对服务器进行访问,访问停留很短,需要不停请求响应返回信息数据,服务器很快很能察觉发现,对其ip进行限制访问。使用代理ip隐藏真实ip,突破反爬虫机制,使爬虫采集畅通无阻。代理ip分为很多种类,那哪种代理ip适合网络爬虫?高质量优质短效代理ip,是一款专业爬虫的代理ip,高质量高匿极速,稳定绿色安全,短效3-6分钟,可选择失效或者时间切换ip,防止ip被封遭受限制,具有海量的ip存储的短效优质代理ip是网络爬虫采集的首选。... [阅读全文]

2 爬虫需要大量IP怎样解决

现阶段,许多网站的反爬虫对策基本都是依据识别到的IP来分辨的,在我们浏览这一网站的时候IP便会被记录,假如操作方法不当,便会被服务器评定这一IP为爬虫,便会限制或是禁止这一IP的继续访问。那么,爬虫需要大量IP怎样解决呢?爬虫被限制最普遍的根本原因是爬取的频率过快,超出了目标网站设定的时长,便会被该服务器禁止访问。因此,许多爬虫工作者都是会挑选代理IP来协助工作正常开展。有时候使用了代理IP,但还是会遇到IP不够用的情况。假如再次购入,成本会提高。可以采用以下方法尝试解决:1.降低爬取速度,削减IP或是其它资源的损耗,但如此会降低工作的效率,很有可能会影响到工作的速度。2.提高爬虫技术,将多余的流程削减,将程序的工作效率提高,如此还可以削减对IP或其它资源的损耗。假如通过这两个方法依然不能处理问题,就只有再次购入代理IP了。智游代理高匿稳定,海量IP任意选,爬虫解决反爬虫完全无压力。... [阅读全文]

热门标签

推荐阅读

  1. 20

    2018-11

    爬虫刚搭好遇到代理IP被封怎么办?

    大数据时代,爬虫行业正在如火如荼的进行,对于爬虫工作者,搭好了分布式爬虫,正准备让程序用代理IP去抓取数据,服务器也搭好了,突然发现,你办公室的IP被封掉了,这时候怎么办

  2. 12

    2018-11

    爬虫如何使用Redis和Flask维护动态代理池

    作为爬虫工作者来说,代理ip简直是太重要了,没有这个的话,爬虫工作将会变得非常的艰难,这点相信从事爬虫方面的朋友都是深有体会的,大家可以选择我们的智游代理

  3. 18

    2019-06

    爬虫如何避免封IP

    爬虫如何避免封IP?做爬虫,碰到最多的问题不是代码bug,而是封IP。开发好一个爬虫,部署好服务器,然后开始抓取信息,不一会儿,就提示封IP了,这时候的内心是崩溃的。那么,有什么办法

  4. 19

    2018-12

    爬虫遇到代理IP被封应该如何解决

    作为爬虫爱好者的你,有没有遇到过搭好了分布式爬虫,正准备让程序用代理IP去抓取数据,服务器也搭好了,突然发现,办公室的IP被封掉了,这时候怎么办,应该如何解决?

  5. 21

    2019-06

    如何选择稳定可靠的爬虫代理IP

    如何选择稳定可靠的爬虫代理IP?由于开python培训有讲过爬虫的缘故,这个问题已经被ask无数次了,一般问的基友也都是爬虫防ban用的,总体来讲,质量好的都不便宜,便宜的质量都比较渣,一

  6. 06

    2020-05

    使用代理IP做爬虫的正确姿势

    没有被封过IP的爬虫工程师,肯定不是一个好的工程师。在爬虫工作的过程中,总是会遇到封IP的烦心事,今天这样爬,被封,明天那样爬,还是被封,到底要怎样爬呢,才不会被封。