换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

python 怎样设置http代理

发布时间:2018年11月27日 来源:智游代理 www.zhiyoudaili.com

HTTP代理大家应该听说过很多遍了,小编前面的文章中介绍了很多相关的知识,今天给大家介绍一下在python程序中要如何设置HTTP代理,请看下面的介绍。


  1. urllib2/urllib 代理设置

  urllib2是Python标准库,功能很强大,只是使用起来稍微麻烦一点。在Python 3中,urllib2不再保留,迁移到了urllib模块中。urllib2中通过ProxyHandler来设置使用代理服务器。

  proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'})

  opener = urllib2.build_opener(proxy_handler)

  r = opener.open('http://httpbin.org/ip')

  print(r.read())

  也可以用install_opener将配置好的opener安装到全局环境中,这样所有的urllib2.urlopen都会自动使用代理。

  urllib2.install_opener(opener)

  r = urllib2.urlopen('http://httpbin.org/ip')

  print(r.read())

  在Python 3中,使用urllib。

  proxy_handler = urllib.request.ProxyHandler({'http': 'http://121.193.143.249:80/'})

  opener = urllib.request.build_opener(proxy_handler)

  r = opener.open('http://httpbin.org/ip')

  print(r.read())

  2.requests 代理设置

  requests是目前最优秀的HTTP库之一,也是我平时构造http请求时使用最多的库。它的API设计非常人性化,使用起来很容易上手。给requests设置代理很简单,只需要给proxies设置一个形如 {'http': 'x.x.x.x:8080', 'https': 'x.x.x.x:8080'} 的参数即可。其中http和https相互独立。

  In [5]: requests.get('http://httpbin.org/ip', proxies={'http': '121.193.143.249:80'}).json()

  Out[5]: {'origin': '121.193.143.249'}

  可以直接设置session的proxies属性,省去每次请求都要带上proxies参数的麻烦。

  s = requests.session()

  s.proxies = {'http': '121.193.143.249:80'}

  print(s.get('http://httpbin.org/ip').json())


以上就是全部内容了,大家明白了吗?程序员大牛可以动手试试哦。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫用自建代理效果怎么样

爬虫是抓取数据的主要途径,现在很多企业都需要。但由于反爬虫的限制,想让爬虫顺利进行就要用代理IP,那么,爬虫用自建代理效果怎么样?自建服务器来获取代理IP的方法很好,稳定性也很强,但是需要大量的服务器。但是在正常情况下,爬虫用户并没有技术能力去维护服务器,这是因为对技术要求和成本都很高。作为用户来说,没有资源,也没有技术,所以并不推荐爬虫用户自建代理。现在有很多可以提供代理IP的商家,提供的IP质量都不错,并且稳定性也不错,所以建议爬虫用户试试付费的代理IP。如果没有目标,可以尝试智游代理,可以提供IP资源,还可以根据用户的需求来制定套餐,用来爬虫稳定又高效。... [阅读全文]

2 使用代理IP做爬虫的正确姿势

  没有被封过IP的爬虫工程师,肯定不是一个好的工程师。在爬虫工作的过程中,总是会遇到封IP的烦心事,今天这样爬,被封,明天那样爬,还是被封,到底要怎样爬呢,才不会被封。  很多人认为之所以被封IP,是因为爬取的太快了,确实是这样。那好吧,我就放慢速度,依然被封,再放慢速度,再被封,再再放慢速度,终于不被封了,但这速度和蜗牛没什么差别了,爬虫失去了它存在的意义。  很多人想到了使用代理IP来做爬虫,提升速度爬,被封,再换一个IP,再被封,再再换,再再被封,进入了“封了一个IP,还有千千万万IP”模式,工作效率终于提高了。  但这种方法也有一个致命的问题,上哪找这么多高效稳定的代理IP?  有人很快行动,写了个爬虫爬取网上的代理IP,然后筛选验证,最后封装在IP池里。结果发现,这种方法效率太低,IP质量太低,当然花费的成本也最低,只不过时间成本最高。  也有人迟疑,在网上经过各种筛选,找到了收费的代理IP,购买了一批。结果发现,这种方法一般般,勉强可以正常工作,但还达不到自己的预期,不是理想中的完美解决方案。  终于,有人找到了智游代理IP平台上的... [阅读全文]

热门标签