Python如何使用http/https代理

发布时间：2018年11月28日来源：智游代理 www.zhiyoudaili.com

在国内利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，Python程序使用代理的方法主要有以下几种：

（1）如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：

import urllib.request as urlreq

# 设置https代理

ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'})

oper = urlreq.build_opener(ph)

# 将代理安装到全局环境，这样所有请求都会自动使用代理

urlreq.install_opener(oper)

res = oper.open("https://www.google.com")

print(res.read())

import requests as req

print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)

（2）如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：

import os

os.environ['http_proxy'] = 'http://127.0.0.1:1080'

os.environ['https_proxy'] = 'https://127.0.0.1:1080'

（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 为什么爬虫需要代理IP

现在已经是大数据时代，爬虫是数据采集的重要手段，而爬虫在数据采集的过程中，常常会因为IP受到限制而无法继续采集，这时候需要更换爬虫的IP才能继续下去。爬虫的IP在数据采集的过程中为什么会受到限制呢？因为现在很多网站都会有反爬虫措施，爬虫在采集过程中会发出大量的请求，触发了网站的反爬虫措施，因此IP就会被限制，导致采集工作无法继续。如果想让爬虫继续下去，就需要更换它的IP，而代理IP就是一种快捷方便的换IP工具，爬虫换了新的IP之后就可以继续工作了。我们使用爬虫，最大的目的就是为了提高工作效率，如果IP受限就毫无效率可言，所以为了保证爬虫的效率，搭配稳定可靠的代理IP就显得非常必要了。... [阅读全文]

2 优质爬虫http代理ip怎么选择?

最近跟多个爬虫采集的客户聊天，无论互联网行业发展到何种地步，“资源”永远是任何互联网公司必不可少的弹药粮草。夸大些讲，任何一个互联网公司都会用到不同类型的数据。那么数据从何而来，这就要讲到爬虫http代理IP的重要性了。因为我们的爬虫采集无论如何都绕不过去http爬虫IP代理。传统意义上讲，代理服务器主要用于安全领域，而爬虫代理IP主要用于突破互联网访问限制，但今天，随着我们对营销要求的提高，高质量代理IP就起到了必不可少的作用。1、高质量代理IP是什么？所谓高质量代理IP，必须要具体3个特点：A.高匿名，B.私密性，C.纯净资源；2、如何做到“高匿名”？智游代理所提供的高质量代理ip均为高匿类型，对方服务器检测不到你的真实源IP。3、如何做到“私密性”？在使用智游代理所提供的代理IP时，可以使用安全IP白名单授权，并且是即时生效型，即只有绑定的IP才可以使用代理IP，最大化化解客户IP所有权的安全问题。4、什么是“纯净资源”？智游代理的IP的资源来自自建机房，阿里云平台进行节点管理和运营支撑，也有P2P CDN节点，这种IP具有活跃时间长，真实... [阅读全文]

热门标签