您的位置：首页 > 新闻资讯 > 爬虫代理 > 正文

Python如何使用http/https代理

发布时间：2018年11月28日来源：智游代理 www.zhiyoudaili.com

在国内利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，Python程序使用代理的方法主要有以下几种：

（1）如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：

import urllib.request as urlreq

# 设置https代理

ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'})

oper = urlreq.build_opener(ph)

# 将代理安装到全局环境，这样所有请求都会自动使用代理

urlreq.install_opener(oper)

res = oper.open("https://www.google.com")

print(res.read())

import requests as req

print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)

（2）如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：

import os

os.environ['http_proxy'] = 'http://127.0.0.1:1080'

os.environ['https_proxy'] = 'https://127.0.0.1:1080'

（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫使用代理IP有什么优势

当我们要使用爬虫时，有经验的工程师肯定会配合代理IP来使用，而且网络上有很多文章也建议要使用爬虫代理IP，特别是一些优质代理IP，那么，爬虫使用代理IP有什么优势呢？爬虫在数据采集过程中，想要提高爬取的效率，就肯定会触发网站的“反爬虫措施”，限制爬虫的IP。而使用了代理IP的爬虫就不一样了，由于爬虫的IP在限制之前会不断的改变，所以爬虫就可以连续不断的工作了。爬虫使用代理IP之后，留在网站上的IP信息就是代理服务器的IP，这样就“隐藏”了爬虫的真实IP，保证了用户的网络安全。提高效率，保障安全，正是爬虫使用代理IP的优质，不过需要注意的是，只有高匿的代理IP才可以实现这一目标。... [阅读全文]

2 代理ip在爬虫与优化推广的运用

想来大多数人都比较了解代理ip，其通常被运用网站爬虫及其优化推广这两种场景设计。那接下来，随着小编一起来看看吧。在网络数据抓取这一层面运用ip代理爬虫，我们都需要了解什么?通常情况下我们都在爬虫工作上，或是某些平台网站的软网上都是看到关于爬虫中提到的高频率请求并发等字眼，请求便是新建的请求数，如果是每秒新建请求，便是每一秒能够新传出多少条HTTP请求。而高并发是指每秒的并非数，也是指每秒可同时运用的HTTP网页链接。如每秒新建10条请求，代理ip的存活有效时间是3分钟，也便是180秒。如果代理ip第一秒传出去10条新的请求，那同时也便是10个并发了，如果第二秒又增加了10条，那同时也会增加10条并非。如果第一秒的请求数没有关闭，那第二秒总共就有20条并发，以此计算，代理ip存活时长180秒有多少条并发，便是10条请求最高是支持10条并发，也便是10/秒*180/ip存活时间=1800条并发。那大家知道在通常情况下我们都会在什么样营销模式运用换ip软件吗?而对于运用代理ip能够做如下优化推广：1、网盟推广营销：有些类似于找个网络数据代销商，用手上有... [阅读全文]

热门标签