换ip软件,代理ip软件,更改ip地址-智游代理
您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

python爬虫使用代理IP的正确方式

发布时间:2018年11月22日 来源:本站

现在从事爬虫行业的朋友非常多,但是很多都不知道Python爬虫程序里应该怎样来使用代理IP,今天小编就来分享一下这方面经验。这里以python3为例,请看下面介绍。


一、首先要导入 urllib的request,然后调用ProxyHandler,它可以接受代理IP的参数。

from urllib import request

px=request.ProxyHandler()


二、接着把IP地址以字典的形式放入其中,这个IP地址是我从站大爷的短效优质代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。

st.ProxyHandler({'http':'171.11.178.189:38458'})


三、接着再用build_opener()来构建一个opener对象。

opener=request.build_opener(px)


四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

req=request.Request('网址')

res=opener.open(req)

with open('a.html','wb') as f:

 f.write(res.read())


这就是小编带来的分享了,大家明白了吗?

按字母排序文章

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

相关文章内容简介

1 爬虫代理IP不足该怎么解决

目前,很多网站的反爬虫策略都是根据识别到的IP来分辨的,当我们访问这个网站的时候IP就会被记录,如果操作不当,就会被服务器认定这个IP为爬虫,就会限制或者禁止这个IP的继续访问。那么,爬虫代理IP不足该怎么解决呢?爬虫被限制最常见的原因是抓取的频率过快,超过了目标网站设置的时间,就会被该服务器禁止访问。所以,很多爬虫工作者都会选择代理IP来辅助工作正常进行。有时候使用了代理IP,但还是会遇到IP不够用的情况。如果继续购买,成本会提升。可以采用以下方法尝试解决:1.降低抓取速度,减少IP或者其他资源的消耗,但这样会降低工作的效率,可能会影响到工作的速度。2.优化爬虫技术,将不必要的程序减少,将程序的工作效率提升,这样也可以减少对IP或其他资源的消耗。如果通过这两个办法还是无法解决问题,就只能继续购买代理IP了。智游代理IP稳定,覆盖性广,可以保证爬虫工作的高效、稳定的进行。... [阅读全文]

2 企业爬虫如何选择合适的代理IP

在互联网发展快速的今天,企业的发展已经离不开数据的支持。企业可以通过爬虫来进行数据收集进行分析,并制定最合适的营销方案。在数据收集的过程中,代理IP是必不可少的。那么,企业爬虫如何选择合适的代理IP?寻找合适的代理IP要考虑到以下几点因素:1.IP可用率。就是提取代理IP中可以正常使用的IP比率。如果使用带访问某个网站或者有访问超时的情况,就说明这个代理不可用。2.稳定性。在使用爬虫的时候需要用到大量代理IP,如果代理IP速度慢,对爬虫的效率降低了很多。所以在选择的时候还要看稳定性如何,这样才能节省时间。3.安全性。安全性也是一个必不可少的重要因素,如果使用代理时将提取的API泄露,别人就可以使用我们的API提取代理使用,会一直消耗我们的费用。另外,如果别人通过手段获取了我们的代理列表,代理又没有安全验证,别人也可以偷偷使用我们的代理。4.价格合适。很多人选择代理IP软件时价格是影响最大的因素。如果代理IP软件非常合适,但价格非常高,很多人也会放弃选择的。.智游代理是不错的选择,价格合理,稳定的IP,更安全的保护了个人信息安全,是工作生活的好帮手... [阅读全文]

热门标签