您的位置：首页 > 新闻资讯 > 爬虫代理 > 正文

爬虫怎样设置代理ip池

发布时间：2018年11月10日来源：智游代理 www.zhiyoudaili.com

在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。

1.设置代理：

　　#定义代理ip

　　proxy_addr="122.241.72.191:808"

　　#设置代理

　　proxy=urllib.request.ProxyHandle({'http':proxy_addr})

　　#创建一个opener

　　opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

　　data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.伪装成浏览器

　　#导入urllib.request模块

　　import urllib.request

　　#设置请求头

　　headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

　　#创建一个opener

　　opener=urllib.request.build_opener()

　　#将headers添加到opener中

　　opener.addheaders=[headers]

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 哪种代理ip适合网络爬虫

现时代大数据兴起，网络成为了重要的部分，线上运营就有了大量的信息数据。网商竞争，市场调查，数据分析，如何获取？成就网络爬虫问世，通过网络爬虫采集才能获取到大量的数据信息。爬虫采集也不是那么简单就能爬取到数据，网站的自我保护意思，将信息保护防止流失也同样做出了相对的策略，使用了反爬虫机制。正常的用户访问网站浏览时间较长，访问也不会太过于频繁，终端网站如何对对网络爬虫作出判断的，爬虫采集需要频繁并发对服务器进行访问，访问停留很短，需要不停请求响应返回信息数据，服务器很快很能察觉发现，对其ip进行限制访问。使用代理ip隐藏真实ip，突破反爬虫机制，使爬虫采集畅通无阻。代理ip分为很多种类，那哪种代理ip适合网络爬虫？高质量优质短效代理ip，是一款专业爬虫的代理ip，高质量高匿极速，稳定绿色安全，短效3-6分钟，可选择失效或者时间切换ip，防止ip被封遭受限制，具有海量的ip存储的短效优质代理ip是网络爬虫采集的首选。... [阅读全文]

2 爬虫需要大量IP怎样解决

现阶段，许多网站的反爬虫对策基本都是依据识别到的IP来分辨的，在我们浏览这一网站的时候IP便会被记录，假如操作方法不当，便会被服务器评定这一IP为爬虫，便会限制或是禁止这一IP的继续访问。那么，爬虫需要大量IP怎样解决呢？爬虫被限制最普遍的根本原因是爬取的频率过快，超出了目标网站设定的时长，便会被该服务器禁止访问。因此，许多爬虫工作者都是会挑选代理IP来协助工作正常开展。有时候使用了代理IP，但还是会遇到IP不够用的情况。假如再次购入，成本会提高。可以采用以下方法尝试解决：1.降低爬取速度，削减IP或是其它资源的损耗，但如此会降低工作的效率，很有可能会影响到工作的速度。2.提高爬虫技术，将多余的流程削减，将程序的工作效率提高，如此还可以削减对IP或其它资源的损耗。假如通过这两个方法依然不能处理问题，就只有再次购入代理IP了。智游代理高匿稳定，海量IP任意选，爬虫解决反爬虫完全无压力。... [阅读全文]

热门标签