您的位置：首页 > 新闻资讯 > 爬虫代理 > 正文

爬虫怎样设置代理ip池

发布时间：2018年11月10日来源：智游代理 www.zhiyoudaili.com

在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。

1.设置代理：

　　#定义代理ip

　　proxy_addr="122.241.72.191:808"

　　#设置代理

　　proxy=urllib.request.ProxyHandle({'http':proxy_addr})

　　#创建一个opener

　　opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

　　data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.伪装成浏览器

　　#导入urllib.request模块

　　import urllib.request

　　#设置请求头

　　headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

　　#创建一个opener

　　opener=urllib.request.build_opener()

　　#将headers添加到opener中

　　opener.addheaders=[headers]

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 分布式爬虫如何解决IP问题

分布式爬虫如何解决IP问题？大数据时代来临，爬虫工作者的春天也随之来了。然而在我们进行爬虫业务时，却经常受到目标网站反爬虫机制的阻碍，尤其是分布式爬虫，因为采集信息量和采集速度过快，常常给对方服务器带来巨大负荷，不用猜也知道你是爬虫，怎么可能不被封。要想解决这种窘境，使用代理IP堪称一个捷径，当遇到IP被封，换个IP就可以继续访问。新网站为了保证搜索引擎优化质量，前期需要一点一点填充内容，但面对庞大的填充量，耗费的时间和精力实在太大了，因此很多站长在做新网站时首选分布式爬虫抓取信息进行填充，保证网站定期更新量。分布式爬虫，从字面意思可以理解为集群爬虫，如果有spider任务，可以用多台机器同时运行，大大提高工作效率。但分布式爬虫并不是一劳永逸，在提升效率的同时，触发网站反爬虫的几率也会大大增加。为了保证可以顺利使用分布式爬虫，拥有一款IP数量大、质量好的HTTP代理IP资源很重要，例如智游代理。智游代理为各大站长提供大量国内优质HTTP代理IP资源，帮助他们利用分布式爬虫更效率更便捷的优化新网站，维护老网站，节省人力的同时也降低了成本，事半功倍。... [阅读全文]

2 爬虫代理服务商哪家好用

或许我们在网上冲浪的时候，有时候会用到代理的，爬虫代理在目前是很火热的。之所以要用到爬虫代理，是因为我们有时候需要更换ip，但是爬虫代理服务商哪家好用呢？尤其是做爬虫抓取数据的时候，做爬虫的都绕不过去代理这一条槛，免费的ip代理、付费的、自己扫的、动态拨号vps等应有尽有，尤其是趟过付费IP代理这趟浑水的，会发现市面上的ip代理鱼龙混杂，普遍存在以下问题：1.ip可用率低，因为是从网上扫的量，IP时长和质量均无法保证。2.ip池夸大，吹嘘自己有几百万的量，实际上只有十几万到二三十万，因为重复使用的原因，造成ip可用率不高。那如果遇到大客户怎么办呢？只能找更大的ip代理供应商寻求合作，赚取差价，那么作为终端客户，又被人掳羊毛了。3.性价比低，虽然有些价格卖得很低，但是可用率同样很低，不稳定，掉线等问题，实际上付出的时间成本远远高于金钱成本。4.本身没有资源，如果说第一种还算有自己的量，遇到问题可能也有工程师解决，那么这一种纯代理商就更加没有保障了，赚取不菲的中间差价外，不需要付出任何成本，也会有拿钱跑路的风险，遇到问题也只能找上级代理ip商寻求解决... [阅读全文]

热门标签