您的位置：首页 > 新闻资讯 > 爬虫代理 > 正文

爬虫怎样设置代理ip池

发布时间：2018年11月10日来源：智游代理 www.zhiyoudaili.com

在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。

1.设置代理：

　　#定义代理ip

　　proxy_addr="122.241.72.191:808"

　　#设置代理

　　proxy=urllib.request.ProxyHandle({'http':proxy_addr})

　　#创建一个opener

　　opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

　　data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.伪装成浏览器

　　#导入urllib.request模块

　　import urllib.request

　　#设置请求头

　　headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

　　#创建一个opener

　　opener=urllib.request.build_opener()

　　#将headers添加到opener中

　　opener.addheaders=[headers]

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫用代理ip解决封禁

随着大数据时代的到来，很多做爬虫要用到代理IP，爬虫已经成了获取数据的必不可少的方式，在使用爬虫多次爬取同一网站时，经常会被网站的IP反爬虫机制给禁掉，为了解决封禁IP的问题，通常会使用以下两种方式：1、放慢抓取速度，减小对于目标网站造成的压力，但会减少单位时间类的抓取量。2、使用代理IP，使用代理IP之后可以让爬虫伪装自己的真实IP。对于python爬虫来说，有时业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，所以对于免费代理，真的不用考虑了，其IP可用率能超过10%就已经是谢天谢地了，使用这种质量的IP资源简直苦不堪言。要想有效突破反爬虫机制继续高频率抓取，使用一款优质的代理IP是必不可少的，这里就不得不推荐我们的智游代理了，智游代理价格不贵且稳定性要远远超过免费的代理IP。多个服务器稳定服务，不仅拥有海量的资源，而且还能够实现极速更换IP地址，是比较简单方便的代理服务器，最为重要的是可以确保安全性，不会出现任何弹窗广告或病毒，选择代理ip，大大提高工作效率，稳定靠谱更安心！... [阅读全文]

2 网络爬虫伪装的三种方式

爬虫和反爬虫相爱相杀，没有了爬虫，反爬虫毫无存在的意义，有了反爬虫，爬虫的日子也别想好过。爬虫每天都在想怎么甩了反爬虫，反爬虫则是每天都在想怎么黏住爬虫，它们不断的在对抗中，不断的在提升自己，谁落后谁就要输。爬虫在此期间为了甩开反爬虫自创了一招技能——伪装术，这技能又分为三招，分别是：伪装UA，伪装IP和伪装真实用户。下面我们来将技能进行分解，希望对新手朋友们有所帮助。一、伪装UA。UA全称是User-Agent，叫做用户代理，不同的浏览器UA各有不同。反爬虫会根据UA来判断某个IP是否爬虫，所以需要进行伪装。网上有很多UA，搜集起来写在自己的配置里，在添加UA的时候随机选一个，这样毫无规律的设置UA，会让反爬虫傻眼。二、伪装IP。很多时候反爬虫都是根据单IP的行为来判断是否爬虫，比如某IP访问频率太快，访问次数太多了……反爬虫就会限制IP再次访问。解决方法也很简单，找代理IP服务商购买高效稳定的代理IP，比如智游代理。三、伪装真实用户。这个伪装技术就比较厉害了，反爬虫不可能杀死真实用户，不然网站就没什么意义了。那么如何伪装真实用户呢，也很简单，... [阅读全文]

热门标签