您的位置：首页 > 新闻资讯 > 爬虫代理 > 正文

爬虫怎样设置代理ip池

发布时间：2018年11月10日来源：智游代理 www.zhiyoudaili.com

在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。

1.设置代理：

　　#定义代理ip

　　proxy_addr="122.241.72.191:808"

　　#设置代理

　　proxy=urllib.request.ProxyHandle({'http':proxy_addr})

　　#创建一个opener

　　opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

　　data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.伪装成浏览器

　　#导入urllib.request模块

　　import urllib.request

　　#设置请求头

　　headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

　　#创建一个opener

　　opener=urllib.request.build_opener()

　　#将headers添加到opener中

　　opener.addheaders=[headers]

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 Python爬虫通过ip代理抓取网页

如果大家在采集网站信息的时候，特别频繁的来访问，非常容易被目标网站检测到从而进行屏蔽，解决这类情况的一种有效的方法就是使用代理IP，当我们连上网络上网的时候，电脑会被分配一个IP，提供给我们使用，如果我们频繁访问一个网站时，这个网站也会因为发现同一个ip地址访问多次而进行屏蔽的，这个时候更换IP地址访问是最好的解决方式，多个ip地址进行随机地轮流访问，减少被该网站检测到的概率。假如我们再使用多个不同的headers请求头，这样就会有多个ip+主机的组合，浏览时被发现的机率又更加降低了。关于代码中ip代理的使用，下面介绍一下：步骤：1、urllib2库中的ProxyHandler类，通过此类可以使用ip代理访问网页proxy_support=urllib2.ProxyHandler({})，其中参数是一个字典{‘类型':'代理ip:端口号'}2、定制、创建一个openeropener=urllib2.build_opener(proxy_support)3、（1）安装openerurlib2.install_opener(o... [阅读全文]

2 爬虫过程中的代理ip使用

　　目前很多网站都会设置相对应的防爬虫机制，这是因为有一部分人在实际的爬虫主权过程中会进行恶意采集或者恶意攻击，通常情况下，防爬虫程序是通过IP来识别哪一些是机器人用户，因此可以使用可用的IP信息解决实际中的爬虫遇到的问题。　　一般情况下爬虫开发人员为了能够正常的采集数据，速度上相对会慢一些，或者还有一部分爬虫开发者会在网上搜索一些免费的代理IP，但是这种免费的代理IP相对来讲稳定性和速度都不是很理想,因此怎么样在不侵犯对方利益的前提下正常的采集数据就成为了问题所在。但是解决方法还是有的。　　第一，使用代理IP：在一个IP资源使用频率过高的时候，要想继续进行采集工作，就需要大量稳定的IP资源，网上免费的代理IP资源有很多，但是第一你得话时间去找，第二就算你找的到大批的但是不见得你能用的了。所以在这里给大家推荐一款代理IP——智游代理，智游代理有很多可用稳定的ip资源，可以满足大量的需求，这里可以给大家一个小技巧，在一个ip没有被禁止访问之前，及时换下一个ip，然后可以循环使用，节省一点资源。　　第二，使用http代理：http代理可以起到增加缓冲... [阅读全文]

热门标签