爬虫怎样设置代理ip池

在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。

1.设置代理：

　　#定义代理ip

　　proxy_addr="122.241.72.191:808"

　　#设置代理

　　proxy=urllib.request.ProxyHandle({'http':proxy_addr})

　　#创建一个opener

　　opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

　　data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.伪装成浏览器

　　#导入urllib.request模块

　　import urllib.request

　　#设置请求头

　　headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

　　#创建一个opener

　　opener=urllib.request.build_opener()

　　#将headers添加到opener中

　　opener.addheaders=[headers]

　　#将opener安装为全局

　　urllib.request.install_opener(opener)

　　#用urlopen打开网页

  data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。

转载注明来自：智游代理IP http://www.zhiyoudaili.com/