在网络迅速发展的今天，互联网企业层出不穷，爬虫工作者也越来越多，大家都知道，代理ip是爬虫工作者的一个有力助手，今天小编在这里就与大家分享一下如何设置代理池以及伪装成浏览器的方法，请看下面的介绍。
1.设置代理：
#定义代理ip
proxy_addr="122.241.72.191:808"
#设置代理
proxy=urllib.request.ProxyHandle({'http':proxy_addr})
#创建一个opener
opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle)
#将opener安装为全局
urllib.request.install_opener(opener)
#用urlopen打开网页
data=urllib.request.urlopen(url).read().decode('utf-8','ignore')
2.伪装成浏览器
#导入urllib.request模块
import urllib.request
#设置请求头
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
#创建一个opener
opener=urllib.request.build_opener()
#将headers添加到opener中
opener.addheaders=[headers]
#将opener安装为全局
urllib.request.install_opener(opener)
#用urlopen打开网页
data=urllib.request.urlopen(url).read().decode('utf-8','ignore')
这就是小编带来的方法了，大家明白了吗？希望代理ip软件能给大家带来更大的帮助。
相关文章内容简介
1 爬虫所需要的代理IP究竟是啥
在爬取某些网站时，我们经常会设置代理IP来避免爬虫程序被封。我们获取代理 IP 地址方式通常提取国内的知名 IP 代理商（如西刺代理，快代理，无忧代理等）的免费代理。这些代理商一般都会提供透明代理，匿名代理，高匿代理。那么这几种代理的区别是什么？我们该如何选择呢？本文的主要内容是讲解各种代理 IP 背后的原理。1 代理类型代理类型一共能分为四种。除了前面提到的透明代理，匿名代理，高匿代理，还有混淆代理。从安全程度来说，这四种代理类型的排序是 高匿 > 混淆 > 匿名 > 透明。2 代理原理代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中，这三个变量 REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR 是决定性因素。1) REMOTE_ADDRREMOTE_ADDR 表示客户端的 IP，但是它的值不是由客户端提供的，而是服务器根据客户端的 IP 指定的。如果使用浏览器直接访问某个网站，那么网站的 web 服务器（Nginx、Apache等）就会把 REMOTE_ADDR ... [阅读全文]
2 为什么爬虫需要代理IP？
在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力，所以你一直用同一个代理IP爬取这个网页，很有可能IP会被禁止访问网页，所以基本上做爬虫的都躲不过去IP的问题,需要很多的IP来实现自己IP地址的不停切换，达到正常抓取信息的目的。通常情况下，爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的，一来是因为技术含量太高，二来是因为成本太高当然，也有很多人会在网上放一些免费的代理ip，但是从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的ip。因为网上公布的代理ip不一定是可用的，很可能你在使用过程中会发现ip不可用或者已失效的情况。所以现在市面上很多代理服务器应运而生，基本上都能给你提供代理ip的服务。现在，爬虫程序怎么样安全躲避防爬程序，可以说是一个很普遍的需求了。做网络爬虫时，一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。代理IP的获取，可以... [阅读全文]
热门标签
最新标签
推荐阅读
11
2019-01
为什么爬虫要使用代理IP
做网络爬虫时，一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。
31
2018-12
如何选择爬虫所需的代理IP
在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力。
20
2018-11
模拟器设置网络代理失败的解决办法
在互联网时代，代理这个词已经被很多人所熟悉了，有朋友说，在服务器上启动模拟器的时候加了--http-proxy，但是不起作用，小编分析了下，以下是解决办法
03
2018-12
通过爬虫代理IP快速增加博客访问量
每个玩博客的人，都在想怎么才能增加博客的人气，提高自己文章的阅读量，但如何快速提高阅读量，其中一种方式就是通过爬虫代理IP去刷人气刷访问，一般不建议这种方法
04
2018-12
爬虫工作者缺数据可以用代理ip吗？
近几年来互联网行业飞速发展，搞人工智能和大数据应用没有数据，好比“巧妇难为无米之炊”的尴尬。要想快速获得数据，最好的办法就是使用Python爬虫，批量从互联网搞“拿来主义”。
16
2018-11
访问网络受限用http代理ip
互联网行业发展，我国的网民数量也是在不断增加，年老的有，年少的也有，在网络上遨游，丰富自己的精神世界。
热门文章
