换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部
您的位置: 首页 > 新闻资讯 > 免费代理ip > 正文

爬虫所需要的代理IP究竟是什么

发布时间:2019年05月20日 来源:智游代理 www.zhiyoudaili.com

在爬取某些网站时,我们经常会设置代理IP来避免爬虫程序被封。我们获取代理 IP 地址方式通常提取国内的知名 IP 代理商的免费代理。这些代理商一般都会提供透明代理,匿名代理,高匿代理。那么这几种代理的区别是什么?我们该如何选择呢?本文的主要内容是讲解各种代理IP背后的原理。


爬虫所需要的代理IP究竟是什么


1、代理类型


代理类型一共能分为四种。除了前面提到的透明代理,匿名代理,高匿代理,还有混淆代理。从安全程度来说,这四种代理类型的排序是 高匿 > 混淆 > 匿名 > 透明。


2、代理原理


代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR是决定性因素。


1) REMOTE_ADDR


REMOTE_ADDR 表示客户端的 IP,但是它的值不是由客户端提供的,而是服务器根据客户端的 IP 指定的。


如果使用浏览器直接访问某个网站,那么网站的 web 服务器(Nginx、Apache等)就会把 REMOTE_ADDR 设为客户端的 IP 地址。


如果我们给浏览器设置代理,我们访问目标网站的请求会先经过代理服务器,然后由代理服务器将请求转化到目标网站。那么网站的 web 服务器就会把 REMOTE_ADDR 设为代理服务器的 IP。


2)X-Forwarded-For(XFF)


X-Forwarded-For 是一个 HTTP 扩展头部,用来表示 HTTP 请求端真实 IP。当客户端使用了代理时,web 服务器就不知道客户端的真实 IP 地址。为了避免这个情况,代理服务器通常会增加一个 X-Forwarded-For 的头信息,把客户端的 IP 添加到头信息里面。


X-Forwarded-For 请求头格式如下:


client 表示客户端的 IP 地址;proxy1 是离服务端最远的设备 IP; proxy2 是次级代理设备的 IP;从格式中,可以看出从 client 到 server 是可以有多层代理的。


如果一个 HTTP 请求到达服务器之前,经过了三个代理 Proxy1、Proxy2、Proxy3,IP 分别为 IP1、IP2、IP3,用户真实 IP 为 IP0,那么按照 XFF 标准,服务端最终会收到以下信息:


Proxy3 直连服务器,它会给 XFF 追加 IP2,表示它是在帮 Proxy2 转发请求。列表中并没有 IP3,IP3 可以在服务端通过 Remote Address 字段获得。我们知道 HTTP 连接基于 TCP 连接,HTTP 协议中没有 IP 的概念,Remote Address 来自 TCP 连接,表示与服务端建立 TCP 连接的设备 IP,在这个例子里就是 IP3。


3)HTTP_VIA


via 是 HTTP 协议里面的一个header,记录了一次 HTTP 请求所经过的代理和网关,经过1个代理服务器,就添加一个代理服务器的信息,经过2个就添加2个。


3、代理类型区别


1) 透明代理(Transparent Proxy)


代理服务器的配置如下:


透明代理虽然可以直接“隐藏”客户端的 IP 地址,但是还是可以从来查到客户端的 IP 地址。


2) 匿名代理(Anonymous Proxy)


代理服务器的配置如下:


匿名代理能提供隐藏客户端 IP 地址的功能。使用匿名代理,服务器能知道客户端使用用了代理,当无法知道客户端真实 IP 地址。


3) 混淆代理(Distorting Proxy)


代理服务器的配置如下:


与匿名代理的原理相似,但是会伪装得更逼真。如果客户端使用了混淆代理,服务器还是能知道客户端在使用代理,但是会得到一个假的客户端 IP 地址。


2) 高匿代理(Elite  Proxy 或 High Anonymity Proxy)


代理服务器的配置如下:


高匿代理既能让服务器不清楚客户端是否在使用代理,也能保证服务器获取不到客户端的真实 IP 地址。


4、代理的选择


普通匿名代理能隐藏客户机的真实 IP,但会改变我们的请求信息,服务器端有可能会认为我们使用了代理。不过使用此种代理时,虽然被访问的网站不能知道客户端的 IP 地址,但仍然可以知道你在使用代理,当然某些能够侦测 IP 的网页仍然可以查到客户端的 IP。


而高度匿名代理不改变客户机的请求,这样在服务器看来就像有个真正的客户浏览器在访问它,这时客户的真实IP是隐藏的,服务器端不会认为我们使用了代理。


因此,爬虫程序需要使用到代理 IP 时,尽量选择普通匿名代理和高匿名代理。另外,如果要保证数据不被代理服务器知道,推荐使用 HTTPS 协议的代理。


转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 网络扫描获取的代理ip能用吗?

从事互联网大数据的工作者都众所周知代理ip的来源方式有很多,获取到的ip用途千百种,如网络爬虫采集,网络营销,投票助力等等,用途广泛,深受广大用户使用。代理ip来源有哪些获取方式?网络扫描获取的代理ip能用吗?ADLS动态拨号VPS;购买动态拨号VPS,通过拨号获取到ip,更繁琐的是需要自己搭建ip池。通过处理后放入ip池中待用,通过生成的提取链接提取ip使用。这种ip需要时间和大力的精力去维护,成本也相对来说偏高,但ip的质量很高,因为可以根据自己的需求量身定制。收费代理ip在网上有很多代理ip的服务商,如开心代理ip服务平台,这种ip是现成制定好的,购买后通过api直接获取即可使用,这种代理ip简单方便,特殊业务还可以私人定制,ip质量高,不需要花时间精力维护,性价比极高,所以这种方式也是大部分所选择的。网络扫描获取ip很多用户为了省钱节约成本会自己写代码在网上扫描大量的公用ip,然后自己筛选后放入搭建好的ip池中,这种ip可用率极低,不到10%有效率,还有一个众所周知的问题,就是不安全,万人骑,很多人都使用过,不知道使用前别人用这个ip做什... [阅读全文]

2 代理IP怎样在互联网工作

在互联网,信息被窃取的事件每天都在发生,很多时候信息被窃取的时候都是悄无声息不知不觉,不会立马就发现。当发现自己的信息被窃取的时候,损失也就造成了。一些黑客常常入侵电脑窃取个人信息打包出售获取利益。任何一个人的账号密码和个人信息都能成为他们的目标。怎样才可以保护自己的个人信息呢?要知道黑客入侵电脑大多是从IP地址入手,如果想避免这个情况就需要换IP了。去网上找代理IP商去购买代理IP资源,是目前来说使用代理IP最为安全稳妥的方法。代理IP也分为共享代理IP和独享代理IP。共享代理IP比较便宜,使用的人多,所以稳定性相较于独享代理IP比较差。独享代理IP从字面意思就很好理解,就是专供一个人使用,相应的价格也是略高一些。代理IP是由代理服务器发出的,代理服务器介于客户端和服务端充当着“中转站”的作用。代理服务器接收客户端发送的请求报文,正确处理请求和连接状态,同时向服务器发送新的请求,服务器受到响应之后,发送的响应内容将由代理服务器包装成响应体发送给客户端。这就是代理的服务流程,把代理服务器想象成一个第三方的中转可以更好理解。有了代理IP,黑客就算找... [阅读全文]

热门标签

推荐阅读

  1. 12

    2019-06

    如何设置代理IP来隐藏自己的IP

    在上网的时候,很多人都发现了,如果我们近期经常浏览某个产品,搜索引擎就会自动推荐类似的产品给你。其实就是我们在线活动可以通过各种网站,搜索引擎和社交网络可以跟踪。那么,如

  2. 18

    2019-09

    python怎样使用代理ip

    python对于使用经常使用网络做业务编程的人来说并不陌生,那么当python遇到代理IP会有怎样的火花呢?今天就与大家分享一下,python怎样使用代理ip。话不多说,下面直接开始,注意看好呦。python

  3. 19

    2019-09

    什么是国内IP和代理IP

    什么是国内IP和代理IP?在网络中,我们经常会遇到IP地址这个概念,这也是网络中的一个重要的概念。所谓IP地址就是给每个连接在Internet上的主机分配一个在全世界范围唯一的32bit地址。

  4. 19

    2019-08

    怎样找到好用的代理IP

    在很多时候,使用网络的过程中,需要更多IP来达到目的,或许需要指定地区的IP等等。所以,找到好用的代理IP很重要。那到底怎样找到好用的代理IP呢?如何知道代理IP是否符合我们的要求,

  5. 25

    2019-09

    浏览器设置代理后IP是否就是透明代理

    浏览器设置代理后IP是否就是透明代理?有一些朋友使用浏览器设置了代理后,访问百度查询IP,发现还是本机IP,于是得出结论,这个代理IP就是透明代理,因为它暴露了本机IP。真相真的是这

  6. 29

    2019-08

    教育行业使用代理IP做什么

    随着二胎政策的开放,很多家庭也预备着为家庭带来第二个孩子,从未来教育的规划角度来看,二胎政策的开放,开拓了教育机构的延伸和发展。所以现在很多的人在考虑创业的时候,往往会考