换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 代理上网 > 正文

数据采集一般用哪种代理比较好

发布时间:2018年10月25日 来源:智游代理 www.zhiyoudaili.com

在Web数据采集中为了避免被服务器封锁而通过代理下载的情况很常见。但是,并非所有的代理都适合于Web数据采集。


根据HTTP代理的匿名性可以将其分为以下几种:


1. 透明代理(Transparent Proxies)

目标服务器能够检测到真实的源IP。


目标服务器根据HTTP请求头进行检测,判断依据:

REMOTE_ADDR = 代理服务器 IP

HTTP_VIA = 通常为代理服务器 IP(或代理软件名称,也可能无此头)

HTTP_X_FORWARDED_FOR = 真实源IP(不用代理时,无此头或值为空)

PS:该类型代理不适合用于Web数据采集。


2. (普通)匿名代理(Anonymous Proxies)

目标服务器无法检测到真实的源IP,但能够检测到使用了代理。


检测依据:

REMOTE_ADDR = 代理服务器 IP

HTTP_VIA = 通常为代理服务器 IP(或代理软件名称,也可能无此头)

HTTP_X_FORWARDED_FOR = 代理服务器 IP(知道你使用了代理,但无法得知真实源IP)

PS:该类型代理可以用于Web数据采集,但有被检测到的风险。

 

3. 高匿名代理(High Anonymity Proxies -Elite proxies)

目标服务器无法检测到你在是使用代理。


检测依据:

REMOTE_ADDR = 代理服务器 IP

HTTP_VIA = 值为空或无此头

HTTP_X_FORWARDED_FOR = 没数值或无此头

PS:该类型的代理非常适合用户Web数据采集。智游代理的付费代理方案提供的全部为高匿名类型的代理。


另外,不使用代理时发出的头:

REMOTE_ADDR =真实源 IP

HTTP_VIA = 值为空或无此头

HTTP_X_FORWARDED_FOR = 没数值或无此头


不过,在检测严格的情况下,即使没有HTTP_VIA头和HTTP_X_FORWARDED_FOR头,如果存在HTTP_PROXY_CONNECTION头,会被认为在使用普通匿名代理。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 什么是动态IP

什么是动态IP?动态IP地址(Dynamic IP)是指在需要的时候进行随机的IP地址分配。动态IP地址和静态IP地址是对应的,所谓动态就是指当你每一次上网时,会随机分配一个IP地址,静态指的是固定分配一个IP地址,每次使用都是这一个地址。由于IP地址资源很宝贵,因此大部分用户上网时使用的IP地址都是动态的,比如通过Modem、ISDN、ADSL、有线宽频、小区宽频等方式上网的计算机,都是在每次上网的时候临时随机分配一个IP地址。IP地址是一个32位二进制数的地址,理论上讲,有大约40亿(2的32次方)个可能的地址组合,这似乎是一个很庞大的地址空间。实际上,根据网络ID和主机ID的不同位数规则,可以将IP地址分为A(7位网络ID和24位主机ID)、B(14位网络ID和16位主机ID)、C(21位网络ID和8位主机ID)三类,由于历史原因和技术发展的差异,A类地址和B类地址几乎分配殆尽,能够供全球各国各组织分配的只有C类地址。所以说IP地址是一种非常重要的网络资源。通俗说,静态IP当你断开网络重新连接后,显示的还是原来的IP地址,而动态IP断开重连... [阅读全文]

2 IP代理的作用是什么

大家应该都怕碰上类似的情况:网店虚假单子过多导致被封的可能、网站发布过多信息而造成的IP被封的危险、上网速度跟不上而抢不到自己打算购买的商品、这些难题智游代理软件统统可以帮你搞定。下面小编来为大家介绍IP代理的作用是什么。可以促进对网站的访问速度代理服务器收到远程服务器提供的信息存储到自己的硬盘上,假若有大量用户同时使用这个代理服务器,那么他们对因特网站点全部的要求都是经过这一台代理服务器,当有人浏览过某一个站点后,所浏览站点上的信息就会被存储到代理服务器的硬盘上,倘若下次还有人浏览该站点,这部分信息随时可以在代理服务器中抓取,而不再需要重新连接远程服务器。所以,它能够节省带宽、加快网站浏览速度。减少IP花费代理服务器同意采用大批对的伪IP地址,节省网站资源,也就是说使用代理服务器能够节约对IP地址的需要量。充当防火墙代理服务器能够保障局域网的安全,充当防火墙的功能,针对利用代理服务器的局域网而言,通过外部来看仅是代理服务器可见,其它局域网的用户对外是不可见的。代理服务器为局域网的安全来说具有护盾的功能。除此之外,利用代理服务器,用户能够设置IP... [阅读全文]

热门标签