换ip软件,代理ip软件,更改ip地址-智游代理
您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

HTTP代理的原理解析

发布时间:2019年05月15日 来源:智游代理

在整个互联网的Web结构中,HTTP代理服务器是一个出现频率极高的组件(其他还有浏览器、缓存服务器、Web服务器、DNS解析服务器等),理解HTTP代理服务器的原理有助于我们更好地认识Web架构。


HTTP代理的原理解析


代理服务器的位置


上图所示就是一个最原始代理服务器的角色:假设你现在在公司的办公室里访问http://www.qq.com,那通常来讲你是通过你们公司的代理服务器在畅游互联网。你本地浏览器的HTTP请求先到达代理服务器,代理服务器收到你的请求之后解析你的请求报文,然后向目标服务器发起HTTP请求,收到目标服务器的响应之后,再把响应报文回复给你。这就是代理服务器的工作流程。


为什么需要代理服务器


有些公司需要限制某些网站不能被员工访问,那么就可以在代理服务器上添加策略:当检测到有员工访问该网站时直接提示;


公司出于安全的考虑,避免员工访问的网站带入病毒,因为所有请求和响应都会经过代理,所以就可以在代理上做病毒检测;


假设员工A和员工B都想访问http://www.qq.com/test.html,那代理服务器可以缓存test.html,这样员工A和B的两个请求可以缩减为一个,降低了网络带宽的开销;


总而言之,代理服务器是一个口子,有了这个口子,我们就可以在这个口子上做任何事情。


代理服务器与缓存服务器


在现实的架构中,代理服务器与缓存服务器的角色越来越模糊,或者说通常把两者合二为一——一个位于客户端和服务端中间位置的服务器既有代理的功能又有缓存的功能,比如我们熟悉的CDN。


反向代理服务器


在代理服务器的基础上,又逐渐衍生出代理反向代理服务器:


最原始的代理服务器的代理是指充当客户端的“代理”,那如上图所示的代理则是Web服务器的代理,因此我们给其取名为反向代理服务器。(反向的含义是以前代理客户端,现在代理服务端)


反向代理服务器对外屏蔽了真实的服务器,并且作为服务端的出入口,我们可以在反向代理服务器上添加策略:比如Web攻击防护策略、CC攻击防护策略等。


按字母排序文章

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

相关文章内容简介

1 爬虫所需要的代理IP究竟是啥

在爬取某些网站时,我们经常会设置代理IP来避免爬虫程序被封。我们获取代理 IP 地址方式通常提取国内的知名 IP 代理商(如西刺代理,快代理,无忧代理等)的免费代理。这些代理商一般都会提供透明代理,匿名代理,高匿代理。那么这几种代理的区别是什么?我们该如何选择呢?本文的主要内容是讲解各种代理 IP 背后的原理。1 代理类型代理类型一共能分为四种。除了前面提到的透明代理,匿名代理,高匿代理,还有混淆代理。从安全程度来说,这四种代理类型的排序是 高匿 > 混淆 > 匿名 > 透明。2 代理原理代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量 REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR 是决定性因素。1) REMOTE_ADDRREMOTE_ADDR 表示客户端的 IP,但是它的值不是由客户端提供的,而是服务器根据客户端的 IP 指定的。如果使用浏览器直接访问某个网站,那么网站的 web 服务器(Nginx、Apache等)就会把 REMOTE_ADDR ... [阅读全文]

2 为什么爬虫需要代理IP?

在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力,所以你一直用同一个代理IP爬取这个网页,很有可能IP会被禁止访问网页,所以基本上做爬虫的都躲不过去IP的问题,需要很多的IP来实现自己IP地址的不停切换,达到正常抓取信息的目的。通常情况下,爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的,一来是因为技术含量太高,二来是因为成本太高当然,也有很多人会在网上放一些免费的代理ip,但是从实用性、稳定性以及安全性来考虑,不推荐大家使用免费的ip。因为网上公布的代理ip不一定是可用的,很可能你在使用过程中会发现ip不可用或者已失效的情况。所以现在市面上很多代理服务器应运而生,基本上都能给你提供代理ip的服务。现在,爬虫程序怎么样安全躲避防爬程序,可以说是一个很普遍的需求了。做网络爬虫时,一般对代理IP的需求量比较大。因为在爬取网站信息的过程中,很多网站做了反爬虫策略,可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。代理IP的获取,可以... [阅读全文]

热门标签

推荐阅读

  1. 20

    2018-11

    模拟器设置网络代理失败的解决办法

    ​在互联网时代,代理这个词已经被很多人所熟悉了,有朋友说,在服务器上启动模拟器的时候加了--http-proxy,但是不起作用,小编分析了下,以下是解决办法

  2. 30

    2018-11

    反爬虫策略去哪找代理IP?

    ​大家应该都听过爬虫和反爬虫吧,它们两就是一对天敌,这么说其实一点都不过分。在大数据时代,数据就是金钱,很多网站为了保护自己网站数据运用了反爬策略。

  3. 15

    2018-11

    Python爬虫代理IP从哪里获取?

    如今代理ip被大家广泛使用,尤其是在爬虫工作中,相信许多做分布式深网爬虫的开发者对代理IP非常熟悉。面对网站千变万化的反爬虫策略,代理IP对爬虫工作帮助极大

  4. 21

    2019-06

    如何选择稳定可靠的爬虫代理IP

    如何选择稳定可靠的爬虫代理IP?由于开python培训有讲过爬虫的缘故,这个问题已经被ask无数次了,一般问的基友也都是爬虫防ban用的,总体来讲,质量好的都不便宜,便宜的质量都比较渣,一

  5. 11

    2019-06

    大量爬虫代理IP如何获得

    Python是一门很神奇的语言,python应用最多的场景还是web快速开发、爬虫、自动化运维,对于Python爬虫来说,访问网站抓取信息,常常需要大量的代理IP资源,那么这些大量爬虫代理IP如何获得呢

  6. 16

    2018-11

    访问网络受限用http代理ip

    互联网行业发展,我国的网民数量也是在不断增加,年老的有,年少的也有,在网络上遨游,丰富自己的精神世界。