换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

爬虫ip代理有哪些分类

发布时间:2018年10月07日 来源:智游代理 www.zhiyoudaili.com

对于爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能遇到同一个IP访问过于频繁的问题,此时网站就会让我们输入验证码登录或者直接封锁IP,这样会给爬取带来极大的不便。使用代理隐藏真实的IP,让服务器误以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理,就不会被封锁,可以达到很好的爬取效果。

 

代理分类时,既可以根据协议区分,也可以根据其匿名程度区分。

 

(1)根据代理的协议,代理可以分为如下类别。

 

1.FTP代理服务器:主要用于访问FTP服务器,一般有上传、下载以及缓存功能,端口一般为212121等。

2.HTTP代理服务器:主要用于访问网页,一般有内容过滤和缓存功能,端口一般为8080803128等。

3.SSL/TLS代理:主要用于访问加密网站,一般有SSLTLS加密功能(最高支持128位加密强度),端口一般为443

4.RTSP代理:主要用于访问Real流媒体服务器,一般有缓存功能,端口一般为554

5.Telnet代理:主要用于telnet远程控制(黑客入侵计算机时常用于隐藏身份),端口一般为23

6.POP3/SMTP代理:主要用于POP3/SMTP方式收发邮件,一般有缓存功能,端口一般为110/257.SOCKS代理:只是单纯传递数据包,不关心具体协议和用法,所以速度快很多,一般有缓存功能,端口一般为1080SOCKS代理协议又分为SOCKS4SOCKS5,前者只支持TCP,而后者支持TCPUDP,还支持各种身份验证机制、服务器端域名解析等。简单来说,SOCK4能做到的SOCKS5都可以做到,但SOCKS5能做到的SOCK4不一定能做到。 爬虫代理分类有哪些?

 

(2)根据匿名程度


根据代理的匿名程度,代理可以分为如下类别。

 

1.高度匿名代理:会将数据包原封不动地转发,在服务端看来就好像真的是一个普通客 户端在访问,而记录的IP是代理服务器的IP

 

2.普通匿名代理:会在数据包上做一些改动,服务端上有可能发现这是个代理服务器,也有一定几率追查到客户端的真实IP。代理服务器通常会加入的HTTP头有HTTP_VIAHTTP_X_FORWARDED_FOR

 

3.透明代理:不但改动了数据包,还会告诉服务器客户端的真实IP。这种代理除了能用缓存技术提高浏览速度,能用内容过滤提高安全性之外,并无其他显著作用,最常见的例子是内网中的硬件防火墙。

 

4.间谍代理:指组织或个人创建的用于记录用户传输的数据,然后进行研究、监控等目的的代理服务器。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫使用不同的IP代理为什么效果不一样

我们爬虫在选择IP代理的时候,会发现有特别多的不同的IP提供商,价格差异也很大,从几块钱一天不限量的到几千块钱一天的都有,而且都说自己IP质量很好,都是高匿IP,但是实际使用起来,却发现IP可用率、连通速度都大相径庭,IP代理质量相同怎么效果不同?有些用户反映,在使用IP代理的过程中有时候会遇到这样的情况,即使用同样质量的一批不同的IP代理加上相同的策略访问同一个网站,有的成功有的失败,这是为什么呢?当下很多IP代理池,如果没有特殊注明为独享IP池,都是共享IP池。免费IP代理是最大的共享IP池,面向整个网络用户共享,收费IP代理则是面向自家的付费用户(超低价的普通代理和开放代理等除外,它们本质上还是网上收集的免费IP代理)。既然是共享IP代理池,那么不可避免的就会有冲突发生,会有部分用户使用相同的部分IP访问相同的网站。所以,在使用IP代理访问网站的过程中,会发现有一小部分才刚开始使用,就被反爬策略识别了。那么有什么好的解决办法呢?一是选择购买IP池大的共享IP池,IP池越大,项目冲突的几率就越小;比如智游代理的独享IP池,避免一个IP同时多个... [阅读全文]

2 Python爬虫通过ip代理抓取网页

如果大家在采集网站信息的时候,特别频繁的来访问,非常容易被目标网站检测到从而进行屏蔽,解决这类情况的一种有效的方法就是使用代理IP,当我们连上网络上网的时候,电脑会被分配一个IP,提供给我们使用,如果我们频繁访问一个网站时,这个网站也会因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。假如我们再使用多个不同的headers请求头,这样就会有多个ip+主机的组合,浏览时被发现的机率又更加降低了。关于代码中ip代理的使用,下面介绍一下:步骤:1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}2、定制、创建一个openeropener=urllib2.build_opener(proxy_support)3、(1)安装openerurlib2.install_opener(o... [阅读全文]

热门标签

推荐阅读

  1. 09

    2018-11

    为什么需要爬虫代理IP?

    随着人类的生活发展越来越快,互联网信息的交流也会越来越频繁,对于代理IP的要求也会越来越高。

  2. 12

    2018-11

    爬虫如何使用Redis和Flask维护动态代理池

    作为爬虫工作者来说,代理ip简直是太重要了,没有这个的话,爬虫工作将会变得非常的艰难,这点相信从事爬虫方面的朋友都是深有体会的,大家可以选择我们的智游代理

  3. 10

    2019-07

    为什么爬虫需要代理IP?

    在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力,所以你一直用同一个代理IP爬取这个网页

  4. 12

    2019-12

    爬虫用代理ip解决封禁

    随着大数据时代的到来,很多做爬虫要用到代理IP​,爬虫已经成了获取数据的必不可少的方式,在使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁IP的问题,

  5. 19

    2019-11

    代理IP对爬虫的重要性以及IP池的优质特性

    大数据时代,网络数据非常多,我们即使要做个小小的数据分析,也是需要抓取非常多的网页数据来分析结果,这单靠人工获取数据是不现实的,因此大家都是使用各种采集器或者直接使用爬虫

  6. 05

    2019-07

    爬虫代理IP应该如何来选择

    很多爬虫工作者在采集网站数据时,经常遇到IP被目标网站封禁的问题,这个时候就需要代理IP闪亮登场了。那么,爬虫代理IP应该如何来选择才能保证数据采集的高效和稳定呢?首先,我们根据