http代理ip在网络时代的用途

1 爬虫使用不同的IP代理为什么效果不一样

我们爬虫在选择IP代理的时候，会发现有特别多的不同的IP提供商，价格差异也很大，从几块钱一天不限量的到几千块钱一天的都有，而且都说自己IP质量很好，都是高匿IP，但是实际使用起来，却发现IP可用率、连通速度都大相径庭，IP代理质量相同怎么效果不同？有些用户反映，在使用IP代理的过程中有时候会遇到这样的情况，即使用同样质量的一批不同的IP代理加上相同的策略访问同一个网站，有的成功有的失败，这是为什么呢？当下很多IP代理池，如果没有特殊注明为独享IP池，都是共享IP池。免费IP代理是最大的共享IP池，面向整个网络用户共享，收费IP代理则是面向自家的付费用户（超低价的普通代理和开放代理等除外，它们本质上还是网上收集的免费IP代理）。既然是共享IP代理池，那么不可避免的就会有冲突发生，会有部分用户使用相同的部分IP访问相同的网站。所以，在使用IP代理访问网站的过程中，会发现有一小部分才刚开始使用，就被反爬策略识别了。那么有什么好的解决办法呢？一是选择购买IP池大的共享IP池，IP池越大，项目冲突的几率就越小；比如智游代理的独享IP池，避免一个IP同时多个... [阅读全文]

2 Python爬虫通过ip代理抓取网页

如果大家在采集网站信息的时候，特别频繁的来访问，非常容易被目标网站检测到从而进行屏蔽，解决这类情况的一种有效的方法就是使用代理IP，当我们连上网络上网的时候，电脑会被分配一个IP，提供给我们使用，如果我们频繁访问一个网站时，这个网站也会因为发现同一个ip地址访问多次而进行屏蔽的，这个时候更换IP地址访问是最好的解决方式，多个ip地址进行随机地轮流访问，减少被该网站检测到的概率。假如我们再使用多个不同的headers请求头，这样就会有多个ip+主机的组合，浏览时被发现的机率又更加降低了。关于代码中ip代理的使用，下面介绍一下：步骤：1、urllib2库中的ProxyHandler类，通过此类可以使用ip代理访问网页proxy_support=urllib2.ProxyHandler({})，其中参数是一个字典{‘类型':'代理ip:端口号'}2、定制、创建一个openeropener=urllib2.build_opener(proxy_support)3、（1）安装openerurlib2.install_opener(o... [阅读全文]