http代理怎么进行伪装

1 HTTP代理IP使用的认知误区

HTTP代理IP，通俗的来说，就是换IP的。大部分人都用HTTP代理IP来做爬虫工作，效果也很不错，但也有一部分人在HTTP代理IP的使用上存在着误解，他们认为使用了代理IP就能解决一切问题，代理IP是万能的，不再会封IP，如果不是这样，就是买到了假的代理IP。代理IP不是万能的，它只是一个工具，关键在于使用的人，如果使用不当，一样会被封IP。正如买了一个好锅，如果厨艺不好，一样炒不出好吃的菜。那么，如何正确的使用代理IP来做爬虫呢？代理IP分三种类型：透明代理、普通匿名代理、高级匿名代理。使用透明代理和普通匿名代理会被目标网站得知使用了代理IP，自然会受到限制，高级匿名代理则不会，所以在选购代理IP的时候，要注意这一点。在使用高匿代理IP后，发现还是会被封，那是因为目标网站的反爬虫策略。当无所顾忌的使用一个代理IP爬取目标网站，当达到了阈值后，IP就会被封，这不是代理IP质量不好，再好的质量被无限制的使用也会失效；当访问目标网站的频率过快时，IP也会被封，因为人类正常访问远远达不到那个频率，自然会被识别。被封IP的因素太多，比如cookie，比... [阅读全文]

2 利用HTTP代理IP突破防采集的策略

利用HTTP代理IP突破防采集的策略是怎样的呢？常见的Web反采集策略大概有5种，他们是：1、数据加密；2、限制访问频率；3、数据以非文本形式展现；4、验证码保护；5、Cookie验证；本文主要探讨一下如何突破限制访问频率：限制访问频率的原理：服务器端程序（例如，WAF、维护了一个客户端（IP、的访问计数，如果客户端（IP、请求频率超过阈值，请求就会被拦截，通常会出现下列情形：1、最常见的：返回403或503错误。2、连接被重置。3、最让人闹心的结果：返回无效的内容突破方法：1、使用智游代理IP。因为服务端是根据IP进行限制的，通过使用代理ip就可以将下载量平均到多个IP上。需要提醒的是不要选择透明代理，因为透明代理就相当于你的真是ip只穿了一件透明的纱巾，里面的东西看的一清二楚，用和不用效果没啥区别因为WAF能够检测到真实的源IP，所以要使用隐秘（secret）代理。2、增加请求延迟。比如，WAF限制单IP请求频率不能超过20次/分钟，我们可以在两次请求之间增加5S的延迟，这样下载频率就是12次/分钟，就不会被拦截了。我们一般都会将1,2种方法... [阅读全文]