换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800821111 售前客服
在线客服,实时响应

800821111 售前客服
在线客服,实时响应

大客户经理
2110220233

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

python怎么验证http代理ip

发布时间:2018年11月14日 来源:智游代理 www.zhiyoudaili.com

社会科技在不断的进步,互联网行业发展迅速,有很多朋友不断加入互联网大军,今天我们来说一下互联网大军中的爬虫工作。我们都知道一般的网站都有反爬虫的系统限制,我们长时间对一个网站进行抓取的时候可能会遇到IP被封的情况,其实这样的情况,我们可以使用代理IP来解决,来突破IP服务器对IP的限制。那么我们怎么知道HTTP代理IP是可以使用的呢?这个时候我们可以用python 验证一下,下面跟大家分享一下验证的具体方法:


image.png


可以使用requests包进行验证:import requests try: requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"}) except: print 'connect failed' else: print 'success'

  把验证通过的IP保存在redis里面,在IP被禁止的时候可以从redis中取出来使用。

  也使用telnet来验证的方法:

  mport telnetlib

  try:

  telnetlib.Telnet('127.0.0.1', port='80', timeout=20)

  except:

  print 'connect failed'

  else:

  print 'success'


这就是小编所带来的分享了,大家明白了吗?

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫代理IP如何使用

用听说过爬虫的人应该都知道,抓的网站和数据多了,如果爬虫抓取速度过快,很多网站防爬机制总是会碰上的,几乎用的同一招就是封IP。解决方案有2个:1、同一IP,放慢速度(爬取速度慢)2、使用代理IP访问(推荐)第一种方案需要的就是时间和速度,来换取数据,但是一般情况下我们的时间是是有限的,理想情况下是用最短的时间获取最多的数据。所以第二种方案是推荐的,那么从哪里能找到这么多代理IP呢?寻找代理程序不懂的时候就去寻找,google、百度,输入关键字:免费代理IP,打开后观察发现,几乎都是一个列表页。但是仔细观察就会发现,每个网站提供的免费IP还是有限的,用了之后就会发现,有的已经没有用了,很多都是付费的。只需要用搜索引擎去找免费IP,每个网站提供几十或几百个,假如10家网站,那加在一起也有几百到几千个IP。可以记录下来这些网站,用程序把IP抓过来就好了,做起来还是有点麻烦的。测试代理通过刚才的方式,应该可以获得几百或上千的代理IP了。IP就是免费的吗?当然不是,这些代理中有很多事已经没有用了。如何判断哪些代理是有效,哪些是不可用的呢?挂上这些代理,再去... [阅读全文]

2 为什么有些爬虫代理ip重复率很高?

为什么有些爬虫代理ip重复率很高?做爬虫的久了,会接触到很多很多爬虫代理ip提供商家,也会发现不同提供商的http代理质量差别非常大,有些代理商的重复率非常高,导致爬虫被封,这是为什么呢?按理说通过机房出来的代理ip,应该质量是一样的,即使有差别也不会如此巨大,那是什么原因导致有些代理商提供的http代理重复率如此之高?那是因为有些http提供商的IP池太小,导致所有IP提取了一遍之后再进行提取会使用到很多重复的资源,从而导致IP被封,如果像智游代理这种一天有几百万的不重复IP的话,就能够很好地满足无论还爬虫用户还是刷量用户,能够很好地支撑用户业务的开展。智游代理提供多种套餐选择:静态线路:静态线路是IP固定,永远不会变更动态线路:动态线路是该条线路最后一个用户断线后则更换IP,目前全国200+城市服务器节点,每天产生几十万个IP独享线路:可连接独享在内的所有线路,可使用静态,动态,独享客户端,可连接动态PPTP|L2TP|SSTP直连。智游代理套餐年底优惠多多,需要购买请咨询智游代理在线客服。... [阅读全文]

热门标签

推荐阅读

  1. 23

    2018-11

    代理服务器助你匿名访问网络

    ​除非你是一个非常有才华的黑客,否则在互联网上就没有匿名性。关于匿名的一个常见误解是,它们允许您在没有任何人能够追踪到您的情况下上网并做任何您想做的事情。

  2. 19

    2018-12

    爬虫遇到代理IP被封应该如何解决

    作为爬虫爱好者的你,有没有遇到过搭好了分布式爬虫,正准备让程序用代理IP去抓取数据,服务器也搭好了,突然发现,办公室的IP被封掉了,这时候怎么办,应该如何解决?

  3. 29

    2019-01

    python开发软件有哪些?

    ​Python开发软件可根据其用途不同分为两种,一种是Python代码编辑器,一种是Python集成开发工具,两者的配合使用可以极大的提高Python开发人员的编程效率

  4. 15

    2018-11

    Python语言需要代理ip

    网络科技发达的今天,很多语言随之诞生,如Java、.net、php等等,但是作为现在最热门的网络爬虫语言,Python在编程语言中的地位也是无可取代的。

  5. 16

    2018-11

    访问网络受限用http代理ip

    互联网行业发展,我国的网民数量也是在不断增加,年老的有,年少的也有,在网络上遨游,丰富自己的精神世界。

  6. 11

    2019-06

    企业爬虫为什么不能用免费代理ip

    在大数据的前提下,现在会用代理IP的人增多,本着有便宜不占王八蛋的心里,还是有很多用户不愿意使用付费的爬虫代理ip.而是选择网上公开的免费代理ip,尽管是完全免费,但是老话说得好