换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

python怎么验证http代理ip

发布时间:2018年11月14日 来源:智游代理 www.zhiyoudaili.com

社会科技在不断的进步,互联网行业发展迅速,有很多朋友不断加入互联网大军,今天我们来说一下互联网大军中的爬虫工作。我们都知道一般的网站都有反爬虫的系统限制,我们长时间对一个网站进行抓取的时候可能会遇到IP被封的情况,其实这样的情况,我们可以使用代理IP来解决,来突破IP服务器对IP的限制。那么我们怎么知道HTTP代理IP是可以使用的呢?这个时候我们可以用python 验证一下,下面跟大家分享一下验证的具体方法:


image.png


可以使用requests包进行验证:import requests try: requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"}) except: print 'connect failed' else: print 'success'

  把验证通过的IP保存在redis里面,在IP被禁止的时候可以从redis中取出来使用。

  也使用telnet来验证的方法:

  mport telnetlib

  try:

  telnetlib.Telnet('127.0.0.1', port='80', timeout=20)

  except:

  print 'connect failed'

  else:

  print 'success'


这就是小编所带来的分享了,大家明白了吗?

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 爬虫IP被封了怎么解决

在数据采集或者爬虫的工作中,我们不可避免的会遭遇反爬封锁,所以就会有爬虫的攻防,在攻和守之间两股力量不断的抗衡。接下来就讲讲在数据采集或爬虫时ip被限制的几种解决方案问题:解决方案一:建议一定要使用代理IP;在有外网IP的机器上,部署爬虫代理服务器;使用轮训替换代理服务器来访问想要采集的网站。这样的话,你的程序逻辑变化小,只需要代理功能就可以,而且根据对方网站屏蔽规则不同,你只需要添加不同的代理就可以了。再者,就算具体IP被屏蔽了,你可以直接把代理服务器下线就OK,程序逻辑不需要变化。解决方案二:useragent伪装和轮换,使用代理ip和轮换,cookies的处理。解决方案三:使用ADSL+脚本,监测是否被封,然后不断切换ip;设置查询频率限制,也就是限制调用该网站提供的服务接口。解决方案四:网站封IP的依据一般是单位时间内特定IP的访问次数过多,采集很多网站时可以将采集的任务按目标站点的IP进行分组,然后通过控制每个IP在单位时间内发出任务的个数来避免被封。解决方案五:尽可能的模拟用户行为,比如UserAgent经常换一换,访问时间间隔设长一... [阅读全文]

2 哪种代理ip适合网络爬虫

现时代大数据兴起,网络成为了重要的部分,线上运营就有了大量的信息数据。网商竞争,市场调查,数据分析,如何获取?成就网络爬虫问世,通过网络爬虫采集才能获取到大量的数据信息。爬虫采集也不是那么简单就能爬取到数据,网站的自我保护意思,将信息保护防止流失也同样做出了相对的策略,使用了反爬虫机制。正常的用户访问网站浏览时间较长,访问也不会太过于频繁,终端网站如何对对网络爬虫作出判断的,爬虫采集需要频繁并发对服务器进行访问,访问停留很短,需要不停请求响应返回信息数据,服务器很快很能察觉发现,对其ip进行限制访问。使用代理ip隐藏真实ip,突破反爬虫机制,使爬虫采集畅通无阻。代理ip分为很多种类,那哪种代理ip适合网络爬虫?高质量优质短效代理ip,是一款专业爬虫的代理ip,高质量高匿极速,稳定绿色安全,短效3-6分钟,可选择失效或者时间切换ip,防止ip被封遭受限制,具有海量的ip存储的短效优质代理ip是网络爬虫采集的首选。... [阅读全文]

热门标签

推荐阅读

  1. 15

    2019-09

    爬虫使用代理ip为什么还会被封

    很多网络爬虫用户使用了代理ip,为了就是防止抓取数据和采集数据防止ip被封,最近很多做网络爬虫的朋友反映,问什么我是使用了代理ip还是会被封,在正常的进行爬取数据时,突然停了,但

  2. 14

    2018-11

    python怎么验证http代理ip

    社会科技在不断的进步,互联网行业发展迅速,有很多朋友不断加入互联网大军,今天我们来说一下互联网大军中的爬虫工作。

  3. 11

    2019-06

    大量爬虫代理IP如何获得

    Python是一门很神奇的语言,python应用最多的场景还是web快速开发、爬虫、自动化运维,对于Python爬虫来说,访问网站抓取信息,常常需要大量的代理IP资源,那么这些大量爬虫代理IP如何获得呢

  4. 29

    2019-05

    软营销中爬虫代理ip能起到什么作用

    软营销中爬虫代理ip能起到什么作用?对于很多个人经营的微商来说,他们通常会通过在贴吧发帖的方式来运营自己的软营销。但即使是偶尔使用过贴吧的用户都知道,百度对于发帖的要求是非

  5. 02

    2019-07

    爬虫代理IP的多个解决方案

    众所周知,一个IP做不了爬虫工作,没有大量的IP支撑,爬虫工作者寸步难行。那么爬虫IP哪里来呢?这难不倒爬虫工程师们,他们有好几种解决方案,让我们一起来看看爬虫代理IP的多个解决方

  6. 15

    2018-11

    爬虫代理IP该怎么用

    写网络爬虫时,大家都知道,如果爬虫抓取速度过快或者抓的网站和数据多了,经常会遇到ip频繁访问被封的问题。那么如何解决这种问题呢?