换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录
在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部
您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

Python实现批量检测HTTP服务的状态

发布时间:2019年02月03日 来源:智游代理 www.zhiyoudaili.com

用Python实现批量测试一组url的可用性(可以包括HTTP状态、响应时间等)并统计出现不可用情况的次数和频率等。类似的,这样的脚本可以判断某个服务的可用性,以及在众多的服务提供者中选择最优的。


需求以及脚本实现的功能如下:


1.默认情况下,执行脚本会检测一组url的可用性。

2.如果可用,返回从脚本所在的机器到HTTP服务器所消耗的时间和内容等信息。

3.如果url不可用,则记录并提示用户,并显示不可用发生的时间。

4.默认情况下,允许最大的错误次数是200,数目可以自定义,如果达到允许的最大错误次数,则在输出信息的最后,根据每一个url做出错误统计。

5.如果用户手动停止脚本,则需要在输出信息的最后,根据每一个url做出错误统计。


脚本中涉及的一些技巧:


1.使用gevent并发处理多个HTTP请求,多个请求之间无须等待响应(gevent还有很多使用技巧,可再自行学习);

2.使用signal模块捕获信号,如果捕获到则处理并退出,避免主进程接收到KeyboardInterrupt直接退出但无法处理的问题;

3.注意留意脚本中关于统计次数方面的小技巧;


脚本运行效果图如下:

Python实现批量检测HTTP服务的状态

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 为什么爬虫需要代理IP

现在已经是大数据时代,爬虫是数据采集的重要手段,而爬虫在数据采集的过程中,常常会因为IP受到限制而无法继续采集,这时候需要更换爬虫的IP才能继续下去。爬虫的IP在数据采集的过程中为什么会受到限制呢?因为现在很多网站都会有反爬虫措施,爬虫在采集过程中会发出大量的请求,触发了网站的反爬虫措施,因此IP就会被限制,导致采集工作无法继续。如果想让爬虫继续下去,就需要更换它的IP,而代理IP就是一种快捷方便的换IP工具,爬虫换了新的IP之后就可以继续工作了。我们使用爬虫,最大的目的就是为了提高工作效率,如果IP受限就毫无效率可言,所以为了保证爬虫的效率,搭配稳定可靠的代理IP就显得非常必要了。... [阅读全文]

2 优质爬虫http代理ip怎么选择?

最近跟多个爬虫采集的客户聊天,无论互联网行业发展到何种地步,“资源”永远是任何互联网公司必不可少的弹药粮草。夸大些讲,任何一个互联网公司都会用到不同类型的数据。那么数据从何而来,这就要讲到爬虫http代理IP的重要性了。因为我们的爬虫采集无论如何都绕不过去http爬虫IP代理。传统意义上讲,代理服务器主要用于安全领域,而爬虫代理IP主要用于突破互联网访问限制,但今天,随着我们对营销要求的提高,高质量代理IP就起到了必不可少的作用。1、高质量代理IP是什么?所谓高质量代理IP,必须要具体3个特点:A.高匿名,B.私密性,C.纯净资源;2、如何做到“高匿名”?智游代理所提供的高质量代理ip均为高匿类型,对方服务器检测不到你的真实源IP。3、如何做到“私密性”?在使用智游代理所提供的代理IP时,可以使用安全IP白名单授权,并且是即时生效型,即只有绑定的IP才可以使用代理IP,最大化化解客户IP所有权的安全问题。4、什么是“纯净资源”?智游代理的IP的资源来自自建机房,阿里云平台进行节点管理和运营支撑,也有P2P CDN节点,这种IP具有活跃时间长,真实... [阅读全文]

热门标签

推荐阅读

  1. 14

    2019-10

    爬虫代理IP池怎么设计

    之前热门也许从来没听说过代理池,但是现在科技发达,智游代理设计了爬虫代理IP,下面简单介绍下爬虫代理IP池怎么设计的。代理池由四部分组成:ProxyGetter:代理获取接口,不过目前只有5个代

  2. 24

    2019-09

    增量补量以及爬虫代理ip提供商怎么选

    作为互联网从业者,无论是增量补量用的代理ip,还是爬虫代理ip,都需要用到海量的IP资源,但是我们百度一下会发现,鱼龙混杂的代理IP提供商,价格从99不限量包月到十几万一个月,这些IP资

  3. 03

    2019-07

    做爬虫选择哪家代理IP比较好

    众所周知,没有代理IP,爬虫工作就无从谈起,好的代理IP资源可以让爬虫工作事半功倍,正所谓“工欲善其事必先利其器”,所以选择一个好的代理IP资源至关重要。那么,做爬虫选择哪家代理

  4. 18

    2019-06

    爬虫如何避免封IP

    爬虫如何避免封IP?做爬虫,碰到最多的问题不是代码bug,而是封IP。开发好一个爬虫,部署好服务器,然后开始抓取信息,不一会儿,就提示封IP了,这时候的内心是崩溃的。那么,有什么办法

  5. 19

    2018-11

    爬虫代理IP是什么意思?

    对于这个互联网大数据时代,爬虫和代理IP这两个词单独拿出来哪一个,相信大多数网络用户们都很熟悉,那么爬虫代理IP该怎样理解呢?请看下面的介绍。

  6. 21

    2019-05

    爬虫加代理的三种方式

    爬虫的时候,我们用同一个ip反复爬一个网站有可能会被封,这时候就需要使用到代理,下面为大家介绍爬虫加代理的三种方式,一起来了解看看吧!1.Selenium调用代理 from selenium import webdriver