换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录 实名验证

在线咨询

800819380 售前客服
在线客服,实时响应

客户经理:
13326404693

473197630 QQ群
473197630

微信客服

您的位置: 首页 > 新闻资讯 > 免费代理ip > 正文

如何利用Python爬虫抓取免费代理IP

发布时间:2019年01月02日 来源:智游代理 www.zhiyoudaili.com

当我们在利用爬虫去抓取网站信息时可能会遇到遇到过“访问频率太高”这样的网站提示,这时就需要等待一段时间或者输入一个验证码才能解封,但这样的情况之后还是会出现。出现这个现象的原因就是我们所要爬取的网页采取了反爬虫的措施,比如当某个ip单位时间请求网页次数过多时,服务器会拒绝服务,这种情况就是由于访问频率引起的封ip,这种情况靠解封不能很好的解决,所以我们就想到了伪装本机ip去请求网页,也就是我们今天要讲的使用代理ip


目前网上有许多代理ip,有免费的也有付费的,免费的虽然不用花钱但有效的代理很少且不稳定,付费的可能会好一点,不过今天我只爬取免费的代理并将检测是否可用,将可用ip存入MongoDB,方便下次取出。


运行平台:Windows

Python版本:Python3.6

IDE: Sublime Text

其他:Chrome浏览器


简述流程为:

步骤1:了解requests代理如何使用

步骤2:从代理网页爬取到ip和端口

步骤3:检测爬取到的ip是否可用

步骤4:将爬取的可用代理存入MongoDB

步骤5:从存入可用ip的数据库里随机抽取一个ip,测试成功后返回


对于requests来说,代理的设置比较简单,只需要传入proxies参数即可。


不过需要注意的是,这里我是在本机安装了抓包工具Fiddler,并用它在本地端口8888创建了一个HTTP代理服务(用Chrome插件SwitchyOmega),即代理服务为:127.0.0.1:8888,我们只要设置好这个代理,就可以成功将本机ip切换成代理软件连接的服务器ip了。


image.png


这里我是用来http://httpbin.org/get作为测试网站,我们访问该网页可以得到请求的有关信息,其中origin字段就是客户端ip,我们可以根据返回的结果判断代理是否成功。返回结果如下:


接下来我们便开始爬取代理IP,首先我们打开Chrome浏览器查看网页,并找到ip和端口元素的信息。


image.png


可以看到,代理IP以表格存储ip地址及其相关信息,所以我们用BeautifulSoup提取时很方便便能提取出相关信息,但是我们需要注意的是,爬取的ip很有可能出现重复的现象,尤其是我们同时爬取多个代理网页又存储到同一数组中时,所以我们可以使用集合来去除重复的ip。


image.png


将要爬取页数的ip爬取好后存入数组,然后再对其中的ip逐一测试。


image.png


这里就用到了上面提到的requests设置代理的方法,我们使用http://httpbin.org/ip作为测试网站,它可以直接返回我们的ip地址,测试通过后再存入MomgoDB数据库。


image.png


连接数据库然后指定数据库和集合,再将数据插入就OK了。


image.png


最后运行查看一下结果吧!


image.png


运行了一段时间后,难得看到一连三个测试通过,赶紧截图保存一下,事实上是,毕竟是免费代理,有效的还是很少的,并且存活时间确实很短,不过,爬取的量大,还是能找到可用的,我们只是用作练习的话,还是勉强够用的。现在看看数据库里存储的吧。


image.png


因为爬取的页数不多,加上有效ip也少,再加上我没怎么爬,所以现在数据库里的ip并不多,不过也算是将这些ip给存了下来。现在就来看看怎么随机取出来吧。


image.png

由于担心放入数据库一段时间后ip会失效,所以取出前我重新进行了一次测试,如果成功再返回ip,不成功的话就直接将其移出数据库。


这样我们需要使用代理的时候,就能通过数据库随时取出来了。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 代理IP怎样在互联网工作

在互联网,信息被窃取的事件每天都在发生,很多时候信息被窃取的时候都是悄无声息不知不觉,不会立马就发现。当发现自己的信息被窃取的时候,损失也就造成了。一些黑客常常入侵电脑窃取个人信息打包出售获取利益。任何一个人的账号密码和个人信息都能成为他们的目标。怎样才可以保护自己的个人信息呢?要知道黑客入侵电脑大多是从IP地址入手,如果想避免这个情况就需要换IP了。去网上找代理IP商去购买代理IP资源,是目前来说使用代理IP最为安全稳妥的方法。代理IP也分为共享代理IP和独享代理IP。共享代理IP比较便宜,使用的人多,所以稳定性相较于独享代理IP比较差。独享代理IP从字面意思就很好理解,就是专供一个人使用,相应的价格也是略高一些。代理IP是由代理服务器发出的,代理服务器介于客户端和服务端充当着“中转站”的作用。代理服务器接收客户端发送的请求报文,正确处理请求和连接状态,同时向服务器发送新的请求,服务器受到响应之后,发送的响应内容将由代理服务器包装成响应体发送给客户端。这就是代理的服务流程,把代理服务器想象成一个第三方的中转可以更好理解。有了代理IP,黑客就算找... [阅读全文]

2 免费代理IP的使用范围

很多用户在一开始都在寻找有没有合适的免费代理ip使用,免费代理ip在网上又很多,很多收费代理ip网站会免费释放一些免费代理ip提供给用户者使用,如开心代理网站就有一些实时更新的免费代理ip,数量并不多,使用起来也不是很方便,需要自己抓取后使用。那么有这些免费代理ip提供,为什么却见用户使用的很少,一般都会选择收费代理ip使用,那么今天我们一起来探索一下免费代理ip适合什么业务场景。免费代理ip有一个通俗的称呼“万人骑”也就是很多人都在使用,它不仅存在安全隐患,质量也是无法达到正常使用的要求,比如:速度慢,有效率底,普通匿名等,所以被使用的特别少,通常这个种代理ip是提供给一些,需要少量代理ip即可完成任务,购买包天套餐又不划算,一天只需要几十个白来个ip既可,还有一些初学者,以及研发等业务的用户,会选择这种免费代理ip。智游代理不仅提供了免费代理给予一些初学者研发和小量用户免费使用,除此之外网站还有高质量优质短效http代理及Socks5代理,当免费代理ip的条件无法满足于业务的情况下,可以选择智游代理的高质量优质代理ip,有着包天,包月,半年等... [阅读全文]

热门标签

推荐阅读

  1. 29

    2020-04

    时效不同的代理IP有什么区别

    代理IP大家都听说过,简单的说就是购买一些IP,来解决IP被限制的问题,代理IP分为短效和长效的。那么,时效不同的代理IP有什么区别呢?

  2. 19

    2018-11

    为何我不愿意用免费代理IP?

    近些年,属于互联网的大数据时代已到来,代理IP也得到了迅猛发展。打开百度,输入“代理IP”关键词,琳琅满目的代理IP资源随处可见

  3. 28

    2020-02

    批量注册要使用代理ip吗

    ​在这个快节奏的互联网时代,从传统的销售模式到互联网网络营销模式,为了提高自己产品的知名度来引流,由于限制和禁言账号,导致需要大量的新账号来支持,或者其他业务种类需要大量

  4. 08

    2020-07

    如何选择一款高性价比的代理IP

    代理IP对于⼀些做爬⾍的⼯作者来说可能是⾮常熟悉,他们天天都需要和代理IP打交道,但是⾯对市场上繁多的代理IP提供商,我们如何去选择⼀家性价⾼的代IP供应商呢?

  5. 23

    2019-08

    效果补量用代理IP安全吗

    随着互联网的不断发展,广大网民朋友对代理IP的认识也越来越多,尤其是做效果补量的用户,工作中简直离不开代理IP。但不可否认的是,很多人对于代理IP上网是否安全还是心存疑问,经常在

  6. 07

    2020-02

    如何用代理IP解封账号被锁?

    越来越多的现代人已经学会使用网络,上至大爷大妈,下至几岁的孩童,网络已经成为生活中不可替代的生活工具,所以网络工作者就发现一种情况,很多平台对于IP限制变得更加严格,我们在