换ip软件,代理ip软件,更改ip地址-智游代理
首页 IP软件套餐 HTTP代理套餐 API提取 使用帮助 新闻资讯 长效IP 注册 登录
在线咨询
微信公众号

微信公众号

微信客服

微信客服

回到顶部
您的位置: 首页 > 新闻资讯 > 免费代理ip > 正文

如何利用Python爬虫抓取免费代理IP

发布时间:2019年01月02日 来源:智游代理 www.zhiyoudaili.com

当我们在利用爬虫去抓取网站信息时可能会遇到遇到过“访问频率太高”这样的网站提示,这时就需要等待一段时间或者输入一个验证码才能解封,但这样的情况之后还是会出现。出现这个现象的原因就是我们所要爬取的网页采取了反爬虫的措施,比如当某个ip单位时间请求网页次数过多时,服务器会拒绝服务,这种情况就是由于访问频率引起的封ip,这种情况靠解封不能很好的解决,所以我们就想到了伪装本机ip去请求网页,也就是我们今天要讲的使用代理ip


目前网上有许多代理ip,有免费的也有付费的,免费的虽然不用花钱但有效的代理很少且不稳定,付费的可能会好一点,不过今天我只爬取免费的代理并将检测是否可用,将可用ip存入MongoDB,方便下次取出。


运行平台:Windows

Python版本:Python3.6

IDE: Sublime Text

其他:Chrome浏览器


简述流程为:

步骤1:了解requests代理如何使用

步骤2:从代理网页爬取到ip和端口

步骤3:检测爬取到的ip是否可用

步骤4:将爬取的可用代理存入MongoDB

步骤5:从存入可用ip的数据库里随机抽取一个ip,测试成功后返回


对于requests来说,代理的设置比较简单,只需要传入proxies参数即可。


不过需要注意的是,这里我是在本机安装了抓包工具Fiddler,并用它在本地端口8888创建了一个HTTP代理服务(用Chrome插件SwitchyOmega),即代理服务为:127.0.0.1:8888,我们只要设置好这个代理,就可以成功将本机ip切换成代理软件连接的服务器ip了。


image.png


这里我是用来http://httpbin.org/get作为测试网站,我们访问该网页可以得到请求的有关信息,其中origin字段就是客户端ip,我们可以根据返回的结果判断代理是否成功。返回结果如下:


接下来我们便开始爬取代理IP,首先我们打开Chrome浏览器查看网页,并找到ip和端口元素的信息。


image.png


可以看到,代理IP以表格存储ip地址及其相关信息,所以我们用BeautifulSoup提取时很方便便能提取出相关信息,但是我们需要注意的是,爬取的ip很有可能出现重复的现象,尤其是我们同时爬取多个代理网页又存储到同一数组中时,所以我们可以使用集合来去除重复的ip。


image.png


将要爬取页数的ip爬取好后存入数组,然后再对其中的ip逐一测试。


image.png


这里就用到了上面提到的requests设置代理的方法,我们使用http://httpbin.org/ip作为测试网站,它可以直接返回我们的ip地址,测试通过后再存入MomgoDB数据库。


image.png


连接数据库然后指定数据库和集合,再将数据插入就OK了。


image.png


最后运行查看一下结果吧!


image.png


运行了一段时间后,难得看到一连三个测试通过,赶紧截图保存一下,事实上是,毕竟是免费代理,有效的还是很少的,并且存活时间确实很短,不过,爬取的量大,还是能找到可用的,我们只是用作练习的话,还是勉强够用的。现在看看数据库里存储的吧。


image.png


因为爬取的页数不多,加上有效ip也少,再加上我没怎么爬,所以现在数据库里的ip并不多,不过也算是将这些ip给存了下来。现在就来看看怎么随机取出来吧。


image.png

由于担心放入数据库一段时间后ip会失效,所以取出前我重新进行了一次测试,如果成功再返回ip,不成功的话就直接将其移出数据库。


这样我们需要使用代理的时候,就能通过数据库随时取出来了。

转载注明来自:智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1 选择代理IP要从实际出发

很多互联网方面的工作都需要使用代理IP,可以说代理IP已经越来越普遍了。代理IP有多种类型,我们应该如何选择呢?代理IP的作用就是通过更换新的IP来代替自己的真实IP,这样做有很多好处,但是不同类型的代理IP使用效果也是不同的,所以代理IP一定要根据自己的实际情况进行选择。代理IP最常见的应用就是爬虫,因为爬虫在进行数据采集时,会向目标服务器发出大量请求,导致目标服务器压力增加,从而触发网站的反爬虫机制,这样爬虫的IP就会被限制了。如果想要继续爬取,就必须要更换IP才行,这时就可以使用代理IP来更换爬虫的IP了。不过爬虫需要隐匿性好的代理IP,否则即使更换了IP同样会被限制,所以爬虫要选择高匿代理IP。而有的业务不像爬虫那样需要很高的隐匿性,所以选择透明代理或者普通匿名代理就可以了。... [阅读全文]

2 网络扫描获取的代理ip能用吗?

从事互联网大数据的工作者都众所周知代理ip的来源方式有很多,获取到的ip用途千百种,如网络爬虫采集,网络营销,投票助力等等,用途广泛,深受广大用户使用。代理ip来源有哪些获取方式?网络扫描获取的代理ip能用吗?ADLS动态拨号VPS;购买动态拨号VPS,通过拨号获取到ip,更繁琐的是需要自己搭建ip池。通过处理后放入ip池中待用,通过生成的提取链接提取ip使用。这种ip需要时间和大力的精力去维护,成本也相对来说偏高,但ip的质量很高,因为可以根据自己的需求量身定制。收费代理ip在网上有很多代理ip的服务商,如开心代理ip服务平台,这种ip是现成制定好的,购买后通过api直接获取即可使用,这种代理ip简单方便,特殊业务还可以私人定制,ip质量高,不需要花时间精力维护,性价比极高,所以这种方式也是大部分所选择的。网络扫描获取ip很多用户为了省钱节约成本会自己写代码在网上扫描大量的公用ip,然后自己筛选后放入搭建好的ip池中,这种ip可用率极低,不到10%有效率,还有一个众所周知的问题,就是不安全,万人骑,很多人都使用过,不知道使用前别人用这个ip做什... [阅读全文]

热门标签

推荐阅读

  1. 08

    2019-05

    如何使用电脑换ip软件上网

    如何使用电脑换ip软件上网?本文将为大家介绍如何在电脑设置代理IP上网,以及常的问题处理技巧。选择需要上网的应用程序,本文的代理IP是基于浏览器而实现的,所以你先选择你使用的浏

  2. 14

    2019-06

    低价代理IP可以使用吗

    在找代理IP的时候,发现很多价格便宜的软件,价格的差别不知该怎么选择。那么,到底低价代理IP可以使用吗?大家有所不知,很多低价的代理IP商家,都是在免费代理IP中将IP筛选出来,使用

  3. 04

    2020-11

    免费代理IP的使用范围

    很多用户在一开始都在寻找有没有合适的免费代理ip使用,免费代理ip在网上又很多,很多收费代理ip网站会免费释放一些免费代理ip提供给用户者使用,如开心代理网站就有一些实时更新的免费

  4. 15

    2020-03

    玩游戏用代理IP能降低延迟?

    玩游戏的人都知道,延迟高,这游戏没法玩,很多游戏爱好者通常都花钱升级网络,升级配置,期望游戏延迟能降低下来。于是网络加速器出现了,利用加速器降低游戏延迟,有人说代理IP也可

  5. 04

    2019-09

    使用IP代理还是会被封号吗

    是否很多人都认为,使用IP代理就可以毫无顾忌得“拜访”别人的网站,抓取别人的数据,毫无顾忌,在合法的范围内为所欲为了,但是理想是丰满的,现实是骨感的,就算你用了代理IP,但是

  6. 09

    2018-11

    换ip软件免费和收费的区别

    换ip软件免费和收费的区别!互联网时代下,估计很多人用过代理IP,其中有付费的和免费的两种,有人统计说:初学者更愿意使用免费代理IP,而工作室和企业则专情于收费版。为什么呢?小编