换ip软件,代理ip软件,更改ip地址-智游代理
您的位置: 首页 > 新闻资讯 > 爬虫代理 > 正文

python如何设置代理ip

发布时间:2018年11月12日 来源:本站

作为爬虫工作者来说,代理ip简直是太重要了,没有这个的话,爬虫工作将会变得非常的艰难,这点相信从事爬虫方面的朋友都是深有体会的,在使用爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度,高效率的爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,那么怎么解决呢?小编给大家提供一个方法,就是xpython怎么设置代理IP,请看下面步骤。


首先来看一下配置环境:安装requests库;安装bs4库;安装lxml库。

  接下来直接进入代码展示:

  from bs4 import BeautifulSoup

  import requests

  import random

  def get_ip_list(url, headers):

  web_data = requests.get(url, headers=headers)

  soup = BeautifulSoup(web_data.text, 'lxml')

  ips = soup.find_all('tr')

  ip_list = []

  for i in range(1, len(ips)):

  ip_info = ips[i]

  tds = ip_info.find_all('td')

  ip_list.append(tds[1].text + ':' + tds[2].text)

  return ip_list

  def get_random_ip(ip_list):

  proxy_list = []

  for ip in ip_list:

  proxy_list.append('http://' + ip)

  proxy_ip = random.choice(proxy_list)

  proxies = {'http': proxy_ip}

  return proxies

  if __name__ == '__main__':

  url = 'http://www.xicidaili.com/nn/'

  headers = {

  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'

  }

  ip_list = get_ip_list(url, headers=headers)

  proxies = get_random_ip(ip_list)

  print(proxies)

代理IP的使用:运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可。

web_data = requests.get(url, headers=headers, proxies=proxies)


这就是小编带来的内容了,有程序员大牛可以试试效果哦。

按字母排序文章

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

相关文章内容简介

1 爬虫所需要的代理IP究竟是啥

在爬取某些网站时,我们经常会设置代理IP来避免爬虫程序被封。我们获取代理 IP 地址方式通常提取国内的知名 IP 代理商(如西刺代理,快代理,无忧代理等)的免费代理。这些代理商一般都会提供透明代理,匿名代理,高匿代理。那么这几种代理的区别是什么?我们该如何选择呢?本文的主要内容是讲解各种代理 IP 背后的原理。1 代理类型代理类型一共能分为四种。除了前面提到的透明代理,匿名代理,高匿代理,还有混淆代理。从安全程度来说,这四种代理类型的排序是 高匿 > 混淆 > 匿名 > 透明。2 代理原理代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量 REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR 是决定性因素。1) REMOTE_ADDRREMOTE_ADDR 表示客户端的 IP,但是它的值不是由客户端提供的,而是服务器根据客户端的 IP 指定的。如果使用浏览器直接访问某个网站,那么网站的 web 服务器(Nginx、Apache等)就会把 REMOTE_ADDR ... [阅读全文]

2 为什么爬虫需要代理IP?

在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力,所以你一直用同一个代理IP爬取这个网页,很有可能IP会被禁止访问网页,所以基本上做爬虫的都躲不过去IP的问题,需要很多的IP来实现自己IP地址的不停切换,达到正常抓取信息的目的。通常情况下,爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的,一来是因为技术含量太高,二来是因为成本太高当然,也有很多人会在网上放一些免费的代理ip,但是从实用性、稳定性以及安全性来考虑,不推荐大家使用免费的ip。因为网上公布的代理ip不一定是可用的,很可能你在使用过程中会发现ip不可用或者已失效的情况。所以现在市面上很多代理服务器应运而生,基本上都能给你提供代理ip的服务。现在,爬虫程序怎么样安全躲避防爬程序,可以说是一个很普遍的需求了。做网络爬虫时,一般对代理IP的需求量比较大。因为在爬取网站信息的过程中,很多网站做了反爬虫策略,可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。代理IP的获取,可以... [阅读全文]

热门标签

推荐阅读

  1. 14

    2018-11

    爬虫使用代理服务器的简要思路

    爬虫有的时候会遇到被禁代理的情况,这个时候你可以找一下代理网站,抓取一下免费的代理,来进行动态的轮询就没问题了,也可以用别人做好的第三方代理平台

  2. 01

    2019-06

    爬虫动态代理ip服务器选择哪家好

    爬虫动态代理ip服务器选择哪家好?我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,网络爬虫的基本工作流程例如以下:1.选取种子URL;2.将这些URL放入待抓取URL队列;3.从待

  3. 28

    2018-11

    爬虫怎么解决封IP的问题?

    ​在网络爬虫抓取信息的过程中,如果抓取频率高过了网站的设置阀值,将会被禁止访问。通常,网站的反爬虫机制都是依据IP来标识爬虫的。

  4. 22

    2018-11

    有关爬虫代理IP池一些常见问题

    ​随着互联网时代,大数据时代的到来,一批又一批朋友投入到爬虫大军中,从事爬虫方面的工作,而他们最常用的东西就是代理ip

  5. 08

    2018-11

    爬虫选择什么代理IP比较好

    大数据时代,爬虫工作者已经成为互联网数据公司的关键性职位,他们不但要精通数据抓取和分析,其次还要熟悉搜索引擎和相关检索算法,对内存、性能、分布式算法都要有一定的了解。

  6. 05

    2019-07

    如何使用代理IP进行高效的爬虫工作

    如何使用代理IP进行高效的爬虫工作?说起爬虫,很多人第一时间想到的就是Python,Python作为一门入门极易并容易上瘾的语言,已经成为很多人的标配语言。Python与其它语言(比如Java或者C、C#)