换ip软件,代理ip软件,更改ip地址-智游代理
您的位置: 首页 > 新闻资讯 > 代理设置 > 正文

scrapy 如何设置代理ip

发布时间:2018年11月21日 来源:本站

近几年,互联网科技发展的势头非常猛,上网的朋友也比之前多了很多,通过网络大家也都慢慢知道了代理ip,它被广泛的使用于众多的工作场景中,给我们带来了很多的方便,在我们使用网络的时候,经常会遇到爬虫网站内容被限制,网站对IP有限制,防爬取的功能,这个时候,最好的方法就是IP轮换爬取,在这里就说一下Scrapy如何配置代理,进行抓取,请看下面介绍。


首先,在Scrapy工程下新建“middlewares.py”

  # Importing base64 library because we'll need it ONLY in case if the proxy we are going to use requires authentication

  import base64

  # Start your middleware class

  class ProxyMiddleware(object):

  # overwrite process request

  def process_request(self, request, spider):

  # Set the location of the proxy

  request.meta['proxy'] = "http://YOUR_PROXY_IP:PORT"

  # Use the following lines if your proxy requires authentication

  proxy_user_pass = "USERNAME:PASSWORD"

  # setup basic authentication for the proxy

  encoded_user_pass = base64.encodestring(proxy_user_pass)

  request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

然后在项目配置文件里(./pythontab/settings.py)添加

  DOWNLOADER_MIDDLEWARES = {

  'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,

  'pythontab.middlewares.ProxyMiddleware': 100,

}


这个就是小编带来的全部内容了,朋友们可以试着设置一下,感受一下效果。

按字母排序文章

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

相关文章内容简介

1 http代理怎么设置代理

代理IP在网络的广泛应用,深得人们喜爱,那么代理IP该如何使用呢?也就是说该如何设置代理呢?下面就为大家说一下http代理怎么设置代理。IE浏览器5.0以上版本的设置:菜单栏“工具”->下拉菜单“Internet选项”->选项卡“连接”->在“局域网设置”->在中间的“代理务器”栏选中“使用代理服务器”->在“地址” 和“端口”栏输入本站提供的HTTP代理服务器->确定。Maxthon(遨游)中设置代理服务器:菜单栏“选项”——》“代理服务器”——》“管理代理服务器列表”——》”添加”——》在输入框中输入标准格式的代理服务器,如XXX.XXX.XXX.XXX:端口,然后“确定”并退出,继续,菜单栏 “选项”——》“代理服务器”——》然后选择刚才输入的代理服务器腾讯浏览器(TT浏览器)中设置代理服务器:菜单栏“工具”——》“代理服务器”——》“设置代理”——》在代理设置对话框中,点击“添加”——在代理设置区中,输入代理,然后“确定”并退出,继续,菜单栏“工具”——》“代理服务器”——》然后选择刚才输入的代理服务器... [阅读全文]

2 如何取消IE浏览器的代理设置

早上发现电脑无法登陆网站,但是PING的时候发现网络是通的,浏览器一直提示,连接代理服务器失败,那么如何取消IE浏览器的代理设置呢?这里告诉大家具体的方法步骤。打开IE浏览器。在工具栏找到“工具”打开工具,找到“Internet选项”在“Internet选项”切换到“连接”标签在“连接”中地点击“局域网设置”,取消“自动配置”和“代理服务器”中的勾选项,点击“确定”完成。如果要添加代理,反向使用本经验即可。... [阅读全文]

热门标签

推荐阅读

  1. 26

    2018-11

    怎么解决IE代理服务器设置被禁用的问题

    有时管理员为了限制上网,将IE代理服务器设置禁用了,我们只要通过组策略将其启用即可。    

  2. 23

    2018-11

    两种QQ状态下设置代理的方法

    ​随着互联网的发展,QQ这款软件已经成为了我们日常生活中必不可少的一个社交工具了,那么我们如何给它设置代理呢?请看下面介绍(分为两种状态)。

  3. 14

    2018-11

    ip代理服务器设置方法

    想必大家都遇到过需要更换ip的情况,或者是注册、或者有投票的,对有些高手来说,真不是什么难题,但是肯定还有更多朋友在我这个问题而发愁。

  4. 10

    2018-11

    xshell如何设置代理服务器

    代理服务器是在用户所属的网络和要连接的外部网络之间起到中介作用的服务器。一个完整的代理请求过程为客户端首先与代理服务器创建连接,

  5. 26

    2019-06

    Chrome浏览器如何设置代理?

    Chrome浏览器如何设置代理?如果通过代理服务器上网的话,那么一般情况下,都需要配置下浏览器代理信息。如果只有一个代理服务器,那么只需要使用系统代理服务器就可以了。如果需要在多

  6. 27

    2018-11

    禁用IE设置代理检测不通过怎么解决

    很多人使用电脑都会遇到需要重装系统,当你重装好了之后就要接着安装各种必备的软件,但是有可能手误操作,把系统自带的IE浏览器删掉了!然后就连不上网了!