Scrapy的安装——–Windows、linux、mac等操作平台。Scrapy的装置——–Windows、linux、mac等操作平台,windows操作linux工具。

Scrapy安装

  Scrapy的安装有多种方式,它支持Python2.7版本和以上或是Python3.3本子与以上。下面的话py3环境下,scrapy的装过程。

  Scrapy依赖之库比较多,至少要负库Twisted 14.0,lxml 3.4,pyOpenSSL
0.14。在不同平台环境而休相同,所以在安装前确保先把有些基本库安装好,尤其是Windows。

Scrapy的安——–Windows、linux、mac等操作平台,windows操作linux工具

一、Anaconda

  这种办法是一律种植比较简单的装置scrapy的方(尤其针对Windows来说),你可行使该措施安装。也可以选用下文中专用平台的安装方式。

  Anaconda是含了常用之多少科学库的Python发行本,如果没有设置,可以交官网https://www.continuum.io/downloads下载对承诺平台的保管安装。

  如果已设置了,可以经conda命令安装scrapy。

  安装如下:

  先打开Anaconda的 Anaconda Prompt 输入

 conda install Scrapy

  如图所示表示安装成功:

lovebet爱博体育官网 1lovebet爱博体育官网 2

Scrapy安装

  Scrapy的装置有多智,它支持Python2.7版与以上要是Python3.3版本及以上。下面的话py3环境下,scrapy的安装过程。

  Scrapy依赖的仓库比较多,至少用依赖库Twisted 14.0,lxml
3.4,pyOpenSSL
0.14。在不同平台环境又不均等,所以于装置前确保先把有些基本库安装好,尤其是Windows。

二、Windows

一、Anaconda

  这种方式是一致栽比较简单的装置scrapy的章程(尤其对Windows来说),你得下该措施安装。也可选用下文中专用平台的装方式。

  Anaconda是含了常用的数目科学库的Python发行本,如果没设置,可以到官网https://www.continuum.io/downloads下载对应平台的包安装。

  如果都安装了,可以通过conda命令安装scrapy。

  安装如下:

  先打开Anaconda的 Anaconda Prompt 输入

 conda install Scrapy

  如图所示表示安装成功:

  lovebet爱博体育官网 3lovebet爱博体育官网 4

1.安装lxml

  最好之装方式是由此wheel文件来装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,这个网站确实是windows用户的福音,基本上python的库里面都生,称他为python万能库网站。从该网站找到lxml的系文件(ctrl+F),假如是python3.5版,windows
64个系统,那就找到 lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
这个文件下载,通过pip安装。

  lovebet爱博体育官网 5

  下载后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
#如果是python2版本,pip3改为pip2

  即可成功lxml的装,其他文件替换文件称即可。

 

2.安装pyOpenSSL

  官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,下载
.whl文件,安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

二、Windows

3.安装Twisted

  同理,从python万能网站上下载 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 安装即可。假如是python3.5版,windows
64各系统,那就算找到 Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
 这个文件下载,通过pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl 

1.安装lxml

  最好之安装方式是通过wheel文件来设置,http://www.lfd.uci.edu/~gohlke/pythonlibs/,这个网站真的是windows用户的福音,基本上python的库里面都有,称他为python万能库网站。从该网站找到lxml的相关文件(ctrl+F),假如是python3.5版本,windows
64各项系统,那就是找到 lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
这个文件下载,通过pip安装。

  lovebet爱博体育官网 6

  下载后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
#如果是python2版本,pip3改为pip2

  即可形成lxml的安,其他文件替换文件称即可。

4.安装pywin32

  从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下充斥对承诺版本的装置包安装即可。

2.安装pyOpenSSL

  官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL\#downloads,下载
.whl文件,安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

5.安装Scrapy

  最后安装Scrapy即可,依然采用pip,命令如下:

pip3 install Scrapy

3.安装Twisted

  同理,从python万能网站上下载 http://www.lfd.uci.edu/~gohlke/pythonlibs/\#twisted 安装即可。假如是python3.5版,windows
64员系统,那即便找到 Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
 这个文件下载,通过pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl 

三、CentOS、RedHat、Fedora

  依赖库安装,确保有须的类库已经设置,运行如下命令:

sudo yum groupinstall development tools
sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssldevel
pip3 install Scrapy

4.安装pywin32

  从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下充斥对许版本的安包安装即可。

四、Ubuntu、Debian、Deepin

  依赖库安装,确保有必须的类库已经设置,运行如下命令:

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev 

pip3 install Scrapy

5.安装Scrapy

  最后安装Scrapy即可,依然采用pip,命令如下:

pip3 install Scrapy

五、Mac OS

  依赖库安装,在Mac上构建Scrapy的借助库需要C编译器以及支出头文件,他一般由Xcode提供,运行如下命令安装即可:

xcode-select --install
pip3 install Scrapy

  验证:

  安装后,在指令执行输入scrapy,如果出现仿佛下方的结果,那么久恭喜你安装成功scrapy。

  lovebet爱博体育官网 7

三、CentOS、RedHat、Fedora

  依赖库安装,确保有必的类库已经设置,运行如下命令:

sudo yum groupinstall development tools
sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssldevel
pip3 install Scrapy

六、常见错误

  • pkg_resources.VersionConflict: (six 1.5.2
    (/usr/lib/python3/dist-packages),Requirement.parse(‘six>=1.6.0’))
    six包版本过低,six包是一个供兼容Python2和3底库房,升级six包即可。

    sudo pip3 install -U six
    
  • c/_cffi_backend.c:15:17: fatal error:
    ffi.h: No such file or directory
    缺少Libffi这个库房,什么是libffi?“FFI”的人名是Foreign Function
    Interface,通常指的凡同意以同一种植语言编写的代码调用另一样栽语言的代码。而Linffi库只是提供了无与伦比底部的、与架构相关的、完整的“FFI”。
    安装:
      Ubuntu、Debian: sudo apt-get install
    build-essential libssl-dev libffi-dev python3-dev

          CentOS、RedHat:sudo yum
    install gcc libffi-devel python-devel openssl-devel

  • ImportError: No module named ‘cryptography ‘
    及时是紧缺加密之连锁组件,利用pip安装即可。

    sudo pip3 install cryptography
    
  • ImportError: No module named ‘packaging
    缺少packaging这个包,它提供了Python包的主干作用。利用pip安装即可。

    sudo pip3 install packaging
    
  • ImportError: No module named ‘appdirs’
    缺少appdirs这个保险,它之所以来确定文件目录,利用pip单独安装即可。

    sudo pip3 install appdirs
    

作者:今孝
出处:http://www.cnblogs.com/jinxiao-pu
本文版权归作者和博客园共有,欢迎转载,但未经作者同意要保留这个段子声明,且以篇章页面明显位置于来原文连接。

四、Ubuntu、Debian、Deepin

  依赖库安装,确保有必的类库已经设置,运行如下命令:

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev 

pip3 install Scrapy

五、Mac OS

  依赖库安装,在Mac上构建Scrapy的仗库需要C编译器以及开发头文件,他一般由Xcode提供,运行如下命令安装即可:

xcode-select --install
pip3 install Scrapy

  验证:

  安装后,在命令执行输入scrapy,如果起类似下方的结果,那么久恭喜你安装成功scrapy。

  lovebet爱博体育官网 8

六、常见错误

  • pkg_resources.VersionConflict: (six 1.5.2
    (/usr/lib/python3/dist-packages),Requirement.parse(‘six>=1.6.0’))
    six包版本过小,six包是一个资兼容Python2和3的仓库,升级six包即可。
    sudo pip3 install -U six
  • c/_cffi_backend.c:15:17: fatal error:
    ffi.h: No such file or directory
    缺少Libffi这个库房,什么是libffi?“FFI”的姓名是Foreign Function
    Interface,通常指的是同意为相同种植语言编写的代码调用另一样栽语言的代码。而Linffi库只是供了太底部的、与架构相关的、完整的“FFI”。
    安装:
      Ubuntu、Debian: sudo apt-get install
    build-essential libssl-dev libffi-dev python3-dev

          CentOS、RedHat:sudo yum
    install gcc libffi-devel python-devel openssl-devel

  • ImportError: No module named ‘cryptography ‘
    马上是缺少加密lovebet爱博体育官网底有关组件,利用pip安装即可。

    sudo pip3 install cryptography
  • ImportError: No module named ‘packaging
    缺乏packaging这个保险,它提供了Python包之主干职能。利用pip安装即可。

    sudo pip3 install packaging
    
  • ImportError: No module named ‘appdirs’
    缺少appdirs这个包,它之所以来规定文件目录,利用pip单独安装即可。

    sudo pip3 install appdirs
    

作者:今孝
出处:http://www.cnblogs.com/jinxiao-pu
正文版权归作者和博客园共有,欢迎转载,但未经作者同意要保留这个段子声明,且以文章页面明显位置于来原文连接。

http://www.bkjia.com/Pythonjc/1205162.htmlwww.bkjia.comtruehttp://www.bkjia.com/Pythonjc/1205162.htmlTechArticleScrapy的安装——–Windows、linux、mac等操作平台,windows操作linux工具
Scrapy安装
Scrapy的安装有多种智,它支持Python2.7本和以上或是Pytho…

相关文章