安装

Curl的安装和使用

curl不能支持https的问题

如何在Linux中安装pip

Anaconda使用总结

使用conda管理python环境

conda is a tool for managing and deploying applications, environments and packages.

所以，直接按照Scrapy的官方文档安装Anacoda和Scrapy就好了，并且官方建议使用virtualenv

遇到的错误

1
Fontconfig error: "/home/faiz/.config/fontconfig/conf.d/99-deepin.conf", line 1: Unsupported version '2.0'

暂时解决办法：将2.0改为1.0

其他参考

virtualenv简明教程

Scrapy 1.4 documentation

XPath 语法

使用命令行

在项目目录下运行:

1
scrapy crawl xxxxx

使用PyCharm

如果要用Pycharm作为开发调试工具的话可以在运行配置里进行如下配置：

  1. Run->Configuration页面：

    Script填你的scrapy的cmdline.py路径

    若是使用Anacoda安装，一般为：

    /home/faiz/anaconda2/lib/python2.7/site-packages/scrapy/cmdline.py

    若是使用pip安装，一般为：

    /usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py

  2. 然后在Scrpit parameters中填爬虫的名字，

    crawl xxxxx

  3. 最后是Working diretory，找到你的settings.py文件，填这个文件所在的目录。

  4. 按小绿箭头就可以愉快地调试了。