目录
一、安装Pyspider的准备
1、wheel的安装
2、pycurl的安装
系统位数的查看
3、安装PhantomJS
二、安装PySpider
三、修改文件
(1)、修改run.py
(2)、修改tornado_fetcher.py
(3)、修改app.py
(4)、修改webdav.py
编辑
(5)、修改base_handler.py
结果
参考材料
一、安装Pyspider的准备
安装 wheel、pycurl
1、wheel的安装
pip install wheel
2、pycurl的安装
用pip或在PyCharm下是无法安装的。点击上方的链接选择对应你的Python版本安装。
第三个横杠后的cp*为你的Python版本号,win**是你的系统位数。
系统位数的查看
到cmd下输入:
python
下载好后到cmd内(install后是pycurl文件的地址)。
pip install pycurl-7.45.1-cp39-cp39-win_amd64.whl
3、安装PhantomJS
Download PhantomJShttps://phantomjs.org/download.html
你是什么系统就下载对应的系统
下载好后,进入phantomjs-2.1.1-windows\bin,将里面的phantomjs.exe复制到Python的安装目录下。如果你不知道自己Python安装在哪里,到cmd下输入:where python
或者你也可以到PyCharm下查看Python的位置。
将phantomjs.exe文件复制到Python的目录下。
二、安装PySpider
在cmd下输入:
pip install pysider
我这里是已经安装好,当你第一次安装时,安装好后最后一行会显示:Success……
三、修改文件
因为PySpider已经停止维护,所以在3.6版本后的Python有些许不同。
需要修改五个文件:
../python3.*/Lib/site-packages/pyspider/run.py
../python3.*/Lib/site-packages/pyspider/fetcher/tornado_fetcher.py../python3.*/Lib/site-packages/pyspider/webui/app.py
../python3.*/Lib/site-packages/pyspider/webui/webdav.py
../Python3*/Lib/site-packages/pyspider/libs/base_handler.py
(1)、修改run.py
原先这里时async,黄色圈出来的是我已经修改后的,但文件内不止这一条需要修改。
按住 Cltr + F 利用查找功能,查找全部为:async的内容,将其更改为async_1或其他你自定义名称(但要确保之后的async也更改为同样内容!!!)
(2)、修改tornado_fetcher.py
也同修改run.py一样,将async修改。(要确保修改的async同你前面修改的是同样内容!!!)
(3)、修改app.py
同上
(4)、修改webdav.py
将第18行的 from .app import app修改为:
from app import app
再到最后一行,将以下行给注释,图片中为绿色区域。
'provider_mapping': {
'/': ScriptProvider(app)
},
'domaincontroller': NeedAuthController(app),
再将以下行添加到上面注释行下方。
'http_authenticator': {
'HTTPAuthenticator':NeedAuthController(app),
},
(5)、修改base_handler.py
在文件开头导入math库,同时将fractions修改为math。
import math
修改前:
修改后:
以上关于PySpider安装大功告成。
在cmd下输入:pyspider 或 pyspider all
但PySpider存在不稳定,需要多次尝试。
成功开启后,在浏览器端输入:
127.0.0.1:5000