目录

一、安装Pyspider的准备

1、wheel的安装

2、pycurl的安装

系统位数的查看

3、安装PhantomJS

二、安装PySpider

三、修改文件

(1)、修改run.py

(2)、修改tornado_fetcher.py

(3)、修改app.py

(4)、修改webdav.py

编辑

(5)、修改base_handler.py

结果

参考材料


一、安装Pyspider的准备

安装 wheel、pycurl

1、wheel的安装

pip install wheel

2、pycurl的安装

Archived: Python Extension Packages for Windows - Christoph Gohlke

Android 集成Python模块 androidhelper库python3_python

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl

用pip或在PyCharm下是无法安装的。点击上方的链接选择对应你的Python版本安装。

Android 集成Python模块 androidhelper库python3_开发语言_02

第三个横杠后的cp*为你的Python版本号,win**是你的系统位数。

系统位数的查看

到cmd下输入:

python

Android 集成Python模块 androidhelper库python3_开发语言_03

下载好后到cmd内(install后是pycurl文件的地址)。

pip install pycurl-7.45.1-cp39-cp39-win_amd64.whl

3、安装PhantomJS

Download PhantomJS

Android 集成Python模块 androidhelper库python3_python

https://phantomjs.org/download.html

你是什么系统就下载对应的系统

Android 集成Python模块 androidhelper库python3_开发语言_05

Android 集成Python模块 androidhelper库python3_ide_06

下载好后,进入phantomjs-2.1.1-windows\bin,将里面的phantomjs.exe复制到Python的安装目录下。如果你不知道自己Python安装在哪里,到cmd下输入:where python

 

Android 集成Python模块 androidhelper库python3_ide_07

 或者你也可以到PyCharm下查看Python的位置。

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_08

Android 集成Python模块 androidhelper库python3_ide_09

将phantomjs.exe文件复制到Python的目录下。

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_10

二、安装PySpider

在cmd下输入:

pip install pysider

我这里是已经安装好,当你第一次安装时,安装好后最后一行会显示:Success……

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_11

三、修改文件

因为PySpider已经停止维护,所以在3.6版本后的Python有些许不同。

需要修改五个文件:

../python3.*/Lib/site-packages/pyspider/run.py
../python3.*/Lib/site-packages/pyspider/fetcher/tornado_fetcher.py

../python3.*/Lib/site-packages/pyspider/webui/app.py

../python3.*/Lib/site-packages/pyspider/webui/webdav.py

../Python3*/Lib/site-packages/pyspider/libs/base_handler.py

Android 集成Python模块 androidhelper库python3_开发语言_12

(1)、修改run.py

原先这里时async,黄色圈出来的是我已经修改后的,但文件内不止这一条需要修改。

按住 Cltr + F 利用查找功能,查找全部为:async的内容,将其更改为async_1或其他你自定义名称(但要确保之后的async也更改为同样内容!!!)

Android 集成Python模块 androidhelper库python3_python_13

(2)、修改tornado_fetcher.py

也同修改run.py一样,将async修改。(要确保修改的async同你前面修改的是同样内容!!!)

Android 集成Python模块 androidhelper库python3_ide_14

(3)、修改app.py

同上

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_15

(4)、修改webdav.py

将第18行的 from .app import app修改为:

from app import app

Android 集成Python模块 androidhelper库python3_python_16

再到最后一行,将以下行给注释,图片中为绿色区域。

'provider_mapping': {
         '/': ScriptProvider(app)
     },
    'domaincontroller': NeedAuthController(app),

再将以下行添加到上面注释行下方。

'http_authenticator': {
        'HTTPAuthenticator':NeedAuthController(app),
    },

(5)、修改base_handler.py

在文件开头导入math库,同时将fractions修改为math。

import math

Android 集成Python模块 androidhelper库python3_开发语言_17

修改前:

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_18

修改后:

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_19

以上关于PySpider安装大功告成。

在cmd下输入:pyspider 或 pyspider all

但PySpider存在不稳定,需要多次尝试。

成功开启后,在浏览器端输入:

127.0.0.1:5000

结果

Android 集成Python模块 androidhelper库python3_Android 集成Python模块_20