pyspiderall会遇到的诸多拦路虎！（Python3.7）

  • Z时代
  • 2024-01-10
  • 分类：综合

编程

pyspider all的诸多问题

情形1：

ValueError: Invalid configuration: - Deprecated option "domaincontroller": use "http_authenticator

成功安装pyspider以后，运行pyspider all以后会有上面的问题；

解决办法：

在pyspider的安装包中，找到webui文件夹，然后找到webdav.py文件，找到下面的代码："domaincontroller": NeedAuthController(app),

修改成如下：

 "http_authenticator":{
 "HTTPAuthenticator":NeedAuthController(app),
 }

情形2：

涉及async的错误提示 SyntaxError: invalid syntax

原因：

　　Python 3.5中引入了async和await，在在Python 3.7中成为关键字。所以要替换一下关键字咯。

解决办法：

  1. 降低Python的版本，

  2. 根据提示路径把文件里面的async全部换成async_,

    • 一共三个文件

      • PythonLibsite-packagespyspiderun.py

      • PythonLibsite-packagespyspiderfetcher ornado_fetcher.py

      • Libsite-packagespyspiderwebuiapp.py

但是 ！！！注意：只替换名为async 的变量或参数名。不要图省事选择“全部替换” 文件tornado_fetcher.py中如果全部替换是17处，便会报错

from tornado.curl_httpclient import CurlAsyncHTTPClient
from tornado.simple_httpclient import SimpleAsyncHTTPClient

还有下面两处引用也不要修改！！！这个很重要

情形3：

 

from werkzeug.wsgi import DispatcherMiddleware
ImportError: cannot import name DispatcherMiddleware

原因：

  1. 没有安装werkzeug

  2. werkzeug的版本为1.0.0，这个版本中没有DispatcherMiddleware方法，所以降低版本可以正常启动了，

 解决办法：

python -m pip install werkzeug==0.16.1 #安装0.16.1版本`

情形4：（我没遇到 手动滑稽）

Deprecated option ‘domaincontroller’: use ‘domain_controller’ instead.

原因：

WsgiDAV发布了版本 pre-release 3.x导致的，所以只要把版本降下来就好了。

解决办法：

将wsgidav替换为2.4.1

python -m pip install wsgidav==2.4.1

 

成功截图：

访问 localhost:5000如下

 

 

 

以上是 pyspiderall会遇到的诸多拦路虎！（Python3.7） 的全部内容， 来源链接： utcz.com/z/515156.html

回到顶部