mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
73 字
1 分钟
基于docker在win11运行pyspider
2024-01-02

在win11中使用pyspider安装出现问题,发生多个报错 发现官网有用docker安装的方式

直接通过docker#

# mysql
docker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest
# rabbitmq
docker run --name rabbitmq -d rabbitmq:latest
# phantomjs
docker run --name phantomjs -d binux/pyspider:latest phantomjs
# result worker
docker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker
# processor, run multiple instance if needed.
docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor
# fetcher, run multiple instance if needed.
docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc
# scheduler
docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler
# webui
docker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webui

使用docker-compse#

services:
phantomjs:
image: binux/pyspider:latest
command: phantomjs
result:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: result_worker
processor:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: processor
fetcher:
image: binux/pyspider:latest
external_links:
- rabbitmq
links:
- phantomjs
command : fetcher
scheduler:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: scheduler
webui:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
links:
- scheduler
- phantomjs
command: webui
ports:
- "5000:5000"

然后运行即可
docker-compose up -d
运行成功后,如果访问http://localhost<5000>/出现下面内容,则说明pyspider运行成功。

分享

如果这篇文章对你有帮助,欢迎分享给更多人!

基于docker在win11运行pyspider
https://dreaife.tokyo/docker-pyspider-win/
作者
dreaife
发布于
2024-01-02
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

相关文章 智能推荐
1
python爬虫环境配置
spider 配置Python爬虫环境包括安装Python3、请求库(如requests和selenium)、解析库(如lxml和beautifulsoup4)、数据库(如MySQL和MongoDB)、存储库(如PyMySQL和PyMongo)、web库(如Flask和Tornado)、app爬取库(如mitmproxy和appium)以及爬虫框架(如pyspider和scrapy)。每个库的安装命令和注意事项均有详细说明。
2
docker初识
infra Docker是一种解决微服务部署问题的技术,通过将应用及其依赖打包到隔离的容器中,避免了环境不一致和依赖冲突。Docker与虚拟机的主要区别在于性能和资源占用,Docker启动速度快且占用空间小。Docker架构包括镜像和容器,用户可以通过DockerHub共享和获取镜像。基本操作包括镜像和容器的创建、管理以及数据卷的使用,以实现数据的持久化和容器与宿主机的解耦。Docker Compose可以简化分布式应用的部署过程。
3
本人在x的一些关于市场认识的总结
market 从复杂系统与博弈论出发,梳理市场运行、情绪反身性与货币价值共识的内在逻辑,帮助读者穿透短期波动,建立对市场预期与通胀传导的深层认知。
4
关于EOA钱包在链上的基础操作
WEB3 快速掌握Web3钱包在链上的核心操作。内容涵盖EOA与HD钱包的创建原理、助记词生成与BIP派生流程,深入剖析SIWE和EIP-712链上验证,以及交易构造、签名、广播的完整周期,助你理清钱包底层逻辑。
5
关于一次EOA钱包的签名验证及其相关内容
WEB3 本篇文章深入解析了以太坊 EOA 钱包一次签名验证的完整流程与背后数学原理。首先回顾了 secp256k1 曲线的有限域 Fₚ、椭圆曲线点群 E(Fₚ) 以及基点 G 与其阶 n 的基本概念,详细说明了点加法、点倍加和标量乘法的模 p 与模 n 计算方式。随后,文章通过实际的 SIWE(Sign‑In with Ethereum)场景,逐步展示了钱包在收到签名请求后如何生成 r/s/v 三元组,包括哈希计算、随机数 k 的生成、R 点的求取以及 r、s、v 的具体公式。接着,服务端如何利用已知的 r、s、v、消息哈希 e 和基点 G 逆向求解公钥 Q 的公式 Q = r⁻¹(sR − eG) 进行验证,并通过 keccak‑256 取后 20 字节得到钱包地址,实现无私钥泄露的所有权确认。文章还指出了 p 与 n 的区别、椭圆曲线离散对数问题的计算难度(约 2¹²⁸)以及当前量子计算对该安全性的潜在影响。整体内容为开发者提供了从理论到实现的完整参考,适合作为博客 SEO 摘要,提升相关关键词(如 “EOA 钱包签名验证”“secp256k1”“ECDSA”“SIWE”)的搜索可见性。

目录