mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
140 文字
1 分
DockerでWin11上のpyspiderを動かす
2024-01-02

Win11で PySpider のインストール中に問題が発生し、複数のエラーが出ました。

公式サイトには Docker を使ったインストール方法があることが分かりました。

Docker で直接#

# mysql
docker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest
# rabbitmq
docker run --name rabbitmq -d rabbitmq:latest
# phantomjs
docker run --name phantomjs -d binux/pyspider:latest phantomjs
# result worker
docker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker
# processor, run multiple instance if needed.
docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor
# fetcher, run multiple instance if needed.
docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc
# scheduler
docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler
# webui
docker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webui

Docker Compose の使用#

services:
phantomjs:
image: binux/pyspider:latest
command: phantomjs
result:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: result_worker
processor:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: processor
fetcher:
image: binux/pyspider:latest
external_links:
- rabbitmq
links:
- phantomjs
command : fetcher
scheduler:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: scheduler
webui:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
links:
- scheduler
- phantomjs
command: webui
ports:
- "5000:5000"

その後、実行するだけです。
docker-compose up -d

起動に成功した後、もしアクセス http://localhost<5000>/ にアクセスして、以下の内容が表示されれば PySpider の起動に成功したことを示します。

202401022235683.png

共有

この記事が役に立ったときは、ぜひ他の人に共有してください!

DockerでWin11上のpyspiderを動かす
https://dreaife.tokyo/jp/posts/docker-pyspider-win/
著者
dreaife
公開日
2024-01-02
ライセンス
CC BY-NC-SA 4.0

一部の情報は古い可能性があります

関連した投稿 スマート
1
Pythonクローラー環境構築
spider Pythonクローラー環境の構築には、Python 3、リクエストライブラリ(requests、seleniumなど)、解析ライブラリ(lxml、beautifulsoup4など)、データベース(MySQL、MongoDBなど)、保存用ライブラリ(PyMySQL、PyMongoなど)、Webライブラリ(Flask、Tornadoなど)、アプリクローリング用ツール(mitmproxy、appiumなど)、クローラーフレームワーク(pyspider、scrapyなど)の導入が含まれます。各ライブラリのインストールコマンドと注意点も詳しく説明しています。
2
Docker入門
infra Dockerは、アプリケーションと依存関係を分離されたコンテナにパッケージ化することで、環境差異や依存関係の衝突を避け、マイクロサービスのデプロイ問題を解決する技術です。仮想マシンと比べて起動が速く、リソース使用量も少ないのが特徴です。Dockerのアーキテクチャはイメージとコンテナで構成され、Docker Hubでイメージを共有・取得できます。基本操作にはイメージ/コンテナの作成・管理や、データ永続化とホスト分離のためのボリューム利用が含まれます。Docker Composeを使うと分散アプリケーションのデプロイを簡素化できます。
3
Xでの市場認識に関する個人的なまとめ
market 複雑系とゲーム理論の観点から、市場の機能、感情の再帰性、通貨価値を支えるコンセンサスの内在的な論理を整理し、短期的な変動に惑わされず、市場予想とインフレ波及の仕組みを深く理解できるよう読者を導きます。
4
EOA向けのEVMウォレットログイン画面
WEB3 EVM/EOAウォレットログインの実装例をもとに、connect wallet、SIWE形式メッセージ、wagmi署名、nonce、バックエンド検証を整理し、アドレス接続と署名による所有権証明を分ける理由を解説します。
5
EOAウォレットのオンチェーン基本操作について
WEB3 Web3ウォレットにおけるオンチェーンの主要操作を素早く習得。EOAとHDウォレットの作成原理、ニーモニック生成とBIP派生プロセスを取り上げ、SIWEとEIP-712によるオンチェーン検証、さらにトランザクションの構築・署名・ブロードキャストまでの完全なサイクルを深く解説し、ウォレットの基礎ロジックの理解を助けます。

目次