Scrapyd 与 ScrapydWeb：一键部署、启动、日志监控

📂 所属阶段：第六阶段 — 运维与监控（工程化篇）

1. 安装 Scrapyd

pip install scrapyd scrapydweb

# 启动 Scrapyd
scrapyd

# 启动 ScrapydWeb
scrapydweb

2. 部署爬虫

# 打包项目
cd myproject
scrapyd-deploy -p myproject

# 查看已部署的爬虫
curl http://localhost:6023/listspiders.json?project=myproject

# 启动爬虫
curl http://localhost:6023/schedule.json -d project=myproject -d spider=example

3. 监控面板

访问 http://localhost:5000
- 查看爬虫状态
- 查看日志
- 启动/停止爬虫
- 查看统计数据

4. 小结

Scrapyd 优势：

1. 一键部署：简化部署流程
2. 远程控制：HTTP API
3. 日志管理：集中查看日志
4. 监控面板：实时监控

工作流：
1. 开发爬虫
2. 打包项目
3. 部署到 Scrapyd
4. 通过 ScrapydWeb 监控

💡 记住：Scrapyd 是爬虫运维的标准工具。掌握它，你就掌握了爬虫的生命周期管理。

🔗 扩展阅读