自动限速 (AutoThrottle)：人类行为模拟、频率调节

📂 所属阶段：第三阶段 — 攻防演练（中间件与反爬篇）

1. 启用 AutoThrottle

# settings.py
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 5
AUTOTHROTTLE_MAX_DELAY = 60
AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
AUTOTHROTTLE_DEBUG = True

2. 自定义限速

class ThrottleMiddleware:
    def process_request(self, request, spider):
        # 随机延迟
        import time
        import random
        time.sleep(random.uniform(1, 3))

3. 小结

限速的好处：

1. 避免被封
2. 模拟人类
3. 减少服务器压力

AutoThrottle：
- 自动调节并发
- 自动调节延迟
- 智能适应网站

💡 记住：限速不是浪费时间，而是保护你的爬虫。没有限速，你的爬虫会被秒杀。

🔗 扩展阅读

Scrapy AutoThrottle