#Scrapy ImagesPipeline与FilesPipeline完全指南 - 多媒体资源下载与处理技术详解

# settings.py
ITEM_PIPELINES = {
    # 只下载图片
    # 'scrapy.pipelines.images.ImagesPipeline': 1,
    # 只下载文件
    # 'scrapy.pipelines.files.FilesPipeline': 1,
    # 图片+文件并存
    'scrapy.pipelines.images.ImagesPipeline': 1,
    'scrapy.pipelines.files.FilesPipeline': 2,
}

# settings.py - ImagesPipeline 相关配置
IMAGES_URLS_FIELD = 'image_urls'      # Item 中存放图片 URL 列表的字段名（默认值）
IMAGES_RESULT_FIELD = 'images'        # 下载完成后，图片信息写回的字段名（默认值）
IMAGES_STORE = './static/images'       # 图片保存的本地根目录（支持 S3、FTP 等 URI）
IMAGES_EXPIRES = 90                   # 图片缓存过期天数，过期后会重新下载（默认 90 天）
IMAGES_MIN_WIDTH = 100                # 宽度低于此值（px）的图片会被过滤
IMAGES_MIN_HEIGHT = 100               # 高度低于此值（px）的图片会被过滤
IMAGES_THUMBS = {                     # 自动生成指定尺寸的缩略图
    'small': (100, 100),
    'medium': (300, 300),
}

# settings.py - FilesPipeline 相关配置
FILES_URLS_FIELD = 'file_urls'        # Item 中存放文件 URL 列表的字段名（默认值）
FILES_RESULT_FIELD = 'files'          # 下载完成后，文件信息写回的字段名（默认值）
FILES_STORE = './static/files'         # 文件保存的本地根目录
FILES_EXPIRES = 90                    # 文件缓存过期天数

# items.py
import scrapy

class MediaItem(scrapy.Item):
    # 通用字段
    id = scrapy.Field()
    title = scrapy.Field()
    # 图片专用
    image_urls = scrapy.Field()   # 列表，每个元素为图片 URL
    images = scrapy.Field()       # 下载完成后，Pipeline 自动填充结果列表
    # 文件专用
    file_urls = scrapy.Field()    # 列表，每个元素为文件 URL
    files = scrapy.Field()        # 下载完成后，Pipeline 自动填充结果列表

# spiders/media_spider.py
import scrapy
from my_project.items import MediaItem

class ExampleSpider(scrapy.Spider):
    name = 'media_demo'
    start_urls = ['https://example.com/media-page']

    def parse(self, response):
        item = MediaItem()
        item['id'] = '123'
        item['title'] = '示例媒体包'

        # 提取所有产品图片的 src
        item['image_urls'] = response.css('.product-image::attr(src)').getall()

        # 提取所有文件下载链接
        item['file_urls'] = response.css('.download-link::attr(href)').getall()

        yield item

# pipelines.py
import scrapy
from scrapy.pipelines.images import ImagesPipeline
from itemadapter import ItemAdapter
from urllib.parse import urlparse
import time
import os

class CustomImagesPipeline(ImagesPipeline):

    def file_path(self, request, response=None, info=None, *, item=None):
        adapter = ItemAdapter(item)
        item_id = adapter.get('id', 'unknown')
        category = adapter.get('category', 'uncategorized')

        # 从 URL 提取原始文件名
        url_path = urlparse(request.url).path
        original_name = os.path.basename(url_path)
        if not original_name:
            original_name = 'image.jpg'

        timestamp = str(int(time.time()))
        return f"{category}/{timestamp}-{item_id}-{original_name}"

    def thumb_path(self, request, thumb_id, response=None, info=None, *, item=None):
        # 基于主图路径，生成缩略图路径，例如 xxx_small.jpg
        base_path = self.file_path(request, item=item)
        name, ext = os.path.splitext(base_path)
        return f"{name}_{thumb_id}{ext}"

class CustomImagesPipeline(ImagesPipeline):
    # 前面的 file_path、thumb_path 省略...

    def get_media_requests(self, item, info):
        adapter = ItemAdapter(item)
        # 可从 Item 里传入当前页面的 URL，作为 Referer
        referer = adapter.get('source_url', 'https://example.com')

        for url in adapter.get(self.images_urls_field, []):
            yield scrapy.Request(
                url,
                headers={
                    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36',
                    'Referer': referer,
                },
                meta={
                    'download_timeout': 60,  # 大文件可以适当加长超时
                }
            )

from PIL import Image

class CustomImagesPipeline(ImagesPipeline):
    # ... 其他方法

    def convert_image(self, image, size=None):
        # 处理透明通道：如果原图为 RGBA / LA / P，直接保持或转为 RGBA（WebP 支持透明）
        if image.mode in ('RGBA', 'LA'):
            pass  # 保持原样
        elif image.mode == 'P':
            image = image.convert('RGBA')
        else:
            # 如果不需要透明，也可以统一转 RGB，然后用白底填充（看需求）
            pass

        # 按需缩放
        if size:
            image = image.resize(size, Image.Resampling.LANCZOS)

        # 注意：这里不主动做格式转换，真正的格式由 file_path 中扩展名决定
        return image

def file_path(self, request, response=None, info=None, *, item=None):
    # ... 构造路径
    base_path = super().file_path(request, response, info, item=item)
    # 把原有扩展名统一替换为 .webp
    path_without_ext, _ = os.path.splitext(base_path)
    return path_without_ext + '.webp'

def media_failed(self, failure, request, info):
    self.logger.error(f'下载失败: {request.url} - {failure.value}')
    # 可选：将失败 URL 存入数据库或文件供后续重试

from hashlib import sha1

url_hash = sha1(request.url.encode()).hexdigest()[:8]
file_name = f"{timestamp}-{item_id}-{url_hash}-{original_name}"

IMAGES_EXPIRES = 36500   # 约 100 年

MAX_SIZE = 2048

def convert_image(self, image, size=None):
    # 限制最大尺寸
    if max(image.size) > MAX_SIZE:
        image.thumbnail((MAX_SIZE, MAX_SIZE), Image.Resampling.LANCZOS)
    
    # ... 其他处理
    return image

import os
from scrapy.pipelines.images import ImagesPipeline

class ThumbOnlyPipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        # results 是 [(success, image_info), ...] 的列表
        for ok, image_info in results:
            if ok:
                # 删除原图
                original_path = os.path.join(self.store.basedir, image_info['path'])
                if os.path.exists(original_path):
                    os.remove(original_path)
        return item