#现代 Selenium 爬虫教程 (2024)

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# ✅ 现代初始化方式：自动下载并匹配驱动版本
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")   # 窗口最大化，方便定位元素
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=options)

try:
    driver.get("https://www.baidu.com")
    print(f"页面标题：{driver.title}")   # 输出：百度一下，你就知道
finally:
    driver.quit()   # 无论是否出错都要关闭，避免残留进程

from selenium.webdriver.common.by import By

# 推荐优先级：ID > NAME > CSS_SELECTOR > XPATH
search_box = driver.find_element(By.ID, "kw")
search_btn = driver.find_element(By.CSS_SELECTOR, "#su")

# 基础交互
search_box.send_keys("Selenium 4 爬虫")  # 模拟打字
search_box.clear()                       # 清空输入框
search_box.send_keys("Python 爬虫")      # 重新输入
search_btn.click()                       # 点击“百度一下”

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

try:
    # 等待搜索结果的第一条链接变为可点击，最多等 10 秒
    first_result = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, "#content_left h3 a"))
    )
    first_result.click()
finally:
    driver.quit()

# 1️⃣ 切换到 iframe（三种方式：ID/NAME、元素对象、索引）
iframe = driver.find_element(By.ID, "login-frame")
driver.switch_to.frame(iframe)
# 在 iframe 里操作
driver.find_element(By.NAME, "username").send_keys("test")
# 务必记得回到主文档！
driver.switch_to.default_content()

# 2️⃣ 切换到新打开的窗口
main_window = driver.current_window_handle   # 记录当前句柄
driver.find_element(By.LINK_TEXT, "新标签页链接").click()
# 遍历所有句柄，切换到不是主窗口的那一个
for handle in driver.window_handles:
    if handle != main_window:
        driver.switch_to.window(handle)
        break
# 处理完新窗口后可以关闭它，再切回主窗口
driver.close()
driver.switch_to.window(main_window)

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

options = webdriver.ChromeOptions()

# 1. 隐藏自动化标签
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)

# 2. 伪装成真实用户的 User‑Agent（也可搭配 fake_useragent 库随机化）
options.add_argument(
    "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
    "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36"
)

service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=options)

# 3. 注入脚本：覆盖 navigator.webdriver 等检测属性
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
        Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined
        });
        Object.defineProperty(navigator, 'plugins', {
            get: () => [1, 2, 3, 4, 5]
        });
    """
})

from tenacity import retry, stop_after_attempt, wait_fixed
from selenium.common.exceptions import TimeoutException, NoSuchElementException

# 对常见的元素异常自动重试 3 次，每次间隔 2 秒
@retry(
    stop=stop_after_attempt(3),
    wait=wait_fixed(2),
    retry=retry_if_exception_type((TimeoutException, NoSuchElementException))
)
def click_login_button(driver):
    driver.find_element(By.ID, "login-btn").click()

# 使用起来就像普通函数一样
click_login_button(driver)

options = webdriver.ChromeOptions()
options.add_argument("--headless=new")                         # 新•无头模式
options.add_argument("--window-size=1920,1080")                # 无头模式必须指定窗口大小
options.add_argument("--blink-settings=imagesEnabled=false")   # 禁用图片（节省大量带宽）
options.add_argument("--disable-dev-shm-usage")                # 解决 Docker/Linux 内存限制
options.add_argument("--no-sandbox")                           # 同上，服务端运行必备

import requests
from selenium import webdriver

# 1. 先用 Selenium 完成登录，获取 Cookies
driver = webdriver.Chrome(service=service, options=options)
try:
    driver.get("https://需要登录的网站.com")
    # …… 执行登录操作（输入用户名密码、点击登录、等待跳转）……
    # 将 Cookies 格式化为 requests 可用的字典
    cookies = {c["name"]: c["value"] for c in driver.get_cookies()}
finally:
    driver.quit()

# 2. 后续通过 requests 携带 Cookies 高速抓取数据
session = requests.Session()
session.cookies.update(cookies)
response = session.get("https://需要登录的网站.com/api/data")
print(response.json())   # 直接处理 JSON 数据，效率拉满