#使用chardet检测文本编码的完整指南

import chardet

# 测试1：纯ASCII文本
ascii_data = b"Hello, chardet! This is a test."
ascii_result = chardet.detect(ascii_data)
print("纯ASCII检测结果：", ascii_result)
# 输出: 纯ASCII检测结果： {'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

# 测试2：GBK编码的中文古诗
gbk_data = "离离原上草，一岁一枯荣".encode("gbk")
gbk_result = chardet.detect(gbk_data)
print("GBK中文检测结果：", gbk_result)
# 输出: GBK中文检测结果： {'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}

# 测试3：UTF-8编码的同一段中文
utf8_data = "离离原上草，一岁一枯荣".encode("utf-8")
utf8_result = chardet.detect(utf8_data)
print("UTF-8中文检测结果：", utf8_result)
# 输出: UTF-8中文检测结果： {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

# 测试4：EUC-JP编码的日文新闻
eucjp_data = "最新の主要ニュース：今日の天気は晴れ".encode("euc-jp")
eucjp_result = chardet.detect(eucjp_data)
print("EUC-JP日文检测结果：", eucjp_result)
# 输出: EUC-JP日文检测结果： {'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}

from chardet.universaldetector import UniversalDetector

def detect_large_file_encoding(file_path: str, max_lines: int = 1000) -> dict:
    """
    渐进式检测大文件编码
    :param file_path: 文件路径
    :param max_lines: 最多检测的行数（防止内存溢出，也防止无效内容太多）
    :return: 包含encoding、confidence、language的字典
    """
    detector = UniversalDetector()
    with open(file_path, "rb") as f:
        line_count = 0
        for line in f:
            # 逐行喂给检测器
            detector.feed(line)
            line_count += 1
            
            # 两个停止条件：检测器觉得足够确定了、或者超过了设定的行数
            if detector.done or line_count >= max_lines:
                break
    # 一定要调用close()才能得到最终结果
    detector.close()
    return detector.result

# 示例调用
# 假设当前目录有一个叫"old_book.txt"的老旧中文小说
if __name__ == "__main__":
    result = detect_large_file_encoding("old_book.txt")
    print(f"检测到的编码：{result['encoding']}")
    print(f"置信度：{result['confidence']:.2f}")
    print(f"推测语言：{result['language'] or '未知'}")

import chardet
from typing import Optional

def safe_decode(byte_data: bytes, fallback_encodings: Optional[list[str]] = None) -> str:
    """
    安全的自动解码函数
    :param byte_data: 要解码的二进制数据
    :param fallback_encodings: 自定义兜底编码列表，默认是['utf-8', 'gbk', 'gb18030', 'latin1']
    :return: 解码后的字符串
    """
    # 设置默认兜底编码（gb18030是GBK/GB2312的超集，覆盖范围最广，中文场景优先加）
    fallback_encodings = fallback_encodings or ["utf-8", "gbk", "gb18030", "latin1"]
    
    # 第一步：用chardet检测
    detect_result = chardet.detect(byte_data)
    candidate = detect_result["encoding"]
    
    # 优先尝试检测到的编码（只有置信度>0.7才优先用，否则直接走兜底）
    if candidate and detect_result["confidence"] > 0.7:
        try:
            return byte_data.decode(candidate)
        except UnicodeDecodeError:
            pass
    
    # 第二步：遍历兜底编码
    for enc in fallback_encodings:
        try:
            return byte_data.decode(enc)
        except UnicodeDecodeError:
            continue
    
    # 最后一步：实在不行就用errors='replace'，保证程序不会崩溃
    return byte_data.decode("utf-8", errors="replace")

# 测试：模拟一个编码边界被截断的GBK片段
truncated_gbk = b"\xc0\xe4\xc0\xe4\xd4\xad\xc9"  # 只有"离离原上"的前三个半汉字
decoded_text = safe_decode(truncated_gbk)
print(decoded_text)  # 输出: 离离原�（最后一个是替换字符，总比崩溃强）

# 直接替换导入
import cchardet as chardet

# 简单用法
from charset_normalizer import from_bytes
result = from_bytes(b"some data").best()
print(result.encoding, result.confidence)