#BERT家族详解：从双向编码器到主流变体及Hugging Face实战

def bert_vs_gpt_role():
    """
    BERT与GPT的应用定位对比
    """
    print("🔍 BERT（理解型选手）:")
    print("- Encoder-only 架构：每个词都能看到全句上下文")
    print("- 训练目标：MLM（完形填空） + NSP（判断句子是否连续）")
    print("- 特殊标记：[CLS]（代表整个句子的语义）、[SEP]（分隔两个句子）")
    print("- 擅长任务：文本分类、阅读理解、实体识别、语义相似度")
    
    print("\n✍️ GPT（生成型选手）:")
    print("- Decoder-only 架构：只能看到前面的词，自左向右生成")
    print("- 训练目标：标准语言模型（根据上文预测下一个词）")
    print("- 擅长任务：文章续写、对话生成、摘要生成")

bert_vs_gpt_role()

import random

def create_simple_mlm(text, mask_ratio=0.15, mask_token="[MASK]"):
    """
    模拟BERT的MLM掩码策略
    - 15%的词被选中进行掩码操作
    - 其中80%替换为[MASK]
    - 10%替换为随机词（增强模型辨别能力）
    - 10%保持不变（让模型不完全依赖特殊标记）
    """
    tokens = list(text)  # 简化：单字分词，实际BERT会使用更合理的分词器
    masked_tokens = tokens.copy()
    num_mask = max(1, int(len(tokens) * mask_ratio))
    mask_indices = random.sample(range(len(tokens)), num_mask)
    
    for idx in mask_indices:
        rand = random.random()
        if rand < 0.8:
            masked_tokens[idx] = mask_token
        elif rand >= 0.9:  # 10%随机换成另一个词
            masked_tokens[idx] = random.choice("中文自然语言处理很有趣")
        # 其余10%保持原词不变
    
    return "".join(masked_tokens), mask_indices

# 测试
original = "自然语言处理是AI的核心分支"
masked, pos = create_simple_mlm(original)
print(f"原文：{original}")
print(f"掩码：{masked}")
print(f"需要预测的位置：{pos}")

from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 加载中文BERT分类模型，这里假设是二分类任务
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")
model = BertForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=2)

# 准备数据
texts = ["这个手机续航超棒！", "买了就后悔，屏幕太暗"]
inputs = tokenizer(texts, padding=True, truncation=True, max_length=128, return_tensors="pt")
# 假设真实标签：1正面，0负面
inputs["labels"] = torch.tensor([1, 0])

# 前向传播（实际训练时还会计算损失并反向传播）
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=1)

print(f"预测情感：{predictions.tolist()}")  # 输出 [1, 0]

from transformers import pipeline

# 1. 中文情感分析
sentiment_clf = pipeline(
    "sentiment-analysis",
    model="uer/roberta-base-finetuned-chinanews-chinese"
)
print(sentiment_clf("今天的火锅太好吃了！"))
# 输出：[{'label': 'positive', 'score': 0.99...}]

# 2. 中文命名实体识别
ner = pipeline(
    "ner",
    model="ckiplab/bert-base-chinese-ner",
    aggregation_strategy="simple"  # 把同一个实体的多个token合并
)
print(ner("张三在腾讯深圳总部工作"))
# 输出：[{'entity_group': 'PERSON', 'word': '张三', ...}, {'entity_group': 'ORG', 'word': '腾讯', ...}]

from transformers import AutoTokenizer, AutoModel
from sklearn.metrics.pairwise import cosine_similarity
import torch

tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModel.from_pretrained("bert-base-chinese")

def get_embedding(text):
    """获取整句的语义向量（取[CLS]对应的输出）"""
    inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
    with torch.no_grad():
        outputs = model(**inputs)
    # [CLS] token 的 hidden state 位于序列的第一个位置
    return outputs.last_hidden_state[:, 0, :].numpy()

# 比较两个句子的相似度
text_a = "AI如何改变医疗？"
text_b = "人工智能对医疗行业的影响"
emb_a = get_embedding(text_a)
emb_b = get_embedding(text_b)

similarity = cosine_similarity(emb_a, emb_b)[0][0]
print(f"语义相似度：{similarity:.4f}")  # 输出一个接近1的值，说明句子高度相似