get_dataset_split_names("ShengbinYue/DISC-Law-SFT"), \
get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
# 根据split_names返回的列表信息，可以在load_dataset指定split参数来加载特定数据集

(['train'], ['train', 'validation', 'test'])

configs1 = get_dataset_config_names("ShengbinYue/DISC-Law-SFT")
configs2 = get_dataset_config_names("PolyAI/minds14")
# 可以在load_data中指定name参数来加载特定的子数据集

(['all', 'cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN'], ['default'])

dataset1 = load_dataset("json", data_files="DISC-Law-SFT/DISC-Law-SFT-Pair-QA-released.jsonl", split="train")

dataset[0]
dataset[-1]
dataset[3:6]
dataset['input'][1]

iterable_dataset = load_dataset("json", data_files="DISC-Law-SFT/DISC-Law-SFT-Pair-QA-released.jsonl", split="train", streaming=True)

#iterable_dataset = dataset1.to_iterable_dataset()：这样创建也行

for example in iterable_dataset:
    print(example)
    break
    
{'id': 'legal_question_answering_0', 'input': '违章停车与违法停车是否有区别？', 'output': '对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，可以指出违法行为，并予以口头警告，令其立即驶离。机动车驾驶人不在现场或者虽在现场但拒绝立即驶离，妨碍其他车辆、行人通行的处二十元以上二百元以下罚款。现在人们大多是称作违法停车，因此在法律责任上也会更多一些，不要以为违反交通规章制度问题不大，不要认为违法停车是罚款而已。'}

# “获取 iterable_dataset 这个可迭代对象的第一个元素。”
# iterable_dataset：可迭代对象 (Iterable)
# iter(...)：获取迭代器 (Iterator)
# next(...)：从迭代器中取下一个元素

next(iter(iterable_dataset)), \
next(iter(iterable_dataset['id']))

({'id': 'legal_question_answering_0', 'input': '违章停车与违法停车是否有区别？', 'output': '对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，可以指出违法行为，并予以口头警告，令其立即驶离。机动车驾驶人不在现场或者虽在现场但拒绝立即驶离，妨碍其他车辆、行人通行的处二十元以上二百元以下罚款。现在人们大多是称作违法停车，因此在法律责任上也会更多一些，不要以为违反交通规章制度问题不大，不要认为违法停车是罚款而已。'}, 'legal_question_answering_0')

# 获取子集
list(iterable_dataset.take(3))
# list(iterable_dataset.take(3:6))迭代数据集不能这样进行这样切片

打印出来的内容是数据集的前三项

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

model_id = "./Qwen3-4B-Instruct-2507"

# 加载模型

# 特定的模型有特定的加载器，比如Qwen3是文笔生成模型，就用AutoModelForCausalLM，别的类型的模型像是分类之类的就用别的加载器
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    quantization_config=BitsAndBytesConfig(load_in_8bit=True),
    # 原模型的参数是16位的版本，这里为了减小硬件的压力使用BitsAndBytesConfig把16位精度的参数转化为8位
)

# 加载模型对应的分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 调用分词器进行分词
tokenizer(dataset1[0]['input'])

{'input_ids': [114952, 101531, 57218, 100872, 101531, 107189, 102665, 11319], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1]}

# 对整个数据集进行分词

def encode(examples):
    return tokenizer(examples["input"], examples["output"], truncation=True, padding="max_length")

dataset1 = dataset1.map(encode, batched=True,  batch_size=16) # 设置较小的batch_size，以减少并发处理的数据量，进而防止爆显存

class Item(BaseModel):
    name: str
    price: float
    is_offer: Union[bool, None] = None

@app.put("/items/{item_id}") # 使用注解器声明请求类型
async def update_item(item_id: int, item: Item):
    return {"item_price": item.price, "item_id": item_id}
    

def tokenize_dataset(dataset):
    return tokenizer(dataset["text"], padding="max_length", truncation=True) # 只有文本需要分词，标签是数字所以不能进行分词

dataset = dataset.map(tokenize_dataset)

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

training_args = TrainingArguments(
    output_dir="./distilbert-imdb-classify",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=2,

)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    processing_class=tokenizer,
    data_collator=data_collator,
)

3125/3125 03:08

{'eval_loss': 0.28910955786705017, 'eval_runtime': 188.3729, 'eval_samples_per_second': 132.715, 'eval_steps_per_second': 16.589, 'epoch': 2.0}

trainer.save_model("./my_sentiment_classifier")
tokenizer.save_pretrained("./my_sentiment_classifier")

mymodel = AutoModelForSequenceClassification.from_pretrained("./my_sentiment_classifier")
mytokenizer = AutoTokenizer.from_pretrained("./my_sentiment_classifier")
myclassifier = pipeline("sentiment-analysis", model=mymodel, tokenizer=mytokenizer)

results = myclassifier(["I like it", "I hate this movie", "I hate it", "what the fuck", "I hate this", "shit film"])

Device set to use cuda:0

[{'label': 'LABEL_1', 'score': 0.9973964691162109}, {'label': 'LABEL_0', 'score': 0.9931268692016602}, {'label': 'LABEL_1', 'score': 0.5851984620094299}, {'label': 'LABEL_0', 'score': 0.9392573833465576}, {'label': 'LABEL_0', 'score': 0.9865531325340271}, {'label': 'LABEL_0', 'score': 0.9954352974891663}]