Google Colab で、Base model を Instruct model へとチューニングする

• モデル・トークナイザー設定・質問設定
• 必要なライブラリのインストール
  
• トークナイザーとモデルの準備
• チューニング前の状態を確認 （質問に、回答ではなく続きを書いてしまうような文章がでてしまうことを確認する）
• データセットの読み込み読み込み
• データセットをinputが空の要素のみ5000個でフィルタリング
• 終端・パディングトークンの確認
• プロンプトを作成する関数宣言
• 学習の実行・モデル保存
• モデルの準備
• プロンプトの準備＆推論の実行 （質問に、回答している形式になっていることを確認する）

!pip install transformers accelerators
!pip install trl peft datasets

• transformers
• accelerators
  
• trl
• peft
• datasets

from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
    modelname
)
model = AutoModelForCausalLM.from_pretrained(
    tokenizername,
    device_map="auto"
)

### Answer: 正解
### Answer: 日本は、2020年7月に東京オリンピック・パラリンピックが開催される。開催都市には、東京と埼玉が含まれ、オリンピックの閉会式が行われる日でもある。
### Answer: 正解
### Answer: 答え
### Answer: 東京

from datasets import load_dataset
dataset = load_dataset("kunishou/databricks-dolly-15k-ja")

train_dataset = dataset["train"].filter(lambda data: data["input"] == "").select(range(5000))

print(f"eos_token_id: {tokenizer.eos_token_id}")
print(f"eos_token: {tokenizer.eos_token}")
print(f"pad_token: {tokenizer.pad_token}")
print(f"pad_token_id: {tokenizer.pad_token_id}")

def formatting_prompts_func(example):
    output_texts = []
    for i in range(len(example['instruction'])):
        text = f"### Question: {example['instruction'][i]}\n ### Answer: {example['output'][i]}{tokenizer.eos_token}"
        output_texts.append(text)
    return output_texts

from trl import SFTTrainer

# 学習の実行
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=train_dataset,
    max_seq_length=512,
    formatting_func=formatting_prompts_func,
)
trainer.train()

# モデルの保存
trainer.save_model("output")

tuned_model = AutoModelForCausalLM.from_pretrained(
    "./output",
    device_map="auto"
)

import torch

# プロンプトの準備
prompt = f"### User: {question}\n ### Answer:"

# 推論の実行
for i in range(5):
    inputs = tokenizer(prompt, return_tensors="pt").to(tuned_model.device)
    with torch.no_grad():
        tokens = tuned_model.generate(
            **inputs,
            max_new_tokens=64,
            do_sample=True,
            temperature=0.7,
            top_p=0.9,
            repetition_penalty=1.05,
            pad_token_id=tokenizer.pad_token_id,
        )
    output = tokenizer.decode(tokens[0], skip_special_tokens=True)
    print(output)
    print("----")

### User: 日本の首都は
### Answer: シンガポール
----
### User: 日本の首都は
### Answer: ニューヨーク、ロサンゼルス、サンフランシスコ、シアトル
----
### User: 日本の首都は
### Answer: 茨城県
----
### User: 日本の首都は
### Answer: オーストラリア
----
### User: 日本の首都は
### Answer: シンガポール、タイ、オランダ、ドイツ、スイス、スペイン、イギリス
----