📋 簡単ステップLLM作成マニュアル

📋 このマニュアルについて

このページではコードを1行も書きません。全ての操作はWebブラウザ上のクリック操作と、ターミナルへのコピペコマンドだけで完結します。プログラミング経験ゼロでも、このページの手順を上から順にこなすだけで、自分だけのLLMをHuggingFaceで公開できます。

所要時間の目安

必要なもの

• 💻 PC（GPU推奨だが、Google Colabを使えばなくても可）
• 📧 メールアドレス（Gmail推奨）
• 🌐 インターネット接続
• 💳 クレジットカード（Colab Pro契約する場合のみ。無料でも可）

完成イメージ

Step 1: アカウント登録

まず必要なサービスのアカウントを作ります。全て無料で始められます。

1-A. HuggingFace（必須）

モデルの配布・公開・検索が行えるAI版GitHubのようなサービスです。

1. ① ブラウザで huggingface.co にアクセスする
2. ② 画面右上の「Sign Up」ボタンをクリックする
3. ③ メールアドレスとパスワードを入力して登録する
4. ④ 届いたメールの認証リンクをクリックして認証完了する
5. ⑤ プロフィール設定（ユーザー名は後から変更できないので注意）

Access Token の作成（重要）

後ほどColabからHuggingFaceにアクセスするために必要です。

1. ① ログイン後、画面右上のアイコン → 「Settings」をクリック
2. ② 左メニューの「Access Tokens」をクリック
3. ③ 「New token」ボタンをクリック
4. ④ 名前を入力（例: colab-token）、権限を「Write」に設定
5. ⑤ 「Generate a token」をクリック
6. ⑥ 表示されたトークン（hf_xxxx...）をメモ帳にコピーして保存する

1-B. Google Colab（必須）

ブラウザ上でPythonコードを実行できるサービスです。GPUを無料で使えます。

1. ① colab.research.google.com にアクセスする
2. ② Googleアカウントでログインする（Gmailがあればそのまま使える）
3. ③ 「ファイル」→「新しいノートブック」でいつでも使えることを確認

1-C. Weights & Biases（推奨）

学習の進捗をグラフで可視化できるサービスです。なくても動きますが、あると便利です。

1. ① wandb.ai にアクセスして「Sign Up」をクリック
2. ② Googleアカウントまたはメールで登録
3. ③ ログイン後、画面右上のアイコン → 「User Settings」
4. ④ 「API keys」のセクションにある文字列をメモ帳にコピーして保存

Step 2: ベースモデルを選ぶ

LLMをゼロから作るのではなく、既に訓練された「ベースモデル」を土台にします。このベースモデルに自分のデータを追加学習（ファインチューニング）させます。

HuggingFaceでモデルを探す手順

1. ① HuggingFaceにログインして、上部ナビの「Models」タブをクリック
2. ② 左サイドバーの「Task」フィルターで「Text Generation」を選択
3. ③ 「Sort」を「Most Downloads」に変更
4. ④ 下記テーブルを参考にモデルをクリックして詳細を確認

初心者向けおすすめモデル

Llama系モデルのMeta申請手順

LlamaシリーズはMetaの利用規約への同意が必要です。

1. ① HuggingFaceで使いたいLlamaモデルのページを開く（例: meta-llama/Llama-3.2-1B）
2. ② ページ上部に「Access request」ボタンが表示されるのでクリック
3. ③ Metaの利用規約ページが開くので、名前・メールアドレスを入力して同意する
4. ④ 登録したメールアドレスに確認メールが届く
5. ⑤ 数時間〜1日後に「Access granted」メールが届けば申請完了

Step 3: 学習データを準備する

モデルに「何を学ばせるか」を決めるのが学習データです。HuggingFaceには大量の公開データセットがあり、コードなしでそのまま使えます。

HuggingFaceでデータセットを探す手順

1. ① HuggingFaceで上部ナビの「Datasets」タブをクリック
2. ② 左サイドバーの「Language」フィルターで「Japanese」を選択
3. ③ 気になるデータセットをクリックし、「Viewer」タブでデータの中身を確認
4. ④ 「instruction」「input」「output」の3列があるものを選ぶと扱いやすい

おすすめ日本語データセット

データの中身を確認する方法

1. ① HuggingFaceのデータセットページを開く
2. ② 上部のタブから「Viewer」をクリック
3. ③ 実際のデータ行がテーブル形式で表示される
4. ④ instruction（指示文）、input（入力）、output（期待する答え）の3列があればOK

Step 4: Google Colabを準備する

Google Colabはブラウザ上でコードを実行できる環境です。GPUも無料で使えます。ここからはColabのセルにコマンドをコピペして実行するだけです。

ノートブックの作成とGPU設定

1. ① colab.research.google.com にアクセスしてログイン
2. ② 「ファイル」→「新しいノートブック」をクリック
3. ③ 上部メニューの「ランタイム」→「ランタイムのタイプを変更」をクリック
4. ④ 「ハードウェア アクセラレータ」で「GPU」を選択
5. ⑤ GPU タイプは「T4」（無料）または「A100」（Pro）を選択
6. ⑥ 「保存」をクリック

GPUの確認

最初のセルに以下をコピペして「▶」ボタンで実行:

!nvidia-smi

「Tesla T4」などGPUの名前が表示されればOKです。

必要なライブラリのインストール

新しいセルに以下をコピペして実行（1〜3分かかります）:

!pip install transformers datasets peft trl accelerate bitsandbytes

HuggingFaceにログイン

新しいセルに以下をコピペして実行:

!huggingface-cli login

1. ① 実行すると「Token:」と表示される
2. ② Step 1でメモ帳に保存した hf_xxxx... を貼り付けてEnter
3. ③ 「Login successful」と表示されればOK

Weights & Biases にログイン（任意）

Step 1でwandbに登録した場合、以下をコピペして実行:

!pip install wandb
import wandb
wandb.login()

API keyの入力を求められるので、Step 1でメモしたキーを貼り付ける。

Step 5: モデルとデータをダウンロード

ColabにHuggingFaceからモデルとデータをダウンロードします。インターネット経由でダウンロードするので数分かかります。

モデルのダウンロード（rinna 3.6b の場合）

新しいセルに以下をコピペして実行:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rinna/japanese-gpt-neox-3.6b"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    load_in_4bit=True,
    device_map="auto"
)

データセットのダウンロード

新しいセルに以下をコピペして実行:

from datasets import load_dataset

dataset = load_dataset("kunishou/databricks-dolly-15k-ja")
print(dataset)
print(dataset["train"][0])

データの件数と最初の1件が表示されれば成功です。

ダウンロード完了の確認

• ✅ モデル: 「Loading model...」後にエラーが出なければOK
• ✅ データ: DatasetDict の内容が表示されればOK

Step 6: 学習を開始する（LoRA / QLoRA）

いよいよ学習です。ここではLoRA（Low-Rank Adaptation）という手法を使います。

学習パラメータの設定

新しいセルに以下をコピペして実行:

from peft import LoraConfig, get_peft_model
from trl import SFTTrainer, SFTConfig

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["query_key_value"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

学習の実行

新しいセルに以下をコピペして実行:

training_args = SFTConfig(
    output_dir="./output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    fp16=True,
    logging_steps=10,
    save_steps=100,
    warmup_ratio=0.03,
    report_to="wandb"
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    tokenizer=tokenizer,
)

trainer.train()

学習中の画面の見方

• 📉 loss（損失）が下がっていれば正常に学習中です
• 📊 wandbに登録している場合はブラウザでグラフを確認できます
• ⏱️ 進捗バーで残り時間が表示されます

学習時間の目安

Step 7: 作ったモデルをテストする

学習が完了したら、実際にモデルに話しかけてみましょう。

学習済みモデルのテスト

新しいセルに以下をコピペして実行:

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=200
)

prompt = "日本の首都はどこですか？"
result = pipe(prompt)
print(result[0]["generated_text"])

結果の判断

• ✅ 成功: 「東京です」などの正しい答えが返ってくる
• ⚠️ 要改善: でたらめな文章が出力される → 学習が不十分
• ❌ 失敗: エラーが出る → トラブルシューティング参照

おかしな回答が出た場合の対処法

Step 8: HuggingFaceに公開する

テストで満足いく結果が出たら、HuggingFaceにアップロードして世界中からアクセスできるようにしましょう。

モデルのアップロード

新しいセルに以下をコピペして実行（モデル名を変更してください）:

model_name_to_push = "あなたのHFユーザー名/my-japanese-llm"

model.push_to_hub(model_name_to_push)
tokenizer.push_to_hub(model_name_to_push)

print(f"公開URL: https://huggingface.co/{model_name_to_push}")

Model Card（説明文）の書き方

アップロード後、HuggingFaceのモデルページに説明文（README）を追加しましょう。

1. ① HuggingFaceでアップロードされたモデルページを開く
2. ② 「Model card」タブ → 「Edit」ボタンをクリック
3. ③ 以下の項目を記入する:
   • ・モデルの説明（何のモデルか）
   • ・ベースモデル（rinna/japanese-gpt-neox-3.6bなど）
   • ・使用したデータセット
   • ・使い方の例
   • ・ライセンス（ベースモデルに合わせる）
4. ④ 「Commit changes」をクリック

公開設定の変更

1. ① モデルページの「Settings」タブをクリック
2. ② 「Danger Zone」→ 「Change model visibility」
3. ③ 「Public」（公開）または「Private」（非公開）を選択

Step 9: 次のステップ

公開まで完了したら、さらに発展させましょう。

ollama run あなたのモデル名

❓ よくあるトラブル

🤖 Claudeの総評