🖥️ ジャンクで作るLLMサーバー大作戦

# 1. Ubuntu 24.04 LTS をインストール後、SSH 接続

ssh user@llm-server.local

# 2. Ollama をインストール（公式スクリプト）

curl -fsSL https://ollama.com/install.sh | sh

# 3. モデルをダウンロード（Llama 3.3 70B、約 42GB）

ollama pull llama3.3:70b-instruct-q4_K_M

# 4. API サーバーとして起動（LAN からアクセス可能に）

OLLAMA_HOST=0.0.0.0 ollama serve

# 5. systemd で自動起動（スリープ復帰後も自動起動）

sudo systemctl enable ollama

sudo systemctl start ollama

# 6. Open WebUI（ブラウザ UI を追加したい場合）

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \

-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \

ghcr.io/open-webui/open-webui:main

# ネットワーク構成

[PC/スマホ] ──→ [Raspberry Pi 5: 192.168.1.10] ──→ [LLM サーバー: 192.168.1.20]

# ↑ 常時稼働 (5W) ↑ Wake-on-LAN で起動

# Raspberry Pi がプロキシ兼 WoL コントローラー

# 処理フロー

① クライアント → raspi:5000/chat にリクエスト送信

② raspi → WoL パケットを LLM サーバーの MAC へ送信

③ LLM サーバー起動（15〜30 秒）→ Ollama 自動起動

④ raspi → LLM サーバー(11434)にリクエスト転送

⑤ アイドル 10 分後 → LLM サーバー自動スリープ

# BIOS/UEFI で Wake-on-LAN を有効化（マザーボード設定）

# → 「Power Management」→「Wake on LAN」を Enable

# Ubuntu で WoL を有効化（ethtool）

sudo apt install ethtool

sudo ethtool -s enp3s0 wol g

# enp3s0 は NIC のインターフェース名（ip a で確認）

# 再起動後も保持するため systemd サービスに登録

sudo tee /etc/systemd/system/wol.service <<EOF

[Unit]

Description=Enable Wake-on-LAN

After=network.target

[Service]

Type=oneshot

ExecStart=/sbin/ethtool -s enp3s0 wol g

[Install]

WantedBy=multi-user.target

EOF

sudo systemctl enable wol

# Raspberry Pi に必要なパッケージをインストール

pip3 install flask wakeonlan requests

# wakeup_proxy.py — ウェイクアップ + プロキシサーバー

from flask import Flask, request, Response

import wakeonlan, requests, time

app = Flask(__name__)

LLM_MAC = "aa:bb:cc:dd:ee:ff" # LLM サーバーの MAC アドレス

LLM_IP = "192.168.1.20"

OLLAMA_PORT = 11434

def wake_and_wait():

wakeonlan.send_magic_packet(LLM_MAC)

for _ in range(30): # 最大 30 秒待機

try:

r = requests.get(f"http://{LLM_IP}:{OLLAMA_PORT}/", timeout=1)

if r.status_code == 200: return True

except: time.sleep(1)

return False

@app.route("/api/<path:path>", methods=["GET","POST"])

def proxy(path):

wake_and_wait()

resp = requests.request(

method=request.method,

url=f"http://{LLM_IP}:{OLLAMA_PORT}/{path}",

data=request.get_data(), headers=request.headers, stream=True)

return Response(resp.iter_content(chunk_size=4096), status=resp.status_code)

if __name__ == "__main__":

app.run(host="0.0.0.0", port=5000)

# auto_sleep.sh — Ollama アイドル監視→自動スリープ

#!/bin/bash

IDLE_THRESHOLD=600 # 10 分

LAST_REQUEST=$(date +%s)

while true; do

ACTIVE=$(curl -s http://localhost:11434/api/ps | python3 -c \

"import sys,json; d=json.load(sys.stdin); print(len(d.get('models',[])))")

if [ "$ACTIVE" = "0" ]; then

IDLE=$(($(date +%s) - LAST_REQUEST))

if [ "$IDLE" -ge "$IDLE_THRESHOLD" ]; then

echo "Idle for ${IDLE}s — suspending..."

systemctl suspend

fi

else

LAST_REQUEST=$(date +%s)

fi

sleep 60

done

# cron で起動（@reboot）

@reboot /home/user/auto_sleep.sh &