🔍 SearXNG 自宅ホスト検索基盤

• ユーザーが「エアコン 掃除」と入れる
• SearXNG が Bing・DuckDuckGo・Yandex などに同時に同じ質問を投げる
• 返ってきた結果を1つにまとめ、重複を消して返す

• 1本が死んでも全滅しない … 今回まさにこれで助かりました。DuckDuckGoがCAPTCHAでも、Bingとyandexが結果を返す
• 結果の質が上がる … 検索エンジンごとに得意分野が違う。複数の結果を混ぜて重複を消すと、1本より広く拾える
• 1本あたりの負荷が下がる … 逆に言うと、エンジンを増やしすぎると相手への総リクエスト数が増える。これが今回の事故の伏線でした

• CAPTCHAの自動突破 … 相手の防御を無効化する行為。検索したいだけならやる必要がない
• 住宅用プロキシでIPをぐるぐる変える … 検知回避が目的。出口端末の同意も不透明で、業者によっては他人の回線を勝手に借りている
• User-Agent を変えながら正体を隠す … 上と同じ。ローテーション自体が「隠す意図」の証拠になる
• ブロックされた直後に叩き直す … 相手の負荷を意図的に増やす
• bot を24時間回す … 個人利用の範囲を超える

📱 チャットアプリ (Vercel・東京)
   │
   │  https でトークン付きリクエスト
   ▼
🔒 Tailscale Funnel  ← ドメイン不要で自宅に穴を開けずに公開
   │
   ▼
🍓 ラズベリーパイ (自宅)
   ├─ nginx  :8889   ← トークンを検証。合わなければ403
   │     └─ GET /search 以外は404 ・ 3req/秒に制限
   ▼
   └─ SearXNG :8888  ← Docker。localhost からしか触れない
         │
         │  ここから外（自宅の回線）へ出ていく
         ▼
      🌐 Bing / DuckDuckGo web / Yandex

10回連続で叩く   → 全部 HTTP 200・完全な検索結果
同時に4本叩く    → 全部 200
同時に8本叩く    → 全部 200
UAを付けずに叩く → 200

   ↓ 累計で約35回叩いた後 ↓

何をしても       → HTTP 429（Too Many Requests）

ユーザーの検索 1回
  = 5クエリ × エンジン4〜8個
  = 上流へ 20〜40リクエスト

base_url = "https://www.bing.com"

def request(query, params):
    # ← 人間が使うのと同じ検索ページのURLを組み立てているだけ
    params["url"] = f"{base_url}/search?{urlencode(query_params)}"

def response(resp):
    dom = html.fromstring(resp.text)          # ← 返ってきたHTMLを解析
    for item in eval_xpath_list(dom,
        '//ol[@id="b_results"]/li[contains(@class, "b_algo")]'):
        #      ↑ Bingのページの「検索結果リスト」を XPath で名指しして掻き出す
        link  = eval_xpath_getindex(item, ".//h2/a", 0, None)
        href  = link.attrib.get("href", "")
        title = extract_text(link)

/usr/local/searxng/
  entrypoint.sh              起動スクリプト。最後の1行が全て:
                             exec .venv/bin/granian searx.webapp:app
  .venv/                     Python仮想環境（Flask等はここに入っている）
  searx/                     ★本体。以下すべてこの下

    webapp.py       1,413行  ★入口。FlaskのルーティングとHTTP処理
    utils.py          813行  文字列処理・XPath補助などの共通関数
    results.py        356行  複数エンジンの結果を1つにまとめ重複を消す
    query.py          349行  クエリ解析。「!brave 検索語」のbangもここ
    preferences.py    597行  ユーザー設定（言語・safesearch等）
    settings_loader.py        設定ファイルの読み込みと既定値のマージ
    cache.py          500行  結果キャッシュ
    sqlitedb.py       477行  キャッシュ用の内蔵SQLite
    locales.py        464行  言語判定
    autocomplete.py   404行  検索候補
    weather.py        669行  天気の整形（一部エンジン用）

    engines/     249本 32,462行  ★心臓部。1エンジン＝1ファイル
    search/        9本  1,341行  ★検索の実行制御。並列に投げて集める
    network/       4本  1,038行  ★外への通信。httpxの設定・タイムアウト・エラー判定
    result_types/  8本  1,457行  結果の型（web/画像/論文/コード…）
    botdetection/ 14本  1,410行  ★自分が受ける側の防御（limiter）。上流対策ではない
    plugins/      13本  1,293行  電卓・単位換算・トラッカー除去などの後処理
    favicons/      6本    952行  検索結果のファビコン取得
    enginelib/     3本    690行  エンジン共通の土台クラス
    metrics/       3本    662行  エンジン別の成功/失敗の統計
    answerers/     4本    360行  「1+1」等に直接答える機能
    data/          5本    402行  User-Agent一覧・言語データ等
    templates/ static/ translations/   HTML画面用（うちでは未使用）

/home/satomata48/searxng/
  settings.yml          ★これだけ書く（現在92行）。既定346エンジンへの差分
  settings.yml.bak6-…   変更ごとのバックアップ
  .auth_token           nginxが確認する合言葉（chmod 600）

/etc/nginx/conf.d/
  searxng-proxy.conf    ★門番。GET /search 以外は404・3req/秒

① webapp.py            HTTPを受ける（Flask）
   ↓                  ?q=... &format=json &categories=general を解釈
② query.py            クエリを解析。「!brave 〜」のbangをここで検出
   ↓                  → 使うエンジンのリストが決まる
③ search/__init__.py  ★司令塔
   ↓                  Search._get_requests()
   │                    有効な全エンジンについて engines/xxx.py の
   │                    request() を呼び、投げるURLを組み立てる
   ↓                  Search.search_multiple_requests()
   │                    ★ここで全エンジンへ「同時に」投げる
④ network/            httpx が実際に送信
   ↓                    ・request_timeout（既定3秒/うちは4秒）
   │                    ・raise_for_httperror.py が 429/403/CAPTCHA を
   │                      SearxEngineTooManyRequests 等の例外へ変換
⑤ engines/xxx.py      各エンジンの response() が呼ばれる
   ↓                    lxml でHTMLをパースし、XPathで結果を抜く
   │                    失敗すると例外 → そのエンジンは
   │                    unresponsive_engines に記録され、一定時間サスペンド
⑥ results.py          全エンジンの結果を1つに統合
   ↓                    URLで重複排除・スコア計算・並び替え
⑦ webapp.py           JSONにして返す

アプリの検索1回
  × MAX_PARALLEL_QUERIES        （旧5 → 現2）
  × 有効エンジン数               （旧8前後 → 現3）
  ────────────────────────────
  = 上流への総リクエスト数        旧: 最大40 → 現: 6

src/
  routes/
    api/chat/+server.ts    ★どの検索業者を使うか決める場所
                             serperApiKey ? 'serper' : searxngReady ? 'searxng' : …
                             フォールバックの連鎖もここで組む
    usage/+page.svelte       検索回数の可視化

  lib/server/               ★サーバ側のロジック（26ファイル）
    tools.ts        ★検索ツール本体。SearXNG含む5プロバイダを実装
    searchRelevance.ts       返ってきた結果が「クエリと無関係なゴミ」か判定
    fetchWithTimeout.ts      タイムアウト付きfetch（SearXNGは12秒）
    concurrency.ts           並列実行の制御（mapWithConcurrency）
    db/            ★DBを13ドメインに分割
      usage.ts               検索回数の記録（searxng_count 等）
      chats.ts  research.ts  misc.ts  …

scripts/
  probe-searxng-engines.mjs  ★エンジンの生死を測る診断スクリプト

export type SearchProvider =
  'tavily' | 'exa' | 'serper' | 'google' | 'searxng';

// searxng の分岐（要点だけ）
const params = new URLSearchParams({
  q: query,
  format: 'json',
  categories: 'general',
  language: queryHasJapanese ? 'ja' : 'all'
});

const response = await fetchWithTimeout(
  `${base}/search?${params}`,
  {
    headers: { 'X-Auth-Token': apiKey },  // nginxが確認する合言葉
    redirect: 'manual'                    // 転送先へトークンを持ち越さない
  },
  12_000                                  // Funnelの往復が中央値6.4秒あるため
);

エアコン+掃除     → 27件  bing, duckduckgo web, yandex   エラーなし
sqlite+index      → 28件  bing, duckduckgo web, yandex   エラーなし
climate+policy    → 25件  bing, duckduckgo web, yandex   エラーなし
確定申告+やり方    → 29件  bing, duckduckgo web, yandex   エラーなし
電気代+節約       → 26件  bing, duckduckgo web, yandex   エラーなし
raspberry+pi      → 27件  bing, duckduckgo web, yandex   エラーなし

• 設定は /home/satomata48/searxng/settings.yml（root所有なので sudo 必須）
• 必ずバックアップを取る（settings.yml.bak6-20260729 等が履歴として残っている）
• YAMLの構造に注意。engines の項目は engines ブロックの中に、outgoing より前に置く。私はここを間違えて SearXNG を一度落としました（30秒で復旧）
• 変更後は sudo docker restart searxng。起動失敗（Restarting表示）ならすぐバックアップから戻す

• コンテナが Up（Restarting でない）
• ラズパイ内から叩いてJSONが返る
• unresponsive_engines が空か、想定内のエンジンだけ
• 結果の engines に、生きているはずのエンジンが全部出ている
• 検索語と関係のあるタイトルが返っている（件数だけで判断しない）
• 数クエリ連続で試して再現する（1回では分からない）

年月       Tavily  Exa  Serper  SearXNG   合計
2026-07      565   60     285      188    1,098   ← ピーク
2026-06      313   71       0        0      384
2026-02       40    0       0        0       40
2026-01      199    0       0        0      199
2025-12       99    0       0        0       99
────────────────────────────────────────────
月平均 364件 / ピークでも 1,098件

Brave Search API   1,000件/月   （$5クレジット自動付与）
Tavily             1,000件/月
Exa              約1,428件/月   （$10/月クレジット）
──────────────────────────────
合計             約3,428件/月   すべて $0

うちのピーク月 = 1,098件  →  無料枠の1/3も使っていない

• Cloudflare 10万リクエスト事件簿 — 同じ「ラズパイが叩きすぎた」系の事故。今回と根っこは同じ