ぺぇ🐇 on Nostr: 帰ってきたらやりますぅ😣 ...

帰ってきたらやりますぅ😣

quoting
note1eec…vn72

そうです。アプリ側に API Base URL の入力欄を追加してもらえば、ローカルLLMに接続できる可能性があります。

実装側には次の変更を依頼してください。

1. AIプロバイダーに「カスタムAPI（OpenAI互換）」を追加
2. API Base URL の入力欄を追加
3. API Key は任意入力にする
4. モデル名を自由入力できるようにする
5. OpenAI互換の `/v1/chat/completions` にリクエストを送る

設定例：

| 項目 | 値 |
| -------- | -------------------------- |
| プロバイダー | カスタムAPI |
| Base URL | `http://127.0.0.1:8080/v1` |
| API Key | `dummy` |
| モデル | 起動中のモデル名 |

これなら `llama.cpp` だけでなく、Ollama、LM Studio、vLLM などのOpenAI互換APIにも対応できます。

注意点として、ブラウザからアクセスするWebアプリの場合、CORSとHTTPSページからHTTPへの接続制限（Mixed Content）への対応も必要です。