ケーススタディ · 応用AI
Pennyworth
制約のあるAI:アプリが計測と診断を行い、モデルは説明だけを担当する
Windows向けの無料アプリで、PCの状態を分かりやすい言葉で説明します。アシスタントは数値を捏造せず、勝手に動作することもなく、小さなローカルモデルか、利用者自身のAIアカウントを使って、その人のマシンについて答えます。
- 役割
- 作者・メンテナー
- 種類
- デスクトップアプリ · Windows
- コード
- GitHubで公開
- 言語
- 英語・ポルトガル語(ブラジル)
- 8評価したすべての回答に対する自動チェック項目
- 642言語にわたる評価ラウンドごとの回答数
- 5単一のIChatClientインターフェースの背後にあるモデルバックエンド数
背景
初心者が「このゲームを開くとPCが重くなるのはなぜ?」や「メモリ16GBで足りる?」と尋ねるとします。一般的なチャットボットはそのPCを知らないまま答え、小さなローカルモデルは簡単に数字をでっち上げてしまいます。
アシスタントを作る前から、このアプリはディスク、メモリ、CPU、ハードウェアを計測していました。課題は、その計測結果を活用しつつ、モデルが数値を捏造したり、誰かのPCを操作したりする余地を与えないことでした。
アーキテクチャ
主なフロー
- アプリが計測済みの情報から事実を集め、手書きのルールがそれを重大度と許可された操作1つを持つ診断に変換します。
- モデルはペルソナ、事実、診断、操作リストを受け取り、それらだけに基づいて答え、わからないときはそう言うよう指示されています。
- AIアカウントを使う場合、利用者は送信される内容を確認できます。名前と個人フォルダーは `<user>` のようなプレースホルダーに置き換えられています。
- 回答は文ごとにフィルターを通ります。検証を通過した操作トークンは、すでにプレビューと確認がある画面へのボタンになります。
判断とトレードオフ
事実を先に、tool calling は使わない
- 判断
- アプリがすべてを計算し、モデルは説明だけを担当します。PCについてモデルに調べさせることはなく、同じ仕組みがクラウドでもローカルモデルでも同じように動きます。
- 却下
- Tool callingと自律エージェント。小さなローカルモデルはこれに信頼が置けず、初心者のPCのファイルを削除するエージェントは取り返しのつかないリスクになります。
- 受け入れたコスト
- アシスタントは何も実行しません。既存の画面を示すだけで、その先の判断は利用者が行います。
評価でモデルを選ぶ
- 判断
- 評価ツール(`tools/AssistantEval`)が、英語とポルトガル語のシナリオを任意のバックエンドに対して実行し、捏造された数値、リスト外の操作、危険な助言、長さ、言語、ペルソナを検査します。基準は優先順に、事実を捏造しないこと、ポルトガル語の品質、RAM使用量、CPUでの速度です。
- 却下
- モデルの評判で選ぶこと。評価の結果、当初の計画は覆りました。Phi-3.5-miniは暫定の既定モデルでしたが、DirectMLでは動かないため、最終的なカタログではGPUの6GB以上ではPhi-4-mini、CPUではPhi-3.5-miniを使っています。
- 受け入れたコスト
- チェックは意図的に厳格で素朴なため、レポートは依然として人間が読む必要があります。
ネットワークもランタイムも知らないコア
- 判断
- `Pennyworth.Assistant` は事実、ルール、プロンプト、フィルター、匿名化を含み、話すのは `IChatClient` だけです。プロバイダーとローカルモデルは別のプロジェクトにあり、使うときだけ読み込まれます。
- 却下
- SDKとランタイムを同じプロジェクトに入れること。テストやNative AOTが難しくなり、アシスタントを使わない人にも負担がかかります。
- 受け入れたコスト
- 保守するプロジェクトが増えます。その代わり、ロジックはフェイクのクライアントでテストでき、アシスタントを設定していなければアプリはネットワーク通信をせず、余分なメモリも使いません。
決定論的な出力フィルター
- 判断
- すべての回答は表示前にフィルターを通ります。ストリーミング中は文ごとに処理されます。レジストリの編集やWindows Defenderの無効化といった助言は置き換えられます。
- 却下
- プロンプトの指示だけに頼ること。小さなモデルはそれに一貫して従いません。
- 受け入れたコスト
- ブロックする助言のリストは手作業で、2言語で管理され、評価で見つかったものに合わせて増やしていく必要があります。
自前のサーバーなしのプライバシー
- 判断
- ホストされたサービスはありません。利用者はモデルをローカルで動かすか、自分のキーを使います。キーはWindowsの資格情報マネージャーに保存されます。送信前にアプリはPCの外へ出る内容を正確に表示します。
- 却下
- Pennyworth独自のクラウドサービス。継続的なコストがかかり、第三者のデータを預かる責任をプロジェクトが負うことになります。
- 受け入れたコスト
- 設定の手間が増えます。ローカルモデルはリクエストされたときだけダウンロードされ、PCでうまく動かない可能性が高いときは、ブロックせずに警告します。
結果
- アシスタントを設定しなければ、アプリはこれまで通り動きます。ネットワーク通信、ダウンロード、余分なメモリはありません。
- GPU上のPhi-4-miniでのラウンド:64回答中エラー0件、言語とペルソナの失敗0件、英語での中央値は1回答あたり3.3秒。
- 同じラウンドで、64回答中2回答が危険な内容を提案しました。まさにそれを置き換えるために出力フィルターがあります。
- モデルは公式リポジトリからダウンロードされ、ファイルはアプリに固定されたSHA-256で検証されます。検証に失敗した場合は削除され、決して読み込まれません。
既知の制限
- 小さなモデルは厳格なチェックにまだ失敗します。特に回答の長さで失敗が多く(上記ラウンドでは64件中39件)、ポルトガル語より英語のほうが良い結果になります。
- 適切なグラフィックボードがないPCでは、ローカルモデルは1回答あたり約30秒かかります。
- 現時点ではWindowsのみ対応。
スタック
- C# / .NET 10
- Avalonia
- Native AOT
- ONNX Runtime
- DirectML
- Microsoft.Extensions.AI
- xUnit