コンテンツへ移動
← プロジェクトに戻る
ケーススタディ · 応用AI

Pennyworth

制約のあるAI:アプリが計測と診断を行い、モデルは説明だけを担当する

Windows向けの無料アプリで、PCの状態を分かりやすい言葉で説明します。アシスタントは数値を捏造せず、勝手に動作することもなく、小さなローカルモデルか、利用者自身のAIアカウントを使って、その人のマシンについて答えます。

役割
作者・メンテナー
種類
デスクトップアプリ · Windows
コード
GitHubで公開
言語
英語・ポルトガル語(ブラジル)

背景

初心者が「このゲームを開くとPCが重くなるのはなぜ?」や「メモリ16GBで足りる?」と尋ねるとします。一般的なチャットボットはそのPCを知らないまま答え、小さなローカルモデルは簡単に数字をでっち上げてしまいます。

アシスタントを作る前から、このアプリはディスク、メモリ、CPU、ハードウェアを計測していました。課題は、その計測結果を活用しつつ、モデルが数値を捏造したり、誰かのPCを操作したりする余地を与えないことでした。

アーキテクチャ

Pennyworthアシスタントのアーキテクチャ一つの回答が生成されるまでの流れ:計測値が事実と決定論的な診断に変換され、モデルは文章を書くだけです。回答はフィルターと、許可された操作の固定リストを通ります。点線は利用者がAIアカウントを設定したときだけ現れます。アプリの計測値ディスク、RAM、CPU、GPUとハードウェア事実 + ルール単体テスト付きの決定論的な診断コンテキストペルソナ、事実、操作目標1,500トークン匿名化PCの外へ出る内容のプレビューローカルモデルONNX Runtime + DirectMLSHA-256で検証済みIChatClientMicrosoft.Extensions.AI利用者のAIアカウントOpenAI、Anthropic、Gemini、Azure助言フィルター表示前に確認操作リンカーリストにある操作のみアプリの画面プレビュー + 確認
一つの回答が生成されるまでの流れ:計測値が事実と決定論的な診断に変換され、モデルは文章を書くだけです。回答はフィルターと、許可された操作の固定リストを通ります。点線は利用者がAIアカウントを設定したときだけ現れます。

主なフロー

  1. アプリが計測済みの情報から事実を集め、手書きのルールがそれを重大度と許可された操作1つを持つ診断に変換します。
  2. モデルはペルソナ、事実、診断、操作リストを受け取り、それらだけに基づいて答え、わからないときはそう言うよう指示されています。
  3. AIアカウントを使う場合、利用者は送信される内容を確認できます。名前と個人フォルダーは `<user>` のようなプレースホルダーに置き換えられています。
  4. 回答は文ごとにフィルターを通ります。検証を通過した操作トークンは、すでにプレビューと確認がある画面へのボタンになります。

判断とトレードオフ

  1. 事実を先に、tool calling は使わない

    判断
    アプリがすべてを計算し、モデルは説明だけを担当します。PCについてモデルに調べさせることはなく、同じ仕組みがクラウドでもローカルモデルでも同じように動きます。
    却下
    Tool callingと自律エージェント。小さなローカルモデルはこれに信頼が置けず、初心者のPCのファイルを削除するエージェントは取り返しのつかないリスクになります。
    受け入れたコスト
    アシスタントは何も実行しません。既存の画面を示すだけで、その先の判断は利用者が行います。
  2. 評価でモデルを選ぶ

    判断
    評価ツール(`tools/AssistantEval`)が、英語とポルトガル語のシナリオを任意のバックエンドに対して実行し、捏造された数値、リスト外の操作、危険な助言、長さ、言語、ペルソナを検査します。基準は優先順に、事実を捏造しないこと、ポルトガル語の品質、RAM使用量、CPUでの速度です。
    却下
    モデルの評判で選ぶこと。評価の結果、当初の計画は覆りました。Phi-3.5-miniは暫定の既定モデルでしたが、DirectMLでは動かないため、最終的なカタログではGPUの6GB以上ではPhi-4-mini、CPUではPhi-3.5-miniを使っています。
    受け入れたコスト
    チェックは意図的に厳格で素朴なため、レポートは依然として人間が読む必要があります。
  3. ネットワークもランタイムも知らないコア

    判断
    `Pennyworth.Assistant` は事実、ルール、プロンプト、フィルター、匿名化を含み、話すのは `IChatClient` だけです。プロバイダーとローカルモデルは別のプロジェクトにあり、使うときだけ読み込まれます。
    却下
    SDKとランタイムを同じプロジェクトに入れること。テストやNative AOTが難しくなり、アシスタントを使わない人にも負担がかかります。
    受け入れたコスト
    保守するプロジェクトが増えます。その代わり、ロジックはフェイクのクライアントでテストでき、アシスタントを設定していなければアプリはネットワーク通信をせず、余分なメモリも使いません。
  4. 決定論的な出力フィルター

    判断
    すべての回答は表示前にフィルターを通ります。ストリーミング中は文ごとに処理されます。レジストリの編集やWindows Defenderの無効化といった助言は置き換えられます。
    却下
    プロンプトの指示だけに頼ること。小さなモデルはそれに一貫して従いません。
    受け入れたコスト
    ブロックする助言のリストは手作業で、2言語で管理され、評価で見つかったものに合わせて増やしていく必要があります。
  5. 自前のサーバーなしのプライバシー

    判断
    ホストされたサービスはありません。利用者はモデルをローカルで動かすか、自分のキーを使います。キーはWindowsの資格情報マネージャーに保存されます。送信前にアプリはPCの外へ出る内容を正確に表示します。
    却下
    Pennyworth独自のクラウドサービス。継続的なコストがかかり、第三者のデータを預かる責任をプロジェクトが負うことになります。
    受け入れたコスト
    設定の手間が増えます。ローカルモデルはリクエストされたときだけダウンロードされ、PCでうまく動かない可能性が高いときは、ブロックせずに警告します。

結果

  • アシスタントを設定しなければ、アプリはこれまで通り動きます。ネットワーク通信、ダウンロード、余分なメモリはありません。
  • GPU上のPhi-4-miniでのラウンド:64回答中エラー0件、言語とペルソナの失敗0件、英語での中央値は1回答あたり3.3秒。
  • 同じラウンドで、64回答中2回答が危険な内容を提案しました。まさにそれを置き換えるために出力フィルターがあります。
  • モデルは公式リポジトリからダウンロードされ、ファイルはアプリに固定されたSHA-256で検証されます。検証に失敗した場合は削除され、決して読み込まれません。

既知の制限

  • 小さなモデルは厳格なチェックにまだ失敗します。特に回答の長さで失敗が多く(上記ラウンドでは64件中39件)、ポルトガル語より英語のほうが良い結果になります。
  • 適切なグラフィックボードがないPCでは、ローカルモデルは1回答あたり約30秒かかります。
  • 現時点ではWindowsのみ対応。

スタック

  • C# / .NET 10
  • Avalonia
  • Native AOT
  • ONNX Runtime
  • DirectML
  • Microsoft.Extensions.AI
  • xUnit