案例研究 · 应用 AI
Pennyworth
有边界的 AI:应用负责测量与诊断,模型只负责解释
一款免费的 Windows 应用,用通俗的语言解释你的电脑。助手会根据用户的机器作答,不编造数字,也不擅自行动,可以使用小型本地模型,也可以使用用户自己的 AI 账户。
- 角色
- 作者与维护者
- 类型
- 桌面应用 · Windows
- 代码
- GitHub 公开
- 语言
- 英语与葡萄牙语(巴西)
- 8每个被评估回答的自动检查项
- 64每轮评估的回答数,覆盖两种语言
- 5置于单一 IChatClient 接口之后的模型后端数量
背景
一位初学者问:“为什么我打开这个游戏电脑就卡?”或者“16 GB 内存够用吗?”通用聊天机器人不了解这台机器就直接作答,而本地运行的小模型很容易编造数字。
在有助手之前,这个应用就已经在测量磁盘、内存、处理器和硬件。工程上的问题是:如何利用这些测量结果,同时不让模型有机会编造数据或改动别人的电脑。
架构
主要流程
- 应用从已测量的数据中收集事实,手写的规则把它们转换为带有严重程度和一个允许操作的诊断。
- 模型接收人设、事实、诊断和操作清单,并被指示只依据这些内容作答,并在无法确定时说明。
- 使用 AI 账户时,用户可以看到将要发送的内容,其中姓名和个人文件夹已被替换为 `<user>` 之类的占位符。
- 回答逐句经过过滤器。通过验证的操作令牌会变成按钮,跳转到已有预览和确认的界面。
决策与权衡
先有事实,不用 tool calling
- 决策
- 应用负责全部计算,模型只负责解释。不会让模型去探测电脑,同样的机制在云端和本地模型上的行为完全一致。
- 已否决
- Tool calling 和自主代理。小型本地模型在这方面不可靠,而一个会删除初学者电脑上文件的代理,是没有回头路的风险。
- 接受的代价
- 助手不执行任何操作。它只指向一个已有的界面,之后由用户决定。
由评估选择模型
- 决策
- 一个评估工具(`tools/AssistantEval`)针对任意后端运行英语和葡萄牙语场景,检查编造的数字、清单之外的操作、危险建议、长度、语言和人设。标准按优先级排列:不编造事实、葡萄牙语质量、内存占用、CPU 速度。
- 已否决
- 根据模型的声誉来选择。评估推翻了最初的方案:Phi-3.5-mini 原本是临时默认模型,但无法在 DirectML 上运行,因此最终目录在 6 GB 及以上的 GPU 上使用 Phi-4-mini,在 CPU 上使用 Phi-3.5-mini。
- 接受的代价
- 检查有意设计得严格而简单,因此报告仍然需要人工阅读。
一个不了解网络和运行时的核心
- 决策
- `Pennyworth.Assistant` 包含事实、规则、提示词、过滤器和匿名化,只与 `IChatClient` 通信。服务提供方和本地模型位于独立项目中,只在使用时加载。
- 已否决
- 把 SDK 和运行时放进同一个项目。这会让测试和 Native AOT 变得困难,也会拖累从不启用助手的用户。
- 接受的代价
- 需要维护更多项目。作为回报,逻辑可以用假客户端测试;未配置助手时,应用不会发起任何网络请求,也不占用额外内存。
确定性的输出过滤器
- 决策
- 每个回答在显示前都会经过过滤器,流式输出时逐句处理。诸如修改注册表或关闭 Windows Defender 之类的建议会被替换。
- 已否决
- 只依赖提示词中的指令,而小型模型并不能始终遵守。
- 接受的代价
- 被拦截建议的清单需要手动维护,用两种语言编写,并且需要随评估发现的问题不断扩充。
没有自有服务器的隐私保护
- 决策
- 没有托管服务:用户在本地运行,或使用自己的密钥,密钥保存在 Windows 凭据管理器中。发送之前,应用会准确显示哪些内容将离开电脑。
- 已否决
- Pennyworth 自己的云服务。这会带来持续成本,并让项目承担第三方数据的保管责任。
- 接受的代价
- 配置更麻烦。本地模型只在用户请求时下载,并且当电脑可能无法流畅运行时,应用会发出提醒(但不阻止)。
结果
- 不配置助手时,应用的行为与之前一致:没有网络、没有下载,也没有额外内存占用。
- 在 GPU 上使用 Phi-4-mini 的一轮测试中:64 个回答零错误,语言和人设失败为零,英语回答的中位耗时为每条 3.3 秒。
- 同一轮中,64 个回答里有 2 个建议了危险的做法。输出过滤器正是为替换这类内容而存在的。
- 模型从官方仓库下载,文件通过应用中固定的 SHA-256 校验。如果校验失败,文件会被删除,并且永远不会被加载。
已知局限
- 小型模型仍然无法通过严格检查,尤其是回答长度(上述一轮中 64 个里有 39 个失败),而且英语表现优于葡萄牙语。
- 在没有合适显卡的电脑上,本地模型每个回答大约需要半分钟。
- 目前仅支持 Windows。
技术栈
- C# / .NET 10
- Avalonia
- Native AOT
- ONNX Runtime
- DirectML
- Microsoft.Extensions.AI
- xUnit