Pennyworth
IA con límites: la app mide y diagnostica, el modelo solo explica
App gratuita para Windows que explica el PC en lenguaje claro. El asistente responde sobre la máquina de la persona sin inventar cifras y sin actuar por su cuenta, con un modelo local pequeño o con la cuenta de IA de la propia persona.
- Rol
- Autor y mantenedor
- Tipo
- App de escritorio · Windows
- Código
- Público en GitHub
- Idiomas
- Inglés y portugués (Brasil)
- 8Comprobaciones automáticas en cada respuesta evaluada
- 64Respuestas por ronda de evaluación, en dos idiomas
- 5Backends de modelo detrás de una única interfaz IChatClient
Contexto
Una persona principiante pregunta "¿por qué mi PC se congela cuando abro este juego?" o "¿16 GB de RAM bastan?". Un chatbot genérico responde sin conocer la máquina, y un modelo pequeño que corre en local inventa cifras con facilidad.
La app ya medía disco, memoria, procesador y hardware antes de tener asistente. La pregunta de ingeniería fue cómo aprovechar esas mediciones sin darle al modelo la oportunidad de inventar un dato o de tocar el PC de nadie.
Arquitectura
Flujos principales
- La app recoge hechos de lo que ya midió, y reglas escritas a mano los convierten en diagnósticos con gravedad y una acción permitida.
- El modelo recibe persona, hechos, diagnósticos y la lista de acciones, con la instrucción de responder solo a partir de eso y de decir cuándo no se puede saber.
- Con cuenta de IA, la persona ve lo que se enviará, con su nombre y sus carpetas personales sustituidos por marcadores como `<user>`.
- La respuesta pasa por el filtro, frase a frase. Los tokens de acción que sobreviven a la validación se convierten en botones para pantallas que ya tienen vista previa y confirmación.
Decisiones y compromisos
Hechos primero, sin tool calling
- Decisión
- La app calcula todo y el modelo solo explica. Nada del PC se le pide al modelo que lo descubra, y el mismo mecanismo funciona igual en la nube y en el modelo local.
- Descartado
- Tool calling y agentes autónomos. Los modelos locales pequeños son poco fiables en eso, y un agente que borra archivos en el PC de un principiante es un riesgo sin vuelta atrás.
- Coste asumido
- El asistente no ejecuta nada. Solo señala una pantalla existente, y la persona decide a partir de ahí.
Las evaluaciones eligen el modelo
- Decisión
- Una herramienta de evaluación (`tools/AssistantEval`) ejecuta escenarios en inglés y portugués contra cualquier backend y comprueba cifras inventadas, acciones fuera de la lista, consejos peligrosos, longitud, idioma y persona. Los criterios, por orden: no inventar hechos, calidad en portugués, uso de RAM, velocidad en CPU.
- Descartado
- Elegir por la reputación del modelo. La evaluación tumbó el plan inicial: Phi-3.5-mini era el modelo provisional por defecto, pero no funciona con DirectML, así que el catálogo final usa Phi-4-mini en GPU de 6 GB o más y Phi-3.5-mini en CPU.
- Coste asumido
- Las comprobaciones son deliberadamente estrictas y rudimentarias, así que los informes todavía necesitan lectura humana.
Un núcleo que no conoce red ni runtime
- Decisión
- `Pennyworth.Assistant` contiene hechos, reglas, prompts, filtro y anonimización, y solo habla con `IChatClient`. Los proveedores y el modelo local viven en proyectos separados, que se cargan solo cuando se usan.
- Descartado
- Meter los SDK y el runtime en el mismo proyecto, lo que dificultaría las pruebas y el Native AOT, y pesaría a quien nunca activa el asistente.
- Coste asumido
- Más proyectos que mantener. A cambio, la lógica se prueba con un cliente falso, y sin asistente configurado la app no hace ninguna llamada de red ni ocupa memoria extra.
Filtro de salida determinista
- Decisión
- Cada respuesta pasa por el filtro antes de mostrarse, frase a frase en el streaming. Los consejos como editar el registro o desactivar Windows Defender se sustituyen.
- Descartado
- Confiar solo en la instrucción del prompt, que un modelo pequeño no sigue de forma constante.
- Coste asumido
- La lista de consejos bloqueados se mantiene a mano, en dos idiomas, y tiene que crecer con lo que encuentren las evaluaciones.
Privacidad sin servidor propio
- Decisión
- Sin servicio alojado: la persona ejecuta en local o usa su propia clave, guardada en el Administrador de credenciales de Windows. Antes de enviar, la app muestra exactamente qué sale del PC.
- Descartado
- Un servicio en la nube de Pennyworth, que tendría un coste recurrente y pondría en manos del proyecto datos de terceros.
- Coste asumido
- Más fricción en la configuración. El modelo local solo se descarga si se pide, y la app avisa, sin bloquear, cuando el PC probablemente no lo ejecutará bien.
Resultados
- Sin asistente configurado, la app se comporta como antes: sin red, sin descargas y sin memoria extra.
- En una ronda con Phi-4-mini en GPU: 0 errores en 64 respuestas, 0 fallos de idioma y de persona, y una mediana de 3,3 s por respuesta en inglés.
- En la misma ronda, 2 de las 64 respuestas sugirieron algo peligroso. Es exactamente el caso que existe para sustituir el filtro de salida.
- Modelo descargado del repositorio oficial, con archivos verificados por un SHA-256 fijado en la app. Si la verificación falla, se borra y nunca se carga.
Límites conocidos
- Los modelos pequeños todavía fallan en las comprobaciones estrictas, sobre todo en la longitud de la respuesta (39 de 64 en la ronda citada), y funcionan mejor en inglés que en portugués.
- En PCs sin una tarjeta gráfica adecuada, el modelo local tarda unos treinta segundos por respuesta.
- Solo para Windows por ahora.
Stack
- C# / .NET 10
- Avalonia
- Native AOT
- ONNX Runtime
- DirectML
- Microsoft.Extensions.AI
- xUnit