Saltar al contenido
← Volver a proyectos
Caso de estudio · IA aplicada

Pennyworth

IA con límites: la app mide y diagnostica, el modelo solo explica

App gratuita para Windows que explica el PC en lenguaje claro. El asistente responde sobre la máquina de la persona sin inventar cifras y sin actuar por su cuenta, con un modelo local pequeño o con la cuenta de IA de la propia persona.

Rol
Autor y mantenedor
Tipo
App de escritorio · Windows
Código
Público en GitHub
Idiomas
Inglés y portugués (Brasil)

Contexto

Una persona principiante pregunta "¿por qué mi PC se congela cuando abro este juego?" o "¿16 GB de RAM bastan?". Un chatbot genérico responde sin conocer la máquina, y un modelo pequeño que corre en local inventa cifras con facilidad.

La app ya medía disco, memoria, procesador y hardware antes de tener asistente. La pregunta de ingeniería fue cómo aprovechar esas mediciones sin darle al modelo la oportunidad de inventar un dato o de tocar el PC de nadie.

Arquitectura

Arquitectura del asistente de PennyworthEl camino de una respuesta: las mediciones se convierten en hechos y diagnósticos deterministas, el modelo solo redacta, y la respuesta pasa por un filtro y por una lista cerrada de acciones. Las líneas discontinuas solo existen cuando la persona configura una cuenta de IA.Mediciones de la appdisco, RAM, CPU, GPUy hardwareHechos + reglasdiagnóstico deterministacon pruebas unitariasContextopersona, hechos, accionesobjetivo de 1.500 tokensAnonimizadorvista previa de lo quesaldrá del PCModelo localONNX Runtime + DirectMLSHA-256 verificadoIChatClientMicrosoft.Extensions.AITu cuenta de IAOpenAI, Anthropic,Gemini, AzureFiltro de consejoscomprueba antes de mostrarEnlazador de accionessolo acciones de la listaPantallas de la appvista previa + confirmación
El camino de una respuesta: las mediciones se convierten en hechos y diagnósticos deterministas, el modelo solo redacta, y la respuesta pasa por un filtro y por una lista cerrada de acciones. Las líneas discontinuas solo existen cuando la persona configura una cuenta de IA.

Flujos principales

  1. La app recoge hechos de lo que ya midió, y reglas escritas a mano los convierten en diagnósticos con gravedad y una acción permitida.
  2. El modelo recibe persona, hechos, diagnósticos y la lista de acciones, con la instrucción de responder solo a partir de eso y de decir cuándo no se puede saber.
  3. Con cuenta de IA, la persona ve lo que se enviará, con su nombre y sus carpetas personales sustituidos por marcadores como `<user>`.
  4. La respuesta pasa por el filtro, frase a frase. Los tokens de acción que sobreviven a la validación se convierten en botones para pantallas que ya tienen vista previa y confirmación.

Decisiones y compromisos

  1. Hechos primero, sin tool calling

    Decisión
    La app calcula todo y el modelo solo explica. Nada del PC se le pide al modelo que lo descubra, y el mismo mecanismo funciona igual en la nube y en el modelo local.
    Descartado
    Tool calling y agentes autónomos. Los modelos locales pequeños son poco fiables en eso, y un agente que borra archivos en el PC de un principiante es un riesgo sin vuelta atrás.
    Coste asumido
    El asistente no ejecuta nada. Solo señala una pantalla existente, y la persona decide a partir de ahí.
  2. Las evaluaciones eligen el modelo

    Decisión
    Una herramienta de evaluación (`tools/AssistantEval`) ejecuta escenarios en inglés y portugués contra cualquier backend y comprueba cifras inventadas, acciones fuera de la lista, consejos peligrosos, longitud, idioma y persona. Los criterios, por orden: no inventar hechos, calidad en portugués, uso de RAM, velocidad en CPU.
    Descartado
    Elegir por la reputación del modelo. La evaluación tumbó el plan inicial: Phi-3.5-mini era el modelo provisional por defecto, pero no funciona con DirectML, así que el catálogo final usa Phi-4-mini en GPU de 6 GB o más y Phi-3.5-mini en CPU.
    Coste asumido
    Las comprobaciones son deliberadamente estrictas y rudimentarias, así que los informes todavía necesitan lectura humana.
  3. Un núcleo que no conoce red ni runtime

    Decisión
    `Pennyworth.Assistant` contiene hechos, reglas, prompts, filtro y anonimización, y solo habla con `IChatClient`. Los proveedores y el modelo local viven en proyectos separados, que se cargan solo cuando se usan.
    Descartado
    Meter los SDK y el runtime en el mismo proyecto, lo que dificultaría las pruebas y el Native AOT, y pesaría a quien nunca activa el asistente.
    Coste asumido
    Más proyectos que mantener. A cambio, la lógica se prueba con un cliente falso, y sin asistente configurado la app no hace ninguna llamada de red ni ocupa memoria extra.
  4. Filtro de salida determinista

    Decisión
    Cada respuesta pasa por el filtro antes de mostrarse, frase a frase en el streaming. Los consejos como editar el registro o desactivar Windows Defender se sustituyen.
    Descartado
    Confiar solo en la instrucción del prompt, que un modelo pequeño no sigue de forma constante.
    Coste asumido
    La lista de consejos bloqueados se mantiene a mano, en dos idiomas, y tiene que crecer con lo que encuentren las evaluaciones.
  5. Privacidad sin servidor propio

    Decisión
    Sin servicio alojado: la persona ejecuta en local o usa su propia clave, guardada en el Administrador de credenciales de Windows. Antes de enviar, la app muestra exactamente qué sale del PC.
    Descartado
    Un servicio en la nube de Pennyworth, que tendría un coste recurrente y pondría en manos del proyecto datos de terceros.
    Coste asumido
    Más fricción en la configuración. El modelo local solo se descarga si se pide, y la app avisa, sin bloquear, cuando el PC probablemente no lo ejecutará bien.

Resultados

  • Sin asistente configurado, la app se comporta como antes: sin red, sin descargas y sin memoria extra.
  • En una ronda con Phi-4-mini en GPU: 0 errores en 64 respuestas, 0 fallos de idioma y de persona, y una mediana de 3,3 s por respuesta en inglés.
  • En la misma ronda, 2 de las 64 respuestas sugirieron algo peligroso. Es exactamente el caso que existe para sustituir el filtro de salida.
  • Modelo descargado del repositorio oficial, con archivos verificados por un SHA-256 fijado en la app. Si la verificación falla, se borra y nunca se carga.

Límites conocidos

  • Los modelos pequeños todavía fallan en las comprobaciones estrictas, sobre todo en la longitud de la respuesta (39 de 64 en la ronda citada), y funcionan mejor en inglés que en portugués.
  • En PCs sin una tarjeta gráfica adecuada, el modelo local tarda unos treinta segundos por respuesta.
  • Solo para Windows por ahora.

Stack

  • C# / .NET 10
  • Avalonia
  • Native AOT
  • ONNX Runtime
  • DirectML
  • Microsoft.Extensions.AI
  • xUnit