Pular para o conteúdo
← Voltar aos projetos
Estudo de caso · IA aplicada

Pennyworth

IA com limites: o app mede e diagnostica, o modelo só explica

App gratuito para Windows que explica o PC em linguagem clara. O assistente responde sobre a máquina da pessoa sem inventar números e sem agir sozinho, com um modelo local pequeno ou com a conta de IA da própria pessoa.

Papel
Autor e mantenedor
Tipo
App desktop · Windows
Código
Público no GitHub
Idiomas
Inglês e português (Brasil)

Contexto

Um iniciante quer perguntar "por que meu PC trava quando abro este jogo?" ou "16 GB de RAM bastam?". Um chatbot genérico responde sem conhecer a máquina, e um modelo pequeno rodando localmente inventa números com facilidade.

O app já media disco, memória, processador e hardware antes de existir assistente. A pergunta de engenharia foi como aproveitar essas medições sem dar ao modelo a chance de inventar um dado ou de mexer no PC de alguém.

Arquitetura

Arquitetura do assistente do PennyworthO caminho de uma resposta: medições viram fatos e diagnósticos determinísticos, o modelo só redige, e a resposta passa por filtro e por uma lista fechada de ações. Linhas tracejadas só existem quando a pessoa configura uma conta de IA.Medições do appdisco, RAM, CPU, GPUe hardwareFatos + regrasdiagnóstico determinísticocom testes unitáriosContextopersona, fatos, açõesalvo de 1.500 tokensAnonimizadorprévia do quesairá do PCModelo localONNX Runtime + DirectMLSHA-256 verificadoIChatClientMicrosoft.Extensions.AISua conta de IAOpenAI, Anthropic,Gemini, AzureFiltro de conselhoscheca antes de exibirAction linkersó ações da listaTelas do appprévia + confirmação
O caminho de uma resposta: medições viram fatos e diagnósticos determinísticos, o modelo só redige, e a resposta passa por filtro e por uma lista fechada de ações. Linhas tracejadas só existem quando a pessoa configura uma conta de IA.

Fluxos principais

  1. O app coleta fatos do que já mediu, e regras escritas à mão os transformam em diagnósticos com severidade e uma ação permitida.
  2. O modelo recebe persona, fatos, diagnósticos e a lista de ações, com a instrução de responder só a partir disso e de dizer quando não dá para saber.
  3. Com conta de IA, a pessoa vê o que será enviado, com nome e pastas pessoais trocados por marcadores como `<user>`.
  4. A resposta passa pelo filtro, frase a frase. Os tokens de ação que sobrevivem à validação viram botões para telas que já têm prévia e confirmação.

Decisões e trade-offs

  1. Fatos primeiro, sem tool calling

    Decisão
    O app calcula tudo e o modelo só explica. Nada sobre o PC é pedido para o modelo descobrir, e o mesmo mecanismo funciona igual na nuvem e no modelo local.
    Rejeitado
    Tool calling e agentes autônomos. Modelos locais pequenos são pouco confiáveis nisso, e um agente que apaga arquivos no PC de um iniciante é um risco sem retorno.
    Custo aceito
    O assistente não executa nada. Ele só aponta para uma tela existente, e a pessoa decide a partir dali.
  2. Avaliações escolhem o modelo

    Decisão
    Uma ferramenta de avaliação (`tools/AssistantEval`) roda cenários em inglês e português contra qualquer backend e checa números inventados, ações fora da lista, conselhos perigosos, tamanho, idioma e persona. Os critérios, em ordem: não inventar fatos, qualidade em português, uso de RAM, velocidade em CPU.
    Rejeitado
    Escolher pela reputação do modelo. A avaliação derrubou o plano inicial: o Phi-3.5-mini era o padrão provisório, mas não roda em DirectML, então o catálogo final usa Phi-4-mini em GPUs com 6 GB ou mais e Phi-3.5-mini em CPU.
    Custo aceito
    As checagens são propositalmente rígidas e rudimentares, então os relatórios ainda precisam de leitura humana.
  3. Um núcleo que não conhece rede nem runtime

    Decisão
    `Pennyworth.Assistant` contém fatos, regras, prompts, filtro e anonimização, e só fala com `IChatClient`. Provedores e modelo local ficam em projetos separados, carregados só quando usados.
    Rejeitado
    Colocar SDKs e runtime no mesmo projeto, o que dificultaria testes e o Native AOT e pesaria para quem nunca ativa o assistente.
    Custo aceito
    Mais projetos para manter. Em troca, a lógica é testada com um cliente falso, e sem assistente configurado o app não faz chamada de rede nem ocupa memória extra.
  4. Filtro de saída determinístico

    Decisão
    Toda resposta passa pelo filtro antes de aparecer, frase a frase no streaming. Conselhos como editar o registro ou desligar o Windows Defender são substituídos.
    Rejeitado
    Confiar apenas na instrução do prompt, que um modelo pequeno não segue de forma consistente.
    Custo aceito
    A lista de conselhos bloqueados é mantida à mão, em dois idiomas, e precisa crescer com o que as avaliações encontrarem.
  5. Privacidade sem servidor próprio

    Decisão
    Sem serviço hospedado: a pessoa roda localmente ou usa a própria chave, guardada no Gerenciador de Credenciais do Windows. Antes de enviar, o app mostra exatamente o que sai do PC.
    Rejeitado
    Um serviço de nuvem do próprio Pennyworth, que traria custo recorrente e daria ao projeto a guarda de dados de terceiros.
    Custo aceito
    Mais atrito na configuração. O modelo local só é baixado a pedido, e o app avisa, sem bloquear, quando o PC provavelmente não vai rodá-lo bem.

Resultados

  • Sem assistente configurado, o app se comporta como antes: sem rede, sem download e sem memória extra.
  • Numa rodada com Phi-4-mini em GPU: 0 erros em 64 respostas, 0 falhas de idioma e de persona, e mediana de 3,3 s por resposta em inglês.
  • Na mesma rodada, 2 das 64 respostas sugeriram algo perigoso. É exatamente o caso que o filtro de saída existe para substituir.
  • Modelo baixado do repositório oficial, com arquivos conferidos por SHA-256 fixado no app. Se a verificação falhar, ele é apagado e nunca carregado.

Limites conhecidos

  • Modelos pequenos ainda falham nas checagens rígidas, sobretudo em tamanho de resposta (39 de 64 na rodada citada), e vão melhor em inglês do que em português.
  • Em PCs sem placa de vídeo adequada, o modelo local leva cerca de meio minuto por resposta.
  • Só para Windows por enquanto.

Stack

  • C# / .NET 10
  • Avalonia
  • Native AOT
  • ONNX Runtime
  • DirectML
  • Microsoft.Extensions.AI
  • xUnit