Estudo de caso · IA aplicada
Pennyworth
IA com limites: o app mede e diagnostica, o modelo só explica
App gratuito para Windows que explica o PC em linguagem clara. O assistente responde sobre a máquina da pessoa sem inventar números e sem agir sozinho, com um modelo local pequeno ou com a conta de IA da própria pessoa.
- Papel
- Autor e mantenedor
- Tipo
- App desktop · Windows
- Código
- Público no GitHub
- Idiomas
- Inglês e português (Brasil)
- 8Checagens automáticas em cada resposta avaliada
- 64Respostas por rodada de avaliação, em dois idiomas
- 5Backends de modelo atrás de uma única interface IChatClient
Contexto
Um iniciante quer perguntar "por que meu PC trava quando abro este jogo?" ou "16 GB de RAM bastam?". Um chatbot genérico responde sem conhecer a máquina, e um modelo pequeno rodando localmente inventa números com facilidade.
O app já media disco, memória, processador e hardware antes de existir assistente. A pergunta de engenharia foi como aproveitar essas medições sem dar ao modelo a chance de inventar um dado ou de mexer no PC de alguém.
Arquitetura
Fluxos principais
- O app coleta fatos do que já mediu, e regras escritas à mão os transformam em diagnósticos com severidade e uma ação permitida.
- O modelo recebe persona, fatos, diagnósticos e a lista de ações, com a instrução de responder só a partir disso e de dizer quando não dá para saber.
- Com conta de IA, a pessoa vê o que será enviado, com nome e pastas pessoais trocados por marcadores como `<user>`.
- A resposta passa pelo filtro, frase a frase. Os tokens de ação que sobrevivem à validação viram botões para telas que já têm prévia e confirmação.
Decisões e trade-offs
Fatos primeiro, sem tool calling
- Decisão
- O app calcula tudo e o modelo só explica. Nada sobre o PC é pedido para o modelo descobrir, e o mesmo mecanismo funciona igual na nuvem e no modelo local.
- Rejeitado
- Tool calling e agentes autônomos. Modelos locais pequenos são pouco confiáveis nisso, e um agente que apaga arquivos no PC de um iniciante é um risco sem retorno.
- Custo aceito
- O assistente não executa nada. Ele só aponta para uma tela existente, e a pessoa decide a partir dali.
Avaliações escolhem o modelo
- Decisão
- Uma ferramenta de avaliação (`tools/AssistantEval`) roda cenários em inglês e português contra qualquer backend e checa números inventados, ações fora da lista, conselhos perigosos, tamanho, idioma e persona. Os critérios, em ordem: não inventar fatos, qualidade em português, uso de RAM, velocidade em CPU.
- Rejeitado
- Escolher pela reputação do modelo. A avaliação derrubou o plano inicial: o Phi-3.5-mini era o padrão provisório, mas não roda em DirectML, então o catálogo final usa Phi-4-mini em GPUs com 6 GB ou mais e Phi-3.5-mini em CPU.
- Custo aceito
- As checagens são propositalmente rígidas e rudimentares, então os relatórios ainda precisam de leitura humana.
Um núcleo que não conhece rede nem runtime
- Decisão
- `Pennyworth.Assistant` contém fatos, regras, prompts, filtro e anonimização, e só fala com `IChatClient`. Provedores e modelo local ficam em projetos separados, carregados só quando usados.
- Rejeitado
- Colocar SDKs e runtime no mesmo projeto, o que dificultaria testes e o Native AOT e pesaria para quem nunca ativa o assistente.
- Custo aceito
- Mais projetos para manter. Em troca, a lógica é testada com um cliente falso, e sem assistente configurado o app não faz chamada de rede nem ocupa memória extra.
Filtro de saída determinístico
- Decisão
- Toda resposta passa pelo filtro antes de aparecer, frase a frase no streaming. Conselhos como editar o registro ou desligar o Windows Defender são substituídos.
- Rejeitado
- Confiar apenas na instrução do prompt, que um modelo pequeno não segue de forma consistente.
- Custo aceito
- A lista de conselhos bloqueados é mantida à mão, em dois idiomas, e precisa crescer com o que as avaliações encontrarem.
Privacidade sem servidor próprio
- Decisão
- Sem serviço hospedado: a pessoa roda localmente ou usa a própria chave, guardada no Gerenciador de Credenciais do Windows. Antes de enviar, o app mostra exatamente o que sai do PC.
- Rejeitado
- Um serviço de nuvem do próprio Pennyworth, que traria custo recorrente e daria ao projeto a guarda de dados de terceiros.
- Custo aceito
- Mais atrito na configuração. O modelo local só é baixado a pedido, e o app avisa, sem bloquear, quando o PC provavelmente não vai rodá-lo bem.
Resultados
- Sem assistente configurado, o app se comporta como antes: sem rede, sem download e sem memória extra.
- Numa rodada com Phi-4-mini em GPU: 0 erros em 64 respostas, 0 falhas de idioma e de persona, e mediana de 3,3 s por resposta em inglês.
- Na mesma rodada, 2 das 64 respostas sugeriram algo perigoso. É exatamente o caso que o filtro de saída existe para substituir.
- Modelo baixado do repositório oficial, com arquivos conferidos por SHA-256 fixado no app. Se a verificação falhar, ele é apagado e nunca carregado.
Limites conhecidos
- Modelos pequenos ainda falham nas checagens rígidas, sobretudo em tamanho de resposta (39 de 64 na rodada citada), e vão melhor em inglês do que em português.
- Em PCs sem placa de vídeo adequada, o modelo local leva cerca de meio minuto por resposta.
- Só para Windows por enquanto.
Stack
- C# / .NET 10
- Avalonia
- Native AOT
- ONNX Runtime
- DirectML
- Microsoft.Extensions.AI
- xUnit