Pennyworth
IA con limiti: l'app misura e diagnostica, il modello si limita a spiegare
App gratuita per Windows che spiega il PC in linguaggio chiaro. L'assistente risponde sulla macchina della persona senza inventare numeri e senza agire da solo, con un piccolo modello locale o con l'account IA della persona stessa.
- Ruolo
- Autore e manutentore
- Tipo
- App desktop · Windows
- Codice
- Pubblico su GitHub
- Lingue
- Inglese e portoghese (Brasile)
- 8Controlli automatici su ogni risposta valutata
- 64Risposte per ciclo di valutazione, in due lingue
- 5Backend di modello dietro un'unica interfaccia IChatClient
Contesto
Una persona alle prime armi chiede "perché il PC si blocca quando apro questo gioco?" o "16 GB di RAM bastano?". Un chatbot generico risponde senza conoscere la macchina, e un piccolo modello eseguito in locale inventa numeri con facilità.
L'app misurava già disco, memoria, processore e hardware prima ancora di avere un assistente. La domanda di ingegneria era come sfruttare quelle misurazioni senza dare al modello la possibilità di inventare un dato o di toccare il PC di qualcuno.
Architettura
Flussi principali
- L'app raccoglie fatti da ciò che ha già misurato, e regole scritte a mano li trasformano in diagnosi con gravità e una sola azione consentita.
- Il modello riceve persona, fatti, diagnosi e l'elenco delle azioni, con l'istruzione di rispondere solo a partire da questi dati e di dire quando non è possibile sapere.
- Con un account IA, la persona vede cosa verrà inviato, con nome e cartelle personali sostituiti da segnaposto come `<user>`.
- La risposta passa dal filtro, frase per frase. I token di azione che superano la validazione diventano pulsanti verso schermate che hanno già anteprima e conferma.
Decisioni e compromessi
Prima i fatti, senza tool calling
- Decisione
- L'app calcola tutto e il modello si limita a spiegare. Nulla sul PC viene chiesto al modello perché lo scopra, e lo stesso meccanismo funziona allo stesso modo nel cloud e con il modello locale.
- Scartato
- Tool calling e agenti autonomi. I piccoli modelli locali sono poco affidabili in questo, e un agente che cancella file sul PC di un principiante è un rischio senza ritorno.
- Costo accettato
- L'assistente non esegue nulla. Indica soltanto una schermata esistente, e la persona decide da lì.
Le valutazioni scelgono il modello
- Decisione
- Uno strumento di valutazione (`tools/AssistantEval`) esegue scenari in inglese e in portoghese contro qualsiasi backend e controlla numeri inventati, azioni fuori elenco, consigli pericolosi, lunghezza, lingua e persona. I criteri, in ordine: non inventare fatti, qualità in portoghese, uso della RAM, velocità su CPU.
- Scartato
- Scegliere in base alla reputazione del modello. La valutazione ha fatto saltare il piano iniziale: Phi-3.5-mini era il modello provvisorio predefinito, ma non funziona con DirectML, quindi il catalogo finale usa Phi-4-mini su GPU da 6 GB o più e Phi-3.5-mini su CPU.
- Costo accettato
- I controlli sono volutamente rigidi e rudimentali, quindi i report richiedono ancora una lettura umana.
Un nucleo che non conosce né rete né runtime
- Decisione
- `Pennyworth.Assistant` contiene fatti, regole, prompt, filtro e anonimizzazione, e parla solo con `IChatClient`. I provider e il modello locale stanno in progetti separati, caricati solo quando servono.
- Scartato
- Mettere SDK e runtime nello stesso progetto, il che complicherebbe i test e il Native AOT e peserebbe su chi non attiva mai l'assistente.
- Costo accettato
- Più progetti da mantenere. In cambio, la logica si testa con un client finto, e senza un assistente configurato l'app non fa alcuna chiamata di rete né occupa memoria extra.
Filtro di uscita deterministico
- Decisione
- Ogni risposta passa dal filtro prima di comparire, frase per frase durante lo streaming. I consigli come modificare il registro o disattivare Windows Defender vengono sostituiti.
- Scartato
- Affidarsi solo all'istruzione del prompt, che un piccolo modello non segue in modo costante.
- Costo accettato
- L'elenco dei consigli bloccati si mantiene a mano, in due lingue, e deve crescere con ciò che emerge dalle valutazioni.
Privacy senza un server proprio
- Decisione
- Nessun servizio ospitato: la persona esegue il modello in locale oppure usa la propria chiave, conservata nel Gestione credenziali di Windows. Prima di inviare qualcosa, l'app mostra esattamente cosa lascia il PC.
- Scartato
- Un servizio cloud di Pennyworth, che avrebbe un costo ricorrente e metterebbe nelle mani del progetto dati di terzi da custodire.
- Costo accettato
- Più attrito nella configurazione. Il modello locale viene scaricato solo su richiesta, e l'app avvisa, senza bloccare, quando il PC probabilmente non lo farà girare bene.
Risultati
- Senza un assistente configurato, l'app si comporta come prima: nessuna rete, nessun download e nessuna memoria extra.
- In un ciclo con Phi-4-mini su GPU: 0 errori su 64 risposte, 0 errori di lingua e di persona, e una mediana di 3,3 s per risposta in inglese.
- Nello stesso ciclo, 2 delle 64 risposte suggerivano qualcosa di pericoloso. È esattamente il caso per cui esiste il filtro di uscita.
- Modello scaricato dal repository ufficiale, con file verificati tramite un SHA-256 fissato nell'app. Se la verifica fallisce, viene eliminato e non viene mai caricato.
Limiti noti
- I piccoli modelli falliscono ancora i controlli rigidi, soprattutto sulla lunghezza della risposta (39 su 64 nel ciclo citato), e rendono meglio in inglese che in portoghese.
- Sui PC senza una scheda video adeguata, il modello locale impiega circa mezzo minuto per risposta.
- Per ora solo per Windows.
Stack
- C# / .NET 10
- Avalonia
- Native AOT
- ONNX Runtime
- DirectML
- Microsoft.Extensions.AI
- xUnit