Vai al contenuto
← Torna ai progetti
Caso di studio · IA applicata

Pennyworth

IA con limiti: l'app misura e diagnostica, il modello si limita a spiegare

App gratuita per Windows che spiega il PC in linguaggio chiaro. L'assistente risponde sulla macchina della persona senza inventare numeri e senza agire da solo, con un piccolo modello locale o con l'account IA della persona stessa.

Ruolo
Autore e manutentore
Tipo
App desktop · Windows
Codice
Pubblico su GitHub
Lingue
Inglese e portoghese (Brasile)

Contesto

Una persona alle prime armi chiede "perché il PC si blocca quando apro questo gioco?" o "16 GB di RAM bastano?". Un chatbot generico risponde senza conoscere la macchina, e un piccolo modello eseguito in locale inventa numeri con facilità.

L'app misurava già disco, memoria, processore e hardware prima ancora di avere un assistente. La domanda di ingegneria era come sfruttare quelle misurazioni senza dare al modello la possibilità di inventare un dato o di toccare il PC di qualcuno.

Architettura

Architettura dell'assistente di PennyworthIl percorso di una risposta: le misurazioni diventano fatti e diagnosi deterministiche, il modello si occupa solo di scrivere, e la risposta passa per un filtro e per un elenco chiuso di azioni. Le linee tratteggiate esistono solo quando la persona configura un account IA.Misurazioni dell'appdisco, RAM, CPU, GPUe hardwareFatti + regolediagnosi deterministicacon test unitariContestopersona, fatti, azioniobiettivo di 1.500 tokenAnonimizzatoreanteprima di ciò chelascerà il PCModello localeONNX Runtime + DirectMLSHA-256 verificatoIChatClientMicrosoft.Extensions.AIIl tuo account IAOpenAI, Anthropic,Gemini, AzureFiltro dei consiglicontrolla prima di mostrareCollegamento azionisolo azioni dell'elencoSchermate dell'appanteprima + conferma
Il percorso di una risposta: le misurazioni diventano fatti e diagnosi deterministiche, il modello si occupa solo di scrivere, e la risposta passa per un filtro e per un elenco chiuso di azioni. Le linee tratteggiate esistono solo quando la persona configura un account IA.

Flussi principali

  1. L'app raccoglie fatti da ciò che ha già misurato, e regole scritte a mano li trasformano in diagnosi con gravità e una sola azione consentita.
  2. Il modello riceve persona, fatti, diagnosi e l'elenco delle azioni, con l'istruzione di rispondere solo a partire da questi dati e di dire quando non è possibile sapere.
  3. Con un account IA, la persona vede cosa verrà inviato, con nome e cartelle personali sostituiti da segnaposto come `<user>`.
  4. La risposta passa dal filtro, frase per frase. I token di azione che superano la validazione diventano pulsanti verso schermate che hanno già anteprima e conferma.

Decisioni e compromessi

  1. Prima i fatti, senza tool calling

    Decisione
    L'app calcola tutto e il modello si limita a spiegare. Nulla sul PC viene chiesto al modello perché lo scopra, e lo stesso meccanismo funziona allo stesso modo nel cloud e con il modello locale.
    Scartato
    Tool calling e agenti autonomi. I piccoli modelli locali sono poco affidabili in questo, e un agente che cancella file sul PC di un principiante è un rischio senza ritorno.
    Costo accettato
    L'assistente non esegue nulla. Indica soltanto una schermata esistente, e la persona decide da lì.
  2. Le valutazioni scelgono il modello

    Decisione
    Uno strumento di valutazione (`tools/AssistantEval`) esegue scenari in inglese e in portoghese contro qualsiasi backend e controlla numeri inventati, azioni fuori elenco, consigli pericolosi, lunghezza, lingua e persona. I criteri, in ordine: non inventare fatti, qualità in portoghese, uso della RAM, velocità su CPU.
    Scartato
    Scegliere in base alla reputazione del modello. La valutazione ha fatto saltare il piano iniziale: Phi-3.5-mini era il modello provvisorio predefinito, ma non funziona con DirectML, quindi il catalogo finale usa Phi-4-mini su GPU da 6 GB o più e Phi-3.5-mini su CPU.
    Costo accettato
    I controlli sono volutamente rigidi e rudimentali, quindi i report richiedono ancora una lettura umana.
  3. Un nucleo che non conosce né rete né runtime

    Decisione
    `Pennyworth.Assistant` contiene fatti, regole, prompt, filtro e anonimizzazione, e parla solo con `IChatClient`. I provider e il modello locale stanno in progetti separati, caricati solo quando servono.
    Scartato
    Mettere SDK e runtime nello stesso progetto, il che complicherebbe i test e il Native AOT e peserebbe su chi non attiva mai l'assistente.
    Costo accettato
    Più progetti da mantenere. In cambio, la logica si testa con un client finto, e senza un assistente configurato l'app non fa alcuna chiamata di rete né occupa memoria extra.
  4. Filtro di uscita deterministico

    Decisione
    Ogni risposta passa dal filtro prima di comparire, frase per frase durante lo streaming. I consigli come modificare il registro o disattivare Windows Defender vengono sostituiti.
    Scartato
    Affidarsi solo all'istruzione del prompt, che un piccolo modello non segue in modo costante.
    Costo accettato
    L'elenco dei consigli bloccati si mantiene a mano, in due lingue, e deve crescere con ciò che emerge dalle valutazioni.
  5. Privacy senza un server proprio

    Decisione
    Nessun servizio ospitato: la persona esegue il modello in locale oppure usa la propria chiave, conservata nel Gestione credenziali di Windows. Prima di inviare qualcosa, l'app mostra esattamente cosa lascia il PC.
    Scartato
    Un servizio cloud di Pennyworth, che avrebbe un costo ricorrente e metterebbe nelle mani del progetto dati di terzi da custodire.
    Costo accettato
    Più attrito nella configurazione. Il modello locale viene scaricato solo su richiesta, e l'app avvisa, senza bloccare, quando il PC probabilmente non lo farà girare bene.

Risultati

  • Senza un assistente configurato, l'app si comporta come prima: nessuna rete, nessun download e nessuna memoria extra.
  • In un ciclo con Phi-4-mini su GPU: 0 errori su 64 risposte, 0 errori di lingua e di persona, e una mediana di 3,3 s per risposta in inglese.
  • Nello stesso ciclo, 2 delle 64 risposte suggerivano qualcosa di pericoloso. È esattamente il caso per cui esiste il filtro di uscita.
  • Modello scaricato dal repository ufficiale, con file verificati tramite un SHA-256 fissato nell'app. Se la verifica fallisce, viene eliminato e non viene mai caricato.

Limiti noti

  • I piccoli modelli falliscono ancora i controlli rigidi, soprattutto sulla lunghezza della risposta (39 su 64 nel ciclo citato), e rendono meglio in inglese che in portoghese.
  • Sui PC senza una scheda video adeguata, il modello locale impiega circa mezzo minuto per risposta.
  • Per ora solo per Windows.

Stack

  • C# / .NET 10
  • Avalonia
  • Native AOT
  • ONNX Runtime
  • DirectML
  • Microsoft.Extensions.AI
  • xUnit