Aller au contenu
← Retour aux projets
Étude de cas · IA appliquée

Pennyworth

IA sous contraintes : l'app mesure et diagnostique, le modèle se contente d'expliquer

Application gratuite pour Windows qui explique le PC en langage clair. L'assistant répond à propos de la machine de la personne sans inventer de chiffres et sans agir de lui-même, avec un petit modèle local ou avec le compte d'IA de la personne.

Rôle
Auteur et mainteneur
Type
Application de bureau · Windows
Code
Public sur GitHub
Langues
Anglais et portugais (Brésil)

Contexte

Une personne débutante demande « pourquoi mon PC rame quand j'ouvre ce jeu ? » ou « 16 Go de RAM suffisent-ils ? ». Un chatbot générique répond sans connaître la machine, et un petit modèle exécuté en local invente facilement des chiffres.

L'app mesurait déjà le disque, la mémoire, le processeur et le matériel avant qu'il existe un assistant. La question d'ingénierie était de réutiliser ces mesures sans donner au modèle la moindre chance d'inventer une donnée ou de toucher au PC de quelqu'un.

Architecture

Architecture de l'assistant de PennyworthLe parcours d'une réponse : les mesures deviennent des faits et des diagnostics déterministes, le modèle ne fait que rédiger, et la réponse passe par un filtre et par une liste fermée d'actions. Les lignes pointillées n'existent que lorsque la personne configure un compte d'IA.Mesures de l'appdisque, RAM, CPU, GPUet matérielFaits + règlesdiagnostic déterministeavec tests unitairesContextepersona, faits, actionscible de 1 500 tokensAnonymiseuraperçu de ce quisortira du PCModèle localONNX Runtime + DirectMLSHA-256 vérifiéIChatClientMicrosoft.Extensions.AIVotre compte d'IAOpenAI, Anthropic,Gemini, AzureFiltre de conseilsvérifie avant affichageLien d'actionuniquement les actions listéesÉcrans de l'appaperçu + confirmation
Le parcours d'une réponse : les mesures deviennent des faits et des diagnostics déterministes, le modèle ne fait que rédiger, et la réponse passe par un filtre et par une liste fermée d'actions. Les lignes pointillées n'existent que lorsque la personne configure un compte d'IA.

Flux principaux

  1. L'app recueille des faits à partir de ce qu'elle a déjà mesuré, et des règles écrites à la main les transforment en diagnostics assortis d'une gravité et d'une seule action permise.
  2. Le modèle reçoit la persona, les faits, les diagnostics et la liste d'actions, avec pour consigne de répondre uniquement à partir de ces éléments et de dire quand il ne peut pas savoir.
  3. Avec un compte d'IA, la personne voit ce qui sera envoyé, son nom et ses dossiers personnels étant remplacés par des marqueurs comme `<user>`.
  4. La réponse passe par le filtre, phrase par phrase. Les jetons d'action qui survivent à la validation deviennent des boutons menant à des écrans qui ont déjà un aperçu et une confirmation.

Décisions et compromis

  1. Les faits d'abord, sans tool calling

    Décision
    L'app calcule tout et le modèle se contente d'expliquer. Rien sur le PC n'est demandé au modèle pour qu'il le découvre, et le même mécanisme fonctionne à l'identique dans le cloud et avec le modèle local.
    Rejeté
    Le tool calling et les agents autonomes. Les petits modèles locaux y sont peu fiables, et un agent qui supprime des fichiers sur le PC d'un débutant est un risque sans retour possible.
    Coût accepté
    L'assistant n'exécute rien. Il se contente de renvoyer vers un écran existant, et la personne décide à partir de là.
  2. Les évaluations choisissent le modèle

    Décision
    Un outil d'évaluation (`tools/AssistantEval`) exécute des scénarios en anglais et en portugais contre n'importe quel backend et vérifie les chiffres inventés, les actions hors liste, les conseils dangereux, la longueur, la langue et la persona. Les critères, par ordre : ne pas inventer de faits, la qualité en portugais, l'usage de la RAM, la vitesse sur CPU.
    Rejeté
    Choisir selon la réputation du modèle. L'évaluation a fait échouer le plan initial : Phi-3.5-mini était le modèle provisoire par défaut, mais il ne fonctionne pas avec DirectML, si bien que le catalogue final utilise Phi-4-mini sur les GPU d'au moins 6 Go et Phi-3.5-mini sur CPU.
    Coût accepté
    Les vérifications sont volontairement strictes et rudimentaires, donc les rapports ont encore besoin d'une lecture humaine.
  3. Un cœur qui ignore le réseau et le runtime

    Décision
    `Pennyworth.Assistant` contient les faits, les règles, les prompts, le filtre et l'anonymisation, et ne parle qu'à `IChatClient`. Les fournisseurs et le modèle local vivent dans des projets séparés, chargés uniquement lorsqu'ils sont utilisés.
    Rejeté
    Mettre les SDK et le runtime dans le même projet, ce qui compliquerait les tests et le Native AOT, et alourdirait l'app pour qui n'active jamais l'assistant.
    Coût accepté
    Davantage de projets à maintenir. En contrepartie, la logique est testée avec un faux client, et sans assistant configuré l'app ne fait aucun appel réseau et n'occupe pas de mémoire supplémentaire.
  4. Un filtre de sortie déterministe

    Décision
    Chaque réponse passe par le filtre avant d'apparaître, phrase par phrase en streaming. Les conseils comme modifier le registre ou désactiver Windows Defender sont remplacés.
    Rejeté
    Se fier uniquement à l'instruction du prompt, que un petit modèle ne suit pas de façon constante.
    Coût accepté
    La liste des conseils bloqués est tenue à la main, dans deux langues, et doit grandir avec ce que les évaluations révèlent.
  5. Une vie privée sans serveur propre

    Décision
    Aucun service hébergé : la personne exécute le modèle en local ou utilise sa propre clé, stockée dans le Gestionnaire d'identifiants Windows. Avant tout envoi, l'app montre exactement ce qui sort du PC.
    Rejeté
    Un service cloud propre à Pennyworth, qui aurait un coût récurrent et ferait porter au projet la garde de données de tiers.
    Coût accepté
    Davantage de friction à la configuration. Le modèle local n'est téléchargé que sur demande, et l'app prévient, sans bloquer, lorsque le PC ne le fera probablement pas bien tourner.

Résultats

  • Sans assistant configuré, l'app se comporte comme avant : pas de réseau, pas de téléchargement et pas de mémoire supplémentaire.
  • Lors d'une série avec Phi-4-mini sur GPU : 0 erreur sur 64 réponses, 0 échec de langue ni de persona, et une médiane de 3,3 s par réponse en anglais.
  • Dans la même série, 2 réponses sur 64 suggéraient quelque chose de dangereux. C'est précisément le cas que le filtre de sortie existe pour remplacer.
  • Modèle téléchargé depuis le dépôt officiel, avec des fichiers vérifiés par un SHA-256 figé dans l'app. Si la vérification échoue, il est supprimé et n'est jamais chargé.

Limites connues

  • Les petits modèles échouent encore aux vérifications strictes, surtout sur la longueur des réponses (39 sur 64 dans la série citée), et réussissent mieux en anglais qu'en portugais.
  • Sur les PC sans carte graphique adaptée, le modèle local met environ une demi-minute par réponse.
  • Windows uniquement pour l'instant.

Stack

  • C# / .NET 10
  • Avalonia
  • Native AOT
  • ONNX Runtime
  • DirectML
  • Microsoft.Extensions.AI
  • xUnit