Zum Inhalt springen
← Zurück zu den Projekten
Fallstudie · angewandte KI

Pennyworth

KI mit Grenzen: die App misst und diagnostiziert, das Modell erklärt nur

Kostenlose Windows-App, die den PC in verständlicher Sprache erklärt. Der Assistent antwortet über die Maschine der Person, ohne Zahlen zu erfinden und ohne eigenmächtig zu handeln, mit einem kleinen lokalen Modell oder mit dem KI-Konto der Person.

Rolle
Autor und Betreuer
Typ
Desktop-App · Windows
Code
Öffentlich auf GitHub
Sprachen
Englisch und Portugiesisch (Brasilien)

Kontext

Eine Einsteigerin oder ein Einsteiger fragt "Warum ruckelt mein PC, wenn ich dieses Spiel öffne?" oder "Reichen 16 GB RAM?". Ein generischer Chatbot antwortet, ohne die Maschine zu kennen, und ein kleines lokal laufendes Modell erfindet leicht Zahlen.

Die App hat Festplatte, Speicher, Prozessor und Hardware bereits gemessen, bevor es einen Assistenten gab. Die technische Frage war, wie diese Messungen genutzt werden können, ohne dem Modell die Chance zu geben, eine Angabe zu erfinden oder am PC eines Menschen etwas zu verändern.

Architektur

Architektur des Assistenten von PennyworthDer Weg einer Antwort: Messungen werden zu Fakten und deterministischen Diagnosen, das Modell formuliert nur, und die Antwort durchläuft einen Filter und eine feste Liste von Aktionen. Gestrichelte Linien gibt es nur, wenn die Person ein KI-Konto einrichtet.Messungen der AppFestplatte, RAM, CPU, GPUund HardwareFakten + Regelndeterministische Diagnosemit Unit-TestsKontextPersona, Fakten, AktionenZiel: 1.500 TokensAnonymisiererVorschau dessen,was den PC verlässtLokales ModellONNX Runtime + DirectMLSHA-256 geprüftIChatClientMicrosoft.Extensions.AIDein KI-KontoOpenAI, Anthropic,Gemini, AzureRatschlag-Filterprüft vor der AnzeigeAktions-Verknüpfungnur Aktionen aus der ListeBildschirme der AppVorschau + Bestätigung
Der Weg einer Antwort: Messungen werden zu Fakten und deterministischen Diagnosen, das Modell formuliert nur, und die Antwort durchläuft einen Filter und eine feste Liste von Aktionen. Gestrichelte Linien gibt es nur, wenn die Person ein KI-Konto einrichtet.

Wichtigste Abläufe

  1. Die App sammelt Fakten aus dem, was sie bereits gemessen hat, und von Hand geschriebene Regeln machen daraus Diagnosen mit Schweregrad und genau einer erlaubten Aktion.
  2. Das Modell erhält Persona, Fakten, Diagnosen und die Aktionsliste, mit der Anweisung, nur daraus zu antworten und zu sagen, wenn etwas nicht bekannt ist.
  3. Mit einem KI-Konto sieht die Person, was gesendet wird, wobei Name und persönliche Ordner durch Platzhalter wie `<user>` ersetzt sind.
  4. Die Antwort durchläuft den Filter Satz für Satz. Aktions-Token, die die Prüfung überstehen, werden zu Schaltflächen für Bildschirme, die bereits eine Vorschau und Bestätigung haben.

Entscheidungen und Abwägungen

  1. Erst Fakten, ohne Tool Calling

    Entscheidung
    Die App berechnet alles, und das Modell erklärt nur. Nichts über den PC muss das Modell herausfinden, und derselbe Mechanismus funktioniert in der Cloud und mit dem lokalen Modell gleich.
    Verworfen
    Tool Calling und autonome Agenten. Kleine lokale Modelle sind dabei unzuverlässig, und ein Agent, der Dateien auf dem PC eines Einsteigers löscht, ist ein Risiko ohne Rückweg.
    Akzeptierte Kosten
    Der Assistent führt nichts aus. Er verweist nur auf einen bestehenden Bildschirm, und die Person entscheidet dort.
  2. Bewertungen wählen das Modell

    Entscheidung
    Ein Bewertungswerkzeug (`tools/AssistantEval`) führt Szenarien auf Englisch und Portugiesisch gegen beliebige Backends aus und prüft erfundene Zahlen, Aktionen außerhalb der Liste, gefährliche Ratschläge, Länge, Sprache und Persona. Die Kriterien in Reihenfolge: keine erfundenen Fakten, Qualität auf Portugiesisch, RAM-Verbrauch, Geschwindigkeit auf der CPU.
    Verworfen
    Die Auswahl nach dem Ruf eines Modells. Die Bewertung hat den ursprünglichen Plan gekippt: Phi-3.5-mini war das vorläufige Standardmodell, läuft aber nicht mit DirectML, daher nutzt der endgültige Katalog Phi-4-mini auf GPUs mit mindestens 6 GB und Phi-3.5-mini auf der CPU.
    Akzeptierte Kosten
    Die Prüfungen sind bewusst streng und einfach gehalten, deshalb müssen die Berichte noch von Menschen gelesen werden.
  3. Ein Kern, der weder Netzwerk noch Runtime kennt

    Entscheidung
    `Pennyworth.Assistant` enthält Fakten, Regeln, Prompts, Filter und Anonymisierung und spricht nur mit `IChatClient`. Anbieter und das lokale Modell liegen in getrennten Projekten und werden nur bei Bedarf geladen.
    Verworfen
    SDKs und Runtime im selben Projekt, was Tests und Native AOT erschweren und alle belasten würde, die den Assistenten nie aktivieren.
    Akzeptierte Kosten
    Mehr Projekte zu pflegen. Dafür wird die Logik mit einem Fake-Client getestet, und ohne konfigurierten Assistenten macht die App keinerlei Netzwerkaufrufe und belegt keinen zusätzlichen Speicher.
  4. Deterministischer Ausgabefilter

    Entscheidung
    Jede Antwort durchläuft den Filter, bevor sie erscheint, beim Streaming Satz für Satz. Ratschläge wie das Bearbeiten der Registry oder das Deaktivieren von Windows Defender werden ersetzt.
    Verworfen
    Nur auf die Anweisung im Prompt zu vertrauen, der ein kleines Modell nicht konsequent folgt.
    Akzeptierte Kosten
    Die Liste gesperrter Ratschläge wird von Hand gepflegt, in zwei Sprachen, und muss mit den Funden aus den Bewertungen wachsen.
  5. Datenschutz ohne eigenen Server

    Entscheidung
    Kein gehosteter Dienst: Die Person betreibt das Modell lokal oder nutzt den eigenen Schlüssel, gespeichert im Windows-Anmeldeinformationsspeicher. Vor dem Senden zeigt die App genau, was den PC verlässt.
    Verworfen
    Ein eigener Cloud-Dienst von Pennyworth, der laufende Kosten verursachen und dem Projekt die Verantwortung für fremde Daten aufbürden würde.
    Akzeptierte Kosten
    Mehr Aufwand bei der Einrichtung. Das lokale Modell wird nur auf Anfrage geladen, und die App warnt, ohne zu blockieren, wenn der PC es voraussichtlich nicht gut ausführen wird.

Ergebnisse

  • Ohne konfigurierten Assistenten verhält sich die App wie zuvor: kein Netzwerk, kein Download und kein zusätzlicher Speicher.
  • In einer Runde mit Phi-4-mini auf der GPU: 0 Fehler bei 64 Antworten, 0 Sprach- und Persona-Fehler und ein Median von 3,3 s pro Antwort auf Englisch.
  • In derselben Runde schlugen 2 der 64 Antworten etwas Gefährliches vor. Genau dafür existiert der Ausgabefilter.
  • Das Modell stammt aus dem offiziellen Repository, die Dateien werden per SHA-256 geprüft, der Wert ist in der App fest hinterlegt. Schlägt die Prüfung fehl, wird das Modell gelöscht und nie geladen.

Bekannte Grenzen

  • Kleine Modelle scheitern noch an den strengen Prüfungen, vor allem bei der Antwortlänge (39 von 64 in der genannten Runde), und sind auf Englisch besser als auf Portugiesisch.
  • Auf PCs ohne geeignete Grafikkarte braucht das lokale Modell etwa eine halbe Minute pro Antwort.
  • Vorerst nur für Windows.

Stack

  • C# / .NET 10
  • Avalonia
  • Native AOT
  • ONNX Runtime
  • DirectML
  • Microsoft.Extensions.AI
  • xUnit