Pennyworth
KI mit Grenzen: die App misst und diagnostiziert, das Modell erklärt nur
Kostenlose Windows-App, die den PC in verständlicher Sprache erklärt. Der Assistent antwortet über die Maschine der Person, ohne Zahlen zu erfinden und ohne eigenmächtig zu handeln, mit einem kleinen lokalen Modell oder mit dem KI-Konto der Person.
- Rolle
- Autor und Betreuer
- Typ
- Desktop-App · Windows
- Code
- Öffentlich auf GitHub
- Sprachen
- Englisch und Portugiesisch (Brasilien)
- 8Automatische Prüfungen bei jeder bewerteten Antwort
- 64Antworten pro Bewertungsrunde, in zwei Sprachen
- 5Modell-Backends hinter einer einzigen IChatClient-Schnittstelle
Kontext
Eine Einsteigerin oder ein Einsteiger fragt "Warum ruckelt mein PC, wenn ich dieses Spiel öffne?" oder "Reichen 16 GB RAM?". Ein generischer Chatbot antwortet, ohne die Maschine zu kennen, und ein kleines lokal laufendes Modell erfindet leicht Zahlen.
Die App hat Festplatte, Speicher, Prozessor und Hardware bereits gemessen, bevor es einen Assistenten gab. Die technische Frage war, wie diese Messungen genutzt werden können, ohne dem Modell die Chance zu geben, eine Angabe zu erfinden oder am PC eines Menschen etwas zu verändern.
Architektur
Wichtigste Abläufe
- Die App sammelt Fakten aus dem, was sie bereits gemessen hat, und von Hand geschriebene Regeln machen daraus Diagnosen mit Schweregrad und genau einer erlaubten Aktion.
- Das Modell erhält Persona, Fakten, Diagnosen und die Aktionsliste, mit der Anweisung, nur daraus zu antworten und zu sagen, wenn etwas nicht bekannt ist.
- Mit einem KI-Konto sieht die Person, was gesendet wird, wobei Name und persönliche Ordner durch Platzhalter wie `<user>` ersetzt sind.
- Die Antwort durchläuft den Filter Satz für Satz. Aktions-Token, die die Prüfung überstehen, werden zu Schaltflächen für Bildschirme, die bereits eine Vorschau und Bestätigung haben.
Entscheidungen und Abwägungen
Erst Fakten, ohne Tool Calling
- Entscheidung
- Die App berechnet alles, und das Modell erklärt nur. Nichts über den PC muss das Modell herausfinden, und derselbe Mechanismus funktioniert in der Cloud und mit dem lokalen Modell gleich.
- Verworfen
- Tool Calling und autonome Agenten. Kleine lokale Modelle sind dabei unzuverlässig, und ein Agent, der Dateien auf dem PC eines Einsteigers löscht, ist ein Risiko ohne Rückweg.
- Akzeptierte Kosten
- Der Assistent führt nichts aus. Er verweist nur auf einen bestehenden Bildschirm, und die Person entscheidet dort.
Bewertungen wählen das Modell
- Entscheidung
- Ein Bewertungswerkzeug (`tools/AssistantEval`) führt Szenarien auf Englisch und Portugiesisch gegen beliebige Backends aus und prüft erfundene Zahlen, Aktionen außerhalb der Liste, gefährliche Ratschläge, Länge, Sprache und Persona. Die Kriterien in Reihenfolge: keine erfundenen Fakten, Qualität auf Portugiesisch, RAM-Verbrauch, Geschwindigkeit auf der CPU.
- Verworfen
- Die Auswahl nach dem Ruf eines Modells. Die Bewertung hat den ursprünglichen Plan gekippt: Phi-3.5-mini war das vorläufige Standardmodell, läuft aber nicht mit DirectML, daher nutzt der endgültige Katalog Phi-4-mini auf GPUs mit mindestens 6 GB und Phi-3.5-mini auf der CPU.
- Akzeptierte Kosten
- Die Prüfungen sind bewusst streng und einfach gehalten, deshalb müssen die Berichte noch von Menschen gelesen werden.
Ein Kern, der weder Netzwerk noch Runtime kennt
- Entscheidung
- `Pennyworth.Assistant` enthält Fakten, Regeln, Prompts, Filter und Anonymisierung und spricht nur mit `IChatClient`. Anbieter und das lokale Modell liegen in getrennten Projekten und werden nur bei Bedarf geladen.
- Verworfen
- SDKs und Runtime im selben Projekt, was Tests und Native AOT erschweren und alle belasten würde, die den Assistenten nie aktivieren.
- Akzeptierte Kosten
- Mehr Projekte zu pflegen. Dafür wird die Logik mit einem Fake-Client getestet, und ohne konfigurierten Assistenten macht die App keinerlei Netzwerkaufrufe und belegt keinen zusätzlichen Speicher.
Deterministischer Ausgabefilter
- Entscheidung
- Jede Antwort durchläuft den Filter, bevor sie erscheint, beim Streaming Satz für Satz. Ratschläge wie das Bearbeiten der Registry oder das Deaktivieren von Windows Defender werden ersetzt.
- Verworfen
- Nur auf die Anweisung im Prompt zu vertrauen, der ein kleines Modell nicht konsequent folgt.
- Akzeptierte Kosten
- Die Liste gesperrter Ratschläge wird von Hand gepflegt, in zwei Sprachen, und muss mit den Funden aus den Bewertungen wachsen.
Datenschutz ohne eigenen Server
- Entscheidung
- Kein gehosteter Dienst: Die Person betreibt das Modell lokal oder nutzt den eigenen Schlüssel, gespeichert im Windows-Anmeldeinformationsspeicher. Vor dem Senden zeigt die App genau, was den PC verlässt.
- Verworfen
- Ein eigener Cloud-Dienst von Pennyworth, der laufende Kosten verursachen und dem Projekt die Verantwortung für fremde Daten aufbürden würde.
- Akzeptierte Kosten
- Mehr Aufwand bei der Einrichtung. Das lokale Modell wird nur auf Anfrage geladen, und die App warnt, ohne zu blockieren, wenn der PC es voraussichtlich nicht gut ausführen wird.
Ergebnisse
- Ohne konfigurierten Assistenten verhält sich die App wie zuvor: kein Netzwerk, kein Download und kein zusätzlicher Speicher.
- In einer Runde mit Phi-4-mini auf der GPU: 0 Fehler bei 64 Antworten, 0 Sprach- und Persona-Fehler und ein Median von 3,3 s pro Antwort auf Englisch.
- In derselben Runde schlugen 2 der 64 Antworten etwas Gefährliches vor. Genau dafür existiert der Ausgabefilter.
- Das Modell stammt aus dem offiziellen Repository, die Dateien werden per SHA-256 geprüft, der Wert ist in der App fest hinterlegt. Schlägt die Prüfung fehl, wird das Modell gelöscht und nie geladen.
Bekannte Grenzen
- Kleine Modelle scheitern noch an den strengen Prüfungen, vor allem bei der Antwortlänge (39 von 64 in der genannten Runde), und sind auf Englisch besser als auf Portugiesisch.
- Auf PCs ohne geeignete Grafikkarte braucht das lokale Modell etwa eine halbe Minute pro Antwort.
- Vorerst nur für Windows.
Stack
- C# / .NET 10
- Avalonia
- Native AOT
- ONNX Runtime
- DirectML
- Microsoft.Extensions.AI
- xUnit