Antonio G. Di Benedetto hat eine Testreihe zu lokalen KI-Agenten begonnen. Er hat Hermes Agent mit einem großen Qwen-Modell auf einem Mac Studio mit 256 GB Unified Memory laufen lassen und fand es praktisch für Aufgaben, die er keinem Cloud-Dienst anvertrauen würde. Zugleich hielt er es für unbeständig: Die Vorstellung vom „magischen Assistenten“ hält im Alltag nach seiner Einschätzung nicht stand. Sein Bericht, veröffentlicht von The Verge am 11. Oktober 2026, ist ein Erfahrungstagebuch in der Ich-Perspektive und kein Sicherheitsbericht.
Warum er lokale Modelle testet
Di Benedetto sagt, dass er den regelmäßigen KI-Einsatz bislang weitgehend gemieden hat, weil er keine persönlichen Daten an Cloud-Anbieter geben wollte. Jetzt will er herausfinden, ob sich die Investition in Hardware lohnt, auf der Modelle lokal laufen. Er bezeichnet sich selbst als Laien und versteht den Beitrag als Teil einer laufenden Serie.
Zu seinem Testaufbau gehören ein Mac Studio mit M5 Ultra sowie weitere Mac- und Windows-Systeme. Er schreibt, Apple bewerbe seine neuen Mac-Desktops als gute Maschinen für lokale KI, und RTX-Spark-Windows-PCs mit bis zu 128 GB RAM, die auf agentische KI ausgelegt sind, stünden „unmittelbar bevor“. Beides sind Herstellerangaben und Marktbehauptungen, die er weitergibt; es sind keine Ergebnisse eigener Tests.
Der Aufbau
- Agent: Hermes Agent, das er als quelloffene, selbst gehostete Desktop-App für macOS, Windows und Linux beschreibt. Nach seiner Darstellung ist sie kostenlos, solange lokale Modelle laufen.
- Hardware: ein Mac Studio mit 256 GB Unified Memory.
- Modell: Qwen 3.8 Flash Next, das er als Modell mit 125 Milliarden Parametern und etwa 105 GB Umfang beschreibt.
- Zugriff per Smartphone: ein Telegram-Bot, mit dem er Hermes aus der Ferne steuert.
Als Nächstes plant er, kleinere Qwen-Modelle auf einem Mac Mini mit M6, einem MacBook Air mit M5 und einem Asus TUF Gaming A14 mit AMD-Strix-Halo-Prozessor auszuprobieren. RTX-Spark-Hardware steht für später auf der Liste.
Was der Agent getan hat
Tägliches Briefing. Ein Cron-Job, der auf 7:30 Uhr eingestellt ist, liest seine E-Mails und seinen Kalender, ergänzt einen Wetterbericht und schickt das Ergebnis über Telegram. Anfangs fiel er immer wieder aus, weil macOS im Ruhezustand war, als der Job startete. Nach seiner Aussage läuft er inzwischen zuverlässig, ist aber während der Tests trotzdem mehrmals ausgefallen.
Aufräumen der Steam-Bibliothek. Hermes sortierte mehr als 400 Spiele nach Genre und ließ seine eigenen Kategorien unangetastet: Favoriten, Koop, Partyspiele und Spiele, die er mit seiner Frau spielt. Dafür las er den bereits auf dem Mac installierten Steam-Client aus. Hierfür registrierte er einen Steam-Web-API-Schlüssel und gab ihn dem Agenten. Das Sortieren dauerte einige Minuten. Danach widerrief er den Schlüssel direkt, weil er ihn nicht mehr brauchte.
Analyse sensibler Daten. Hermes verarbeitete Finanzunterlagen und erstellte eine Tabelle, die Laptop-Spezifikationen gegenüberstellt. Beide Aufgaben behielt er auf seinem eigenen Rechner, wegen der sensiblen Finanzdaten und einer Laptop-Vorstellung unter Sperrfrist. Nach seiner Aussage war genau das der Grund, das Werkzeug überhaupt einzusetzen.
Benchmark-Automatisierung, noch unvollendet. Er möchte ein Skript, das die Laptop-Benchmarks ausführt, die er bislang manuell durchführt: etwa ein Dutzend Tests, je drei Durchläufe. Hermes hat bereits per Vibe-Coding erzeugte Python-Skripte geliefert, doch das Projekt bezeichnet er als Work in Progress.
Kostenkontext
Beim Beschreiben des täglichen Briefings erwähnt er „einen 12.000-Dollar-Rechner“, ohne zu sagen, welches Gerät er meint. Außerdem erinnert er sich an eine Apple-Demo bei einer Präsentation, an der er letzten Monat teilnahm: vier zu einem Cluster verbundene Mac Studios. Er beziffert diese auf „Rechenleistung im Wert von knapp 50.000 Dollar“.
Sein Fazit
Di Benedetto kommt zu dem Schluss, dass sich lokale KI für Aufgaben lohnt, die er von der Cloud fernhalten würde, vor allem aus Datenschutzgründen. Bei der Verlässlichkeit ist er deutlich: Selbst leistungsstarke lokale Modelle verhalten sich nicht wie ein Assistent, der alles kann, und sein eigenes Briefing ist mehr als einmal ausgefallen. Hermes betrachtet er als Werkzeug und nicht als Begleiter. Er kündigt an, weiter zu testen und zu berichten, während er sich durch die übrigen Geräte arbeitet.
