Antonio G. Di Benedetto a lancé une série de tests sur les agents d'IA locaux. Il a fait tourner Hermes Agent avec un grand modèle Qwen sur un Mac Studio doté de 256 Go de mémoire unifiée, et il l'a trouvé pratique pour des travaux qu'il ne confierait pas à un service cloud. Il le juge aussi instable et affirme que l'idée d'un « assistant magique » ne tient pas la route au quotidien. Son récit, publié par The Verge le 11 octobre 2026, est un journal à la première personne et non un rapport de sécurité.
Pourquoi il teste des modèles locaux
Di Benedetto explique qu'il s'était surtout tenu à l'écart de l'usage courant de l'IA, car il ne voulait pas confier ses données personnelles à des fournisseurs cloud. Il veut désormais savoir si le coût d'un matériel capable de faire tourner des modèles en local en vaut la peine. Il se présente comme un non-spécialiste et inscrit cet article dans une série en cours.
Son banc d'essai comprend un Mac Studio M5 Ultra ainsi que d'autres machines Mac et Windows. Il écrit qu'Apple présente ses nouveaux ordinateurs de bureau Mac comme de bonnes machines pour l'IA locale, et que les PC Windows RTX Spark, dotés jusqu'à 128 Go de RAM et destinés à l'IA agentique, sont « sur le point d'arriver ». Ce sont là des affirmations du constructeur et du marché qu'il rapporte, et non des résultats de ses propres tests.
Le dispositif
- Agent : Hermes Agent, qu'il décrit comme une application de bureau open source et auto-hébergée pour macOS, Windows et Linux. Selon lui, elle est gratuite tant qu'elle fait tourner des modèles locaux.
- Matériel : un Mac Studio doté de 256 Go de mémoire unifiée.
- Modèle : Qwen 3.8 Flash Next, qu'il décrit comme un modèle de 125 milliards de paramètres d'environ 105 Go.
- Accès mobile : un bot Telegram qui lui permet de piloter Hermes à distance.
Il prévoit ensuite d'essayer des modèles Qwen plus petits sur un Mac Mini M6, un MacBook Air M5 et un Asus TUF Gaming A14 équipé d'un processeur AMD Strix Halo. Le matériel RTX Spark figure sur la liste pour plus tard.
Ce que l'agent a fait
Synthèse quotidienne. Une tâche cron programmée à 7 h 30 lit ses e-mails et son agenda, ajoute un bulletin météo et envoie le résultat par Telegram. Au début, elle échouait sans cesse, car le Mac était en veille au moment du déclenchement. Il affirme qu'elle fonctionne désormais de façon fiable, mais elle a tout de même planté à plusieurs reprises pendant les tests.
Nettoyage de la bibliothèque Steam. Hermes a classé plus de 400 jeux par genre, en conservant intactes ses propres catégories : favoris, coopération, jeux de soirée et jeux à pratiquer avec sa femme. Il a lu le client Steam déjà installé sur le Mac. Pour cela, il a enregistré une clé d'API web Steam et l'a transmise à l'agent. Le tri a pris quelques minutes, et il a révoqué la clé aussitôt après, n'en ayant plus besoin.
Analyse de données sensibles. Hermes a traité des relevés financiers et produit un tableur comparant les caractéristiques de deux ordinateurs portables. Il a gardé ces deux travaux sur sa propre machine, à cause des données financières sensibles et d'un lancement de portable sous embargo. Selon lui, c'est précisément ce qui rendait l'outil utile.
Automatisation des benchmarks, inachevée. Il souhaite un script qui exécute les benchmarks de portables qu'il lance aujourd'hui à la main : une douzaine de tests, trois passages chacun. Hermes a produit des scripts Python générés en mode « vibe coding », mais il décrit le projet comme un travail en cours.
Le contexte des coûts
Il évoque « un ordinateur à 12 000 $ » en décrivant la synthèse quotidienne, sans préciser de quel appareil il s'agit. Il rappelle aussi une démonstration d'Apple, lors d'une présentation à laquelle il a assisté le mois dernier, de quatre Mac Studio reliés en cluster. Il chiffre cet ensemble à « près de 50 000 $ de puissance de calcul ».
Son verdict
Di Benedetto conclut que l'IA locale vaut la peine pour les tâches qu'il garderait à l'écart du cloud, surtout pour des raisons de confidentialité. Sur la fiabilité, il est catégorique : même les modèles locaux puissants ne se comportent pas comme un assistant capable de tout faire, et sa propre synthèse quotidienne a planté plus d'une fois. Il considère Hermes comme un outil et non comme un compagnon, et affirme qu'il continuera à tester et à rendre compte de ses essais sur les autres machines.
