Salut les Geekz, j’espère que vous allez bien ? Faire tourner une IA localement, sans envoyer toutes ses requêtes dans le cloud, ça vous parle ? Apple et Meta viennent de pousser le concept à un niveau qui donne presque le vertige.
816 milliards de paramètres sur des Mac
Meta propose Muse Spark Open, un modèle à poids ouverts annoncé à 816 milliards de paramètres. Avec les optimisations du framework MLX d’Apple et une configuration distribuée, il peut être exécuté localement sur plusieurs Mac Studio haut de gamme.
Deux Mac, quatre Mac : attention aux raccourcis
Les annonces évoquent la possibilité d’exécuter le modèle sur deux machines dans certaines configurations, tandis qu’une démonstration sur quatre Mac Studio M5 Ultra annonce environ 36,7 tokens par seconde. Ce ne sont pas les mêmes conditions de fonctionnement : réussir à charger un modèle et obtenir un débit confortable sont deux choses différentes.
Le local, oui, mais à quel prix ?
Pour qui bidouille des serveurs et des modèles chez soi, c’est fascinant : le calcul distribué et la mémoire unifiée permettent de déplacer les frontières de l’IA locale. Mais une grappe de Mac Studio haut de gamme reste un investissement considérable. Ce n’est pas encore le chatbot géant du dimanche sur un mini-PC récupéré.
Le plus intéressant, finalement, est peut-être moins la démesure des 816 milliards de paramètres que le chemin ouvert pour des modèles plus petits, plus sobres et vraiment utilisables à domicile. Voilà une piste qu’on suivra avec plaisir sur Geekz Club.
Sources : Apple Machine Learning Research ; Axios.
Laisser un commentaire