Moshi Kyutai, développé par le laboratoire de recherche en intelligence artificielle Kyutai basé à Paris, marque une avancée majeure dans le domaine des modèles de langage vocal. Soutenu par des figures influentes telles que Xavier Niel, Rodolphe Saadé et Eric Schmidt, ce modèle de langage vocal vise à démocratiser l’IA grâce à des projets open source et des recherches ouvertes. Avec des investissements de millions d’euros de la part d’acteurs comme Iliad et CMA CGM, Moshi Kyutai pourrait bien redéfinir les standards des assistants vocaux.
Caractéristiques techniques de Moshi Kyutai
Moshi Kyutai est un modèle de langage audio, ou Moshi, entraîné sur des segments audio annotés et compressés. Il repose sur le modèle de langage texte nommé Helium, qui contient 7 milliards de paramètres. Helium a été pré-entraîné sur des données textuelles et audio, permettant à Moshi de capturer et reproduire avec précision les caractéristiques acoustiques, les conditions d’énonciation et les émotions des segments audio. Ce modèle de langage est comparable aux avancées de Google et OpenAI, intégrant des technologies de pointe pour des performances optimales.
Pour le fine-tuning, des dialogues synthétiques ont été utilisés. Ces dialogues, générés initialement par Helium, ont ensuite été synthétisés par un moteur de text-to-speech. Alice, une actrice vocale comparable à Scarlett Johansson, a contribué en enregistrant divers échantillons dans une multitude de styles et d’émotions, permettant ainsi à Moshi de supporter plus de 70 émotions ou styles de parole différents. Le résultat est une voix Moshi capable d’imiter une grande variété de tons et d’émotions.
Infrastructure et déploiement
Le modèle Moshi Kyutai est hébergé sur des serveurs de Scaleway et Hugging Face, avec une optimisation pour divers backends comme CUDA, Metal et CPU. Kyutai utilise également un codec audio appelé Mimi pour une compression audio efficace, maintenant une haute qualité audio tout en réduisant significativement la taille des fichiers. L’infrastructure de Moshi est comparable à celle utilisée par des géants comme Amazon, Microsoft, Nvidia, et Samsung, assurant une performance fiable et évolutive.
Performances et usages de Moshi
En termes de performances, Moshi Kyutai offre une latence de 160 ms avec un facteur temps réel de 2. Il est capable de gérer des tailles de batch sur 24 Go de VRAM, ce qui le rend très efficace pour des applications en temps réel. Parmi les cas d’utilisation envisagés pour Moshi, on trouve l’assistance vocale, l’apprentissage des langues et l’accessibilité pour les personnes en situation de handicap. Les performances de Moshi sont comparables à celles de ChatGPT, démontrant une grande efficacité dans diverses applications.
Vision et perspectives futures
Kyutai a des ambitions futures pour Moshi, avec des versions améliorées comme Moshi 1.1, 1.2 et 2.0, basées sur les retours des utilisateurs. L’objectif est de publier des rapports techniques détaillés et des versions open source du modèle et de son code, favorisant ainsi l’adoption et l’innovation par la communauté scientifique et les développeurs. Patrick Perez, directeur du laboratoire Kyutai, avec des experts comme Neil Zeghidour et Alexandre Defossez, travaille intensément pour améliorer continuellement le modèle Moshi.
Moshi Kyutai représente une avancée significative dans le domaine de l’IA vocale, démontrant comment de petites équipes dédiées peuvent accomplir des progrès extraordinaires. Avec le soutien de personnalités comme Xavier Niel, Rodolphe Saadé et Eric Schmidt, et des investissements significatifs de la part d’acteurs comme Iliad et CMA CGM, Moshi Kyutai pourrait bien redéfinir les standards des assistants vocaux et des modèles de langage multimodaux. Les équipes de Kyutai, sous la direction de Patrick Perez, continuent de repousser les limites de l’intelligence artificielle avec des technologies novatrices et des approches de recherche ouvertes.
