Découvrez Llama 3 70B, le dernier modèle de langage open source de Meta. Cette nouvelle version offre des performances améliorées grâce à ses 70 milliards de paramètres. Explorons ensemble ses caractéristiques et ses applications.
Caractéristiques de Llama 3 70B
Llama 3 70B se distingue par sa taille imposante de 70 milliards de paramètres, faisant de lui l’un des plus grands modèles de langage open source disponibles. Il se démarque également par son vocabulaire étendu et son attention groupée.
Vocabulaire étendu
Le nouveau tokenizer de Llama 3 70B utilise un vocabulaire de 128 256 tokens, contre seulement 32 000 pour la version précédente. Cette amélioration permet une représentation plus efficace des textes, en particulier pour le multilinguisme.
Attention groupée
Llama 3 70B utilise une nouvelle technique d’attention groupée (Grouped-Query Attention) pour améliorer l’efficacité du calcul sur de longs contextes allant jusqu’à 8 192 tokens.
Entraînement et données
Le modèle a été entraîné sur plus de 15 000 milliards de tokens, soit environ 8 fois plus que Llama 2. Cela inclut notamment 800 millions de tokens dans 30 langues différentes et 4 fois plus de code source que précédemment.
Performances et applications
Grâce à ces améliorations, Llama 3 70B excelle dans des tâches comme la création de contenu, les systèmes de dialogue, la compréhension du langage naturel et la génération de code informatique.
Multilinguisme
Bien que principalement entraîné en anglais, Llama 3 70B peut être utilisé dans de nombreuses autres langues, ce qui en fait un outil puissant pour des usages professionnels tels que l’assistance virtuelle et l’analyse de texte.
Disponibilité et intégration
Llama 3 70B est disponible gratuitement sous licence permissive sur la plateforme Hugging Face. Il est également intégré dans l’offre Amazon Bedrock, permettant une utilisation simplifiée sur l’infrastructure AWS.
Communauté et initiatives
De nombreuses initiatives communautaires ont déjà vu le jour autour de Llama 3, avec plus de 600 modèles dérivés partagés sur Hugging Face et plus de 17 000 étoiles sur GitHub en seulement une semaine. Cela témoigne de l’engouement suscité par cette nouvelle génération de modèles de langage open source.