GPT

Ou Generative Pre-trained Transformer, GPT désigne une famille de modèles de langage basés sur l’architecture des transformeurs (transformers), conçus pour générer et comprendre du texte de manière fluide et cohérente, en imitant les productions humaines. Le nom se décompose ainsi :

• Generative (génératif) : le modèle est capable de produire du texte (réponses, résumés, traductions, etc.), et non seulement de l’analyser.
• Pre-trained (pré-entraîné) : le modèle est d’abord entraîné sur d’immenses corpus de textes (livres, articles, sites web, etc.) pour apprendre les structures du langage, la grammaire, les connaissances générales, avant d’être éventuellement affiné pour des tâches spécifiques.
• Transformer (transformeur) : il s’agit de l’architecture de réseau de neurones sur laquelle repose le modèle, introduite en 2017, particulièrement efficace pour traiter des séquences de texte grâce à un mécanisme appelé attention, qui permet au modèle de pondérer l’importance des différents mots d’une phrase entre eux.

►►►  AI , algorithme , bot , chat , chatGPT , DALL-E , deep learning , IA , OpenAI , réseau de neurones , transcription , voice to text