Description de l'image : Le traitement automatique du langage naturel est une branche de l'intelligence artificielle (IA). Grâce aux algorithmes de traitement du langage naturel (NLP), les machines comprennent, génèrent ou traduisent le langage humain tel qu'il est écrit ou parlé.
Un algorithme classique de calcul permet d'effectuer une tâche spécifique à l'aide d'une collection d'instructions et d'opérations finies (elles s'arrêtent après un nombre fini d'étapes) et non ambigüe (elles sont claires et précises). En d'autres termes, les algorithmes classiques sont programmés pour produire des résultats exacts, ils sont univoques et ne laissent aucune place à l'adaptation.
Un algorithme de l'IA est basé sur des réseaux de neurones artificiels conçus pour apprendre à partir de données d’entrainement sans être explicitement programmés.
Les algorithmes de l’IA ne sont pas finis car ils peuvent continuer à apprendre et à s’améliorer avec l’expérience. Ils sont souvent ambigus car ils produisent des résultats différents pour des entrées de données similaires. Ce sont des modèles non linéaires, de petites variations dans les entrées peuvent entrainer des variations importantes dans la sortie. C'est pourquoi les réseaux de neurones ont tant de paramètres. Ces paramètres contrôlent la façon dont les poids des connexions sont ajustés pendant le processus d'apprentissage.
Le concept d'ajustement de poids est un concept fondamental de l'apprentissage automatique et des réseaux de neurones artificiels. Ce concept est inspiré du fonctionnement du cerveau humain.
Dans le cerveau humain, les neurones biologiques sont connectés entre eux par des synapses. La force de la connexion entre deux neurones est appelée "poids synaptique". Les poids synaptiques sont modifiés au cours du processus d'apprentissage humain. Ce processus, encore mal compris, est appelé "plasticité synaptique". La plasticité synaptique est la capacité des synapses à changer la force de connexion en fonction de l'expérience.
De plus, les algorithmes de l’IA sont conçus sur des modèles de mathématiques statistiques. Cela signifie qu'ils ne produisent pas des résultats exacts, mais des résultats qui sont probables. Il est possible que le même réseau de neurones produise des résultats différents pour des entrées de données similaires.
Pour minimiser ces effets, les poids synaptiques doivent être paramétrés.
Dans le cas de ChatGPT, 175 milliards de paramètres déterminent le comportement du modèle.
Les paramètres sont ajustés sur les données d'entraînement d'un modèle.
Par exemple, les paramètres d'un modèle de langage peuvent être, la probabilité qu'un mot apparaisse dans une phrase, la probabilité qu'un mot soit suivi d'un autre mot, la probabilité qu'un mot soit utilisé dans un contexte particulier, etc.
Dans le cas de ChatGPT, les données du modèle de langage utilisées pour l'entraîner étaient un ensemble de texte et de code de 500 milliards de mots. Les paramètres du modèle ChatGPT servent à générer du texte similaire au texte des données d'entraînement. Autrement dit, quels mots sont les plus susceptibles d'apparaître dans une phrase donnée.
Par exemple, si les données d'entraînement contiennent une phrase comme "La maison est blanche", le modèle apprendra que les mots "la", "maison", "est" et "blanche" sont susceptibles d'apparaître ensemble.
Plus la phrase sera présente dans le modèle d'apprentissage, plus les poids synaptiques associés à cette phrase seront mis à jour pour être plus élevés. Cela signifie que le modèle est plus susceptible de générer cette phrase, "La maison est blanche", en sortie.
Le modèle prend aussi en compte le contexte de la phrase et l'environnement dans lequel elle apparaît. Par exemple, la phrase "La maison est blanche" est plus susceptible d'apparaître dans un contexte qui parle de lotissements que dans un contexte qui parle d'agences de voyage.
Les règles de la langue peuvent également influencer la probabilité qu'une phrase apparaisse. Par exemple, la phrase "La maison est blanche" est grammaticalement correcte en français, tandis que la phrase "La maison blanche est" est grammaticalement incorrecte.
Il existe de nombreux autres facteurs qui déterminent la probabilité qu'une phrase apparaisse en sortie d'un modèle de langage. Ces facteurs peuvent être spécifiques au modèle ou au domaine d'application.
N. B. : Le modèle de langage n'est pas une machine à copier. Il est capable d'apprendre des données et de générer du texte qui est similaire aux données d'entraînement, mais il ne copie pas le texte des données d'entraînement mot pour mot.
Une IA peut être programmée avec des algorithmes classiques de calcul, comme dans les systèmes experts ou les systèmes de recommandation qui utilisent des techniques d'apprentissage appelées "apprentissage machine". Cependant, ces techniques ont des limites concernant la résolution de problèmes complexes ou non structurés. De plus, dans l'informatique classique, il est difficile de prendre en compte des problèmes non encore rencontrés.
Grâce au développement de techniques d'apprentissage profond (plusieurs couches cachées), l'IA peut résoudre des problèmes complexes et non structurés, sans avoir besoin d'être explicitement programmés. L'apprentissage profond permet aux programmes informatiques d'apprendre à partir de données.
Cependant, les modèles d'apprentissage automatique sont complexes. Ils peuvent contenir des milliards de paramètres, qui doivent tous être appris, pondérés et optimisés. Cela nécessite beaucoup de données et de puissance de calcul. Le processus d’apprentissage est souvent long et peut prendre beaucoup de temps. Malgré ces contraintes, le développement des IA est infiniment plus productif que le développement des systèmes experts. Sans le concept de réseaux de neurones artificiels, il aurait été impossible pour des humains de réaliser ChatGPT en un temps aussi court.
Intelligence artificielle : l'explosion du gigantisme
Quand l'intelligence artificielle devient folle !
Emergence de l'intelligence artificielle : Illusion d'intelligence ou intelligence ?
La limule, un fossile vivant !
Biosignatures ou présence de vie dans l'Univers
Défi et menace de l'Intelligence Artificielle
Comment fonctionne un réseau de neurones artificiels ?
Origine de la vie : Théorie de la panspermie
Origine de la vie : Théorie des fumeurs blancs
Pourquoi 37 degrés Celsius ?
Thermodynamique du tas de sable
Histoire de la Terre, résumée en 24 heures
Sommes-nous seuls dans l'univers ?
Trace de vie congelée en Sibérie
Les carottes glaciaires nous racontent notre passé
La vie évolue à l'abri des glaciations
Régénération d'organe, la salamandre
Rayons cosmiques et mutation des espèces
Mephisto, le petit ver des profondeurs
Découverte de buckyballs solides dans l'espace
La bipédie chez les hominidés
Le crabe géant du Kamtchatka
L'évolution se précise à Malapa
Le temps qui passe
Le passage entre l'inerte et le vivant
Des particules à la vie biochimique
Vision égocentrique, l'homme au centre
Le mégapode utilise la chaleur volcanique
Ardi est vieux de 4,4 millions d'années
Sélection naturelle, la phalène du bouleau
L'explosion de la vie dans l'ordovicien
L'eau liquide, un accélérateur de réactions chimiques
Néandertal
Asimo le futur humanoïde
Conditions d'apparition de la vie
Paradoxe de Fermi ou caverne de Platon
Le Tardigrade, l'animal immortel
Toumaï, vieux de 7 millions d'années
Frontière entre inanimé et vivant
L'incroyable vie des abysses
Les cyanobactéries créent le gaz toxique
La petite histoire de l'évolution du vivant
La plus petite grenouille du monde
L'explication du Petit âge glaciaire
Lumière cendrée, les preuves de la vie
Bioluminescence des organismes vivants
Au delà de nos sens, les grandes révolutions scientifiques
La soupe primitive