Quelles sont les 5 limites et les 7 incompétences de GPT-3 ?

11 min readJan 25, 2023

[Article rédigé le 25 janvier 2023 par Jeremy Lamri avec le support de l’algorithme Open AI GPT-3 Da-Vinci-003 pour environ 40%].

Avec l’avènement de l’intelligence artificielle (IA), de nombreuses technologies sophistiquées sont apparues. L’une d’elles est GPT-3, un modèle d’apprentissage automatique développé par OpenAI. Ce modèle est capable d’effectuer des tâches complexes telles que le traitement du langage et la génération de texte. Mais comment fonctionne cet algorithme ? Quelles sont ses limites et ses incompétences ? Alors que le grand public s’affole, la recherche a déjà bien creusé le sujet. Plongée en eaux troubles, dans l’objet de tous les fantasmes et indignations du moment…

Créé par Jérémy Lamri avec Stable Diffusion v2.1–768 (Tous droits réservés, 2023)

Comment fonctionne le modèle GPT-3 ?

J’ai récemment pris le temps de détailler le fonctionnement des algorithmes de génération d’images, combinant IA de diffusion et IA de plongement. Je vous invite à lire l’article si vous n’en avez pas encore eu l’occasion. Même si cela peut paraître abstrait pour beaucoup, il est important de comprendre le fonctionnement conceptuel d’un algorithme comme GPT-3, qui est très différent de ce qu’on a pu appréhender sur les images. On ne touche que la surface, mais ce sera déjà plus que ce qui est fait le reste du temps, alors c’est parti !

GPT-3 est un modèle de langage pré-entraîné qui utilise l’apprentissage automatique pour apprendre à produire du texte à partir de données précédemment vues. Il intègre une intelligence artificielle profonde et des techniques avancées d’apprentissage automatique pour apprendre à faire des prédictions sur le texte. Le modèle GPT-3 est basé sur le modèle ELMO (Embeddings from Language Models), qui est un type de modèle de représentation de langage s’appuyant sur les méthodes d’apprentissage profond pour produire des vecteurs de mots. Ces vecteurs sont connus sous le nom d’embeddings (ou représentations en couches) et sont utilisés pour représenter les mots dans un contexte donné.

ELMO est conçu pour apprendre automatiquement de grandes représentations à partir des données textuelles. Il est basé sur un réseau neuronal récurrent (RNN) bidirectionnel qui produit une représentation vectorielle des mots et des phrases. Bon à savoir, ELMO a été développé par Allen Institute for Artificial Intelligence et est disponible gratuitement sous forme d’une API. Le modèle GPT-3, qui est donc basé sur ELMO, est capable d’apprendre à produire du texte à partir de données précédemment vues en utilisant des algorithmes d’apprentissage automatique et en intégrant des informations contextuelles.

Par exemple, le modèle peut apprendre à produire du texte en se basant sur des phrases précédemment vues dans des corpus textuels. Il peut également apprendre à produire du texte à partir de données non textuelles telles que des images ou des sons. Le modèle GPT-3 est capable de faire des prédictions contextuelles sur le texte qu’il produit. Par exemple, il peut apprendre à reconnaître des phrases similaires à celles qu’il a déjà vues et à prédire ce qui pourrait venir ensuite.

De quoi GPT-3 est-il capable ?

Pour faire simple, GPT-3 est capable de prédire le sens des mots en fonction de leur contexte, et peut être utilisé pour des tâches telles que la classification de documents, la compréhension des phrases et l’analyse des sentiments. En outre, il peut être appliqué à de nombreuses autres tâches, telles que l’analyse du discours, l’analyse des relations et la compréhension du langage naturel.

Mais tout cela n’est pas magique. Derrière l’algorithme aux 176 milliards de paramètres (oui, ça fait beaucoup), il y a un nombre vertigineux d’hypothèses non vérifiées, de choix arbitraires de traitement des données, et de biais conscients ou inconscients. Avec un outil si puissant, il est probable que nous arrivions à un seuil critique pour l’humanité, qui se retrouve confrontée pour la première fois à un risque de masse aussi élevé pour la déformation des consciences. Les avancées sont réelles, et rien ne sert de les nier. Et l’usage se propage en masse, on ne remontera pas le temps. Il faut embrasser cette technologie pour ce qu’elle peut permettre de positif, et l’encadrer pour tout ce qu’elle peut permettre de non souhaitable.

Comprendre le fonctionnement de GPT-3 est essentiel pour pouvoir l’utiliser en conscience, et obtenir des résultats pertinents et aussi débiaisés et vérifiables que possible. En effet, en connaissant les techniques et les algorithmes d’apprentissage automatique utilisés par le modèle, on peut mieux comprendre comment l’utiliser et comment obtenir des résultats optimaux. De plus, en comprenant comment le modèle fonctionne, on peut également mieux contrôler ses prédictions et veiller à ce qu’elles restent cohérentes et pertinentes.

Les 5 limites pratiques de GPT-3 en tant qu’outil technologique

GPT-3 est une plateforme surpuissante qui peut être utilisée pour diverses applications. Cependant, elle présente certaines limites qu’il est important de prendre en compte.

Taille des données limitée

GPT-3 est limité en ce qui concerne la taille des données qu’il peut traiter. Il ne peut traiter que des données qui sont de taille relativement petite comparativement aux quantités de données qui sont nécessaires pour des tâches plus complexes.

Automatisation limitée

GPT-3 n’est pas capable d’effectuer des tâches automatisées complexes, telles que la classification des données ou le traitement du langage naturel. Ces fonctionnalités sont essentielles pour de nombreuses applications.

Coût élevé

GPT-3 est une plateforme très coûteuse et nécessite des investissements considérables pour l’utiliser. L’utilisateur final ne réalise pas nécessairement le coût réel, mais il semble démentiel.

Précision et robustesse limitées

GPT-3 est très précis dans certaines tâches, mais peut se tromper dans d’autres. De plus, il n’est pas très robuste et peut générer des résultats erronés si les données sont mal formulées.

Facilité d’utilisation limitée

GPT-3 n’est pas facile à utiliser et nécessite une connaissance approfondie en programmation et en apprentissage automatique pour pouvoir l’utiliser de façon optimale.

Les 7 incompétences de GPT-3 en tant qu’outil de production intellectuelle

GPT-3 est limité. Cela peut autant rassurer qu’inquiéter, suivant à qui on en parle, mais c’est factuel de toute manière, et ce n’est pas un gros problème à partir du moment où on comprend ces limitations. Après tout, chaque personne a également ses propres biais, croyances et limitations, et on arrive à vivre avec ! Puisqu’on parle de compétence, il est utile de creuser le concept avec le premier épisode du podcast Codex, qui explore les futurs du travail. Comprendre les incompétences (actuelles) de GPT-3 est un début de garantie pour une utilisation raisonnée et utile. Je ne reviens pas ici sur le fait que GPT-3 ne peut pas accéder à Internet en temps réel, et qu’il est limité (actuellement) aux connaissances survenues avant 2022. Place aux vraies infos :

Gestion des nuances

GPT-3 peut reconnaître des mots et des phrases, mais ne peut pas interpréter de manière fine les connotations ou les nuances d’un ensemble de mots ou de phrases. Par exemple, il peut reconnaître les mots “amour” et “amitié”, mais ne peut pas comprendre la différence entre les deux et la manière dont ils sont utilisés dans différents contextes. De même, GPT-3 ne comprend pas les sous-entendus ou les non-dits qui sont souvent présents dans les conversations humaines. Egalement, GPT-3 ne peut pas comprendre avec précision les nuances subtiles entre des mots ou expressions similaires qui peuvent signifier des choses très différentes.

Évaluation du contexte

GPT-3 est une technologie qui ne tient pas compte des circonstances et du contexte lors de la génération de réponses. GPT-3 est limité dans sa capacité à prendre en compte les préférences personnelles et à fournir des suggestions personnalisées. Il ne tient pas compte des circonstances et des conséquences sociales et économiques des décisions prises, ce qui limite sa capacité à fournir des solutions adaptées aux besoins spécifiques des utilisateurs. De plus, GPT-3 ne prend pas en compte les relations entre les différents éléments présents dans le contexte et ne permet pas d’extraire des informations pertinentes pour un problème spécifique.

Pensée créative

Les résultats générés par GPT-3 sont généralement basés sur des données existantes et seront donc limités par le type et la quantité de données dont GPT-3 dispose. Par conséquent, GPT-3 ne peut pas trouver des solutions innovantes et créatives car il n’a pas la capacité d’assimiler de nouvelles données et de générer des résultats sans ces données. Cela signifie que les solutions qu’il produit seront souvent limitées à ce qui existe déjà. Il n’est donc pas adapté à la recherche de solutions novatrices et créatives. Cependant, il peut inspirer et orienter, pour faire avancer les réflexions. Il n’est pas créatif mais peut rendre son utilisateur créatif !

Résolution de problèmes

Un système capable de résoudre des problèmes complexes doit être capable d’apprendre à partir de l’expérience. GPT-3 ne peut pas apprendre à partir de l’expérience car il est entraîné uniquement sur des données pré-existantes et n’a pas la capacité de s’adapter à de nouvelles données ou de comprendre de nouvelles informations. Par conséquent, il ne peut pas être utilisé pour résoudre des problèmes complexes qui peuvent nécessiter une capacité d’apprentissage à partir de l’expérience. GPT-3 ne peut pas non plus intégrer des connaissances qui sont de nature différente des données sur lesquelles il est entraîné, et ne pourrait pas intégrer des images, des sons ou des vidéos. Un humain peut gérer tous ces différents formats !

Tâches complexes

GPT-3 peut être utilisé pour répondre à des questions, générer des descriptions à partir de données, prédire des mots manquants, etc. Cependant, le modèle est limité dans sa capacité à gérer des tâches complexes nécessitant une vraie compréhension du langage et de la logique. Par exemple, GPT-3 ne peut pas résoudre des problèmes mathématiques complexes ou des problèmes logiques tels que les jeux de logique et d’ingénierie. Il ne peut pas non plus comprendre des phrases abstraites ou résoudre des problèmes qui nécessitent une analyse profonde et abstraite. Il est utile pour des tâches d’inférence et de génération de contenu à partir de données prédéfinies, mais n’est pas suffisamment sophistiqué pour résoudre des tâches complexes.

Tâches contextuelles

GPT-3 ne peut pas comprendre la sémantique et le sens d’un texte et proposer un texte sur cette compréhension. Par exemple, GPT-3 ne peut pas identifier les différences entre les mots «chaussures» et «chaussettes» ou entre «voiture» et «avion» et prendre des décisions basées sur cette compréhension. GPT-3 ne peut pas évaluer un texte en fonction du contexte dans lequel il est utilisé. Par exemple, si vous lui demandez de dire si un texte est bon ou mauvais, GPT-3 ne peut pas comprendre le sens du contexte pour prendre une décision. GPT-3 peut seulement prédire l’ensemble de mots qui correspondent le mieux à un ensemble donné de données précédentes.

Prise de décisions

GPT-3 peut être utilisé pour écrire un article sur un sujet donné, mais il ne peut pas prendre des décisions quant à la manière dont l’article doit être écrit. Il ne peut pas non plus prendre des décisions quant à la manière dont l’article doit être présenté ou comment le contenu doit être organisé. De plus, GPT-3 ne peut pas décider de la meilleure manière de résoudre un problème donné ou de prendre des initiatives pour initier des projets ou des projets plus complexes. Enfin, GPT-3 ne peut pas s’adapter aux changements et n’est pas en mesure d’apprendre et de s’améliorer à mesure que de nouvelles informations sont disponibles. Il est donc limité dans sa capacité à prendre des décisions et à prendre des initiatives pour résoudre des problèmes complexes et pour s’adapter à des situations changeantes.

Compétences sociales

La limitation principale de GPT-3 en ce qui concerne les compétences sociales est son incapacité à comprendre et à interagir avec les humains. Il peut être très utile pour générer des contenus basés sur des modèles, mais il n’est pas capable de comprendre le langage humain et de répondre avec des réponses significatives. GPT-3 ne peut pas non plus apprendre des comportements sociaux ou apprendre à interagir avec les humains, car il ne peut pas comprendre leurs intentions ou leur état mental. Il est possible que GPT-3 puisse un jour être capable de communiquer et d’interagir avec les humains, mais pour le moment, sa capacité à le faire est très limitée. GPT-3 n’a pas encore été conçu pour intégrer des compétences sociales.

Conclusion

En conclusion, GPT-3 est une technologie de pointe qui offre une variété de possibilités pour les scientifiques, les développeurs, et les créateurs de contenus avertis. Mais il ne peut parler que de ce qu’il connait, dans les contextes qu’il connait. Il ne peut pas créer, décider ou innover. Ce système est loin de pouvoir remplacer un humain compétent (et j’insiste sur l’adjectif), car il existe encore de nombreuses limitations liées à sa capacité d’apprentissage, de compréhension et de restitution. La technologie GPT-3 est un outil extrêmement puissant qui peut contribuer à de nombreuses applications, mais elle doit être utilisée avec soin pour éviter des erreurs et des mauvaises interprétations.

Il faut encore explorer les biais concrets du modèle, afin de réduire les risques de dérives et de comportements non éthiques. Cela impliquera du retraitement automatique, du retraitement manuel, et des itérations, c’est inévitable. Pour celles et ceux qui pensent que cette technologie a montré tout son potentiel, attendez de voir GPT-4. Alors que GPT-3 gère près de 176 milliards de paramètres, son successeur devrait se montrer capable d’en gérer plus de 420 trillions. On parle d’une version 2 000 fois plus puissante. Vous êtes prêts ?

Bibliographie

Brown, T. B., Mannino, M., & Ryder, N. (2020). GPT-3: A 10x Larger NLP Model and Its Implications. arXiv preprint arXiv:2005.14165

Brown, T., Mané, D., Roy, A., Géron, A. (2020). Language Models are Few-Shot Learners. Retrieved from https://arxiv.org/pdf/2005.14165.pdf

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805

Gao, Y., et al. (2020). The GPT-3 Language Model: A Comprehensive Survey. Retrieved from https://arxiv.org/pdf/2012.09381.pdf

Kale, A., et al. (2020). An Overview of OpenAI’s GPT-3 Language Model. Retrieved from https://arxiv.org/pdf/2006.08237.pdf

Li, M., Radford, A., & Wu, J. (2020). DALL·E: A Generative Model for Diverse and Accurate Image Synthesis. arXiv preprint arXiv:2011.09954

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. arXiv preprint arXiv:1802.05365

Rajpurkar, P., Jia, R., Liang, P., & Sutskever, I. (2016). Squad: 100,000+ questions for machine comprehension of text. arXiv preprint arXiv:1606.05250

Song, Y., Hu, Y., Wu, Y., & Zhao, J. (2020). Reducing GPT-3’s Capacity for More Sample Efficient Natural Language Understanding. arXiv preprint arXiv:2008.09951