Quelles sont les limites de ChatGPT ? + 15 Exemples (2023)

Choix de la Rédaction
There are no Articles available yet.
<   Revenir au Blog
Limites de ChatGPT

Avec le récent battage médiatique autour de ChatGPT d'OpenAI, j'étais curieux de savoir si le produit correspondait à ce battage médiatique.

Bien que je comprenne que ChatGPT n'est pas un produit totalement terminé et qu'il s'agit d'un travail en cours, je pense qu'il est important de l'analyser de manière critique afin de déterminer ses lacunes, tant sur le plan technique que sur le plan de l'expérience utilisateur.

question sur les difficultés de chatgpt

J'ai donc joué avec ChatGPT et, en tant qu'utilisateur, je l'ai trouvé assez impressionnant malgré quelques limitations majeures.

Ses capacités génératives sont très utiles.

Ceci étant dit, au fur et à mesure de mes interactions, j'ai noté les limitations et les problèmes que j'ai remarqués.

Ces limitations sont assez faciles à reproduire et je pense qu'en les améliorant, l'application de chat de GPT-3.5 pourra être à la hauteur de l'engouement que nous connaissons dans les médias.

logo OpenAI

Certains des problèmes que j'ai constatés peuvent être d'ordre technique, tandis que d'autres peuvent concerner l'expérience utilisateur et les capacités du chatbot, ce n'est pas donc encore demain que ChatGPT sera en mesure de voler notre emploi

Cependant, tous ces problèmes sont pertinents pour l'avenir des chatbots IA et de l'IA interactive.

Commençons.

Liste des problèmes et des limites de ChatGPT

Limite 1 : Accès à Internet et géolocalisation

Cela ne devrait pas être une surprise, mais la technologie d'OpenAI ne peut pas accéder à l'internet.

Il ne peut pas fournir d'informations en temps réel, ni utiliser des informations de localisation, ni fournir d'url ou de références à quoi que ce soit sur Internet.

Comme on peut l'imaginer, cela limite sévèrement la fonctionnalité de l'application et les types de services qu'elle peut fournir.

Cela dit, s'il est capable un jour d'explorer le Web, il ira au-delà de ce que l'on pourrait attendre d'un modèle de langage.

Cette attente est donc probablement irréaliste pour le moment, à moins qu'OpenAI ne mette en œuvre une forme de machine learning qui mette constamment à jour les données d'entraînement afin que ChatGPT soit toujours à jour.

ChatGPT accès à Internet

De plus, le fait de fournir un accès ouvert à Internet à une IA a de graves conséquences, et le fait de ne pas autoriser les fonctionnalités basées sur Internet était probablement un choix intentionnel.

En ce qui concerne le battage médiatique selon lequel cette application pourrait donner du fil à retordre à Google et bouleverser la recherche, il existe de nettes différences entre ce type d'application et un moteur de recherche.

Un moteur de recherche utilise des robots d'exploration du Web et classe les pages. Ce n'est pas le cas de cette application. Ce chatbot n'est pas un moyen de naviguer sur Internet, la comparaison peut donc s'apparenter à une comparaison entre des pommes et des oranges.

géolocalisation non possible sur ChatGPT
ChatGPT n'est pas en mesure d'utiliser la géolocalisation
cours action bourse non disponible ChatGPT
ChatGPT n'est pas en mesure de donner un cours de bourse
Lire contenu page web ChatGPT
ChatGPT n'est pas en mesure de lire une Page Web

Limite 2 : Données obsolètes

Les données de formation les plus récentes datent de 2021, en septembre. Depuis lors, une année entière s'est écoulée. Les langages de programmation peuvent avoir été mis à jour, les bibliothèques peuvent avoir de nouvelles fonctionnalités, et le monde a changé. Cela signifie que ChatGPT fonctionne à partir d'un ensemble de données obsolètes.

Données obsolètes chatgpt

Limite 3 : Mémoire défectueuse

J'ai essayé de faire en sorte que ChatGPT modifie et fasse des suggestions pour améliorer un texte.

Cela fonctionne généralement, mais si je lui demande de reformuler certaines suggestions, ou de développer quelque chose, il peut parfois supposer à tort que j'ai fait les suggestions et se référer à un texte qui n'était pas dans le texte original que j'ai fourni pour le test, ou il va simplement fournir à peu près le même texte qu'il a fourni dans le passé avec des changements minimes.

mémoire défectueuse chatgpt

Limite 4 :  Incapacité à porter des jugements

Le langage comporte des aspects qualitatifs tels que la position et le sentiment.

Bien que ChatGPT soit capable de déterminer ces éléments, il ne peut pas les étendre à des choses telles que le caractère offensant d'un texte, ce qui est bon et ce qui est mauvais, etc.

Maintenant, c'est probablement pour le mieux, mais ne serait-il pas agréable que ChatGPT puisse regarder par-dessus votre épaule et vous dire de ne pas envoyer un e-mail ou de reformuler quelque chose pour être moins dur ?

Incapacité à porter des jugements chatgpt

Limite 5 : Manque de modèles d’entrées

Le modèle est purement textuel. Vous ne pouvez pas fournir d'images, d'URL, d'audio ou toute autre entrée.

De même, il ne peut pas produire d'images, d'URL ou d'audio. Il peut produire du code qui peut générer ces choses, mais ce n'est pas la même chose.

Cela signifie que, d'un point de vue conversationnel, il est assez faible.

Il est incapable de lire votre langage corporel ou de comprendre le contexte culturel dans lequel vous vivez.

Il ne peut pas utiliser votre regard pour déterminer votre humeur et il est incapable de vous rassurer ou de vous apaiser en fonction de ce que vous ressentez.

Manque de modèles d’entrées chatgpt

Limite 6 : Longueur d'entrée et de sortie

Vous ne pouvez pas introduire le texte d'un roman entier.

Sinon, il mettra une éternité à répondre et se trompera. De même, il ne peut pas générer un roman entier.

Cependant, j'ai réussi à lui faire pondre un mauvais scénario qui était loin de correspondre à la longueur attendue d'un scénario de long métrage.

limitations longueur entrée chatgpt
limitations longueur sortie chatgpt

Limite  7 : Biais possibles dans les données de formation

Il convient de noter que si ChatGPT est soumis à des restrictions quant à ce dont il peut parler et ce à quoi il peut accéder, les données d'entraînement sous-jacentes peuvent être biaisées.

Il est difficile de savoir à quel point elles peuvent être biaisées, mais il est assez difficile de lui faire générer des articles contenant des diffamations.

Il semble que ChatGPT ait été formé pour éviter les biais dans ses résultats, même si ses données d'entrée sont biaisées, mais ce n'est pas tout à fait clair.

Limite 8 : Capacités linguistiques

J'ai essayé de mélanger les langues et de converser dans d'autres langues dans une seule et même session de chat.

J'ai constaté que le rendu pouvait être très différente en fonction de la langue utilisée.

Ce qui est intéressant, c'est que certains problèmes que j'ai rencontrés avec d'autres langues ont été améliorés aujourd'hui, ce qui signifie que ce problème pourrait ne pas se poser dans un avenir proche.

Capacités linguistiques chatgpt

Par exemple dans ce cadre il m'informe que ce mot Japonais ("Amour" ou "Aimer aujourd'hui selon la traduction Google) n'existe pas ce qui n'est pas vrai. 

Il serait intéressant de retenter l'expérience dans quelques temps afin de voir si le modèle à eu le temps d'apprendre de son erreur. 

Traduction Amour Google Translate

Limite 9 : Sens de l'humour faible

ChatGPT a un sens de l'humour assez faible puisqu'il ne peut pas parler de choses adultes :(

J'aime les blagues, mais certaines ne sont pas si drôles que ça voire incompréhensibles.

Sens de l'humour faible chatgpt

Limite 10 : Production générique et plagiat

J'ai essayé de demander à ChatGPT de créer une fable originale dans le style de La Fontaine. 

Ce que j'ai obtenu est un texte très proche de l'original que l'on pourrait même considéré comme du plagiat

écriture fable chatgpt

Un détecteur de contenu généré par l'IA ou de plagiat le signalerait probablement comme copié et à juste titre.

plagiat chatgpt
Source : Wikipédia

J'ai également essayé de lui faire générer un synopsis d'un film de style Christopher Nolan avec des éléments cyberpunk et j'ai obtenu une fusion de Matrix, de Ready Player One et Minority Report.

script film 1 chatgpt plagiat
script film 2 chatgpt plagiat

Inutile de dire que ChatGPT n'est pas susceptible de créer des prémisses intéressantes ou des scripts de films primés à court terme.

Limite 11 : Questions relatives à la qualité de vie

Ainsi, en fonction de ce que vous demandez, vous devrez peut-être attendre très longtemps avant d'obtenir une réponse.

Questions relatives à la qualité de vie chatgpt

ChatGPT semble parfois se bloquer et cela ne semble pas être lié à la vitesse du réseau.

Dans d'autres cas, il peut simplement ne pas fournir de réponse, auquel cas il renvoie un message d'erreur.

J'avais l'habitude d'en recevoir un certain nombre il y a quelques jours, mais en ce moment, il semble que cela se soit considérablement amélioré.

D'après ce que j'ai vu dans les forums, sur Discord et dans les FAQ, cela peut dépendre du nombre de personnes utilisant ChatGPT à un moment donné.

erreur surcharge chatgpt

Il convient de noter que certains de ces problèmes ne sont pas liés au modèle de langage sous-jacent lui-même.

Limite 12 : Difficultés à comprendre le sens figuré

Plus une question est directe, plus il est facile pour ChatGPT d'y répondre.

expression sens figuré

Le sens figuré est quelque chose qui semble être compris le plus souvent par ChatGPT, mais il peut parfois avoir des difficultés.

chatgpt a des Difficultés à comprendre le sens figuré

Limite 13 : Ne joue pas le jeu sur les sujets sensibles

J'ai souvent essayé de voir si ChatGPT peut écrire des articles biaisés et c'est comme jouer à la roulette russe. 

Parfois, il peut le faire, parfois non.

Souvent, vous devrez le piéger pour qu'il fasse ce que vous voulez qu'il fasse.

Je pense que cela est probablement similaire à certaines des restrictions que ChatGPT a mis en place pour des choses comme les sujets matures ou extrêmemistes

impartialité chatgpt

Limite 14 : Pas d'avis personnel

Test de Turing CHATGPT

Est-ce que je pense qu'il y a un être humain à l'autre bout ? Absolument pas. 

ChatGPT rappelle toujours à l'utilisateur qu'il s'agit d'un modèle de langage, ce qui exclut toute possibilité de se faire avoir.

Je ne considère pas cela comme un point négatif, mais si le but est de créer des réponses similaires à celles d'un humain, alors c'est un échec.

Limite 15 : Personnalité et Sentiments

ChatGPT n'a pas de personnalité.

Personnalité et affect chatgpt

Lors de mes interactions avec lui, il ressemblait davantage à un moteur de recherche handicapé capable de fournir des opinions, et n'a pas d'identité propre. Il n'est ni votre ami ni votre ennemi.

Vous n'avez pas de relation avec l'assistant de ChatGPT, et il en va de même.

En général, dans le cadre de l'IA sociale, il peut être utile d'établir une certaine forme de connexion ou de relation pour garantir une meilleure expérience aux utilisateurs finaux.

ChatGPT ne le fait pas, cependant, et cet aspect est quelque chose qui, selon moi, le limite sévèrement en termes d'impact qu'il peut avoir.

Résumé.

ChatGPT est un outil de génération de contenu développé par OpenAI qui peut générer une variété de réponses à des questions et des invitations.

Cependant, il présente des limites, comme le fait qu'il n'a pas accès à Internet et ne peut donc fournir des informations actuelles ou précises.

Il peut également générer des réponses peu cohérentes ou qui n'ont pas de sens dans le contexte de la conversation.

De plus, les modèles de langage comme ChatGPT ne peuvent pas comprendre ou interpréter le sens des mots et des phrases de la même manière que les humains.

Il est important de noter que ChatGPT est en développement continu et peut s'améliorer au fil du temps. 

Néanmoins, les limites mentionnées ci-dessus doivent être prises en compte lors de son utilisation. Il ne devrait pas être utilisé pour des décisions importantes ou critiques. Il est un outil puissant pour générer du texte, mais il ne peut pas remplacer la compréhension humaine.

Pour ceux qui ne sont pas d'accord avec les problèmes que j'ai identifiés, voici ChatGPT pour parler de lui-même et fournir un soutien à mes affirmations :

"ChatGPT est une variante du modèle de langage GPT (Generative Pre-trained Transformer) développé par OpenAI. Comme les autres modèles de langage, ChatGPT est conçu pour générer un texte de type humain sur la base des données qu'il reçoit. Il est entraîné sur un grand ensemble de données de texte et peut générer un large éventail de réponses à diverses invites et questions."

Si vous souhaitez utiliser une autre IA afin de vous aider dans votre travail quotidien, pouvez également lire ma comparaison détaillée de ChatGPT vs Jasper AI pour vous donner une meilleure idée des différentes options disponibles.
Certains des liens figurant dans cet article peuvent être des liens d'affiliation, qui peuvent me procurer une rémunération sans frais pour vous si vous décidez d'acheter un plan payant.
Ce sont des outils que j'ai personnellement utilisés, que je soutiens et qui permette de vous offrir du contenu gratuit.
Quelles sont les limites de ChatGPT ? + 15 Exemples (2023)
Sommaire
Téléchargements
Contenus associés
Autres Articles de Blog

D'autres lectures sont disponibles pour décortiquer tous les sujets au coeur des innovations stratégiques, technologiques et méthodologiques.