Des recherches récentes ont suscité une discussion intrigante sur la compétence de ChatGPT, en particulier les versions GPT-3.5 et GPT-4. Ces deux itérations ont dominé le marché en tant que grands services de modèles de langage.
Cependant, avec un mélange déroutant de hauts et de bas de performances entre mars et juin 2023, certains se demandent : « Est-ce que ChatGPT devient plus stupide ?
Les mises à jour de ChatGPT ne dépassent pas les anciennes versions
Des universitaires réputés de l’Université de Stanford et de l’Université de Californie à Berkeley ont examiné la compétence de ChatGPT dans diverses tâches. Le point central de cette évaluation complète était l’incohérence dramatique observée dans sa performance sur une période de trois mois.
L’incongruité fait plus que soulever des sourcils; il souligne la nature de la technologie et l’impératif de surveiller sa qualité de manière constante.
« Nos résultats montrent que le comportement du « même » [large language model] Le service LLM peut changer considérablement dans un laps de temps relativement court », lit le rapport.
En plongeant dans les détails, les compétences en résolution de problèmes mathématiques de GPT-4 ont présenté une baisse choquante de compétence lors de l’identification des nombres premiers.
En effet, les taux de précision ont chuté d’un louable 97,6 % en mars à un alarmant 2,4 % en juin. En revanche, son prédécesseur, GPT-3.5, a présenté une amélioration substantielle au cours de la même période, passant de 7,4 % à 86,8 %.
Lire la suite : Que sont les plugins ChatGPT ? Consultez nos 20 meilleurs choix
Les contrastes frappants confondent les experts de l’industrie, car on s’attendrait à ce que les nouvelles versions dépassent leurs prédécesseurs. Cela soulève des inquiétudes quant à l’impact réel des « mises à jour » et des « améliorations » sur la capacité de l’IA.
Manque d’explication détaillée et de génération de code
Lorsqu’elle a été sondée sur des questions sensibles, la recherche a dépeint un autre angle intrigant. GPT-4 a démontré une réduction significative des réponses directes aux requêtes sensibles de mars à juin. Cela indique une couche de sécurité renforcée.
Cependant, il y avait une troncature notable dans ses explications générées lorsqu’il refusait de répondre. Cela a suscité des spéculations quant à savoir si le modèle pèche par excès de prudence au détriment de l’engagement et de la clarté des utilisateurs.
Pourtant, tout n’était pas sombre. L’étude a identifié un domaine crucial où GPT-4, et dans une certaine mesure GPT-3.5, ont manifesté des améliorations marginales : le raisonnement visuel. Bien que les taux de réussite globaux soient restés relativement faibles, il y avait des signes d’évolution dans leur performance.
Lire la suite : Meilleures alternatives ChatGPT que vous pouvez utiliser en 2023
Ce qui ressort vraiment, c’est l’imprévisibilité de cette technologie. La compétence de génération de code de GPT-4 a montré une baisse dans la production de code directement exécutable. Cela soulève des signaux d’alarme pour les industries qui s’appuient sur ces modèles, car les incohérences peuvent faire des ravages dans les écosystèmes logiciels plus vastes.
La complaisance ne peut pas être accordée
La principale conclusion de cette analyse approfondie n’est pas les fluctuations des performances de GPT-4 et GPT-3.5, mais la leçon globale sur l’impermanence de l’efficacité de l’IA.
Avec les progrès technologiques rapides, il existe une hypothèse implicite selon laquelle les nouveaux modèles surpasseront leurs prédécesseurs. Cette étude remet en question cette notion même.
Le message pour les entreprises et les développeurs fortement investis dans ChatGPT est de surveiller et d’évaluer ces modèles régulièrement. Alors que la technologie de l’IA poursuit sa marche en avant, l’étude rappelle brutalement que les progrès ne sont pas linéaires.
Lire la suite : 21 meilleures invites ChatGPT à explorer en 2023
L’hypothèse selon laquelle plus récent est invariablement meilleur pourrait être une simplification excessive, une notion que la communauté technologique doit aborder de front. Le comportement erratique de GPT-4 et GPT-3.5 en quelques mois amplifie l’urgence de rester vigilant, d’évaluer et de recalibrer, en veillant à ce que la technologie remplisse son objectif avec une compétence constante.
Clause de non-responsabilité
Conformément aux directives du Trust Project, BeInCrypto s’engage à fournir des rapports impartiaux et transparents. Cet article de presse vise à fournir des informations précises et opportunes. Cependant, les lecteurs sont invités à vérifier les faits de manière indépendante et à consulter un professionnel avant de prendre toute décision basée sur ce contenu.
Source https://beincrypto.com/study-reveals-chatgpt-dumber/
