Pour la première fois, un article écrit par une IA franchit avec succès l'étape de l'évaluation par les pairs (« peer review »)

SAKANA AI, une start up japonaise fondée par deux anciens chercheurs de Google,  a développé l’outil AI scientist est capable d’écrire des articles de recherche d’une qualité suffisante pour être acceptée par une revue par les pairs (peer review).

Certes, sur les trois articles qui avaient été soumis, un seul a obtenu une évaluation suffisante. Mais cela est considéré comme un grand succès, car, d’après la société, c’est la première fois que cela arrive. Les chercheurs ont l’honnêteté de préciser que le jury auquel avaient été présentés les trois articles parmi 43 savait que certains articles pouvaient avoir été écrits par une IA.

Ces trois articles ont été générés de bout en bout par l'IA, sans aucune intervention humaine. L'IA Scientist-v2 a développé une hypothèse scientifique, conçu des expériences pour la valider, rédigé et perfectionné le code pour les exécuter, analysé les données et les a présentées sous forme de chiffres. Elle a également rédigé l'ensemble du manuscrit scientifique, du titre à la référence finale, en incluant la mise en place des figures et l'intégralité du formatage.

L’outil AI Scientist a été entrainé dans trois sous-domaines du « machine learning ». 

Les chercheurs de SAKANA AI ont  fusionné différents modèles de fondation plutôt que de partir de zéro et la nouveauté réside dans l’algorithme créé, qui s’inspire de la nature,  pour automatiser le processus.

On peut sans trop de risque faire l’hypothèse que ce premier succès risque de générer de profonds changements dans le monde de la publication scientifique.

The AI Scientist Generates its First Peer-Reviewed Scientific Publication

The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery, LIU et al 2024