Altman a presque reconnu avoir entraîné des modèles sur des données purement IA, et a dit qu'en mathématiques, il n'était plus nécessaire d'utiliser des données humaines

Selon la surveillance de Beating, Altman a parlé de données synthétiques dans le podcast du PDG Nicholas Thompson de « The Atlantic Monthly ». Thompson a dit qu’il y a maintenant du contenu généré par IA partout sur Internet, et que les humains apprennent même le style d’écriture de l’IA, et que dans le futur, il est impossible que les modèles n’utilisent pas de données générées par IA. Il a dit « GPT-4 est le dernier modèle qui n’a pas beaucoup utilisé de données IA », et Altman a hoché la tête en accord.

Thompson a directement demandé : y a-t-il eu des modèles entraînés entièrement avec des données synthétiques (en utilisant la sortie de l’IA pour entraîner la prochaine génération d’IA) ? Altman a fait une pause, disant « je ne suis pas sûr de devoir le dire ». Cette phrase équivaut à une approbation implicite. Il a ensuite dit que le cœur du modèle est d’apprendre à raisonner, ce que les données synthétiques peuvent tout à fait faire. Il a pris une analogie mathématique : un modèle qui n’a jamais vu de données humaines, peut-il mieux calculer que l’humain ? « Je pense que oui. » Mais inversement, un modèle qui n’a pas été exposé à la culture humaine, peut-il comprendre les valeurs humaines ? « Probablement pas. »

Les données synthétiques ont toujours la réputation de « maladie du bœuf fou » : si l’IA consomme constamment ses propres sorties, l’information va-t-elle se dégrader de génération en génération ? Selon Altman, enseigner l’IA à faire des mathématiques ne nécessite pas d’humains, mais enseigner à l’IA à comprendre les talents humains nécessite des humains.