Pour aller plus loin sur ce qui nous attend : https://www.ikangai.com/test-time-compute-the-next-frontier-in-ai-scaling/

Les grands laboratoires d'IA, comme OpenAI, redéfinissent leur approche en s’éloignant de l’idée que « plus grand, c’est mieux » dans la conception de modèles d’IA. Ils explorent désormais le "test-time compute", une méthode où les modèles bénéficient de ressources supplémentaires lors de l'exécution pour améliorer leurs résultats. Cette approche s’inspire du raisonnement humain, permettant aux modèles de générer plusieurs solutions, de les évaluer pas à pas, et de choisir la meilleure. Contrairement aux méthodes traditionnelles, cela favorise une optimisation dynamique selon la difficulté des problèmes, combinant des ajustements séquentiels pour des tâches simples et des explorations parallèles pour des cas complexes. Grâce à des mécanismes comme les Process Reward Models (PRM), les modèles peuvent juger la qualité de chaque étape d’un raisonnement, plutôt que seulement les réponses finales, ce qui renforce leur capacité à résoudre des problèmes sophistiqués. Cette innovation pourrait bouleverser le marché du matériel d’IA, actuellement dominé par Nvidia, en créant des opportunités pour des technologies mieux adaptées aux tâches d'inférence. En réduisant la dépendance au simple agrandissement des modèles, le test-time compute inaugure une "ère de découverte", selon Ilya Sutskever, cofondateur d’OpenAI, en permettant une IA plus efficace et économiquement viable, ouvrant la voie à des systèmes plus performants et raisonnés sans coûts exponentiels.