Titre d’origine : Aligning Brains and Language Models: Toward a NeuroAI Framework for Brain-Grounded Language Understanding
Conférencière : Isıl Poyraz Bilgin, Ph. D., Post-doctorante, Centre de recherche de l’IUGM et Carnegie Mellon University (États-Unis)
Conférence en anglais
Résumé :
Les progrès récents en matière d’intelligence artificielle ont permis aux modèles linguistiques (LM) de se rapprocher plus que jamais de certaines facettes de la cognition humaine. Cependant, malgré leurs remarquables capacités linguistiques, ces modèles restent fondamentalement basés sur des modèles textuels et ne disposent pas des riches fondements multimodaux qui façonnent la pensée et la perception humaines. Dans cette présentation, je présenterai nos travaux récents sur la modélisation du langage fondée sur le cerveau, dans le cadre desquels nous avons développé un nouveau cadre d’alignement cerveau-IA qui entraîne des modèles linguistiques à grande échelle directement sur l’activité cérébrale enregistrée lors d’expériences naturalistes. En exploitant le vaste ensemble de données CNeuroMod, qui comprend des dizaines d’heures d’enregistrements IRMf collectés pendant que les participants regardaient des stimuli naturalistes audiovisuels riches en contexte (par exemple, des films, des récits, des livres), nous alignons les représentations linguistiques avec la dynamique neuronale afin d’étudier comment les modèles linguistiques peuvent intérioriser une structure cognitive similaire à celle de l’être humain. En alignant les représentations linguistiques avec la dynamique neuronale, nous démontrons que le réglage fin guidé par le cerveau améliore la capacité de ces modèles à prédire les réponses cérébrales, à généraliser entre les individus et les stimuli, et à internaliser la structure multimodale à partir des signaux neuronaux. Au-delà de l’amélioration de la précision du codage, cette approche permet aux modèles linguistiques de mieux saisir et utiliser la richesse sensorielle, sociale et contextuelle inhérente à la cognition humaine. Enfin, je discuterai de la manière dont les modèles alignés sur le cerveau fournissent un nouveau cadre pour étudier les bases neuronales du sens et pourraient, à terme, éclairer la conception de systèmes d’IA personnalisés et fondés sur la cognition pour comprendre le fonctionnement du cerveau tout au long de la vie.
Biographie :
Le Dr Isıl Poyraz Bilgin est chercheuse postdoctorale affiliée conjointement à l’université Carnegie Mellon (États-Unis) et au CRIUGM (Courtois NeuroMod). Elle est spécialisée dans l’avancement du domaine émergent de la NeuroIA, qui exploite les données neuronales et les principes cognitifs pour guider le développement de systèmes d’IA fondés sur l’architecture et la dynamique du cerveau humain. En combinant l’IRMf et l’EEG, elle conçoit des pipelines de modélisation multimodaux qui capturent la complexité spatio-temporelle de la cognition humaine et traduisent ces dynamiques en modèles cognitifs enrichis du cerveau. Le Dr Bilgin est une fervente défenseuse d’une science ouverte, transparente et inclusive. Elle a occupé le poste de directrice de l’école internationale BrainHack, implantée dans neuf centres mondiaux, et celui d’assistante d’enseignement, encadrant les étudiants dans la mise en œuvre efficace d’outils et de pratiques scientifiques ouverts dans leurs recherches. Son expérience en matière d’enseignement et de mentorat s’étend de sa formation initiale en mathématiques à ses récentes fonctions dans le cadre de la série éducative de la conférence MAIN (Montreal AI and Neuroscience), où elle a contribué à des conférences et à des tutoriels pratiques sur l’apprentissage automatique et la NeuroIA. Elle a également encadré des projets sur l’éthique et l’interprétabilité des systèmes d’IA, dans le cadre d’un programme de collaboration entre l’Open Life Science (Royaume-Uni) du Turing Institute et la Digital Research Alliance of Canada. En outre, elle codirige et contribue à des initiatives communautaires en neuro-informatique et en open source, alliant l’innovation méthodologique à un engagement profond en faveur d’une recherche éthique, reproductible et interdisciplinaire.