Science et enjeux des Grands Modèles de Langue

Nous sommes fiers d’annoncer que l’école d'été ISC 2024 - Science et enjeux des Grands Modèles de Langue se tiendra (en anglais) du 3  au 14 juin 2024 en formule co-modale, soit en présentiel et en ligne.

_________

L’Institut des Sciences Cognitives de la Faculté des Sciences Humaines de l’UQAM organise des écoles d’été tous les deux ans depuis 2003, portant sur des thèmes comme la catégorisation, la cognition sociale, l’origine du langage, l’évolution et la fonction de la conscience, la science du web et de l’esprit, le raisonnement, la sensibilité et la cognition animale, et les défis cognitifs du changement cognitif.

Pour l’été 2024, l’Institut des Sciences Cognitives entend aborder le thème des grands modèles de langue (GML). Les GML sont des systèmes d'intelligence artificielle fondés sur l’apprentissage profond (deep learning) et entraînés sur des ensembles massifs de données linguistiques prises de grands corpus de textes variés provenant d'Internet et d'autres sources. Ils sont conçus pour manipuler les langues naturelles d’une manière qui leur permet de converser naturellement avec des êtres humains, répondre à leurs questions ou recevoir des instructions de leur part. Avec les multiples améliorations prévisibles de la technologie, leurs capacités actuelles ne pourront que s’améliorer et s’étendre. Puisque le déploiement public de ces systèmes est tout récent (octobre 2022 pour le premier ChatGPT), que leur couverture médiatique a été intense, et qu’ils soulèvent des questions scientifiques, éthiques et sociales importantes, nous croyons qu’une telle école saura intéresser les étudiant-es et chercheur-es de plusieurs domaines ici à l’UQÀM ainsi que dans le monde.

L’école d’été proposée ici entend étudier les Grands modèles de langage sur quatres perspectives (certains plus profondément que d’autres): 

1) Les techniques qui permettent le développement des GML;

2) Ce qu’ils nous apprennent sur la cognition et le langage humain 

3) Les enjeux éthiques qu’ils soulèvent, et enfin 

4) Les conséquences éducationnelles, économiques, sociales et politiques de leur déploiement à grande échelle.

L'école d'été sera constituée d’une série de 40 conférences de 45 minutes suivies de périodes de discussions de 15 minutes), de 10 plénières de 60 minutes (une par jour), d’une séance d’affiches sur les sujets abordés durant l’école d’été et, pour les personnes étudiantes inscrites, d’un travail évalué par un ou une des membres du comité scientifique de l’institut.

Plusieurs conférencier-ères ont confirmé leur présence, notamment :

• BELKIN, Misha (UCSD) informatique et ingénierie
• BZDOK, Danilo (McGill) bio-ingénierie et informatique
• CHALMERS, Dave (NYU) philosophie
• CHEUNG, Jackie (McGill) informatique
• DENNETT, Dan (Tufts) philosophie
• EFROS, Alyosha (Berkeley) informatique
• FRISTON, Karl (UCL) neurosciences
• FUTRELL, Richard (UCI) linguistique
• LEBIÈRE, Christian (CMU) psychologie
• LENCI, Alessandro (U Pisa) linguistique
• LEVIN, Mike (Tufts) Biologie
• LUPYAN, Gary (U Wisc) psychologie
• LYRE, Holger (U Magdeburg) philosophie
• MAHDOWALD, Kyle (U Texas) linguistique
• MCLURE, Jocelyn (McGill) philosophie
• MITCHELL, Melanie (Santa Fe Inst) informatique
• OUDEYER, Pierre-Yves (Inria, Bordeaux) développement IA
• PAVLICK, Ellie (Brown) informatique
• PORTELANCE, Eva (McGill) IA/science cognitive
• PULVERMUELLER, Friedemann (FU Berlin) neurosciences
• RICHARDS, Blake (Mcgill) psychologie et informatique
• RISH, Irina (MILA) informatique
• SCHNEIDER, Susan (Florida Atlantic) philosophie
• TENENBAUM, Josh (MIT) psychologie
• WOLFRAM, Stephen (Mathematica) mathématiques
• YANG, Kaiyu (Caltech) mathématiques

Ateliers

En plus des conférences et panels, chaque journée offrira une activité de type atelier (workshop) destinée à vous transmettre un savoir pratique sur différents aspects des GML. Les ateliers prévus auront lieu chaque journée de l'école d'été, soit du 3 au 14 juin inclusivement et sont les suivants : 

Outils de base

1. Premiers pas avec HuggingFace
2. Utilisation de Google Colab
3. Utilisation de la bibliothèque SentenceTransformers

Traitement des langues naturelles

1. Affinement (fine-tuning) d’un GML 1: idée générale et classification des séquences
2. Affinement (fine-tuning) d’un GML 2: Classification des tokens et des inférences
3. Pré-entraînement d’un GML: pré-entraînement de modèles vides, adaptation au domaine des modèles pré-entraînés
4. Ingénierie des invites (prompts)
5. Modèles de sujet (topic model)
6. Élimination des biais d’un plongement lexical (word embedding) 
7. Construire un transformeur à partir de zéro

Utilisation en linguistique et en sciences cognitives

1. Investigation sémantique des GML
2. Utilisation des GML comme substitut du langage humain pour mener des études linguistiques