On dit que les ingénieurs – et certains scientifiques, mais surtout les ingénieurs – peuvent visualiser dans leur esprit ce qui n’existe pas encore et ce longtemps avant de construire quelque chose.
Le responsable de l’intelligence artificielle de Facebook, Yann LeCun, semble correspondre à ce profil. “Je travaille surtout par intuition” écrit-il dans Quand la machine apprend, un nouveau livre qui intègre biographie, conférence scientifique et histoire de l’IA. “Je projette dans ma tête les cas limites, ce qu’Einstein appelle les “expériences de pensée”, écrit LeCun.
Cette capacité d’imaginer quelque chose qui n’existe pas, peut-être à la limite de ce que l’on croit généralement faisable. Mais c’est la marque des ingénieurs et des innovateurs. Yann LeCun est une rareté dans le monde de l’IA. C’est un scientifique qui est à l’aise dans la conception d’algorithmes, mais qui a aussi un pied dans l’ingénierie informatique.
Une intuition bien étoffée
Yann LeCun, qui a remporté cette année le prix Turing de l’ACM pour sa contribution à l’informatique, est surtout connu pour avoir fait progresser et perfectionné le réseau neuronal convolutionnel, ou CNN, dans les années 1990. Il n’a pas inventé ceci à partir de zéro, mais il a rendu les CNNs pratiques et réalisables.
Ces CNN ont constitué le fondement de la révolution de l’apprentissage machine (Machine learning) qui a permis à Yann LeCun de se faire connaître au cours de la dernière décennie aux côtés de ses compatriotes, Geoffrey Hinton et Yoshua Bengio, les autres lauréats.
Yann LeCun était sur scène mercredi dernier à l’Institute for Advanced Study de Princeton, NJ, pour expliquer ce qui semblait être de l’intuition, mais une intuition bien étoffée. Il s’agissait d’un atelier de trois jours sur l’apprentissage profond, plus précisément sur la théorie de l’apprentissage profond.
Vers l’apprentissage non supervisé
Organisé par Sanjeev Arora, professeur de mathématiques à l’Institut, l’événement a attiré de nombreuses personnalités de l’intelligence artificielle, dont Anima Anandkumar, responsable de la recherche de Nvidia, et Léon Bottou, chercheur chez Facebook.
La présentation de Yann LeCun portait sur comment aller au-delà des exemples de formation labellisées d’apprentissage profond conventionnel. “Nous n’obtiendrons pas une intelligence aussi générale que celle des humains avec la supervision ou l’apprentissage multitâche” a-t-il déclaré à l’auditoire. “Il va nous falloir autre chose.”
Selon Yann LeCun, cette autre chose, c’est de l’apprentissage non supervisé. Et pour rendre possible l’apprentissage non supervisé, il faut travailler davantage sur une approche connue sous le nom d’apprentissage basé sur l’énergie.
Réseau Hopfield et Machine de Boltzmann
Les fonctions énergétiques existent dans l’IA depuis des décennies. Le biologiste John Hopfield a popularisé cette approche pour la première fois dans les années 1980 avec ce qui a été connu sous le nom de “Réseau Hopfield“. C’était à l’époque une percée dans le domaine de l’apprentissage machine, et elle a conduit à d’autres types d’algorithmes d’apprentissage qui traitent des notions d’un champ énergétique à optimiser, comme la “Machine de Boltzmann” poursuivie par Hinton.
“L’apprentissage basé sur l’énergie existe depuis un certain temps, observe Yann LeCun, et il m’est revenu récemment à l’esprit en raison de la nécessité de faire moins de supervision”.
Les détails deviennent rapidement abscons mesure que la présentation a lieu. Reconnaissons le. Mais l’idée de base est qu’au lieu de créer des tonnes d’ensembles de données étiquetées, comme des images de chats et de chiens, ou de passer des milliers d’heures à jouer aux échecs comme AlphaZero de DeepMind, prenez juste quelques données brutes très abondantes, comme de nombreux clips YouTube, et envoyez-les sur une machine.
“Regarder YouTube ou Facebook Live toute la journée”
“Il s’agit de faire une machine vraiment grande et de la faire regarder YouTube ou Facebook Live toute la journée” a déclaré Yann LeCun.
La machine peut être entraînée à prédire ce qui va suivre après chaque vidéo. La compatibilité entre une prédiction et la réalité est ce qu’on appelle un niveau d’énergie. Une énergie inférieure est meilleure, plus compatible, c’est-à-dire plus précise, donc un réseau neuronal essaie d’atteindre un état de basse énergie idéal.
Le message de LeCun est assez radical dans le contexte de l’apprentissage machine. Les fonctions énergétiques suppriment la prédiction probabiliste dans la vision de Yann LeCun. “Je pense que le bon cadre pour cela est de jeter le cadre probabiliste.” Le réseau neuronal typique devrait avoir des “poids infinis” a-t-il dit, ce qui est “inutile”.
Article “High energy: Facebook’s AI guru LeCun imagines AI’s next frontier” traduit et adapté par ZDNet.fr
Comments