COMPTOIR
  
register

Deep Learning : mais qu'est-ce que ça fait au juste ?

S'il ne fallait citer qu'un domaine en vogue en informatique théorique de nos jours, ce serait très probablement le machine learning. Son essor est tel que des unités de calcul dédiées, les tensor cores, sont intégrées dans la dernière Titan Vend ton rein. Similairement, Intel a récemment mis en vente un module basse consommation spécialement dédié à cet usage.

 

Un algorithme particulièrement à la mode se base sur des réseaux de neurones. Des calculs matriciels sont réalisés afin de simuler des couches au comportement similaire à celui observé dans le cerveau : les neurones sont répartis en couches, et chaque unité de calcul émet un signal en fonction des sorties des couches précédentes. Pour effectuer une tâche, les neurones doivent être au préalable entraînés. Ces étape s'effectue par un ajustement des pondérations des entrées de chaque neurone, de manière à obtenir une sortie correspondante avec le caractère désiré. Par exemple, dans le cadre de la reconnaissance d'image, la première couche est mise directement en relation avec le fichier d'entraînement, et les poids sont adaptés de manière à obtenir un "1" en sortie si un chat est détecté, "0" sinon.

 

neuronal network brain

Les réseaux de neurones : une imitation informatique du cerveau

 

Un souci principal est que ce mécanisme est opaque : il est impossible de repérer le rôle d'une couche en regardant les contributions de la couche précédente (il ne s'agit que de nombres, pas facile de les relier à telle ou telle caractéristique). Un travail en provenance du MIT apporte un élément de réponse. Il consiste à entrainer, pour chaque couche du réseau à étudier, un second réseau de neurones en utilisant comme entrée la sortie de la couche cible (du premier réseau donc). En regardant les réactions du réseau secondaire, on peut en déduire le rôle de la couche qui a servi d'entraînement.

 

De manière peu surprenante (ou surprenante selon vos attentes !), on retrouve des comportements similaires à ceux observés biologiquement ; à partir d'un algorithme à la base dédié à la reconnaissance vocale. Les premières couches détectent principalement des formes "bas niveau" (ici des sons) ; quand les couches supérieurs font la liaison avec le sens sémantique des mots détectés.

 

Cela signifie-t-il que les réseaux de neurones ont finalement parfaitement réussi à imiter l'humain ? Pas vraiment. Les chercheurs ont pu détecter une spécificité manquante par rapport au cerveau humain dans la partie décodeur d'un réseau traduisant de l'anglais vers l'allemand. En corrigeant ce défaut (par une modification de la procédure d'apprentissage), les performances du réseau ont pu être augmentées de 3%, comme quoi personne n'est parfait, pas même une machine ! (Source : Mit News)

Un poil avant ?

Ryzen Pinnacle Ridge au mois de mars ?

Un peu plus tard ...

Argent trop cher, les jeux n'ont pas de prix

Lire dans l'esprit des réseaux de neurones des IA en utilisant une autre IA, voila le but d'un nouveau papier du MIT.

temps de concentration afin de cerner l'ensemble des subtilités de ce billet 2 minutes

Sur le comptoir, au ~même sujet

 
 
 
 
 



Suivez-nous sur G.Actualités
Les 23 ragots
Les ragots sont actuellement
ouverts à tous, c'est open bar !