Initialisation du poids dans les réseaux de neurones
Pas encore de compte ?
Dans l'apprentissage en profondeur, l'objectif est de trouver les poids optimaux du modèle pour obtenir la sortie souhaitée.
Dans l'apprentissage par transfert, le réseau est initialisé en utilisant les meilleurs poids pré-formés.
La question est de savoir comment initialiser les poids pour un modèle non pré-entraîné ?
Les algorithmes de formation pour les modèles d'apprentissage en profondeur sont généralement de nature itérative et nécessitent donc que l'utilisateur spécifie un point initial à partir duquel commencer les itérations.
De plus, la formation de modèles profonds est une tâche suffisamment difficile pour que la plupart des algorithmes soient fortement affectés par le choix de l'initialisation.
All 0s or All 1s
L'un des moyens consiste à initialiser tous les poids à 0.
Comme tous les poids sont identiques, les activations de toutes les unités cachées sont également les mêmes.
Cela rend le gradient par rapport à chaque poids identique.
Ainsi, le problème se pose de savoir quel poids le réseau doit mettre à jour et de combien, c'est-à-dire que la rétropropagation a du mal à minimiser la perte.
Le même problème se produit si tous les poids sont initialisés à 1s.
Uniform distribution
L'autre méthode consiste à initialiser les poids de manière aléatoire à partir d'une distribution uniforme.
Chaque nombre dans une distribution uniforme a une probabilité égale d'être choisi.
General rule
Choisir des valeurs élevées de poids n'est pas ce qu'il y a de mieux pour le modèle car cela pose des problèmes d'explosion et de disparition des gradients.
La manière générale d'initialiser les poids consiste à sélectionner de petites valeurs aléatoires, proches de 0.
Normal distribution
Une autre méthode consiste à initialiser les poids de manière aléatoire à partir d'une distribution normale.
Comme la plupart des valeurs sont concentrées vers la moyenne, la plupart des valeurs aléatoires sélectionnées ont une probabilité plus élevée d'être plus proches de la moyenne (disons μ = 0).
Source : https://kharshit.github.io/blog/2019/02/08/weight-initialization-in-neural-nets
Bienvenu, je m’appelle Eric Soupet et je suis l'administrateur du site elodees.com. elodees.com est un état de l'art de l'Intelligence Artificielle et se veut collaboratif, vous pouvez dès à présent proposer du contenu tels que des articles, des événements, des tutoriels, ... alors n'hésitez pas !
