Le problème du gradient de fuite est rencontré lors de la formation de réseaux de neurones artificiels avec des méthodes d'apprentissage basées sur le gradient et la rétropropagation.
Dans de tels procédés, lors de chaque itération d'apprentissage, chacun des poids du réseau neuronal reçoit une mise à jour proportionnelle à la dérivée partielle de la fonction d'erreur par rapport au poids courant.
Dans certains cas de figure, le gradient sera très petit, empêchant le poids de changer de valeur.
Ce qui peut empêcher le réseau de neurones de continuer à s'entraîner.
Bienvenu, je m’appelle Eric Soupet et je suis l'administrateur du site elodees.com. elodees.com est un état de l'art de l'Intelligence Artificielle et se veut collaboratif, vous pouvez dès à présent proposer du contenu tels que des articles, des événements, des tutoriels, ... alors n'hésitez pas !
