La normalisation par lots est une méthode utilisée pour rendre les réseaux de neurones artificiels plus rapides et plus stables grâce à la normalisation des entrées des couches par recentrage et remise à l'échelle.
Bien que l'effet de la normalisation par lots soit évident, les raisons de son efficacité restent en discussion.
On pensait que cela pouvait atténuer le problème de décalage de covariable interne, où l'initialisation des paramètres et les changements dans la distribution des entrées de chaque couche affectent le taux d'apprentissage du réseau.
Récemment, certains chercheurs ont fait valoir que la normalisation par lots ne réduit pas le décalage de covariable interne, mais lisse plutôt la fonction objectif, ce qui améliore les performances.
Cependant, à l'initialisation, la normalisation par lots induit en fait une forte explosion de gradient dans les réseaux profonds, qui n'est atténuée que par des sauts de connexion dans les réseaux résiduels.
Bienvenu, je m’appelle Eric Soupet et je suis l'administrateur du site elodees.com. elodees.com est un état de l'art de l'Intelligence Artificielle et se veut collaboratif, vous pouvez dès à présent proposer du contenu tels que des articles, des événements, des tutoriels, ... alors n'hésitez pas !
