3.2.2.2. Deuxième période : le
ralentissement des travaux de recherche
En 1969, un coup grave fut porté à la
communauté scientifique gravitant autour des réseaux de neurones.
Marvin Lee Minsky et Seymour Papert publièrent un ouvrage mettant en
exergue quelques limitations théoriques du Perceptron, notamment
l'impossibilité de traiter des problèmes non linéaires ou
de connexité. Ils étendirent implicitement ces limitations
à tous modèles de réseaux de neurones artificiels.
Paraissant alors une impasse, la recherche sur les réseaux de neurones
perdit une grande partie de ses financements publics, et le secteur industriel
s'en détourna aussi. Les fonds destinés à l'Intelligence
Artificielle furent redirigés
vers la logique formelle et la recherche piétina
pendant dix ans. Cependant, les solides qualités de certains
réseaux de neurones formels en matière adaptative, exemple de
l'ADALINE, leur permettant de modéliser de façon évolutive
des phénomènes eux-mêmes évolutifs. Cela les
amènera à être intégrés sous des formes plus
ou moins explicites dans le corpus des systèmes adaptatifs,
utilisés dans le domaine des télécommunications ou celui
du contrôle de processus industriels.
3.2.2.3. Troisième période : la
renaissance de la recherche
En 1982, John Joseph Hopfield, physicien reconnu, donna un
nouveau souffle aux réseaux de neurones en publiant un article
introduisant un nouveau modèle de réseau de neurones
(complètement récurrent). Cet article eu du succès pour
plusieurs raisons, dont la principale était de teinter la théorie
des réseaux de neurones de la rigueur propre aux physiciens. Le neuronal
redevint un sujet d'étude acceptable, bien que le modèle de
Hopfield souffrait des principales limitations des modèles des
années 60, notamment l'impossibilité de traiter les
problèmes non - linéaires. À la même date, les
approches algorithmiques de l'Intelligence Artificielle (IA) furent l'objet de
désillusion, leurs applications ne répondant pas aux attentes.
Cette désillusion motiva une réorientation des recherches en
Intelligence Artificielle vers les réseaux de neurones, bien que ces
réseaux concernent la perception artificielle plus que l'Intelligence
Artificielle à proprement parler. La recherche fut relancée et
l'industrie reprit quelque intérêt aux Réseaux de neurones,
en particulier pour des applications comme le guidage de missiles de
croisière.
En 1984, c'est le système de rétro propagation du
gradient de l'erreur qui est le sujet le plus débattu dans le
domaine.
Une révolution survient alors dans le domaine des
réseaux de neurones artificiels : une nouvelle génération
de réseaux de neurones, capables de traiter avec succès des
phénomènes non-linéaire : le Perceptron Multicouche (PMC),
utilisé dans ce mémoire de Thèse, ne possède pas
les défauts mis en évidence par Minsky. Proposé pour la
première fois par Werbos, le Perceptron Multicouche apparaît en
1986. Introduit par Rumelhart, et, simultanément, sous une appellation
voisine, chez Yann Le Cun. Ces systèmes reposent sur la
rétropropagation du gradient de l'erreur dans des systèmes
à plusieurs couches. Les réseaux de neurones ont par la suite
connu un essor considérable, et ont fait partie des premiers
systèmes à bénéficier de l'éclairage de la
théorie de la régularisation statistique introduite par Vladimir
Vapnik en Union Soviétique ex URSS et popularisée en Occident
depuis la chute du
"mur de BERLIN". Cette théorie, l'une des plus importante
du domaine des statistiques, permet d'anticiper, d'étudier et de
réguler les phénomènes liés au sur-
apprentissage.
| 
