3.2.2. Brève historique de l'évolution de
l'utilisation des réseaux de neurones
La reconstitution de l'histoire de la recherche dans le
domaine des réseaux de neurones formels a été possible,
grâce à de nombreux écrits ; notamment le livre
"Neurocomputing : fondations of Research" de John Anderson et Edward Rosenfeld
(1958). De façon générale, deux approches sont à la
base de tout avancement des connaissances. Premièrement, il importe de
posséder un nouveau concept, ou un nouveau point de vue à propos
d'un sujet, qui vient jeter une lumière là où il n'y avait
qu'obscurité. Deuxièmement, il importe aussi de posséder
des outils technologiques permettant de construire des systèmes
concrets.
L'histoire des réseaux de neurones est donc
tissée à travers des découvertes conceptuelles et des
développements technologiques survenus à diverses époques,
(Parizeau, 2004). Plusieurs auteurs dont Touzet (1992), Leray
(2000), Parizeau (2004) et Aubin (2007) ont tenté de retracer l'histoire
de l'évolution des recherches sur les réseaux de neurones formels
en distinguant trois périodes : la naissance et le succès des
travaux de recherche dans les sciences connexionnistes dès 1890 ; le
ralentissement des travaux de recherche en 1969 et ; la renaissance de la
recherche dans le domaine des sciences connexionnistes en 1982.
3.2.2.1. Première periode : la naissance et le
succès des travaux de recherche
Dès 1890, W. James, célèbre psychologue
américain introduit le concept de mémoire associative, et propose
ce qui deviendra une loi de fonctionnement pour l'apprentissage ou le calage
sur les réseaux de neurones connue plus tard sous le nom de loi de Hebb.
Les neurologues Warren Sturgis McCulloch et Walter Pitts menèrent les
premiers travaux en 1943 sur les Réseaux de neurones à la suite
de leur article fondateur : What the frog's eye tells to the frog's
brain. Ils constituèrent un modèle simplifié de
Neurones Biologiques
communément appelé neurone formel et
montrèrent théoriquement que des réseaux de neurones
formels simples peuvent réaliser des fonctions logiques,
arithmétiques et symboliques complexes. La fonction des réseaux
de neurones formels à l'instar du modèle vivant est de
résoudre des problèmes. À l'opposé des
méthodes traditionnelles de résolution informatique, on ne doit
pas construire un programme pas à pas en fonction de la
compréhension de celui-ci. Les paramètres les plus importants de
ce modèle sont les coefficients synaptiques (poids). Ce sont eux qui
construisent le modèle de résolution en fonction des informations
données au réseau (variables de forçage,
caractéristiques des bassins versants, débits mesurés,
etc.). Il faut donc trouver un mécanisme qui permette de les calculer
à partir des grandeurs que l'on peut acquérir du problème.
C'est le principe fondamental de l'apprentissage ou calage
développé plus loin dans ce mémoire. Dans un
modèle de réseaux de neurones formels, apprendre, c'est d'abord
calculer les valeurs des coefficients synaptiques (poids) en fonction des
exemples disponibles. Les travaux de Mc Culloch et Pitts n'ont pas donné
d'indication sur une méthode pour adapter les coefficients synaptiques.
Cette question au coeur des réflexions sur l'apprentissage a connu un
début de réponse grâce aux travaux du physiologiste
américain Donald Hebb, sur l'apprentissage en 1949, décrits dans
son ouvrage "The Organization of Behaviour". Hebb a proposé une
règle simple qui permet de modifier la valeur des coefficients
synaptiques ou poids en fonction de l'activité des unités qu'ils
relient. Cette règle aujourd'hui connue sous le nom de "règle
de Hebb" est presque partout présente dans les modèles
actuels, même les plus sophistiqués. À partir de cet
article, l'idée se sema au fil du temps dans les esprits, et elle germa
dans l'esprit de Franck Rosenblatt en 1957 avec le modèle du Perceptron.
C'est le premier système artificiel capable d'apprendre par
expérience, y compris lorsque son instructeur commet quelques erreurs ;
ce qui le différencie nettement d'un système d'apprentissage
logique formel.
| 
