La formation réticulée médiane : un substrat pour la sélection de l'action ? modélisation via réseaux de neurones et algorithmes évolutionnistes.

Chapitre 6

Conclusion

L'objectif de cette 'etude 'etait de proposer un nouveau modèle de la mRF plus proche des donn'ees anatomiques que les deux modèles pr'ec'edents existants dans la litt'erature et d''evaluer sa capacit'e a` faire de la s'election de l'action. Notre d'emarche bas'ee sur les algorithmes 'evolutionnistes nous a permis de montrer qu'un r'eseau pr'esentant une structure de type mRF peut être capable d'une part de prendre les d'ecisions attendues et d'autre part de les s'electionner de façon franche :

- la première s'erie d'exp'eriences bas'ees sur une tàache d'esincarn'ee a montr'e la capa-

cit'e computationnelle de la mRF a` effectuer une tàache de s'election (chapitre 3);
- la seconde s'erie d'exp'eriences bas'ees sur une tàache incarn'ee montre que la mRF

est capable d'effectuer une tàache de s'election de l'action en condition simul'ee

(chapitre 4).

Les r'esultats que nous avons obtenus sont meilleurs que ceux du modèle de Humphries dans les deux tàaches que nous avons analys'ees : affiner le modèle en y ajoutant davantage de neurones et supprimer l'hypothèse du modèle de Kilmer-McCulloch reprise par modèle de Humphries qu'àchaque cluster correspond une action nous a ainsi permis d'am'eliorer les performances en termes de s'election tout en respectant davantage les donn'ees anatomiques connues sur la mRF.

N'eanmoins, la structure de type mRF ne semble pas repr'esenter un avantage particulier par rapport a` un r'eseau de neurones sans contrainte. Ainsi, pour r'epondre a` la question originale, la mRF peut constituer un substrat pour la s'election de l'action, mais il ne semble pas que sa structure repr'esente un atout en particulier.

En outre, la d'emonstration de P(l) > 45 × P(p) dans le chapitre 1.4 nous permet
avec une certitude accrue d'affirmer que la mRF a une structure de r'eseau de type

small-world, résultat pouvant s'avérer très utile dans les analyses futures.

'Etant donnéla nature exploratoire de ce travail de modélisation de la mRF, beaucoup d'axes de recherche que nous avons évoqués dans la discussion restent toutefois a` être explorés pour affiner le modèle et approfondir les résultats. Cependant, les résultats de ce travail sont encourageants et outre leurs implications sur les capacités computationnelles de la mRF ils montrent l'apport potentiel des algorithmes évolutionnistes aux neurosciences computationnelles.

Bibliographie

[Albert and Barabási, 2002] Albert, R. and Barabási, A. (2002). Statistical mechanics of complex networks. Reviews of modern physics, 74(1) :47-97. [cited at p. 8]

[Ashby, 1952] Ashby, W. (1952). Design for a brain. [cited at p. 31]

[Berntson and Micco, 1976] Berntson, G. and Micco, D. (1976). Organization of brainstem behavioral systems. Brain Research Bulletin, 1(5) :471-483. [cited at p. 6]

[Berridge, 1989] Berridge, K. (1989). Progressive degradation of serial grooming chains by descending decerebration. Behavioural brain research, 33(3) :241-253. [cited at p. 6]

[Birkmayer and Pilleri, 1966] Birkmayer, W. and Pilleri, G. (1966). The brainstem reticular formation and its significance for autonomic and affective behavior. [cited at p. 6]

[Bowsher, 1970] Bowsher, D. (1970). Place and modality analysis in caudal reticular formation. The Journal of Physiology, 209(2) :473-486. [cited at p. 5]

[Deb, 2001] Deb, K. (2001). Multi-objective optimization using evolutionary algorithms.

Wiley. [cited at p. 20]

[Deb et al., 2002] Deb, K., Pratap, A., Agarwal, S., and Meyarivan, T. (2002). A fast and elitist multiobjective genetic algorithm : Nsga-ii. Evolutionary Computation, IEEE Transactions on, 6(2) :182-197. [cited at p. 20]

[Doncieux and Mouret, 2009] Doncieux, S. and Mouret, J. (2009). Single step evolution of robot controllers for sequential tasks. In Proceedings of the 11th Annual conference on Genetic and evolutionary computation, pages 1771-1772. ACM. [cited at p. 42]

[Doncieux et al., 2004] Doncieux, S., Mouret, J., Muratet, L., and Meyer, J. (2004). The robur project : towards an autonomous flapping-wing animat. Proceedings of the Journées MicroDrones. [cited at p. 19]

[Eccles et al., 1976] Eccles, J., Nicoll, R., Rantucci, T., Taborikova, H., and Willey, T. (1976). Topographic studies on medial reticular nucleus. Journal of Neurophysiology, 39(1) :109-118. [cited at p. 5]

[Girard et al., 2003] Girard, B., Cuzin, V., Guillot, A., Gurney, K., and Prescott, T. (2003). A basal ganglia inspired model of action selection evaluated in a robotic survival task. Journal of integrative neuroscience, 2 :179-200. [cited at p. 1, 12, 14, 31, 33]

[Girard et al., 2008] Girard, B., Tabareau, N., Pham, Q., Berthoz, A., and Slotine, J. (2008). Where neuroscience and dynamic system theory meet autonomous robotics : a contracting basal ganglia model for action selection. Neural Networks, 21(4) :628-641. [cited at p. 15]

[Glickman and Schiff, 1967] Glickman, S. and Schiff, B. (1967). A biological theory of reinforcement. Psychological Review, 74(2) :81-109. [cited at p. 6]

[Grantyn et al., 1987] Grantyn, A., Ong-Meang Jacques, V., and Berthoz, A. (1987). Reticulo-spinal neurons participating in the control of synergic eye and head movements during orienting in the cat. Experimental Brain Research, 66(2) :355-377. [cited at p. 8]

[Guillot, 1988] Guillot, A. (1988). Contribution a` l'etude des sequences comportementales de la souris : approches causale, descriptive et fonctionnelle. Diplôme de Doctorat de lUniversitéParis 7, SpécialitéBiomathématiques. [cited at p. 41]

[Hammer Jr et al., 1981] Hammer Jr, R., Lindsay, R., and Scheibel, A. (1981). Development of the brain stem reticular core : an assessment of dendritic state and configurationin the perinatal rat. Developmental Brain Research, 1(2) :179-190. [cited at p. 7]

[Humphries et al., 2005] Humphries, M., Gurney, K., and Prescott, T. (2005). Is there an integrative center in the vertebrate brain-stem? a robotic evaluation of a model of the reticular formation viewed as an action selection device. Adaptive Behavior, 13(2) :97-

113. [cited at p. 1, 4, 12, 33, 34, 37]

[Humphries et al., 2006] Humphries, M., Gurney, K., and Prescott, T. (2006). The brainstem reticular formation is a small-world, not scale-free, network. Proceedings of the Royal Society B : Biological Sciences, 273(1585) :503-511. [cited at p. 1, 4, 7, 8, 10, 11]

[Humphries et al., 2007] Humphries, M., Gurney, K., and Prescott, T. (2007). Is there a brainstem substrate for action selection? Philosophical Transactions of the Royal Society B : Biological Sciences, 362(1485) :1627-1639. [cited at p. 5, 6, 7, 8, 23, 29]

[Humphries and Prescott, 2006] Humphries, M. and Prescott, T. (2006). Distributed action selection by a brainstem neural substrate : An embodied evaluation. From Animals to Animats 9, pages 199-210. [cited at p. 7, 13, 36]

[Jones, 1995] Jones, B. (1995). Reticular formation: cytoarchitecture, transmitters, and projections. The rat nervous system, pages 155-171. [cited at p. 5]

[Jouvet, 1967] Jouvet, M. (1967). Neurophysiology of the states of sleep. Physiological Reviews, 47(2) :117-177. [cited at p. 6, 10]

[Kilmer et al., 1969] Kilmer, W., McCulloch, W., and Blum, J. (1969). A model of the vertebrate central command system. International Journal of Man-Machine Studies, 1(3) :279-

309. [cited at p. 1, 7, 8, 10, 43]

[Langhorst et al., 1983] Langhorst, P., Schulz, B., Schulz, G., Lambertz, M., and Krienke, B. (1983). Reticular formation of the lower brainstem. a common system for cardiorespiratory and somatomotor functions : discharge patterns of neighboring neuronsinfluenced by cardiovascular and respiratory afferents. Journal of the autonomic nervous system, 9(2- 3) :411-432. [cited at p. 5]

[Lovick, 1972] Lovick, T. (1972). The behavioural repertoire of precollicular decerebrate rats. The Journal of physiology, 226(2) :4P-6P. [cited at p. 6]

[Magoun and Rhines, 1946] Magoun, H. and Rhines, R. (1946). An inhibitory mechanismin
the bulbar reticular formation. Journal of neurophysiology, 9(3) :165-171. [cited at p. 6]

[Mouret and Doncieux, 2009a] Mouret, J. and Doncieux, S. (2009a). Overcoming the bootstrap problem in evolutionary robotics using behavioral diversity. In Evolutionary Computation, 2009. CEC'09. IEEE Congress on, pages 1161-1168. IEEE. [cited at p. 42]

[Mouret and Doncieux, 2009b] Mouret, J. and Doncieux, S. (2009b). Using behavioral exploration objectives to solve deceptive problemsin neuro-evolution. In Proceedings of the 11th Annual conference on Genetic and evolutionary computation, pages 627-634. ACM.

[cited at p. 42]

[Mouret and Doncieux, 2010] Mouret, J. and Doncieux, S. (2010). Sferesv2 : Evolving in the multi-core world. In Evolutionary Computation (CEC), 2010 IEEE Congress on, pages 1-8. IEEE. [cited at p. 52]

[Parvizi and Damasio, 2003] Parvizi, J. and Damasio, A. (2003). Neuroanatomical correlates of brainstem coma. Brain, 126(7) :1524-1536. [cited at p. 6]

[Pinville et al., 2011] Pinville, T., Koos, S., Mouret, J., and Doncieux, S. (2011). How to promote generalisation in evolutionary robotics: the progab approach. [cited at p. 41]

[Prescott et al., 1999] Prescott, T., Redgrave, P., and Gurney, K. (1999). Layered control
architectures in robots and vertebrates. Adaptive Behavior, 7(1) :99-127. [cited at p. 7]

[Ramón-Moliner and Nauta, 1966] Ramón-Moliner, E. and Nauta, W. (1966). The isodendritic core of the brain stem. The Journal of Comparative Neurology, 126(3) :311-335.

[cited at p. 5]

[Redgrave et al., 1999] Redgrave, P., Prescott, T., and Gurney, K. (1999). The basal ganglia: a vertebrate solution to the selection problem? Neuroscience, 89 :1009-1024. [cited at p. 7]

[Scheibel and Scheibel, 1967] Scheibel, M. and Scheibel, A. (1967). Anatomical basis of attention mechanisms in vertebrate brains. The neurosciences : A study program, pages

577-602. [cited at p. 7, 8]

[Schuz, 1998] Schuz, A. (1998). Neuroanatomy in a computational perspective. In The
handbook of brain theory and neural networks, pages 622-626. MIT Press. [cited at p. 8]

[Segundo et al., 1967] Segundo, J., Takenaka, T., and Encabo, H. (1967). Somatic sensory properties of bulbar reticular neurons. Journal of neurophysiology, 30(5) :1221-1238.

[cited at p. 5]

[Siegel, 1979] Siegel, J. (1979). Behavioral relations of medullary reticular formation cells. Experimental Neurology, 65(3) :691-698. [cited at p. 43]

[Siegel and McGinty, 1977] Siegel, J. and McGinty, D. (1977). Pontine reticular formation neurons : relationship of discharge to motor activity. Science, 196(4290) :678. [cited at p. 42]

[Siegel et al., 1979] Siegel, J., Wheeler, R., and McGinty, D. (1979). Activity of medullary reticular formation neurons in the unrestrained cat during waking and sleep. Brain Research, 179(1) :49-60. [cited at p. 43]

[Torvik and Brodal, 1957] Torvik, A. and Brodal, A. (1957). The origin of reticulospinal fibers in the cat. an experimental study. The Anatomical Record, 128(1) :113-137.

[cited at p. 5]

[Woods, 1964] Woods, J. (1964). Behavior of chronic decerebrate rats. Journal of Neurophysiology. [cited at p. 6]

Appendices

Notes techniques sur

l'implémentation

Nous tenons a` 'evoquer les outils informatiques que nous avons utilis'es pour mener a` bien ce projet, car ils repr'esentèrent d'une part un travail très important au cours du stage, et d'autre part il est toujours int'eressant d'avoir une vision concrète des moyens techniques utilis'es pour trouver les r'esultats du rapport, que ce soit par curiosit'e, en vue de reproduire les exp'eriences ou bien encore pour trouver des pistes de solutions pour impl'ementer ses propres modèles.

Nous voulons 'egalement mettre l'accent sur le fait que les travaux r'ealis'es au cours du stage n'ont nullement pour but unique la production de ce rapport mais aussi de donner la possibilit'e a` de potentiels futurs successeurs d'être rapidement op'erationnels sans qu'ils aient besoin de construire leurs propres outils informatiques a` partir de rien. Nous rejoignons en cela l'initiative Plume du CNRS (http :// www.projet-plume.org), dont le but est de Promouvoir les Logiciels Utiles, Maàýtris'es et 'Economiques (d'o`u l'acronyme PLUME) a` destination de la communaut'e de l'Enseignement Sup'erieur et de la Recherche.

A` cet effet, une attention particulière a 'et'e port'ee sur la qualit'e du d'eveloppement et tout le code est disponible sous la licence libre CeCILL (http ://www.cecill.info/) a` l'adresse TODO. Le tableau A.1 montre quelques statistiques sur le code source ainsi que sur les scripts 'ecrits afin d'automatiser certains processus et analyser les r'esultats (contenus dans des fichiers de logs du programme principal).

Les r'eseaux de neurones ainsi que les algorithmes 'evolutionnistes ont 'et'e d'evelopp'es
en C++ pour des raisons de rapidit'e, les algorithmes 'evolutionnistes deman-

FIGURE A.1: Statistiques sur le code source du programme et des scripts d'analyse écrits en plus du framework Sferes2 et des librairies existantes. La taille élevée des C/C++ headers s'explique par l'utilisation intensive des templates.

dant des ressources computationnelles très importantes, en s'appuyant sur le fra-
mework Sferes2 (http ://pages.isir.upmc.fr/ mouret/sferes2/) dévéloppéa` l'ISIR

[Mouret and Doncieux, 2010]. Pour les besoins du développement, nous avons ^portéSferes2 sous Windows. Le programme est multi-threadéet repose sur les libraires

Boost, notamment la Boost Graph Library qui permet de gérer aisément les graphes, TBB (Intel Threading Building Blocks) pour le multi-threading, Eigen2 pour les calculs matriciels et SDL pour le rendu graphique de la tàache de survie minimale que nous verrons plus tard.

Graphviz a étéutilisépour générer graphiquement les réseaux de neurones représentant les mRF, et le programme ffpmeg a étéutilisépour générer des vidéos a` partir de ces graphes. MATLAB a étéretenu pour analyser les résultats.

Enfin, nous avons fait un usage intensif de la grappe de serveurs du laboratoire ISIR pour exécuter notre programme, ce dernier nécessitant une forte puissance de calcul. L'ensemble des programmes utilisés dans ce projet tournent aussi bien sous Windows que sous Linux.

L'ensemble du code source ainsi que des scripts d'analyse est disponible a` l'adresse http :// pages.isir.upmc.fr/evorob db/moin.wsgi/mRF2011.

Miroir : http :// bit.ly/mRF-xp

Exemple d'une mRF a` 4 clusters

Cf. page suivante.

FIGURE B.1: Exemple d'une mRF a` 4 clusters. Les neurones oranges sont excitateurs, les neurones bleus foncésont inhibiteurs. Un cluster correspond a` un rectangle bleu. Les neurones situés en dehors des rectangles bleus représentent les entrées que recoit la mRF ainsi que les neurones vers lesquels elle projette.

Exemple d'un cluster de la mRF

Cf. page suivante.

FIGURE C.1: Exemple d'un cluster de la mRF. Les neurones oranges sont excitateurs, les neurones bleus foncésont inhibiteurs. Chaque connexion synaptique a` un poids entre 0 et 1. Les 3 neurones en bleu clair sont les entrées (neurones d'entrée), les 3 neurones en rouge sont les sorties de la mRF (neurones de sortie).