Utilisation des Machines à Vecteurs de Support (SVM) pour la reconnaissance des chiffres manuscrits

CONCLUSION GENERALE

L'objectif de ce travail est l'étude et l'implémentation des machines à vecteurs de support ou SVMs (Support Vector Machines) pour la reconnaissance des chiffres manuscrits.

En général, la plupart des méthodes d'apprentis sage machine comme réseau de neurones possèdent un grand nombre de paramètres d'apprentissage à fixer par l'utilisateur. En contrepartie, la formulation élégante de SVM laisse très peu de place aux paramètres utilisateurs.

Différents algorithme d'optimisation sont disponibles parmi eux l'algorithme SMO (optimisation minimale et séquentielle du risque) qui est un algorithme simple et rapide proposé pour résoudre le problème de programmation quadratique des SVMs sans la nécessité de stocker une grande matrice en mémoire et sans une routine numérique itérative pour chaque sous-problème.

La méthode des SVM que nous avons implémentée a été testée sur des chiffres manuscrits d'une base standard (USPS) avec 500 chiffres pour l'apprentissage et 2007 pour le test en considérant deux stratégies un pour binaire entre deux classes les plus fréquemment confondues et l'autre pour multi classe avec l'approche un contre tous et en essayant dans les deux stratégies différents types de noyaux.

Les résultats obtenus montrent que la classification binaire permet de fournir des résultats meilleurs comparativement à la classification multi-classe.

Nous pensons que ce travail peut être complété par l'évaluation sur d'autres bases de données ainsi que sur d'autres types de noyaux. En outre les méthodes d'extraction des caractéristiques peuvent être envisagées pour améliorer le taux de bonne reconnaissance notamment avec la stratégie multi-classe.

REFERENCES BIBLIOGRAPHIQUES

[1] A. Belaid, et Y. Brlaid, 1992. << Reconnaissance des formes. Méthodes et application >> ; P 14 - 17.

[2] A. El Yacoubi, J-M Bertille, M Gilloux, et G Lorette, 1994. << Techniques de prétraitement pour la reconnaissance offline des mots manuscrits sans contrainte >> Service de Recherche de la Poste SRTP/RD/RVA; Nante, France ; CNED'94; P 3 15-321.

[3] C. Olivier, O. Colot, et P. Courtellemont, 1995. << Choix de paramètres pertinents pour la reconnaissance de chiffres manuscrits >> ; La3i-LACI UFR des Sciences, Université de Rouen, France ; CNED'94 ; P 27.

[4] C. Tappert, C. Y. Suen, and T. Wakahana, 1990. The state of the art in on-line handwrittin grecognition. IEEE Transaction on Pattern Analysis and Machine Intelligence,vol. 12, pp. 787-807.

[5] C.-W.HsuandC. and -J.Lin.A, 2002. comparison of methods for multiclass support vector machines. IEEE Tran-sactionsonNeuralNetworks, 13:41 5-425.

[6] D. Brucq, K. Romeo, M. Lachkar, N. Feray, et F. Bagui, 1982. << Une méthode d'évaluation du codage en reconnaissance de chiffres manuscrits >> ; UFR des Sciences et des Techniques, Mont-Saint-Aignan, France; CNED'94 ; P 19-20.

[7] Choksuriwong, H.LaurentB, 2005. Etude Comparative de Descripteurs Invariants d'Objets A Comparative Study of Objects Invariant DescriptorsA. Emile ENSI de Bourges Universite d'Orleans LaborateVisionetRobotique.

[8]F. Ali and Th. Pavlidis, 1977. Syntactic Recognition of handwritten Numerals. IEEETransaction on Systems, Man and Cybernetics, vol. n°7, pp. 537-541.

[9] G. Lorette, et Y. Lecourtier, 1992. « Reconnaissance et interprétation de textes manuscrits hors-ligne : un problème d 'analyse de scène ? » ; Université de Rennes 1 Campus de Beaulieu ; Mont Saint Aignan ; CNED'92 ; P 109-126.

[10] Hanoi, 15 juillet 2005. Réseaux de neurones pour la reconnaissance des formes

[11] H. S. Baird, 1993. << Recognition technology frontiers >> ; AT&T Bell Laboratoires, USA ; CNED'94 ; P 327.

[12] http://www.clopinet.com/isabelle/ Projects/SVM/applist.html.

[13] J. Bromley, and E. Sackinger, 1991. .Neural-network and k-nearest-neighbor classifiers.

Technical Report 11359-910819-1 6TM,ATT.

[14] J. Mantas, 1985. « An overview of character recognition methodologies >> ; National Centre of Medical Documentation, Greece ; CNED'94 ; P 425-427.

[15] J. Callut, 2002 <<Implémentation efficace des Support Victor Machines pour la classification». Mémoire présenté en vue de l'obtention du grade de Maître en Informatique.

[16] L. Likforman-Sulem, et C. Faure, 1995. << Une méthode de résolution des conflits d'alignements pour la segmentation des documents manuscrits >> ; Télécom Paris /SIG,CNRS URA 820 Paris, France ; CNED'94 ; P 265.

[17] M. Gilloux, 1994. << Reconnaissance de chiffres manuscrits par modèle de Markov pseudo-2D >> ; Service de Recherche Technique de la Poste, SRTP/RD/RVA , Nante, France ; CNED'94 ; P 11-13.

[18] M.NGHIEM Anh Tuan, 2005. <<Reconnaissance d'écriture manuscrite >>.

[19] M. H.Thien, M. Zimmermann, and H. Bunke, 1997. « Off-line handwritten numeral string recognition by combining segmentation-base and segmentation-free methods »; University of Berne, Institut fur Informatik and Mathematik, Neubruckstr, Switzerland ; CNED'94 ; P 257-25 8.

[20] N. Ayat, 2003. << Sélection de modèle automatique des machines à vecteurs de support >> application à la reconnaissance d'images de chiffres manuscrits. Thèse présentée à l'école de technologie supérieure, Montréal,Canada.

[21] J. C. Platt, 1998, Fast Training of Support Vector Machines using Sequential Minimal Optimization, SMO-Book, chap. 12, p. 41-65, In B. Schölkopf, C. J. C. Burges, A. J. Smola, editors, Advance in Kernel Methods - Support Vector Learning, Cambridge, MA, 1998, MIT Press.

[22] P. Telmosse, and R. Palmondon, 1998. « Caractérisation et classification de nombres manuscrits par méthodes statistique » Ecole polytechnique de Montréal, Laboratoire SCRIBENS ; IPAR '86 ; P 871-873.

[23] S.V. Rice, G.Nagy, and T. A. Nartker 1999. << Optical Charcater Recognition: An illustrated guide to the frontier », Kluwer Academic Publishers.

[24] R.W. Smith, « Computer processing offline images : A survey* » ; Departement of Computer Science, Queens Building, University of Bristol, University Walk, Bristol, BS8ITR, U.K ;CNED'94 ; P 8

[25] S. Njah , A. Triki et A. M.Alimi, Novembre1998, << Système de reconnaissance de code postal >> 18 éme Conférence Tunisienne d'Electrotechnique et d'Automatique, , Hammamet, Tunisie.

[26] S. Mori, K. Yamamoto, Member IEEE, and M.Yasuda, Member IEEE, 1992. << Research on machine recognition of hand printed characters >>.

[27]V.Vapnik, 1995 .the nature of statistical learning throry. springer_verlag,New_York,USA.
V. K. Govindan, 1990. << Character recognition - A review >> ; Department of Electrical communication engineering, India ; CNED'94 ; P 671-672.

[29] Vincent Rialle ,2000. Évaluation des systèmes d'aide à la décision- courte introduction. Maître de conférences en informatique. Article de recherche.

[30]Y.LeCun,B.Boser, J.S.Denker, D.Henderson, R.E.Howard, W.Hubbard, and L.D.Jackel . 1 989Backpropagation applied to handwritten zip code recognition. Neural Computation, vol 1, N : 4, pp.541-551.

. (

)

Support Vector Machines (SVMs)

"

"

( SVM ) .

. (SVs)

i

. i (USPS)

.

,

,

.

:

Abstract

In this work, we are interested in a new method of training and classification based on artificial training theory of Vapnik. This method named Support Vector Machines (SVMs) has been adapted and applied to a problem of the handwritten number recognition. The advantage of SVMs is that a restricted number of samples is sufficient to the determination of the vectors support (SVs) allowing discrimination between the classes comparatively to the statistical estimation. Obtained results on image of USPS base are satisfactory and very encouraging.

Key words: training, classification, support vector machines (SVMs), handwritten number recognition.

Résumé

Dans ce travail, nous nous intéressons à une nouvelle méthode d'apprentissage et de classification basée sur la théorie de l'apprentissage artificiel de Vapnik. Cette méthode appelée les Machines à Vecteurs de Support (SVMs pour Support Vector Machines) a été adaptée et appliquée au problème de la reconnaissance des chiffres manuscrits. L'avantage des SVMs est q'un nombre restreint d'échantillon suffit à la détermination des vecteurs de support (SVs) permettant la discrimination entre les classes contrairement à l'estimation statistique. Les résultats obtenus sur des images de la base USPS sont satisfaisants et très encourageants.

Mots dlés : apprentissage, classification, machines à vecteurs de supports (SVMs), reconnaissance des chiffres manuscrits.