Système de reconnaissance hors-ligne des mots manuscrits arabe pour multi-scripteurs

REPUBLIQUE TUNISIENNE
MINISTERE DE L'ENSEIGNEMENT SUPERIEUR ET DE
LA RECHERCHE SCIENTIFIQUES ET TECHNOLOGIQUES

UNIVERSITE DE JENDOUBA
FACULTE DES SCIENCES JURIDIQUES, ECONOMIQUES ET DE GESTION DE JENDOUBA

MEMOIRE DE MASTÈRE

Présenté en vue de l'obtention du

Diplôme de Mastère Recherche
En Informatique de Gestion :

DONNÉES, CONNAISSANCES ET SYSTÉMES DISTRIBUÉS

par

Riadh BOUSLIMI

Sujet

Système de reconnaissance hors-ligne

des mots manuscrits arabe

pour multi-scripteurs

Composition de jury :

Président :	Salah BOUMAIZA	Maître de Conférence	FSJEG Jendouba
Rapporteur :	Abderrazak JMAI	Maître Assistant	INSAT Tunis
Encadreur :	Jalel AKAICHI	Maître Assistant	ISG Tunis

Soutenue le 21/10/2006

Remerciements

Je tiens à remercier en premier lieu mon encadrant Dr. Jalel AKAICHI, pour la patience dont il a fait preuve à mon égard, et pour l'orientation qu'il m'a donné à mon travail.

Je lui suis également reconnaissant d'avoir su me communiquer sa passion pour la recherche.

J'espère sincèrement que nous pourrons continuer à travailler ensemble.

Un grand merci à mon frère Walid, pour son soutien quotidien, et pour son encouragement.

Je remercie ma mère pour son encouragement répété. Je remercie aussi mon père pour son soutien inconditionnel.

Table des matières

Remerciements 2

Table des matières 3

Liste des tableaux 5

Liste des figures 6

INTRODUCTION GÉNÉRALE 7

Chapitre 1 : Etat de l'Art 8

. Introduction 9

1

2. Différents aspects de l'OCR 9

2.1. Reconnaissance En-Ligne et Hors-Ligne 9

2.1.1. La reconnaissance En-Ligne (on-line) 9

2.1.2. La reconnaissance hors-ligne (off-line) : 10

2.2. Approches de reconnaissance 11

2.2.1. Approche globale 11

2.2.2. Approche analytique 12

2.2.3. Problématique de l'approche analytique 13

a. Segmentation explicite 13

b. Segmentation implicite 13

c. Sans segmentation 14

3. Problèmes liés à l'OCR 14

4. Processus de reconnaissance 16

4.1. Phase d'acquisition 16

4.2. Phase de prétraitement 17

a. La binarisation 17

b. Extraction de composantes connexes 18

c. Redressement de l'écriture 18

d. Lissage 18

e. Normalisation 18

f. Squelettisation 19

4.3. Phase de segmentation 19

4.4. Phase d'extraction des caractéristiques 19

a. Caractéristiques structurelles : 19

b. Les caractéristiques statistiques : 20

c. Les transformations globales : 20

d. Superposition des modèles (template matching) et corrélation : 20

4.5. Phase de classification 21

a. L'apprentissage 21

b. Reconnaissance et décision 21

i. Approche statistique 22

ii. Approche structurelle 23

iv. Approche stochastique 24

4.6. Phase de Post-Traitement 24

5. Quelques systèmes de reconnaissance d'écriture arabe (AOCR) 24

6. Conclusion 30

Chapitre 2 : MÉTHODE PROPOSÉES 31

1 . Limite des méthodes existantes 32

1.1. Modèle de Markov Cachés (Hidden Markov Model) 32

1.1.1. Mise en ouvre des Modèles de Markov Cachés 32

1.1.2. Expérimentation et limites sur l'écriture arabe 32

1.2. Réseaux de Neurones 33

1.2.1. Mise en ouvre des Réseaux de Neurones 33

1.2.2. Expérimentation et limites sur l'écriture arabe 33

1.3. Caractéristiques morphologiques de l'écriture Arabe 33

2. Système proposé 35

2.1. Description générale 35

2.2. Description détaillée 37

2.2.1. Sous système d'apprentissage 37

2.2.1.1. Pré-traitement 37

2.2.1.2. Traitement 41

2.2.2. Sous système de reconnaissance 44

2.2.2.1. Pré-traitement 44

2.2.2.2. Traitement 44

2.2.2.3. Post-traitement 47

3. Conclusion 48

Chapitre 3 : RÉALISATION DU SYSTÈME 49

1 . Description et expression des besoins 50

2. Tests de réalisation 51

2.1. Tests des composants 51

2.2. Tests du système 51

3. Processus d'utilisation 52

3.1.Apprentissage des modèles des lettres 52

3.2. Reconnaissance des mots manuscrits arabes 53

4. Conclusion 54
Chapitre 4 : Application du système « RIMA » dans une école pour l'enseignement des

âgés 55

1. Extension du système « RIMA » 56

1.1. Présentation 56

1.2. Description détaillée 57

2. Test et expérience 57

2.1. Données d'expérience 57

2.2. Expérimentation 60

2.2.1. Post-traitement avec superviseur 60

2.2.2. Post-traitement sans superviseur 61

2.3. Statistiques de reconnaissances 61

3. Conclusion 63

Conclusion et Perspectives 64

BIBLIOGRAPHIE 66

Annexes 69

Liste des tableaux

Tableau n°1 : Quelques systèmes de reconnaissance d'écriture arabe(AOCR) 25

Tableau n°2: Différentes formes des lettres de l'alphabet arabe 46

Tableau n°3 : Nombres des formes d'apprentissages mono-scripteur 47

Tableau n°4: Base d'apprentissage minimale d'un mono-scripteur 61

Tableau n°5 : Données d'expériences 63

Tableau n°6 : Résultat d'expérimentation 64

Tableau n°7 : Expérimentation avec un post-traitement supervisé 64

Tableau n°8 : Statistiques de reconnaissances 65

Liste des figures

Figure 1: Différents systèmes, représentations et approches de reconnaissance 12

Figure 2 : Exemples de Segmentations [A. Belaïd 2002] 13

Figure 3 : Schéma général d'un système de reconnaissance de caractères. 15

Figure 4 : Différents niveaux de résolution [A. Belaïd et Y. Belaïd 92] 16

Figure 5 : effets de certaines opérations de prétraitement. 17

Figure 6 : Exemple de Binarisation adaptative [H. Emptoz, F. Lebougoies 2003] 17

Figure 7 : Exemple de normalisation de mots manuscrits [A. Belaïd 2002]. 19

Figure 8 : Architecture globale du système 36

Figure 9 : Exemple de binarisation d'une image couleur. 37

Figure 10 : Exemple d'encadrement d'une lettre dans une image 40

Figure 11 : Exemple de normalisation d'une lettre 40

Figure 12 : Exemple de matrice de distribution (5*5) de la lettre alphabet arabe «jim »42

Figure 13 : Exemples de corrélation 45

Figure 14 : Processus de correspondance 46

Figure 15 : Processus de correction 47

Figure 16 : Le processus d'évaluation automatique du résultat 48

Figure 17 : Maquette principale du système 50

Figure 18 : Sous système d'apprentissage des modèles des lettres arabes 50

Figure 19 : Sous système de reconnaissance des mots manuscrits arabes 51

Figure 20 : Modèle d'apprentissage 52

Figure 21 : Portion de la base d'apprentissage 52

Figure 22 : Modèle de reconnaissance 53

Figure 23 : Exemple de reconnaissance de mot manuscrit 54

Figure 24 : Processus d'évaluation des examens 56

Figure 25 : Exemple d'une copie d'examen d'un élève 59

Figure 26 : Taux d'erreurs 62

INTRODUCTION GÉNÉRALE

La reconnaissance de l'écriture manuscrite remonte à plus d'une trentaine d'années. Aujourd'hui, il existe plusieurs domaines dans lesquels la reconnaissance de l'écriture manuscrite est attendue avec impatience, comme dans le tri automatique du courrier, le traitement automatique de dossiers administratifs, des formulaires d'enquêtes, ou encore l'enregistrement des chèques bancaires.

Ces applications montrent clairement les spécificités du domaine de la reconnaissance de l'écriture manuscrite par rapport à celui de la reconnaissance optique des caractères (OCR : Optical Character Recognition) qui concerne les caractères imprimés ou dactylographiés. Il est nécessaire de distinguer également la reconnaissance en ligne (on-line) de l'écriture manuscrite, qui relève plutôt de l'interfaçage entre l'homme et l'ordinateur (un stylo spécial est connecté à la machine et ne fonctionne que sur une tablette sensible), de la reconnaissance hors ligne (off-line) ou l'entrée est une image numérique de l'écriture. Seule la reconnaissance hors ligne sera considérée dans ce travail.

La reconnaissance de l'écriture manuscrite par ordinateur est du domaine de la fiction pour quelques années encore surtout pour la langue arabe. Tous les chercheurs sont confrontés à un problème difficile et incontournable, celui de la segmentation. La segmentation fait partie du processus de prétraitement et d'extraction de l'information. Cependant nous proposons une autre approche incrémentale de la reconnaissance de l'écriture manuscrite arabe et qui ne fait pas recours à la segmentation et utilise une technique que nous appelons matrice de distribution.

Dans un premier chapitre, nous présentons une vue globale sur l'analyse de documents et ses différentes méthodes de retro-conversion. Nous allons expliquer les deux types d'écriture en-ligne et hors-ligne ainsi que les différentes approches existantes pour la reconnaissance. Nous proposons dans le second chapitre notre approche pour la reconnaissance de l'écriture manuscrite arabe. Nous y détaillons, notamment, l'architecture de notre système ainsi que certains algorithmes de modules. Dans le chapitre 3 nous décrivons l'implémentation de notre approche. Dans le chapitre 4 nous menons des essais expérimentaux pour évaluer la performance du système réalisé. Enfin, nous présentons nos perspectives après avoir conclure le mémoire.

Chapitre 1

Etat de l'Art

Objectifs du chapitre

L'analyse automatique de documents concerne essentiellement la rétro-conversion d'une image d'un document en un format compatible avec des données sémantiques. Il existe deux types d'écriture le manuscrit et l'imprimé. En effet, la régularité de l'imprimé permet d'utiliser des techniques beaucoup plus fiables et beaucoup plus directes et rapides que celles pour le manuscrit dont la complexité et la variabilité sont très importantes. Nous allons présenter les concepts de bases et les méthodes de reconnaissance en fonction du mode d'acquisition de l'écriture et nous allons nous intéresser plutôt sur les méthodes de reconnaissance d'écriture manuscrite hors ligne.

1. Introduction

Ces dernières années, des progrès considérables ont été réalisés dans la mise en oeuvre de systèmes pour la reconnaissance de l'écriture manuscrite, et cela grâce, d'une part aux nombreux travaux effectués dans ce domaine, et, d'autre part, à la production évaluée à bas prix des micro-ordinateurs et des systèmes d'acquisition (scanner, tablette à digitaliser... etc.).

La reconnaissance de l'écriture manuscrite par ordinateur est un domaine très vaste, Les travaux de recherches sur l'écriture arabe, bien qu'ils soient moins nombreux en comparaison avec d'autres types d'écriture (ex. le Latin et le Japonais).

Nous présenterons dans ce chapitre les différents aspects d'un OCR (Optical Character Recognition) ainsi que ces principaux problèmes, ensuite nous présenterons le processus de reconnaissance de l'écriture manuscrite ainsi que ces différentes approches. Enfin nous présenterons quelques travaux de recherches sur l'écriture manuscrite.

2. Différents aspects de l'OCR

Il n'existe pas de système universel d'OCR qui permet de reconnaître n'importe quel caractère dans n'importe quelle fonte. Tout dépend du type de données traitées et bien évidemment de l'application visée [N. Ben Amara 1999]. Il existe plusieurs modes de classification des systèmes OCR parmi lesquels on peut citer:

y' Les systèmes qualifiés de « en-ligne » ou « hors-ligne » suivant le mode d'acquisition.

y' Les approches globales ou analytiques selon que l'analyse s'opère sur la totalité du mot, ou par segmentation en caractères.

y' Les approches statistiques, structurelles ou stochastiques relatives aux traits caractéristiques extraits des formes considérées.

2.1.Reconnaissance En-Ligne et Hors-Ligne

Ce sont deux modes différents d'OCR, ayant chacun ses outils propres d'acquisition et ses algorithmes correspondants de reconnaissance.

2.1.1.La reconnaissance En-Ligne (on-uine)

Ce mode de reconnaissance s'opère en temps réel (pendant l'écriture). Les symboles sont reconnus au fur et à mesure qu'ils sont écrits à la main.

Ce mode est réservé généralement à l'écriture manuscrite, c'est une approche «signal» où la reconnaissance est effectuée sur des données à une dimension. L'écriture est représentée comme un ensemble de points dont les coordonnées sont en fonction du temps [Lecolinet 1993], [Al-Badr 1995].

La reconnaissance en-ligne présente un avantage majeur c'est la possibilité de correction et de modification de l'écriture de manière interactive vu la réponse en continu du système [Lallican 00].

L'acquisition de l'écrit est généralement assurée par une tablette graphique munie d'un stylo électronique.

2.1.2.La reconnaissance hors-ligne (off-line) :

Elle démarre après l'acquisition, elle convient aux documents imprimés et les manuscrits déjà rédigés. Ce mode peut être considéré comme le cas le plus général de la reconnaissance de l'écriture. Il se rapproche du mode de la reconnaissance visuelle. L'interprétation de l'information est indépendante de la source de génération [Tsang 2000].

La reconnaissance hors-ligne peut être classée en plusieurs types :

ü Reconnaissance de texte ou analyse de documents : Dans le premier cas il s'agit de reconnaître un texte de structure limitée à quelques lignes ou mots. La recherche consiste en un simple repérage des mots dans les lignes, puis à un découpage de chaque mot en caractères [N. Ben Amara 1999]. Dans le second cas (analyse de document), il s'agit de données bien structurés dont la lecture nécessite la connaissance de la typographie et de la mise en page du document. Ici la démarche n'est plus un simple prétraitement, mais une démarche experte d'analyse de document il y'a localisation des régions, séparation des régions graphiques et photographique, étiquetage sémantique des zones textuelles à partir de modèles, détermination de l'ordre de lecture et de la structure du document [Trenkle 1997].

ü Reconnaissance de l'imprimé ou du manuscrit : Les approches diffèrent selon qu'il s'agisse de reconnaissance de caractères imprimés ou manuscrits. Les caractères imprimés sont dans le cas général alignés horizontalement et séparés verticalement, ce qui simplifie la phase de lecture [Ben Amara N. 1999]. La forme des caractères est définie par un style calligraphique (fonte) qui constitue un modèle pour l'identification. Dans le cas du manuscrit, les caractères sont souvent ligaturés et leur graphisme est inégalement proportionné provenant de la variabilité intra et interscripteurs. Cela nécessite généralement l'emploi de techniques de délimitation spécifiques et souvent des connaissances contextuelles pour guider la lecture [S.Al. Fahmy 2001] .

Dans le cas de l'imprimé, la reconnaissance peut être monofonte, multifonte ou omnifonte .

Un système est dit monofonte s'il ne peut reconnaître qu'une seule fonte à la fois c'est à dire qu'il ne connaît de graphisme que d'une fonte unique. C'est le cas le plus simple de reconnaissance de caractères imprimés [Anigbogu 1992].

Un système est dit multifonte s'il est capable de reconnaître divers types de fontes parmi un ensemble de fontes préalablement apprises [N. Ben Amara 1999].

Et un système omnifonte est capable de reconnaître n'importe quelle
fonte, généralement sans apprentissage préalable. Cependant ceci est

quasiment impossible car il existe des milliers de fontes dont certaines illisible par l'homme (sauf bien sure pour celui qui l'a conçue) et avec un logiciel de création de fonte n'importe qui peut concevoir des fontes à sa guise.

Dans le cas du manuscrit, la reconnaissance peut être monoscripteur, multiscripteur ou omniscripteur. L'écriture manuscrite hors-ligne peut être classée en deux catégories d'écritures : écriture cursive et écriture semi-cursive.

· Un système est dit Mono-scripteur (propres au scripteur) : c'est le fait que le système ne peut reconnaître qu'une seul écriture. Tous ces éléments influent sur la forme des lettres (écriture penchée, bouclée, arrondie, linéaire, etc.) et bien sûr sur la forme des ligatures, compromettant parfois le repérage des limites entre lettres.

· Un système est dit Multi-scripteur (propres à l'écriture manuscrite): c'est que le système peut identifier et reconnaître l'écriture pour un certain nombre de scripteurs.

· Et un système est dit Omni-scripteur (propres à n'importe quelle écriture manuscrite): c'est le fait de réduire l'information contenue dans l'image au minimum nécessaire pour modéliser précisément la structure des caractères. [P. Dargenton 1999] à proposé une méthode d'appariement de deux graphes structurels quelconques qui permet de déterminer la meilleure ressemblance ou correspondance entre deux formes, tandis que la reconnaissance consiste à sélectionner ensuite la meilleure appariement réalisé parmi un alphabet de référence.