4. Discussions
Après le prétraitement des données,
l'entraînement des algorithmes est ce qui nous a pris le plus de temps
pour pouvoir arriver à des résultats satisfaisants. Une petite
modification du jeu de donnée ou encore une modification du nombre de
classes et tous les paramètres étaient à revoir. Nous
avons utilisé le jeu de données du laboratoire
stratosphère d'abord prévu pour la détection de trafic IoT
malveillant pour l'identification d'objets. Ensuite l'algorithme d'extraction
des attributs que nous avons conçus nous a permis d'obtenir un jeu de
données pré traité adéquat pour entraîner le
modèle.
Les deux réseaux de neurones suggérés
dans ce projet, LSTM et MLP, ont tous deux donné de bons
résultats avec des précisions dépassant les 95%.
Toutefois le LSTM a été beaucoup plus difficile à
entraîner. Le volume d'échantillons traités était
deux fois inférieur à celui du MLP à chaque epoch, mais le
temps d'entraînement était beaucoup plus élevé.
Cependant, la machine sur laquelle nous avons travaillé pourrait ne pas
avoir les ressources physiques nécessaires.
Cela nous amènerait à envisager deux cas pour
une passerelle IoT :
- Travailler avec une passerelle physique qui possède
déjà de bonnes capacités.
- Envoyer les données reçu sur la passerelle
dans le Cloud où les prédictions seront faites et les
renvoyés à la passerelle qui filtre
Les attaques sur lesquelles nous avons entraîné
nos modèles sont Mirai, Trojan, Gafgyt, Muhstik et Hide and seek. Les
deux modèles se sont révélés efficaces pour les
détecter. Nous avons choisi les plus couramment rencontrés mais
chaque année bien d'autres virus voient le jour et il faudrait
entraîner ces modèles, les optimiser et les mettre à
jour.
Le plus gros du travail d'identification des objets est la
création de l'algorithme d'extraction des attributs. Une fois fait nous
avons ré entraîné le modèle à
reconnaître les objets utilisés et obtenu grâce au
laboratoire Stratosphère. Les performances sont bonnes toutefois il
faudrait plus de données avec des objets différents pour pouvoir
l'entraîner. Les résultats d'IoT Sentinel étaient
déjà bons cependant sur certains objets nous avons obtenus de
meilleurs résultats. Les résultats des travaux sur IoT Sentinel
se trouvent à l'annexe.
Tableau 9 : Comparaison des
résultats entre le modèle d'IoT Sentinel et notre
modèle
|
Objets
|
Précision-Résultat d'IoT
Sentinel
|
Précision- Nos resultats
|
|
Aria
|
1
|
0.98
|
|
HomeMatchPlug
|
1
|
1
|
|
Withings
|
1
|
0.97
|
|
MAXGateway
|
1
|
0.95
|
|
HueBridge
|
1
|
1
|
|
HueSwitch
|
1
|
1
|
|
EdnetGateway
|
1
|
0.987
|
|
EdnetCam
|
0.95<p<1
|
0.93
|
|
EdimaxCam
|
0.95<p<1
|
0.938
|
|
Lightify
|
0.95<p<1
|
1
|
|
WeMoInsightSwitch
|
1
|
1
|
|
WemoLink
|
1
|
1
|
|
WemoSwitch
|
0.95<p<1
|
1
|
|
D-LinkHomehub
|
1
|
1
|
|
D-LinkDoorSensor
|
1
|
1
|
|
D-LinkDayCam
|
1
|
0.984
|
|
D-LinkCam
|
0.95<p<1
|
1
|
|
D-LinkSwitch
|
0.6
|
1
|
|
D-LinkWaterSensor
|
0.5<=1<0.6
|
1
|
|
D-LinkSiren
|
0.4 <=p<0.5
|
0.996
|
|
D-LinkSensor
|
0.4
|
1
|
|
TP-LinkPlugHS110
|
0.6 <p <0.8
|
1
|
|
TP-LinkPlugHS100
|
<0.6 et >0.5
|
0.95
|
|
EdimaxPlug1101W
|
0.6<p<0.7
|
0.97
|
|
EdimaxPlug2101W
|
0.5<p<0.6
|
0.96
|
|
SmarterCoffee
|
0.4<p<0.5
|
0.875
|
|
iKettle2
|
0.4
|
0.933
|
Nous avons montré qu'il était tout à fait
possible de filtrer les paquets si nous disposions d'un système libre de
droit et qui nous donnait accès au Kernel. Nous pouvons détecter
et filtrer le trafic malveillant allant vers et venant du réseau
interne.
Les tests que nous avons menés constituent une preuve
de concept préliminaire pour démontrer la pertinence de notre
approche. Les résultats des modèles proposés sont
prometteurs même si nous pensons qu'on pourrait les améliorer ou
optimiser les algorithmes. En effet contrairement à Filter.tlk, qui
crée des filtres BPF et crée des règles nous nous
détectons d'abord et filtrons par la suite. L'identification des objets
basés sur l'empreinte digitale permettrait à la passerelle de
connaître tous les objets de son réseau et d'en détecter de
nouveaux. Un appareil dont le comportement changerait impacterait aussi son
empreinte digitale. Il serait bon de décider d'une stratégie
à la suite de ce changement d'empreinte comme l'isolation de l'objet en
question afin de s'assurer qu'il ne contient pas de virus ou que son
comportement n'est pas malveillant avant de le réintégrer dans le
réseau. Ces deux fonctions réunies dans une passerelle IoT
permettraient de protéger un réseau d'objets connectés.
| 
