En el marco del proyecto ENTA (Encrypted Network Traffic Analysis for Cyber Security), MTP ha estado realizando pruebas con modelos de ML (Machine Learning) y DL (Deep Learning) que son capaces de extraer las relaciones existentes entre los datos, para diferenciar si un flujo de comunicación está siendo empleado para realizar ataques desde dispositivos IoT (Internet of Things) o no.
El conjunto de datos usado para la realización de estas pruebas es un dataset de clase binaria que indica, a partir de las distintas características (su IP, su puerto, la cantidad de paquetes que transporta esa comunicación, etc.), si se está siendo atacado o no.
MTP se ha basado en las siguientes métricas para la comparación de los distintos modelos probados:
– Precisión: Proporción de casos positivos predichos que son verdaderamente positivos.
– Recall: Proporción de positivos reales clasificados correctamente.
– Accuracy: Proporción de resultados verdaderos entre el número total de casos examinados.
– F1-Score: métrica que combina la precisión y el recall de un modelo para poder comparar su rendimiento entre varias soluciones.
Los principales resultados que nos dejan estas pruebas:
– Tras haber realizado una primera prueba con diferentes algoritmos de ML, queda constatado que, mediante el uso de resúmenes de flujos, los algoritmos de ML son capaces de detectar si está ocurriendo un ataque o no dentro de una red de ordenadores.
– De los algoritmos probados, los modelos derivados de los árboles de decisión son los que mejores resultados han conseguido en el dataset Cuando se mejora el dataset para incluir más muestras de ataque, el algoritmo AdaBoost es el que mejor resultados obtiene tanto en el dataset original como en el dataset ampliado.
Con las pruebas y experimentos realizados se ha comprobado satisfactoriamente que los modelos de ML son capaces de detectar si está ocurriendo o no un ataque en una red bajo comunicaciones cifradas.
MTP continuará realizando experimentos y pruebas, el siguiente paso consistirá en comprobar si existen algoritmos de DL que sean capaces de detectar ataques ocurriendo en las redes de comunicaciones. Además, intentaremos con nuestros experimentos tratar de detectar los dispositivos IoT conectados a las redes de comunicaciones cifradas, ofreciendo así una visibilidad total al tráfico generado por todos los dispositivos conectados a las redes empresariales.
El proyecto ENTA pertenece al programa ITEA3, el clúster de I+D+i del programa europeo Eureka, financiado por el CDTI y tiene una duración de 3 años.
Para conocer más sobre cómo se ha desarrollado el proyecto ENTA y la participación de MTP por favor, puedes visitar su página web oficial.
MTP is testing ML and DL models as part of the ENTA project
As part of the ENTA (Encrypted Network Traffic Analysis for Cyber Security) project, MTP has been performing tests with ML (Machine Learning) and DL (Deep Learning) models, which are able to extract existing relationships between data, to differentiate whether a communication flow is being used to perform attacks from IoT (Internet of Things) devices or not.
The dataset used to perform such tests is a binary class dataset that indicates, based on different characteristics (its IP, its port, the number of packets carried by that communication, etc.), whether it is being attacked or not.
MTP has relied on the following metrics for the comparison of the different tested models:
– Accuracy: Proportion of predicted positive cases that are true positives.
– Recall: Proportion of true positives correctly classified.
– Accuracy: Proportion of true results among the total number of cases examined.
– F1-Score: Metric that combines the accuracy and recall of a model to compare its performance among several solutions.
The main results of these tests:
– After a first test with different ML algorithms, it was found that, by using flow summaries, ML algorithms are able to detect whether or not an attack is occurring within a computer network.
– Among the tested algorithms, the models derived from decision trees have achieved the best results on the original dataset. When the dataset is enhanced to include more attack samples, the AdaBoost algorithm performs the best on both the original and the extended dataset.
Tests and experiments have successfully proven that ML models are capable of detecting whether or not an attack is occurring in a network under encrypted communications.
MTP will continue to conduct experiments and tests. The next step will be to test if there are DL algorithms capable of detecting attacks occurring in communication networks. In addition, our experiments will be focused on detecting IoT devices connected to encrypted communications networks, thus providing full visibility to the traffic generated by all devices connected to enterprise networks.
Remember that the ENTA project belongs to the ITEA3 program, the R+D+i cluster of the European program Eureka, financed by the CDTI and with a duration of 3 years.
To learn more about how the ENTA project has developed as well as about MTP’s participation please visit its official website.
Arturo Holgado
Consultor Innovación TIC