SignoPerú: Reconocimiento de palabras en Lengua de Señas Peruana con IA para una Comunicación Inclusiva.

El proyecto "SignoPerú" surge debido a la necesidad de abordar las dificultades comunicativas de la comunidad sordomuda en Perú. Según el Censo Nacional de Población (INEI-2017), 232 176 personas con discapacidad en Perú enfrentan problemas de audición, y 8 790 de ellas registraron la Lengua de Señas Peruana (LSP) como lengua materna. Estas personas encuentran dificultades para integrarse completamente en la sociedad, entre diversos factores, por la escasez de docentes e intérpretes capacitados en LSP. "SignoPerú" se propone como una iniciativa que aborde esta brecha comunicacional mediante el desarrollo de un sistema de reconocimiento automático de palabras de LSP mediante técnicas avanzadas de visión computacional basadas en aprendizaje profundo. A través de este proyecto, se busca fomentar la inclusión y participación de la comunidad sordomuda en diversos aspectos de la sociedad, incluyendo la educación y el empleo.

Las personas con discapacidad auditiva utilizan la lengua de señas como medio de comunicación y se enfrentan a barreras sociales al vivir en un entorno mayoritariamente conformado por personas oyentes que generalmente no dominan la lengua de señas. Esta situación genera un acceso limitado a oportunidades educativas y laborales (WFD y WASLI, 2020).
En el Perú, 232 176 personas presentan discapacidad auditiva, de las cuales 8 790 han registrado la Lengua de Señas Peruana (LSP) como su lengua materna. Además, el 9,3% de las personas sordo-mudas logra acceder a puestos laborales en instituciones (INEI, 2017), y 6 534 jóvenes fueron registrados como estudiantes en escuelas inclusivas de educación básica especial (CONADIS, 2016).
Por otro lado, los investigadores han demostrado interés en desarrollar aplicaciones, dispositivos y traductores que faciliten la comunicación entre personas oyentes y sordas, tales como Cooper et al. (2011), Escobedo et al. (2019), Wadhawan y Kumar (2020), Jiang et al. (2021), Min et al. (2021), Pezzuoli et al. (2019), Park et al. (2021), Sabharwal y Singla (2023), Farooq et al. (2023), Ambar et al. (2023), etc.
A pesar de estos avances, surge un desafío importante: cada país tiene su propia lengua de señas, y la ejecución de una palabra aisladamente puede variar en una oración, lo que complica su reconocimiento preciso (Cerna et al., 2021).
En el Perú se han realizado algunas investigaciones que consisten en crear una base de datos de LSP y proponer un modelo computacional para reconocer imágenes del alfabeto como Vargas et al. (2019) que incluyeron información RGB-D y de esqueleto; Nurena et al. (2020) añadieron posiciones 3d espaciales de gestos estáticos del alfabeto de LSP; Berrú et al. (2018) reconocieron gestos estáticos del alfabeto de LSP a partir de una base de datos de 2 400 imágenes adquiridas de cámaras de baja resolución. No obstante, otros usan videos, tales como, Bejarano et al. (2022) crearon un framework para etiquetar manualmente y automáticamente una base de videos de LSP y propusieron un modelo para reconocer palabras de LSP; Neyra y Shiguihara (2020) extrajeron vectores de características de gestos dinámicos de LSP de una base de 288 videos y extrajeron los keypoints de las manos para luego usar la técnica de resumen de videos. Por otro lado, Gamarra et al. (2020) desarrollaron un prototipo capaz de reconocer el alfabeto de LSP y traducirlo al español mediante sensores que grabaron el movimiento y variación de cada letra. Finalmente, Ramos y Choquehuanca (2020) construyeron una herramienta para traducir texto a LSP usando avatares en 3D.
El vacío existente en las investigaciones radica en la complejidad de estudiar la LSP, lo que ha resultado en la ausencia de investigaciones que logren traducir o reconocer completamente las oraciones o palabras de LSP. Los investigadores han propuesto abordar este desafío mediante metodologías que emplean técnicas de aprendizaje profundo, centrándose en un vocabulario delimitado de LSP que incluye imágenes estáticas o vídeos. Por lo que el problema de reconocer palabras de LSP es retador permitiendo que se realicen nuevas investigaciones.