Imagenes de señas con las manos

Ver más

Este post sigue al post principal en el que se anuncian los Ejemplos de Código del Proyecto CS230 y la Introducción a PyTorch. En este post, repasamos un ejemplo de Computer Vision, en el que aprendemos a cargar imágenes de signos de manos y a clasificarlas.
Usamos imágenes del conjunto de datos SIGNS de deeplearning.ai que ha utilizado en una de las tareas de programación del Curso 2. Cada imagen de este conjunto de datos es una imagen de una mano haciendo un signo que representa un número entre 1 y 6. Son 1080 imágenes de entrenamiento y 120 de prueba. En nuestro ejemplo, utilizamos imágenes escaladas a un tamaño de 64×64.
torch.utils.data proporciona algunas funciones ingeniosas para cargar datos. Utilizamos torch.utils.data.Dataset, que es una clase abstracta que representa un conjunto de datos. Para hacer nuestra propia clase SIGNSDataset, necesitamos heredar la clase Dataset y anular los siguientes métodos:
Observa que cuando devolvemos un par imagen-etiqueta usando __getitem__ aplicamos una transformación a la imagen. Estas transformaciones forman parte del paquete torchvision.transforms, que nos permite manipular las imágenes fácilmente. Considere la siguiente composición de múltiples transformaciones:

Signo ily

Imagen a tamaño completoEsta nueva forma de autenticación biométrica se aprovecha de la prevalencia del lenguaje de signos. En algunos países desarrollados, se fomenta el aprendizaje de los signos incluso desde pequeños[1]. El lenguaje de signos no se limita a las comunidades de sordos. En el Reino Unido, se anima a las escuelas a explorar el lenguaje de signos en las aulas[2], porque es una herramienta eficaz para estimular el aprendizaje de las habilidades lingüísticas y numéricas de los niños. En nuestro sistema, el modelo biométrico está entrenado para reconocer 26 letras del lenguaje de signos americano (que se muestra en la figura 2) utilizando una simple cámara de vídeo para capturar los gestos de la mano en tiempo real. Sin embargo, el modelo ofrece la flexibilidad de asignar cualquier mensaje para asociarlo con cualquier gesto de la mano. En otras palabras, un usuario puede inventar su nuevo gesto de mano y asociarlo a un mensaje secreto en la fase de inscripción de la autenticación biométrica. Tras la prueba, al presentar el mismo gesto se mostrará el mensaje secreto al usuario siempre que el gesto coincida con su identificación de usuario y puede haber otras medidas de seguridad. Esto será útil para la autenticación bidireccional. Alternativamente, se puede desafiar al usuario a que introduzca el mensaje secreto a través de un teclado (al igual que una contraseña) y se verificará junto con un gesto secreto de la mano que sólo conocerá la persona original. En este caso, ofrece doble seguridad además de la contraseña, que podría ser replicada o robada.Figura 2

Significado de los gestos de la mano con imágenes en español

Nuestra base de datos para el reconocimiento de los gestos de la mano (HGR) contiene los gestos de la lengua de signos polaca (‘P’ en el ID del gesto) y de la lengua de signos americana (‘A’). Además, también se han incluido algunos signos especiales (‘S’). La base de datos se desarrolló como parte del proyecto de detección de manos y estimación de la postura, apoyado por el Ministerio de Ciencia y Educación Superior de Polonia con la subvención de investigación nº. IP2011 023071 del Presupuesto de Ciencia 2012-2013.
A efectos de evaluación comparativa, publicamos los resultados obtenidos utilizando varios métodos diferentes desarrollados durante nuestro proyecto de investigación. El clasificador bayesiano fue entrenado utilizando imágenes de la base de datos de piel de la ECU (haga clic aquí para ver la lista de imágenes utilizadas para el entrenamiento). El clasificador fue entrenado en el espacio de color RGB, utilizando 64 bins por canal.

Significado de los gestos de la mano con imágenes del lenguaje corporal

ResumenEl reconocimiento de los gestos de la mano es una de las formas más naturales e intuitivas de comunicación entre las personas y las máquinas, ya que imita de cerca la forma en que los humanos interactúan entre sí. Este artículo presenta un método novedoso para el reconocimiento de gestos de la mano en tiempo real sin marcadores a partir de imágenes de profundidad. El método propuesto engloba un conjunto de técnicas que permiten detectar, segmentar y reconocer los gestos de la mano. Se emplea un método de detección y localización de manos utilizando la información de profundidad adquirida de un sensor de profundidad. A continuación, la mano se segmenta de forma robusta en un fondo desordenado sin ningún marcador alrededor. Se propone un método de descomposición convexa de la forma basado en la función Radius Morse para la descomposición de la forma de la mano en tiempo real. La palma de la mano, las puntas de los dedos y el esqueleto de la mano se reconocen basándose en la descomposición de la forma de la mano y en sus características. Además, presentamos un método para el reconocimiento de gestos a dos manos. Resultados experimentales representativos demuestran cualitativa y cuantitativamente que se puede lograr un reconocimiento preciso de los gestos de la mano para aplicaciones en tiempo real.