El objetivo que me marqué en este paso consistía en realizar detección de las manos (objetivo imprescindible para detectar el picking) directamente desde una cámara de vídeo, con lo cual realicé un prototipo capaz de leer de cualquier cámara de vídeo del ordenador o capaz de cargar un vídeo de Youtube o de disco y realizar el análisis sobre el vídeo.
Detección de manos
Previsiblemente será el camino para detectar el picking (o al menos uno de los componentes). Recordemos que el objetivo final que me he planteado es una SmartShop y por lo tanto «las manos» son el uno de los problemas importantes a resolver.
A partir de esta base de datos y realizando el entrenamiento del modelo he conseguido muy buenos resultados. El siguiente ejemplo sale del procesado de un vídeo de Youtube el vídeo no tiene buena calidad de entrada, este es el resultado.
De este video de origen:
Tendremos este resultado:
Resultados
Los resultados son bastante buenos. El siguiente paso es la asignación identificación de las personas que entran en la tienda y la asignación de Identifidad / Cara.
Detalles Técnicos
Para aquellos que podáis tener interés por los detalles técnicos, aquí los tenéis.
Detección de manos
Para poder ejecutar esta tarea los primero fue buscar una base de datos de la que partir (una cosa es pelear con el desarrollo y los conceptos y otra es filmar y fotografiar manos para poder entrenar el modelo). La base de datos que me ha dado mejores resultados de partida es EgoHands(Una base de datos de manos con una interacción egocéntrica), esta base de datos la podéis encontrar en la WEB de la Universidad de Indiana.
Podéis encontrar el código fuente de ejemplo para utilizar como base mi repositorio de Github https://github.com/SignalRT/DemoTFObjectDetection
