RESUMO
RESUMEN Introducción: El seguimiento del centro de la pupila usando imágenes de videooculografía se usa ampliamente para el diagnóstico de enfermedades del sistema nervioso. La diferencia entre el valor detectado automáticamente del centro de la pupila y el valor de referencia marcado por un especialista (anotación) determina la exactitud del diagnóstico. El proceso de anotación manual es muy laborioso, tedioso y propenso a errores humanos. Las anotaciones son esenciales para desarrollar y evaluar los algoritmos en el área de visión artificial, principalmente aquellos basados en el aprendizaje supervisado, sin embargo, existen pocas herramientas interactivas para realizar la anotación fiable del centro de la pupila. Objetivo: Desarrollar una herramienta de código abierto para anotar el centro de la pupila. Método: Se definieron los requisitos funcionales y no funcionales de la herramienta y se implementaron dos algoritmos para la anotación semiautomática del centro de la pupila basados en los métodos de ajuste de elipse y de círculo, a partir de varios puntos marcados por el especialista. Resultados: La aplicación software, denominada PUPILA, fue desarrollada en Python, desde marzo de 2020 a septiembre de 2020, y proporciona varias funciones auxiliares que facilitan la tarea del anotador. Conclusiones: La nueva herramienta proporciona un ambiente agradable e interactivo para anotar el centro de la pupila garantizando comodidad, exactitud y reducción de subjetividades en el trabajo del especialista. Es de código abierto y multiplataforma, lo que permite su compatibilidad con diversos dispositivos y su uso gratuito. Ha permitido anotar imágenes de bases de datos públicas y otras adquiridas experimentalmente.
ABSTRACT Introduction: The tracking of the pupil center using videoculography images is widely used for the diagnosis of diseases of the nervous system. The difference between the automatically detected value of the pupil center and the reference value marked by a specialist (annotation) determines the accuracy of the diagnosis. The manual annotation process is very laborious, tedious, and prone to human error. Annotations are essential to develop and evaluate algorithms in the area of artificial vision, mainly those based on supervised learning, however, there are few interactive tools to perform reliable annotation of the center of the pupil. Objective: To develop an open source tool to annotate the center of the pupil. Method: The functional and non-functional requirements of the tool are defined and two algorithms are implemented for the semi-automatic annotation of the center of the pupil based on the ellipse and circle adjustment methods, from several points marked by the specialist. Results: The software application, called PUPILA, was developed in Python, from March 2020 to September 2020, and provides various auxiliary functions that facilitate the annotator's task. Conclusions: The new tool provides an agreeable and interactive environment to record the center of the pupil, guaranteeing comfort, accuracy and reduction of subjectivities in the specialist's work. It is open source and cross-platform, allowing it to be compatible with various devices and free to use. It has made it possible to annotate images from public databases and others acquired experimentally.
RESUMO Introdução: O rastreamento do centro pupilar por meio de imagens de vídeo-oculografia é amplamente utilizado para o diagnóstico de doenças do sistema nervoso. A diferença entre o valor detectado automaticamente do centro da pupila e o valor de referência marcado por um especialista (anotação) determina a precisão do diagnóstico. O processo de anotação manual é muito trabalhoso, tedioso e propenso a erros humanos. As anotações são essenciais para desenvolver e avaliar algoritmos na área de visão artificial, principalmente aqueles baseados em aprendizado supervisionado, porém, existem poucas ferramentas interativas para realizar anotação confiável do centro do aluno. Objetivo: Desenvolver uma ferramenta de código aberto para anotar o centro da pupila. Método: Foram definidos os requisitos funcionais e não funcionais da ferramenta e implementados dois algoritmos para a anotação semiautomática do centro da pupila com base nos métodos de ajuste de elipse e círculo, a partir de vários pontos marcados pelo especialista. Resultados: O aplicativo de software, denominado PUPILA, foi desenvolvido em Python, no período de março de 2020 a setembro de 2020, e disponibiliza diversas funções auxiliares que facilitam a tarefa do anotador. Conclusões: A nova ferramenta proporciona um ambiente legais e interativo para registrar o centro do aluno, garantindo conforto, precisão e redução de subjetividades no trabalho do especialista. É de código aberto e multiplataforma, permitindo que seja compatível com vários dispositivos e de uso gratuito. Tornou possível anotar imagens de bancos de dados públicos e outros adquiridos experimentalmente.
RESUMO
Activity recognition, a key component in pervasive healthcare monitoring, relies on classification algorithms that require labeled data of individuals performing the activity of interest to train accurate models. Labeling data can be performed in a lab setting where an individual enacts the activity under controlled conditions. The ubiquity of mobile and wearable sensors allows the collection of large datasets from individuals performing activities in naturalistic conditions. Gathering accurate data labels for activity recognition is typically an expensive and time-consuming process. In this paper we present two novel approaches for semi-automated online data labeling performed by the individual executing the activity of interest. The approaches have been designed to address two of the limitations of self-annotation: (i) The burden on the user performing and annotating the activity, and (ii) the lack of accuracy due to the user labeling the data minutes or hours after the completion of an activity. The first approach is based on the recognition of subtle finger gestures performed in response to a data-labeling query. The second approach focuses on labeling activities that have an auditory manifestation and uses a classifier to have an initial estimation of the activity, and a conversational agent to ask the participant for clarification or for additional data. Both approaches are described, evaluated in controlled experiments to assess their feasibility and their advantages and limitations are discussed. Results show that while both studies have limitations, they achieve 80% to 90% precision.