Notícias

May 16, 2023

O conjunto de dados HA4M: Multi

Scientific Data volume 9, Artigo número: 745 (2022) Citar este artigo 2558 Acessos 1 Detalhes da Altmetric Metrics Este artigo apresenta o Monitoramento Multimodal da Ação Humana na Manufatura (HA4M)

Dados científicos volume 9, número do artigo: 745 (2022) Citar este artigo

2558 acessos

1 Altmétrico

Detalhes das métricas

Este artigo apresenta o conjunto de dados de Monitoramento Multimodal de Ação Humana na Manufatura (HA4M), uma coleção de dados multimodais relativos a ações realizadas por diferentes sujeitos construindo um Trem de Engrenagem Epicíclico (EGT). Em particular, 41 sujeitos executaram diversas tentativas da tarefa de montagem, que consiste em 12 ações. Os dados foram coletados em cenário de laboratório utilizando um Microsoft® Azure Kinect que integra uma câmera de profundidade, uma câmera RGB e emissores de infravermelho (IR). Até onde sabemos, o conjunto de dados HA4M é o primeiro conjunto de dados multimodal sobre uma tarefa de montagem contendo seis tipos de dados: imagens RGB, mapas de profundidade, imagens IR, imagens RGB alinhadas à profundidade, nuvens de pontos e esqueleto. dados. Esses dados representam uma boa base para desenvolver e testar sistemas avançados de reconhecimento de ações em diversos campos, incluindo Visão Computacional e Aprendizado de Máquina, e domínios de aplicação como fabricação inteligente e colaboração homem-robô.

Medidas)

ações humanas no contexto de manufatura

Tipo(s) de tecnologia

Câmera Kinect do Microsoft Azure

O reconhecimento da ação humana é um tópico ativo de pesquisa em visão computacional1,2 e aprendizado de máquina3,4 e um vasto trabalho de pesquisa foi realizado na última década, como visto na literatura existente5. Além disso, a recente difusão generalizada de sistemas de câmaras de vídeo de baixo custo, incluindo câmaras de profundidade6, reforçou o desenvolvimento de sistemas de observação numa variedade de domínios de aplicação, tais como videovigilância, segurança e segurança doméstica inteligente, vida assistida pelo ambiente, saúde -cuidado e assim por diante. No entanto, pouco trabalho foi feito no reconhecimento da ação humana para montagem de manufatura7,8,9 e a pouca disponibilidade de conjuntos de dados públicos limita o estudo, desenvolvimento e comparação de novos métodos. Isto se deve principalmente a questões desafiadoras, como a similaridade entre ações, a complexidade das ações, a manipulação de ferramentas e peças, a presença de movimentos finos e operações complexas.

O reconhecimento das ações humanas no contexto da manufatura inteligente é de grande importância para diversos fins: melhorar a eficiência operacional8; promover a cooperação entre humanos e robôs10; auxiliar os operadores11; apoiar a formação dos colaboradores9,12; aumentar a produtividade e a segurança13; ou para promover uma boa saúde mental dos trabalhadores14. Neste artigo, apresentamos o conjunto de dados de Monitoramento Multimodal de Ação Humana na Fabricação (HA4M), que é um conjunto de dados multimodal adquirido por uma câmera RGB-D durante a montagem de um Trem de Engrenagens Epicíclicas (EGT) (ver Fig. 1) .

Componentes envolvidos na montagem do Trem de Engrenagens Epicíclicos. O modelo CAD dos componentes está disponível publicamente em44.

O conjunto de dados HA4M fornece uma boa base para desenvolver, validar e testar técnicas e metodologias para reconhecer ações de montagem. A literatura é rica em conjuntos de dados RGB-D para reconhecimento de ações humanas15,16,17 adquiridos predominantemente em ambientes internos/externos sem restrições. Eles estão principalmente relacionados a ações diárias (como caminhar, pular, acenar, curvar-se, etc.), condições médicas (como dor de cabeça, dor nas costas, cambalear, etc.), interações entre duas pessoas (como abraçar, tirar uma foto , apontar o dedo, dar um objeto, etc.) ou ações de jogo (como socos para frente, saque de tênis, tacadas de golfe, etc.). A Tabela 1 relata alguns dos conjuntos de dados RGB-D mais famosos e comumente usados ​​sobre reconhecimento de ações humanas, descrevendo suas principais peculiaridades.

Até onde sabemos, poucos conjuntos de dados baseados em visão existem no contexto da montagem de objetos. Os pesquisadores geralmente constroem seus próprios conjuntos de dados com base em dados de vídeo privados7,18. A Tabela 2 compara o conjunto de dados HA4M proposto com conjuntos de dados existentes sobre reconhecimento de ações de montagem. Conforme mostrado na Tabela 2, o HA4M proposto apresenta várias contribuições principais: