Câmera rastreia gestos e faz você interagir com objetos 3D exibidos em um tablet

O T(ether) é uma nova forma de interação com dados tridimensionais, onde o visor funciona com uma janela para os usuários alterarem a posição de objetos 3D por meio do rastreamento da posição da cabeça e da mão. Para o sistema funcionar, é necessária uma tela que conte com uma câmera integrada.

No nosso caso, um tablet, como o iPad, seria o ideal, por causa das dimensões e pela praticidade do uso na proposta apresentada. A tela funciona como uma espécie de janela, que oferece aos usuários uma visão em perspectiva 3D de dados, com o rastreamento da posição da cabeça e da orientação do aparelho em relação à mão do usuário.
O T(ether) cria um mapeamento 1:1, coordenando entre o espaço virtual e real e permitindo a utilização do espaço de trabalho compreendido entre sua mão e o dispositivo. O sistema cria um espaço de ação compartilhado, no qual o sistema pode interagir com o usuário real, que está manipulando o dispositivo, e um usuário virtual, que atua de modo remoto, compartilhando informações e colaborando com o desenvolvimento da ação.

O sistema permite a entrade de dados por meio do toque na tela capacitiva do dispositivo e uma luva especial, que rastreia o movimento do usuário. Quando você coloca a mão na parte de trás da tela, a mão do usuário se estende ao mundo virtual, permitindo a interação com os objetos projetados.
O dispositivo usa câmeras de captura de movimento da Vicon para rastrear a posição e orientação do tablet, além das mãos e cabeça do usuário. O servidor de sincronização foi codificado com um tablet NodeJS, e a sincronização do servidor local com o tablet foi feita através de uma rede Wi-Fi. Os eventos de toque realizados em cada tablet são transmitidos para todos os outros tablets conectados ao sistema, utilizando um servidor de sincronização.
Seria esta uma nova solução para os videogames do futuro?

Posted in: Áudio e Vídeo