La caméra Kinect® est une section du dispositif de capture de mouvement Kinect® qui est chargée de capter les joueurs et leurs mouvements pendant le jeu interactif. Cette caméra est une caméra infrarouge (IR), ce qui signifie qu’elle capte la lumière infrarouge et sépare les entités par couleur. Une fois que la caméra Kinect® a pris une image, elle filtre les objets pour trouver des joueurs humains, mais la caméra elle-même ne peut pas capter les moindres détails. Les jeux Kinect® utilisent de nombreuses poses différentes à partir d’une vaste bibliothèque numérique, et la caméra les recherche pour s’assurer que le joueur exécute la bonne pose. Fonctionnant à une moyenne de 30 images par seconde (FPS), cette caméra est modérément rapide et ne devrait pas manquer le mouvement d’un joueur.
Il y a deux composants principaux dans l’appareil Kinect® qui sont chargés de capter les mouvements du joueur, et l’un est la caméra Kinect®. Le second est un projecteur IR, qui fait rebondir la lumière IR autour d’une pièce, aidant la caméra à capter des objets. Lorsque la caméra voit un objet, elle le classe en fonction de son emplacement via la couleur. Par exemple, les objets éloignés sont gris, tandis que les objets plus proches sont verts ou rouges.
La caméra Kinect® est conçue pour prêter attention aux personnes, elle fait donc passer l’image à travers un algorithme de traitement d’image qui détermine ce qu’est une personne et ce qu’est un animal ou un objet qui doit être ignoré. Cela empêche la caméra d’interpréter les mouvements d’un chien comme ceux d’un joueur. Alors que la caméra sait ce qu’est une personne et peut reconnaître des détails tels que la taille et la coiffure, elle ne peut pas capturer des détails fins tels que les doigts, les expressions faciales et le nez.
Environ 200 poses sont utilisées avec les jeux Kinect®, et la caméra Kinect® recherche ces poses. Par exemple, si le jeu demande au joueur de lever sa jambe droite, la caméra filtrera la pose du joueur pour voir si elle est correcte. Si le joueur est trop sur le côté et hors de vue de la caméra, il prendra ce qu’il peut voir du joueur et le comparera aux poses préchargées. Il en résulte une estimation éclairée de la pose réelle du joueur, qui est normalement exacte.
En moyenne, la caméra Kinect® fonctionnera à une vitesse de 30 FPS. Bien que ce ne soit pas l’appareil photo le plus rapide au monde, il devrait être suffisamment rapide pour capturer chaque mouvement et chaque pose d’un joueur. À cette vitesse, la caméra peut capturer des mouvements en douceur avec un faible taux d’erreur.