Towards a new Human Environment interaction in video and pervasive games : biofeedback and emotional states. Unsupervised deep learning for affectics.
Vers une nouvelle Interaction Homme Environnement dans les jeux vidéo et pervasifs : rétroaction biologique et états émotionnels. Apprentissage profond non supervisé au service de l’affectique.
Résumé
Again and again adapting to software and games is the fate of users and players. Our approach is different and wants to place the human in the heart of space, in its context. Adapting video games or pervasives to the player according to his emotions is a challenge. Proposing a new Human Environment Interaction in games with feedback related to emotional states raises many questions especially when the states come from physiological information measured remotely. It is a real challenge for the affectics.
Indeed, we have to start by wondering whether it is possible to discover emotional states from contact biosensors measurements. This is one of the first questions we answer using unsupervised data analysis techniques, automatic and deep learning, based on Kohonen maps and a hybrid EMDeep model, a combination of a Gaussian mixture model, a maximization expectation algorithm and a regression method. All the analyzes are done blindly. We do not point out what the data can reveal. These are the data that express themselves. In both cases we come to a classification of individuals’ types, or even a recognition of states. This recognition prepares our standardization, the reference we are trying to build. The states are not identified yet. To do so, they require a deepening that we have already engaged using other methods such as fuzzy logic.
Another question raised, is it possible to replace contact biosensors with remote, non-invasive devices, obtaining the same results? The answer is incomplete because it is necessary to refine our algorithms and to renew the experiments to improve our model even to finalize it. Nevertheless, we propose processes that fulfill the function of remote capture that will have to be tested with the calibration that we propose.
The techniques developed propose classification solutions adapted to the data of the electric signal type. The reflection on an anthropocentric interaction brings a singular point of view on a new way of conceiving a network of human communication environment and human human.
Encore et encore s’adapter aux logiciels, aux jeux, tel est le sort des utilisateurs, des joueurs. Notre démarche est différente et veut placer l’humain au coeur de l’espace, de son contexte. Adapter des jeux vidéo ou pervasifs au joueur en fonction de ses émotions est une gageure. Proposer une nouvelle Interaction Humain Environnement dans les jeux avec rétroaction liée aux états émotionnels soulève de nombreuses questions surtout lorsque les états proviennent d’informations physiologiques mesurées à distance. C’est un vrai défi de l’affectique.
En effet, il faut commencer par se demander s’il est possible de découvrir des états émotionnels à partir de mesures issues de biocapteurs de contact. C’est une des premières questions à laquelle nous répondons à l’aide de techniques d’analyse de données non supervisées, d’apprentissages automatique et profond, fondés sur les cartes de Kohonen et un modèle hybride EMDeep, combinaison d’un mélange gaussien, d’un algorithme d’estimation maximisation et d’une méthode de régression. Toutes les analyses sont réalisées à l’aveugle. Nous n'orientons pas ce que les données peuvent révéler. Ce sont les données qui s’expriment. Dans les deux cas nous aboutissons à une classification de types d’individus, ou encore à une reconnaissance d’états. Cette reconnaissance prépare notre étalonnement, la référence que nous essayons de construire. Les états ne sont pas encore identifiés. Pour se faire, ils nécessitent un approfondissement que nous avons déjà engagé à l’aide d’autres méthodes comme la logique floue.
Autre question abordée, est-il envisageable de remplacer les biocapteurs de contact par des dispositifs distants, non invasifs, en obtenant les mêmes résultats ? La réponse est incomplète car il est nécessaire d’affiner nos algorithmes et de renouveler les expérimentations pour perfectionner notre modèle voire le finaliser. Nous proposons néanmoins des procédés remplissant la fonction de captation distante qu’il faudra tester avec l’étalonnement que nous proposons.
Les techniques mises au point proposent des solutions de classification adaptées aux données de type signaux électriques. La réflexion sur une interaction anthropocentrée apporte un point de vue singulier sur une nouvelle façon de concevoir un réseau de communication humain environnement et humain humain.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...