La promesse de l'affect computing
L'affect computing, théorisé par Rosalind Picard au MIT (1997), promet des machines capables de détecter, interpréter et répondre aux émotions humaines. Les applications en design UX sont séduisantes : une interface qui détecte la frustration et simplifie le parcours, un chatbot qui perçoit l'anxiété et adapte son ton, un outil d'apprentissage qui détecte l'ennui et change d'approche pédagogique.
Le marché de l'Emotion AI est estimé à 42 milliards de dollars d'ici 2027 (MarketsandMarkets, 2023). Les acteurs principaux — Affectiva, Realeyes, Hume AI — proposent des SDK qui analysent les expressions faciales, le ton de voix, et le langage corporel pour inférer des états émotionnels. Des entreprises comme HireVue utilisaient ces technologies pour évaluer les candidats en entretien vidéo.
Mais la science derrière ces promesses est beaucoup plus fragile que le marketing ne le suggère. Et les implications éthiques sont considérables.
La science contestée de la détection émotionnelle
L'étude fondamentale de Barrett et al. (2019), publiée dans Psychological Science in the Public Interest, a examiné l'ensemble de la littérature scientifique sur la détection d'émotions par les expressions faciales. Leur conclusion est sans appel : il n'existe pas de correspondance fiable et universelle entre une expression faciale et une émotion. Un sourire ne signifie pas toujours la joie ; un froncement de sourcils ne signifie pas toujours la colère.
Les systèmes de détection émotionnelle sont entraînés sur le modèle de Ekman (1971) qui postule 6 émotions universelles (joie, tristesse, colère, peur, dégoût, surprise). Mais les recherches interculturelles de Jack et al. (2012) ont démontré que les expressions émotionnelles varient significativement selon les cultures. Le même visage peut exprimer de la politesse en Asie de l'Est et de la joie en Occident.
Les taux d'erreur en conditions réelles (pas en laboratoire, avec des photos posées) sont de 30 à 40 % selon les méta-analyses. Et ces erreurs ne sont pas aléatoires : les systèmes montrent un biais racial documenté. L'étude de Rhue (2018) a montré que les systèmes de Microsoft et Face++ attribuaient systématiquement plus d'émotions négatives (colère, mépris) aux visages noirs qu'aux visages blancs.
Les enjeux réglementaires
Le AI Act européen (2024) classe la détection d'émotions dans la catégorie « haut risque » quand elle est utilisée dans le recrutement, l'éducation et les forces de l'ordre. L'article 5 interdit explicitement les systèmes de catégorisation biométrique basés sur les émotions dans certains contextes. L'utilisation par HireVue pour le recrutement a été abandonnée en 2021 après des critiques massives et des enquêtes réglementaires.
L'État de l'Illinois (BIPA — Biometric Information Privacy Act) et la ville de New York (Local Law 144) ont déjà légiféré contre l'utilisation de la détection émotionnelle en recrutement. En Europe, la CNIL a émis des avis restrictifs sur la reconnaissance émotionnelle dans les espaces publics et les lieux de travail.
Pour les designers, le message est clair : intégrer la détection d'émotions dans un produit expose à un risque juridique croissant. Même dans les juridictions où c'est encore légal, le risque réputationnel est significatif. Les utilisateurs sont de plus en plus sensibilisés à ces technologies et les rejettent quand ils les découvrent.
Alternatives éthiques : les signaux comportementaux
Au lieu d'inférer des émotions à partir du visage ou de la voix (approche intrusive et imprécise), les designers peuvent utiliser des signaux comportementaux objectifs pour adapter l'interface. Les travaux de Kapoor et Picard (2005) ont montré que les patterns de frappe au clavier, les mouvements de souris et les patterns de navigation prédisent la frustration avec une précision de 70 à 80 % — meilleure que la détection faciale, et sans caméra.
Les signaux comportementaux les plus fiables : temps de pause anormalement long sur un élément (confusion), clics répétés au même endroit (frustration technique), mouvements de souris erratiques (désorientation), retour arrière fréquent (difficulté à trouver l'information). Ces signaux sont non-intrusifs, facilement collectables, et interprétables sans modèle émotionnel.
L'approche recommandée est le « behavioral adaptation » : l'interface se simplifie quand les signaux comportementaux indiquent de la difficulté, offre de l'aide proactive quand les patterns de navigation suggèrent de la confusion, et accélère le parcours quand les patterns indiquent de l'expertise. Tout cela sans jamais prétendre « lire » les émotions de l'utilisateur.
Ce que les designers doivent retenir
L'Emotion AI est une technologie fascinante mais immature, biaisée et réglementairement risquée. Les designers qui l'intègrent dans leurs produits doivent être conscients de trois réalités. Premièrement, la science ne soutient pas la promesse marketing — la détection émotionnelle est significativement moins précise que ce que les vendeurs affirment.
Deuxièmement, les biais raciaux et culturels des systèmes de détection émotionnelle ne sont pas des bugs — ils sont structurels, liés aux données d'entraînement et au modèle théorique sous-jacent. Les corriger complètement n'est pas possible avec l'approche actuelle. Troisièmement, la tendance réglementaire est clairement restrictive. Construire un produit sur la détection émotionnelle, c'est construire sur des fondations qui pourraient devenir illégales.
L'alternative éthique et plus efficace existe : les signaux comportementaux et l'adaptation contextuelle. Ces approches respectent la vie privée de l'utilisateur, ne nécessitent pas de hardware intrusif, et sont plus précises dans le contexte spécifique du design d'interface. L'empathie en design ne vient pas de la surveillance des émotions — elle vient de la compréhension profonde des besoins et des comportements.