Étiquette : ASL

L’atelier de traduction : « joyeux Noël » en LSF

Pour traduire « Joyeux Noël » en langue des signes française rien de plus simple, comme vous le montre Diane, avatar né en 2008 de la volonté d’Orange de proposer des MMS en LSF prêts à être envoyés.

joyeux_noel

[JOYEUX] : la main frotte la poitrine en un mouvement circulaire pour signifier la satisfaction, la joie ;
[NOEL] : la main semi-ouverte s’éloigne du menton en se refermant, symbolisant ainsi la longue barbe blanche du Père Noël.

Santa holding magical lights in hands

Vous savez donc ce qu’il vous reste à faire le 25 décembre pour épater famille, amis et le Père Noël bien sûr !!!

Car le Père Noël s’exprime aussi en langue des signes. La preuve :

 

Et pour vous faire patienter, voici l’histoire du Père Noël raconté en LSF par l’un de ses lutins :

.

© Stéphan – ( i ) LSF

 

Un gant n’est pas un interprète (et inversement)

Si j’avais le talent de Jean de Lafontaine, j’écrirais ce billet sous forme d’une fable qui raconterait l’histoire de ce gant, qui se prit pour un interprète pouvant traduire des langues des signes et qui à la fin se dégonfla comme une baudruche, les créateurs de ce gant « traducteur » s’apercevant (et les journalistes avec eux) qu’ils s’étaient fourrés encore une fois le doigt (ganté) dans l’oeil.

En effet, depuis quelques jours réapparait l’invention qui doit bouleverser le monde de l’interprétation en langue des signes et celui de la communication entre sourds et entendants : deux étudiants de l’université de Washington, Thomas Pryor et Navid Azodi, ont inventé SignAloud, des gants capables de traduire la langue des signes américaine (ASL) en un discours oral, dixit de nombreux sites d’informations grand public ou technologiques.
Chaque gant comporte des capteurs sur les doigts et les poignets qui enregistrent la position des mains et les mouvements qui correspondent aux mots et phrases dans la langue des signes américaine. Ces données sont envoyées en Bluetooth à un ordinateur qui les étudie à l’aide d’un algorithme séquentiel qui fonctionne à la manière d’un réseau neuronal (je dois admettre que j’ai fait un copié-collé de ce passage car je n’ai pas tout compris).
Si les données correspondent à un geste, le mot associé (ou la phrase) est énoncé en anglais via le haut-parleur.

Bien qu’à l’état de prototype, ces gants permettraient d’exprimer des messages simple en une langue ultra simple qui ressemble cependant plus à de « l’américain signé » (les signes sont plaqués sur la syntaxe la langue anglaise orale) qu’à l’ASL (American Sign Language).

Sans juger de la réelle qualité de ces gants, on peut néanmoins affirmer que la communication autour de ce projet a été très efficace car un peu partout dans le monde, des journalistes relayés par les réseaux sociaux, ont proclamé : « ils ont inventés des gants qui traduisent la langue des signes » (BFMTV par exemple).

Une remarque d’abord. Ce n’est pas le premier essai et cette « invention » n’a rien de révolutionnaire. En 2012 déjà, des ukrainiens avaient été récompensés pour une invention semblable comme le racontait le site SooCurious avec déjà la même accroche : « Des étudiants inventent des gants capable d’opaliser le langage des signes » (inutile de revenir sur l’appellation erronée de langage des signes à la place de langue des signes).

Ensuite on notera que ce sont toujours des étudiants ingénieurs (en informatique, en génie mécanique…) qui sont à l’origine de ces créations. Jamais dans leurs équipes il n’y a de linguistes, de sourds ou d’interprètes capables leur expliquer la structure, le fonctionnement bref le génie de ces langues gestuelles (qui ne sont pas des langages tel que le langage informatique mais bien des langues) et pourquoi nous somme loin d’une solution gantée permettant de « traduire » d’une langue des signes vers une langue orale.
Les journalistes non plus ne sont pas très curieux : jamais ils n’interrogent ces mêmes linguistes, sourds ou interprètes sur la validité de ces projets.

Personnellement, je doute que prochainement ce système pourra traduire fidèlement et agréablement un long discours.
En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la langue des signes française (LSF) n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).

Les discours énoncés sont basés sur l’utilisation des signes donc des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre.
(Ces paramètres peuvent même monter jusqu’à 8 selon les dernières théories linguistiques en y incluant la labialisation, les postures… ).
Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif ou passif), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours, les émotions par exemple l’ironie, le doute, la colère…

Ces gants et leurs capteurs auront-ils la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes seront-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? Aujourd’hui non, demain pas sur, un jour… sans doute.
Au mieux, actuellement, ce système pourrait traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).
De là à proclamer que des gants peuvent traduire la ou les langues des signes il y a un gouffre (car bien sur comme chaque pays ou région possède sa propre langue des signes, il faudra aussi multiplier les programmes informatiques et autres algorithmes pour prendre en compte cette diversité).

Enfin qui voudrait porter ces vilains gants pour se rendre chez son boulanger et acheter une baguette en langue des signes avec traduction par une voix synthétique (je ne parle même pas d’aller boire un dernier verre dans un bar). 
Sans être un adepte du « c’était mieux avant » et refuser toute idée de progrès on peut remarquer que la technique habituelle de la phrase écrite sur un bout de papier reste très efficace et que le mime ou le pointage conservent leur charme. Bref, les sourds n’ont pas attendu ces gants pour être autonomes et communiquer dans des situations simples de la vie de tous les jours. 

gant lsf

Ces gants ne sont qu’un exemple parmi les nombreuse tentatives pour accéder à la compréhension de la langue des signes sans passer par l’effort de l’apprendre.
D’autres systèmes sont censés traduire comme celui utilisant Kinect (de Microsoft) avec une caméra de reconnaissance interactive branchée sur la console Xbox 360 et qui reconnait puis traduit les signes.
En enregistrant puis en normalisant les mouvements de la langue des signes, le système utilise un algorithme pour déterminer l’alignement du mouvement de la trajectoire 3D. Une fois que la machine a assimilé les données visuelles, elle essaye de les faire correspondre aux mots qu’elle connaît par ordre de pertinence via son dictionnaire interne. A l’inverse, le système peut aussi traduire les textes sous la forme d’avatars signeurs qui apparaissent à l’écran. Cette invention date de juillet 2013 mais depuis la parution de quelques articles, plus de nouvelle. 

tumblr_inline_nj05vyttCL1rakait

Face à ces nombreuses tentatives toujours infructueuses, il est bon cependant de rappeler qu’il existe aujourd’hui dans le monde un système de traduction qui fonctionne bien et qui s’appelle « interprète en langue des signes ». Malheureusement – en France notamment – cette profession peine à se développer, faute de budget nécessaire d’abord pour la formation de ces futurs professionnels puis pour leur assurer une rémunération décente.  

Il ne faudrait pas que ces beaux projets high-tech nous fassent oublier que le Ministère de la Justice paye péniblement 30€ brut l’heure d’interprétation dans un tribunal, que la CAF dans certaines régions refuse de faire appel à des interprètes F-LSF pour des raisons budgétaires, qu’en mairie, pour se marier et comprendre les articles du Code civil (ardus à traduire), c’est le sourd qui devra souvent payer de sa poche la prestation d’interprétation. Et ces gants n’y changeront rien.

Aussi, avant de se pâmer devant de futurs et hypothétiques progrès technologiques (qui adviendront sans doute dans quelques années ou décennies) intéressons-nous davantage (et vous aussi les journalistes) aux carences de la société française en matière d’accessibilité et n’oublions pas le présent en encourageant la communication entre sourds et entendants grâce à la présence d’interprètes diplômés et justement payés c’est à dire un peu plus que les 1300€ que touchera en moyenne un interprète F-LSF débutant après 5 années d’études. 

.

© Stéphan – ( i ) LSF

Les pires interprètes en langue des signes

Alvaro Garcia est un jeune homme sourd vivant aux Etats-Unis. Quand il s’habille et se maquille en drag queen il devient Serena Minogue.  Surtout, il a un talent fou pour croquer les travers des interprètes en langue des signes.
Régulièrement il poste des vidéos hilarantes sur sa page Facebook.

En voici trois pour rire sans modération et égayer ces fêtes de fin d’année :

___

___

© Stéphan – ( i ) LSF 

Signes extérieurs : une interprète sur la Planète des Singes

Pour exercer le métier d’interprète en langue des signes il faut parfois savoir voyager très loin. Dans l’espace bien sur mais aussi dans le temps, vers des lieux imaginaires, sur d’autres planètes…

la-planete-des-singes-l-affrontement-dawn-of-the-planet-of-the-apes-30-07-2014-10-g

Ainsi ma collègue originaire de la Nouvelle-Orléans, Shari Bernius a été embauchée il y a 1 an et demi par les producteurs du film « Planète des Singes – l’Affrontement » pour permettre aux homidés (humains et chimpanzés) de s’exprimer en langue des signes américaine (ASL).

En effet, pour ce nouvel opus, le réalisateur voulait montrer des singes doués d’une intelligence supérieure et sachant communiquer par signes ou pour certains par la voix. C’est pourquoi il a fait appel à Shari qui leur a enseigné les rudiments de l’ASL. Ainsi quand le méchant primate signe « nous pouvons les détruire, ils sont encore faibles », vous pouvez admirer le résultat de longues heures de travail hors-écran menées par Shari Bernius.

Comme elle l’explique, « pour les comédiens « humains », avant le tournage, j’ai travaillé de nombreuses heures avec eux, j’organisais notamment via Skype des sessions de formation ».
Bien sur elle fut aussi présente sur le tournage, dans le parc d’attraction abandonné « Six Flags » qui a servi de décor au film, afin de poursuivre son enseignement, essayer de corriger leurs erreurs et suivre les changements dans le script souvent décidés à la dernière minute.

Si l’enseignement de l’ASL aux humains n’a pas posé trop de problème, elle a dû en revanche s’adapter pour les primates et travailler en partenariat étroit avec Terry Notary, leur éleveur. Ainsi, elle réalisait de courtes vidéos traduisant les phrases du scénario qu’ils étaient censés signer puis Terry faisait répéter ses jeunes apprentis comédiens chimpanzés en tenant compte de leur morphologie, de leur motricité, de leur mimique faciale, de leur façon de grogner…
Bref au final, comme le souligne Shari Bernius, c’était une langue des signes plus « primitive ».  « J’ai enseigné à Terry la langue des signes américaine et il m’a initié à la langue des signes singe ! »

Aujourd’hui après avoir vu le film, comment juge-t-elle les performances en ASL de ses élèves primates et humains ?

« Après l’avant-première, Matt Reeves le réalisateur m’a demandé ce que je pensais du résultat. J’ai été clair avec lui, je lui ai dit qu’on avait foiré, que ça ne ressemblait à pas grand chose. C’était terrible, tandis que je regardais le film je n’arrêtais de me dire, mais ça ne veut rien dire, ce n’est pas du tout ce que je  leur ai appris ! Puis en sortant de la séance j’ai enfin réalisé que c’était normal, après tout ils étaient censés s’exprimer en langue des singes et non des signes ».

Plus d’infos sur le site du The Times-Picayune 

Google Gesture

Capture d'écran 2014-06-22 10.46.23Google Gesture est un service destiné à traduire, en temps réel, de la langue des signes (américaine pour l’instant – ASL) vers l’anglais. Pour cela, ce système analyse l’activité musculaire, la position des mains, les mouvements des avant-bras grâce à « l’électromyographie » puis les traduit en anglais via dans une application installée dans son smartphone.

Démonstration :

30 Google Gesture from Berghs School of Communication on Vimeo.

Impressionnant !
Mais hélas (sauf pour les interprètes en langue des signes), tout ceci est virtuel, pure fiction (pour le moment).
En effet, cette vidéo a été conçue par les élèves de la Berghs School of Communication pour participer aux Future Lions à Cannes, un concours où les participants doivent imaginer en une courte vidéo les produits ou services de demain d’entreprises mondialement connues.

Pourtant, un jour peut-être des conférenciers, des professeurs… s’exprimant en langue des signes seront « interprétés » directement par Google Gesture et chaque participant écoutera la traduction délivrée par une voix de synthèse via des écouteurs branchés sur son téléphone portable.

Incroyable ! 3 interprètes en langue des signes se bagarrent sur un plateau de télévision !

Lundi 7 Avril, devant les caméras de l’émission « Jimmy Kimmel Live », les téléspectateurs ont pu assister à une grande première : une « battle » de rap en langue des signes.

Image

Les trois interprètes invitées à ce show (notamment Holly Maniatti et Amber Galloway) sont déjà connues pour avoir interprété en ASL (American Sign Langage) les concerts Wu Tang Clan, des Beastie Boys, de Snoop Dogg, d’Eminem, de Lil Wayne…

Pour cette « battle » à 6 mains, elles devaient signer en direct « Black and Yellow » la célèbre chanson du rappeur Wiz Khalifa.

Ce dernier a d’ailleurs avoué (en plaisantant ? ) qu’il était bien content d’avoir parfois des interprètes en langue des signes à ses côtés durant ses concerts car il lui arrivait d’être « trop défoncé pour se rappeler des paroles de ses chansons ».

 

Interprète F/LSF 3.0 sur Xbox 360

photo-kinectAu départ il y a un brevet déposé par Microsoft en février 2009 présentant Kinect : un système de reconnaissance doté d’une caméra utilisant des techniques d’interaction et branché sur la console Xbox 360.

Son principe est simple : vous pouvez interagir avec le jeu sélectionné grâce à la  reconnaissance des mouvements. On peut ainsi jouer sans aucune manette ni périphérique autre que son propre corps. Avec cette caméra, kinect détecte vos mouvements et vous pouvez skier, courir, participer à un match de basket sans tenir de joystick, vous êtes réellement dans le jeu.

Ludique ? Certainement car qu’à la différence de la Wii de Nintendo, vous avez les mains libres.
Mais pas uniquement. En effet cette particularité technologique a permis d’ouvrir un nouveau champ de recherche vers le monde du handicap en général et celui de la surdité en particulier.

Ainsi les chercheurs de Microsoft Asia et ceux de l’Institute of Computing Technology de la Chinese Academy of Science ont collaboré pour mettre en place un joli projet, l’objectif étant de concevoir un système capable de traduire les langues des signes en écriture ou en voix de synthèse, afin de permettre à ces personnes de communiquer aisément avec ceux qui ne connaissent pas leur langue et vice versa.

La façon dont le système fonctionne est assez astucieuse. En enregistrant puis en normalisant les mouvements de la langue des signes, le système utilise un algorithme pour déterminer l’alignement du mouvement de la trajectoire 3D. Une fois que la machine a assimilé les données visuelles, elle essaye de les faire correspondre aux mots qu’elle connaît par ordre de pertinence via son dictionnaire interne. A l’inverse, le système peut aussi traduire les textes sous la forme d’avatars signeurs qui apparaissent à l’écran.

Les 1ers essais en 2012

Pour l’instant, seule l’ASL (langue des signes américaine) est au programme mais il est prévu qu’un grand nombre de langues des signes soient implémentées une à une afin que ce traducteur profite à une majorité de personnes sourdes ou malentendantes.

Autre évolution possible : les chercheurs espèrent que cette technologie permettra un jour aux personnes sourdes d’interagir avec leur ordinateur et ou leur smartphone en utilisant leur propre langue, comme nous  utilisons déjà, depuis quelques années, la reconnaissance vocale de Google Now ou de Siri d’Apple.
Mais cela signifie, au préalable, que les ordinateurs et consoles soient capables de décrypter les langues des signes et d’interagir en conséquence.

Le système développé par Microsoft Asia en Juillet 2013

« Nous considérons que les technologies de l’information devraient être utilisées pour améliorer la vie quotidienne de tous », explique Guobin Wu, responsable de programme de recherche chez Microsoft Research Asia. « Même s’il ne s’agit encore que d’un projet de recherche, nous espérons qu’il sera bientôt possible de mettre en place un outil interactif pour défier la frontière qui nous sépare les sourds et malentendants ».

Il faut, bien sur, saluer ce projet : non seulement il cherche à améliorer la communication entre sourds et entendants mais surtout il consacre la valeur des langues des signes, leur capacité à transmettre des messages, des idées, des concepts. Il les considère comme de vraies langues qu’on peut traiter et traduire comme d’autres langues orales telles que l’anglais, le chinois, l’espagnol…
[Je préfère d’ailleurs ce type de recherches à celles sur la « réparation » de l’oreille via les implants cochléaires qui à l’inverse nient tout intérêt aux langues des signes, se focalisant sur l’oreille cassée et le nécessaire passage par l’oralisme pour communiquer.]
Néanmoins l’efficacité de ces technologies est encore limitée et je doute que ce système puisse traduire fidèlement et agréablement un long discours.

En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la LSF n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).

Les signes sont basés sur l’utilisation des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre. Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passif ?), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l’ironie, le doute, la fermeté…

Les caméras ont-elles aujourd’hui la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes sont-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? A voir…
Au mieux, aujourd’hui ce système pourrait sans doute traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).
Néanmoins les perspectives sont prometteuses notamment avec l’arrivée des « lunettes intelligentes« .

A noter que ces chercheurs asiatiques ne sont pas les seuls à travailler sur ce projet.
En Janvier 2013, j’ai été contacté par des étudiants de l’Ecole Polytechnique qui voulaient développer un système équivalent dans le cadre de leur projet de fin d’année.
Alors, pendant des heures j’ai signé devant leur caméra kinétique « bonjour », « au revoir », « mon nom est », « ça va »… afin que l’ordinateur enregistre toutes les variations de la LSF et reconnaisse à coup sur ces successions de signes pour les traduire vers l’écrit.

Heureusement pour nous, les interprètes humains, leur objectif n’est pas de créer un super interprète 3.0.
En effet tandis que je leur faisais part de mes reserves sur la fiabilité de ce mode de traduction, ces futurs ingénieurs m’ont expliqué que leur but était de générer un système de reconnaissance pour des conversations simples comme nous pouvons en avoir à un guichet de la SNCF, à la CAF, La Poste, la mairie…
Or avant qu’une machine soit capable de comprendre et de traduire les méandres et autres subtilités de l’administration française nous avons encore de beaux jours devant nous…