Home Deelprojecten totaal Liplezende computers
Liplezende computers

Vanuit het overkoepelende ICIS concept werkt een aantal van de vele ICIS-onderzoekers aan de verbetering van de interactie tussen mens en systemen.

 

Bij ‘liplezen’ denken we al gauw aan doven en slechthorenden. Maar het kan ook worden gebruikt om de communicatie tussen ‘gewone’ mensen en tussen mens en machine te verbeteren. “Liplezen kan helpen technologie beter te gebruiken,” is de overtuiging van onderzoeker Alin Chitu.

Uit onderzoek is bekend dat liplezen altijd een extra dimensie toevoegt aan mondelinge communicatie. Luisteren en liplezen gaan samen. Mensen gebruiken het beeld van de bewegende lippen om zich een beter beeld te vormen van wat er wordt gezegd. Zo helpt liplezen om in een rumoerige omgeving iemand te verstaan.
Bij computers kan liplezen gebruikt worden om ze spraak te laten verstaan én om ze zelf te laten praten.

Avatars

Meer en meer wordt gebruikgemaakt van ‘avatars’: sprekende gezichten op het computerscherm met de bijbehorende lipbewegingen en gezichtsuitdrukkingen.

Zo kunnen computerprogramma’s menselijker communiceren en worden mensen met hoor- en zichtproblemen beter in staat gesteld met computers om te gaan. Bijvoorbeeld mensen die niet goed kleuren kunnen zien of niet kunnen lezen. Ook kunnen machines die in staat zijn gezichtsuitdrukkingen te lezen, hun boodschap beter afstemmen op de gemoedstoestand van de gebruiker – vooral belangrijk in crisissituaties.

Nederlandse database

In 2005 begon onderzoeker Alin Chitu, promovendus bij de TU Delft bij de groep Mens Machine Interactie, met zijn onderzoek naar liplezen. In die tijd heeft hij computerprogramma’s en modellen voor het herkennen van spraak en gezichtsexpressies gebouwd en getest.

De databank wordt gebruikt om computerprogramma’s te ‘trainen’ in het liplezen en het herkennen van gezichtsuitdrukkingen.

Hiervan zijn allerlei toepassingen denkbaar. Denk aan machines waartegen je kunt praten en die eventueel zelfs terugpraten. Daarvan wordt al gebruikgemaakt in publieke kiosken, zoals bij een toeristeninformatiebureau of op rumoerige plekken in een trein- of busstation. Ook een videofoon in de auto kan realiteit worden met liplezen.

Telefoneren met slechthorenden

Synface

Een huidige toepassing is Synface.
Synface maakt het mogelijk om te telefoneren met doven of slechthorenden. Het apparaat zet spraak om in de bijbehorende lipbewegingen en toont die in de vorm van een pratend gezicht op het scherm.

Gehoorapparaat

Liplezen wordt ook gebruikt om gehoorapparaten beter te laten werken. ‘Directional hearing’ laat alleen geluiden horen in het gezichtsveld van de gebruiker. Het gehoorapparaat richt zich dan op geluiden in de richting die de gebruiker op kijkt. Door er camera’s op te monteren kan het apparaat ook liplezen en de beelden vertalen naar spraak. Er zijn al apparaten die gebruik maken van ‘directional hearing’ in combinatie met liplezen op afstand.

Identificatie

Bij stomme films of films met vervormde geluidsweergave kan dankzij liplezen worden achterhaald wat er wordt gezegd. En bij opnamen door veiligheidscamera’s kan liplezen – binnen de grenzen van de privacywetgeving - worden gebruikt om te ontdekken wat verdachten zeggen, en zelfs om personen te identificeren.

Resultaten tot nu

Dankzij Chitu’s onderzoek is een Nederlandse database beschikbaar waarmee computer-toepassingen kunnen leren liplezen en praten. Daarvoor zijn meer dan zeventig sprekers gebruikt, ongeveer vijfduizend uitspraken en meer dan tien uur opnames in verschillende spreekstijlen. Van elke spreker is de leeftijd, het dialect en het opleidings-niveau vastgelegd. Met snelle camera’s werden beelden van de lippen van zowel de voor- als zijkant vastgelegd.

Toekomstig onderzoek

Er is nog weinig bekend over de techniek van het liplezen. Is de wijdte van de mond belangrijk? Of hoever de mond is geopend? Hoeveel beelden moet je hebben per seconde? Hoe varieert dat per spraaksnelheid? Wat voegen beelden van de zijkant van de lippen toe? Wat maakt het uit of iemand fluistert of snel praat? Allemaal zaken waar onderzoek nieuw licht op kan werpen.

Wat hebben we eraan?

Liplezen kan de communicatie tussen mensen onderling en tussen mens en computer verbeteren. Ook op het gebied van veiligheid kan liplezen goede diensten bewijzen.

Download project PDF

 

CHIM

CHIM is de afkorting van Computational Human Interaction Modeling.

Dit cluster houdt zich bezig met slimmere mens-machine interactie.

Met andere woorden: hoe kunnen we ervoor zorgen dat informatiesystemen mensen ‘begrijpen’, zodat bijvoorbeeld de bediening van apparaten makkelijker, efficiënter en beter wordt?