Yapay zeka dudak okuyabiliyor

Yapay zeka teknolojisi sürücüsüz otomobillerden sonra dudak okuma konusuna da el attı. Google’ın 2014’de bünyesine kattığı DeepMind firması ve Oxford Üniversitesi tarafından hazırlanan sistem dudak okuma yapabiliyor.

Proje kapsamında yapay zekayı eğitmek için BBC’den Newsnight, BBC Breakfast ve Question Time gibi farklı TV programlarından toplam 118 bin cümle içeren yaklaşık 5000 saatlik görüntülerden yararlanıldı.

Geliştiriciler eğitim için Ocak 2010-Aralık 2015 arasında yayınlanan görüntüleri kullandı. Daha sonra performanslarını Mart ve Eylül 2016 arasında yayınlanan programlarla test ettiler.

Sistem sadece konuşmacıların dudaklarına bakarak cümleleri deşifre edebiliyor.

Dudak okuma sistemi veri setinden rastgele seçilmiş 200 klibi çözmede uzman bir profesyonel dudak okuyucudan çok daha iyi bir performans gösterdi. Uzman, sözcüklerin %12.4’ünü herhangi bir hata yapmadan çözmeyi başarırken yapay zeka sistemi %46,8’lik bir başarı elde etti. Geri kalan hataların pek çoğu da kelimelerin sonlarındaki “s” çoğul eki gibi unsurlardan kaynaklanıyordu.

DeepMind ve Oxford grubu, BBC’den aldıkları veri setini bir eğitim kaynağı olarak serbest bırakacağını açıkladı. Daha önce Oxford üniversitesinde geliştirilen benzer bir sistem olan LipNet daha az çeşitlilik ve veri içeren bir set üzerinde çalıştığı için performansı daha düşük olmuştu. Yapay zeka projelerinde veri setinin kalitesi performansı doğrudan etkiliyor.

Kaynak: New Scientist