Papilon Mühendisleri dudak hareketini analiz edebilen AI teknolojisi üzerinde çalışıyor

Sağır olan veya işitme güçlüğü çeken milyonlarca insan için dudak okuma, onlara karşıdaki insanı anlamak için bir pencere açar. Peki, dudak okuma işlemi bilgisayar tarafından otomatikleştirilebilir ve gerçekleştirilebilir mi? Otomatik dudak okuma, mühendislik alanında ilgi çeken bir konu olmuştur. Yapay zekâ milyonlarca insan için kulak işlevi görüyor. Bu amaçla, Papilon Mühendisleri dudak hareketi analizleri yapan yeni yapay zekâ algoritması üzerinde çalışıyorlar. Bu algoritmanın uygulanması zordur ve sonuçlar çoğu zaman yanlıştır. Bununla birlikte, “bazı yaklaşımlarla, en yetenekli dudak okuyucuları bile söylenenlerin sadece yüzde 30’unu fark edebilir” (1). Bu teknolojideki amacımız dudağı insanlardan daha iyi okumaktır. Bu teknoloji, güvenlik amaçlı olarak videolardan şüpheli insan algılama ve sessiz videodan metin çıkarma için kullanılabilir.

Yeni çalışmada, geliştirme ekibimiz bilgisayarların verilerden öğrendiği makine öğrenimi adı verilen bir yapay zekâ formuna döndü. Dudak okuma sistemi oluşturmak için 1,2 milyon video veri setine makine öğrenimi uyguluyorlar. AI sistemi, bu veri setinden yaklaşık 5000 saat kullanılarak eğitilecektir. Dudaklar tarafından yapılan şekiller AI ile incelenebilir ve daha sonra seslere dönüştürülebilir. Başlangıçta AI, Türkçe ve İngilizce dillerinde çalışacaktır. AI algoritması, Türkçe/İngilizce olmayan konuşmayı, konuşmayan yüzleri, düşük kaliteli videoyu ve ön profilden çekilmemiş videoları filtreleyebiliyor.

Algoritma yapay zekâ dışında kısmen sinir ağlarına dayanır. AI etiketsiz video ile karşılaşıldığında, bu ağlar kırpılmış ağız hareketlerini içeren klipler üretir. Daha sonra kırpılmış klipler kullanılarak bir ses birimi listesi oluşturulur. Son olarak, olası ses birimlerine göre AI, Türkçe/İngilizce kelime dizileri üretir. Gelecek için daha fazla dil desteği eklenmesi planlanıyor.

  1. https://www.bustle.com/articles/131261-how-accurate-is-lip-reading-this-is-how-it-feels-to-depend-on-it-every-day

 

Share:

Author: Onur Keskin

Related Articles

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir