Bilim adamları beyin aktivitesini metne dönüştüren yapay zeka geliştiriyor
Zihin okuma, filmlerde çok yer alan ve insanların endişelendiği bir hayal ürünüdür. Ancak, bu hayali gerçeğe dönüştürmeye bir adım daha yaklaşıldı. ABD’deki bilim insanları,beyin aktivitesini metne dönüştüren yapay zeka geliştiriyorlar. Beyin aktivitesini metne dönüştürmeyi başardılar.
Çalışmayı, San Francisco Kaliforniya Üniversitesi’nden Dr. Joseph Makin ve ekibi yaptı. Çalışma, saygın Nature Neuroscience dergisinde yayınlandı.
Yapay zeka çalışması, 4 epilepsili kadının beyin sinyalini incelemek için derin beyin öğrenme (nöral ağ) algoritması kullanılarak yapıldı. 4 kadın da beyinlerindeki nöbet aktivitesini izlemek için elektrotlar takılıydı. Toplam 250 elektrot vardı. Araştırmacılar kadınların peri-sylvian korteks ve çevresine bağlı olan bölgelerindekinden yararlandılar. Kimi kaynaklarda ‘lateral fisür’ olarak da geçmektedir.
Peri-sylvianın konumu, yaklaşık olarak temporal lob ile frontal lobun birleştiği derin yarığın olduğu hattır.
30-50 cümle kümesinin birkaç sözlü tekrarından oluşuyor. En büyük cümle kümesi 250 kelimeden oluşuyordu. Gelen eş zamanlı veriler derin beyin öğrenme (nöral ağ) algoritması sayesinde metne dönüştürüldü. Tekrarlanan cümle kümelerindeki kelime hata oranları kişiden kişiye değişse de ortalama %3 kadar düşüktü.
Araştırmacılar, konuşamayan veya yazamayan hastalar için iletişim kurmasında yardımcı olabileceğini söylüyor.
Araştırmada yer alan Dr. Joseph Makin çalışmayla ilgili, “Henüz orada değiliz, ancak bunun bir konuşma protezinin temeli olabileceğini düşünüyoruz.” dedi.
Araştırma süreci nasıldı?
Araştırma, nöbetlerinin tespiti için elektrotlar takılı olan 4 kadından yüksek sesle cümleleri okumasını istedi.
Araştırmacılar kadınlara “Tina Turner bir pop şarkıcısıdır.” ,”O hırsızlar 33 mücevher çaldı.” cümleleri dahil olmak üzere 50’ye yakın cümle söylettirdi. Ardından bu tekrarlatıldı. Ekip bu sırada zihinsel aktiviteleri izledi.
Bu veriler bir yapay zekayla sayısal dizilere çevrildi ve yapay zeka zenginleştirildi. Bu yapay zeka özdevimli öğrenme özellikliydi. Özdevimli öğrenme, bir aygıtın geçmişteki çalışmasına dayanarak kendi başarısını iyileştirmesi yeteneğidir.
Sayıların sadece konuşmayla alakalı olduğundan emin olmak için beyin aktivite verileri olduğu tahmin edilen kısımların bir parçasıyla ile gerçek zamanlı kaydedilen seslerin sayısal dizine dönüştürüp karşılaştırdılar. Bu sayede ikinci kez zenginleştirilmiş oldu ve emin olundu.
Ekip daha sonra test etti. Ardından sadece beyin aktivitesiyle ilgili olan kısmından metin çevirisi yapıldı.
Ekip sistemin mükemmel olmadığını kabul ediyor. Saçma cümleler ve hataları arasında belirtiyor. “Ispanak ünlü bir şarkıcıydı.” ve “Robin sarı zambak takacak mı” (Okunan: “Robin will …”, Makinenin yazdığı: “Will Robin…”) gibi cümleleri örnek veriyorlar.
Ekip, bir katılımcı verilerine dayanarak makinenin eğitilmesinin, son katılımcıdan daha az veriye ihtiyaç duyulduğu anlamına geldiğini fark etti. Bu son kullanıcılar için kolaylık olacağı anlamına geliyor.
Araştırmada yer alan Dr. Joseph Makin yapay zekayla ilgili, “Kullanılanın [50 cümle] dışına çıkınca, kod çözme daha kötüye gidiyor.” diyor. Ayrıca, “Bunu gerçek anlamlı konuşamayan bir engelli hastaya yerleştirmek istiyoruz.” diyor.
Ekip, yapay zekanın tekrarlanan cümle kümelerindeki beyin sinyalinden metne çevirisinde kelime hata oranları ortalama %3 kadar düşük olduğunu,cümle kümeleri yerine kelimeler denendiğinde bu hata oranı %38 olduğunu belirtiyor. Dr. Joseph Makin bu durum için “Yani ağ sadece nöral aktivitenin hangi kelimeyle eşleştiğinde değil, hangi kelimelerin bir araya geldiğini öğreniyor.” diyor.
Çalışmaya ulaşmak için tıklayınız.