Felçli insanlar yapay zeka sayesinde konuşacaklar! Bunu da gördük!

Beyin-Bilgisayar Arayüzleri (BCI’ler), gri maddenizin ürettiği analog sinyalleri izleyen ve bunları bilgisayarların anladığı dijital sinyallere dönüştüren cihazlardır.

Bu çalışma için, UCSF nörolojik cerrahi başkanı Dr.EdwardChang liderliğindeki araştırmacılar, ilk olarak hastanın beynindeki konuşma merkezine 253 pinli bir elektrot dizisi yerleştirdiler. Bu sondalar normalde çenesindeki, dudaklarındaki ve dilindeki kasları harekete geçirecek olan elektrik sinyallerini izleyip yakaladı ve bunun yerine bunları kafatasındaki kablolu bir bağlantı noktası aracılığıyla bir işlemci bankasına iletti.

Bu bilgi işlem yığını, birkaç haftalık eğitim boyunca hastanın 1000’den fazla kelimedeki elektrik sinyali modellerini tanıyan, makine öğrenimi yapan bir yapay zekayı barındırıyordu.

Felçli insanlar yapay zeka sayesinde konuşacaklar! Bunu da gördük!

Araştırmacılar, hastanın avatarını oluşturmak için Halo Infinite ve The Last of Us Part II’deki fotogerçekçi yüz animasyonu teknolojisini geliştiren aynı şirket olan Speech Graphics ile birlikte çalıştı.

SG’nin teknolojisi, ses girişinin analizine dayanarak bir yüzün yapacağı gerekli kas-iskelet sistemi hareketlerini “tersine mühendisleştiriyor” ve ardından bu verileri bir avatara dönüştürülmek üzere gerçek zamanlı olarak bir oyun motoruna aktarıyor. Hastadan gelen zihinsel sinyaller doğrudan avatarla eşleştirildiğinden, hasta duygularını ifade edebiliyor ve sözsüz olarak da iletişim kurabiliyordu.