Yapay ‘Zeka’ Değerlendirilmesindeki Hatalar

Yapay zeka (YZ) sistemleri, özellikle büyük dil modelleri (LLM’s), son yıllarda hem akademik hem de endüstriyel alanlarda büyük ilgi odağı haline gelirken, bu sistemlerin değerlendirilmesi ve anlaşılması sürecinde yapılan hatalar, hem teknolojinin potansiyelini hem de yaratacağı olası distopik senaryoları doğru bir şekilde kavramamızı engelleyebilir. Bu anlamda yazımda sinirbilimci Evelina Fedorenko‘nun sorumlu yazar olduğu Mahowald vd. (2024) çalışmasından yola çıkarak ve diğer ilgili kaynaklardan da yararlanarak, YZ değerlendirmesindeki yaygın hataları ele alacağım.

Öncelikle, YZ sistemlerinin başarısızlıklarını raporlarken yapılan “eksik iddialar” dikkat çekiyor. Bowman (2022) tarafından vurgulanan bu sorun, araştırmacılar ve geliştiricilerin sistemlerin başarısızlıklarını tam anlamıyla açıklamadığında, kullanıcıların ve diğer araştırmacıların yanlış bir güven duygusuna kapılmasına neden olabilir. Örneğin, bir dil modelinin bir metni anlaması, insanın anladığı gibi bir anlama değildir; bu, daha çok istatistiksel ilişkileri ve desenleri öğrenme üzerine kuruludur. Bu nedenle, bir modelin “anladığını” iddia etmek, insan zekasının karmaşıklığını ve derinliğini göz ardı etmek anlamına gelir. Diğer yandan değerlendirme metrikleri, bir modelin başarısını ölçmek için kullanılan temel araçlarken, bu metrikler bazen yanıltıcı olabilir. Örneğin, bir modelin doğruluk oranı yüksek olabilir, ancak bu, modelin gerçek dünya senaryolarında nasıl performans göstereceğini tam olarak yansıtmayabilir. Mahowald vd. (2024)’nin belirtildiği gibi LLMs’nin performansını değerlendirirken, sadece doğruluk oranlarına değil, aynı zamanda modelin nasıl ve neyi öğrendiğini gösteren çalışmalara da odaklanmak gerekir.

Dziri vd. (2024), transformatör tabanlı modellerin bileşimsel dil kabiliyetlerindeki sınırlılıklarını ortaya koyuyor. Bileşimsellik, dilin temel bir özelliğidir; bir cümlenin anlamı, kelimelerin anlamlarının ve bu kelimeler arasındaki ilişkilerin bir birleşimidir. Ancak, mevcut YZ sistemleri, bu tür karmaşık ilişkileri anlamakta ve işlemekte zorlanabilirken bu durum, sistemlerin dilin yüzeysel özelliklerine odaklanarak “anlama” kabiliyeti sergilediği yanılsamasını yaratabilir. Ayrıca Sclar vd. (2023), dil modellerinin belirli görevlerdeki performansının, kullanılan prompt formatına ve yanıltıcı özelliklere olan duyarlılığından etkilendiğini gösteriyor. Bu, bir modelin belirli bir görevde yüksek performans göstermesinin, o görevi gerçekten “anladığı” anlamına gelmediğini ortaya koyuyor. Örneğin bir model, yalnızca belirli bir formatta sunulan verilerde başarılı olabilir, ancak format değiştiğinde başarısız olabilir. Bu tür durumlar, modellerin genelleme kabiliyetlerini abartılı bir şekilde değerlendirmemize neden olabilir.

Mahowald vd. (2024) çalışmasında aslında özellikle, YZ sistemlerinin bilişsel yetenekleriyle ilgili yapılan yanlış çıkarımlara dikkat çekerken ve Ivanova vd. (2020)’nin, bilgisayar kodunu anlamanın, insan beyninde dil işleme bölgelerinden ziyade genel yönetici işlevlerle ilişkili olduğunu göstererek, YZ sistemlerinin insan benzeri bilişsel süreçlere sahip olduğu varsayımını sorgulamamıza neden oluyor. YZ sistemlerinin belirli görevlerdeki başarısı, bu görevleri insanlarla aynı şekilde gerçekleştirdiği anlamına gelmediği iddiasında bulunuyorlar, özetle!

Kaplan vd. (2020), dil modellerinin ölçeklendikçe performanslarının arttığını gösterirken, bu artışın aslında modellerin genel zeka kazandığı anlamına gelmediğini belirtiyorlar. Daha büyük modeller, daha fazla veri ve parametreyle daha iyi sonuçlar verebilir, ancak bu, onların insan benzeri bir anlayışa veya bilişsel yeteneğe sahip olduğu anlamına gelmiyor. Bu tür yanlış çıkarımlar, YZ’nin potansiyelini yanlış yorumlamamıza neden olabilir. Son olarak, Woolgar vd.(2018), insan zekasının dil sistemlerinden ziyade “çoklu-talep” sistemi gibi genel bilişsel sistemlerle daha yakından ilişkili olduğunu gösteriyor. Bu, dil modellerinin dil işleme kabiliyetlerinin, insan zekasının temel bir göstergesi olmadığını iddiasında bulunuluyor. Diğer değişle YZ sistemlerinin dildeki başarısı, onların insan zekasına sahip olduğu anlamına gelmiyor; bu, yalnızca dilin yüzeysel özelliklerini işleyebildiklerini gösterir.

Sonuç olarak, YZ değerlendirmesindeki bu hatalar, teknolojinin potansiyelini anlamamızı engellemekle kalmaz, aynı zamanda yanlış beklentiler oluşturarak etik ve toplumsal sorunlara yol açabilir (Aşkun, 2024). YZ sistemlerini değerlendirirken, onların sınırlılıklarını ve başarısızlıklarını açıkça kabul etmek, daha gerçekçi bir anlayış geliştirmemize yardımcı olacaktır. Biz araştırmacılar ve bu alandaki geliştiriciler ve kullanıcılar olarak, YZ sistemlerini değerlendirirken daha eleştirel bir yaklaşım benimseyerek YZ’nin kabiliyetlerini abartmak yerine, onun sınırlarını anlamaya çalışmalı ve bu sınırların ötesine geçmek için çalışmalıyız (Aşkun, 2023) .

Unutulmamalıdır ki, Yapay Zekanın gerçek potansiyeli, onu doğru bir şekilde değerlendirip uyguladığımızda ortaya çıkacaktır.

Kaynaklar