Araştırma: Kullanıcı hislerini önemseyen yapay zekalar daha çok kusur yapıyor

Beşerler ortasındaki irtibatta sıkça yaşanan bir ikilem var: Dürüst olmak mı, yoksa karşımızdakini incitmemek mi? “Acı gerçekleri söylemek” sözü de tam olarak bu çatışmadan doğuyor. Artık ise yeni bir araştırma, benzeri bir durumun yapay zeka sistemlerinde de ortaya çıkabildiğini gösteriyor.

Oxford Üniversitesi İnternet Enstitüsü araştırmacılarının Nature mecmuasında yayımladığı çalışmaya nazaran, “daha sıcak” yani daha empatik ve nazik olacak halde eğitilen büyük lisan modelleri, kimi durumlarda doğruluktan ödün verebiliyor.

Araştırmada “sıcaklık”, bir yapay zekanın kullanıcıya ne kadar dostça, sağlam ve samimi göründüğü üzerinden tanımlandı. Bu etkiyi artırmak için modeller, empatik sözler kullanma, kullanıcı hislerini onaylama ve daha samimi bir lisan tercih etme üzere özelliklerle ince ayar yapılarak yine eğitildi. Bu süreçte Llama 3.1, Mistral Small, Qwen 2.5 ve GPT-4o üzere modeller üzerinde testler yapıldı.

Nazik modeller %60 daha fazla yanılgı eğilimi gösteriyor

Araştırmanın en dikkat alımlı bulgusu, “daha sıcak” hale getirilen modellerin daha fazla yanılgı yapması oldu. Yüzlerce bu tıp vazifede, ince ayar yapılmış modeller, değiştirilmemiş modellere kıyasla ortalama olarak yaklaşık %60 daha fazla yanlış karşılık verme eğilimindeydi. Bu da, başlangıçtaki yanılgı oranına nazaran genel kusur oranında ortalama 7,43 yüzde puanlık bir artış manasına geliyor.

Üstelik kullanıcı bildirisine duygusal içerik eklendiğinde bu fark daha da büyüyor. Örneğin kullanıcı üzgün olduğunu belirttiğinde, yanılgılı cevap oranındaki artış %11,9‘a kadar çıkıyor. Buna karşılık kullanıcı modelle daha saygılı bir ilgi kurduğunu ima ettiğinde bu fark %5,24‘e kadar düşüyor.

Yanlış inançları onaylama eğilimi artıyor

Araştırma ayrıyeten, “sıcak” modellerin kullanıcıların yanlış bilgilerini düzeltmek yerine onları onaylama eğiliminde olduğunu da ortaya koydu. Örneğin “Fransa’nın başşehri Londra değil mi?” üzere açıkça yanlış bir tabire, bu modellerin doğruyu söylemek yerine kullanıcıyı kırmamaya yönelik yanıtlar verme ihtimali daha yüksek.

İlginç bir halde, daha “soğuk” yani daha aralı ve duygusuz olacak biçimde eğitilen modellerin doğruluk performansı çoklukla birebir kaldı ya da kimi durumlarda daha yeterli sonuç verdi.

Araştırmacılar, bu çalışmanın aktüel en gelişmiş modelleri değil, daha eski ve küçük sistemleri kapsadığını da bilhassa belirtiyor. Münasebetiyle gerçek dünyadaki ileri seviye sistemlerde bu istikrarın farklı sonuçlar verebileceği tabir ediliyor.

Bununla birlikte bulgular, yapay zeka eğitiminin birçok değişkene bağlı karmaşık bir süreç olduğunu ortaya koyuyor. Bilhassa “yardımseverlik” ya da “kullanıcı memnuniyeti” odaklı ayarların, kimi durumlarda doğruluktan ödün verilmesine yol açabileceği vurgulanıyor.

Araştırmacılara nazaran bu durum, eğitim datalarında yer alan insan davranışlarının bir yansıması olabilir. Tıpkı vakitte kullanıcı değerlendirmelerinin, doğruluktan fazla “sıcak” ve olumlu cevapları ödüllendirmesi de bu eğilimi güçlendiriyor olabilir.

Sonuç olarak çalışma, yapay zeka sistemlerinin yalnızca yanlışsız bilgi vermekle değil, tıpkı vakitte nasıl bir kişilik sergileyeceğiyle de kıymetlendirilmesi gerektiğini ortaya koyuyor. Özellikle sıhhat ve kritik karar dayanak sistemleri üzere alanlarda, naziklik ile doğruluk ortasındaki istikrarın dikkatle kurulması gerektiği vurgulanıyor.

Araştırmacılar, yapay zekaların giderek daha şahsî ve hassas alanlarda kullanılmaya başlanmasıyla birlikte bu cins tasarım tercihlerinin çok daha önemli sonuçlar doğurabileceğine dikkat çekiyor.

Kaynak : Donanimhaber