Yapay zekâ faturaları kabardı, şirketler devayı “Mağara Adamı Modu”nda buldu

Yapay zekâ araçları son yıllarda yalnızca daha yetenekli hâle gelmekle kalmadı, tıpkı vakitte şirketlerin operasyonlarının da değerli bir kesimine dönüştü. Bilhassa yazılım geliştirme süreçlerinde kullanılan Claude Code, Codex ve Gemini gibi araçlar artık binlerce geliştirici tarafından etkin olarak kullanılıyor. Lakin bu dönüşümün beraberinde getirdiği değerli bir sorun da var: Maliyet. Büyük lisan modelleri her istekte binlerce, hatta on binlerce token işlediği için, bu araçları yoğun kullanan şirketlerin yapay zekâ faturaları da beklenenden çok daha süratli artıyor. O denli ki birtakım şirketler artık bu maliyetleri düşürmek için hayli sıra dışı sistemlere başvuruyor.

Son günlerde gündeme gelen “Caveman” (Mağara Adamı) isimli eklenti de bunun en değişik örneklerinden biri oldu. Claude Code, OpenAI Codex ve gibisi araçlarla kullanılabilen bu eklenti, yapay zekânın verdiği karşılıkları mümkün olduğunca sadeleştirerek gereksiz token tüketimini azaltmayı hedefliyor. Diğer bir deyişle yapay zekânın uzun açıklamalar, kibar tabirler ve gereksiz geçiş cümleleri kurmasını engelleyerek birebir teknik bilgiyi çok daha kısa formda sunuyor. “Haklısınız, bu noktada evvelki değerlendirmemi yine gözden geçirdim.” üzere uzun cümleler yerine, adeta bir mağara adamı konuşuyormuş üzere “Doğru. Değiştir.” şekli kısa karşılıklar üretiyor.

Caveman’ın geliştiricisi Julius Brussee, eklentiyi Nisan ayında yoğun biçimde Claude Code kullanırken geliştirdiğini söylüyor. Brussee’ye nazaran bilhassa yazılım geliştirme süreçlerinde yapay zekânın kullandığı tokenların kıymetli bir kısmı aslında kod üretmek yerine nezaket sözleri, açıklayıcı geçişler ve sohbet havası oluşturan cümleler için harcanıyor. Halbuki geliştiriciler açısından değerli olan teknik bilginin kendisi. Bu yüzden Caveman, kodlar, komutlar, evrak yolları, URL’ler, işlev isimleri ve sayısal bilgiler üzere hassas içeriklere dokunmadan sadece bu gereksiz lisanı sıkıştırıyor.

Caveman, Token Kullanımını Yüzde 75’e Kadar Azaltabiliyor

Yapılan testlere nazaran eklenti, kullanılan senaryoya bağlı olarak çıktı tokenlarını yaklaşık yüzde 65 ila yüzde 75 oranında azaltabiliyor. Üstelik Brussee, bunun sırf yapay zekâya “daha kısa karşılık ver” talimatı vermekten daha tesirli olduğunu söylüyor. Zira Caveman, modelin yalnızca daha kısa konuşmasını istemek yerine, hangi kısımların kısaltılabileceğini özel kurallarla belirliyor.

Eklenti ayrıyeten kullanıcıya şimdiye kadar kaç token tasarrufu sağladığını da gösteriyor. 404 Media tarafından yapılan testlerde Caveman’ın tek bir kullanım senaryosunda yaklaşık 5.800 token tasarrufu sağladığı ve toplam çıktı maliyetini yüzde 65 civarında düşürdüğü görüldü.

İşin dikkat cazibeli tarafı ise bu eklentinin yalnızca ferdî geliştiriciler tarafından kullanılmıyor olması. Brussee’nin aktardığına göre OpenAI, Nvidia ve GitHub bünyesinde çalışan kimi geliştiriciler de Caveman’ı kullanıyor veya test ediyor. Hatta OpenAI’da mühendislik yöneticisi olarak vazife yapan Shayne Sweeney’nin de projeye katkıda bulunduğu ve OpenAI’ın Codex aracı için takviye ekleyen kodları yazdığı görülüyor.

Son günlerde yapay zekâ kullanımına yönelik bu şekil kemer sıkma haberleri üst üste geliyor. Tüm bunlar, bu teknolojilerin ekonomik sürdürülebilirliğinin giderek daha değerli bir problem hâline geldiğini ortaya koyuyor. Artık AI’a yoğun biçimde bel bağlayan şirketler, her gereksiz sözün bile maliyet oluşturduğu yeni bir periyoda ahenk sağlamaya çalışıyor.

Kaynak : Donanimhaber