ZoriaNews

Ne oldu?

Yapılan yeni bir araştırmada, Allen Yapay Zeka Enstitüsü (Ai2) araştırmacıları, en güçlü 7 milyar parametreli standart Transformer modeli olan OLMo 3 ile benzer boyut ve eğitim verisine sahip hibrit mimarili OLMo Hybrid modelini karşı karşıya getirdi. Modellerin hangi tür "token"ları (metin birimlerini) tahmin etmede daha başarılı olduğunu inceleyen deneyler sonucunda; hibrit modelin isimler, fiiller ve sıfatlar gibi anlam taşıyan içerik kelimelerinde ve zamirlerin kime atıfta bulunduğunu anlamak gibi semantik bağlam gerektiren durumlarda Transformer'a kıyasla daha düşük kayıp (loss) oranıyla, yani daha yüksek başarıyla çalıştığı saptandı. Buna karşın, girdi metninde daha önce geçmiş bir kelimenin veya ifadenin aynen tekrarlanması (kopyalanması) ve kod bloklarındaki parantez eşleştirme gibi doğrudan referans aramaya dayalı işlemlerde standart Transformer modellerinin üstünlüğünü koruduğu gözlemlendi.

Neden önemli?

Bu bulgular, yapay zeka mimarilerinin geleceğini şekillendirmek açısından kritik bir öneme sahiptir. Yıllardır yapay zeka dünyasını domine eden standart Transformer modelleri, girdi metni uzadıkça işlem maliyetinin karesel olarak artması ($O(N^2)$) sorunuyla karşı karşıyadır; bu da uzun metinlerin işlenmesini son derece maliyetli ve yavaş hale getirmektedir. Dikkat (attention) katmanlarının yanına doğrusal zaman karmaşıklığına ($O(N)$) sahip yinelemeli (recurrent) katmanları ekleyen hibrit modeller ise bu maliyeti düşürmeyi vaat etmektedir. Yapılan çalışma, hibrit modellerin sadece maliyet avantajı sunmadığını, aynı zamanda durum takibi ve semantik bağlam kurma gibi bilişsel görevlerde Transformer'ları geçebildiğini somut verilerle kanıtlamaktadır.

Bununla birlikte, araştırma yapay zeka modellerinin değerlendirilme biçiminde de bir paradigma değişimine işaret etmektedir. Modelleri yalnızca genel bir ortalama kayıp (loss) metriğiyle değerlendirmek, farklı mimarilerin spesifik güçlü ve zayıf yönlerini gölgelemektedir. Ai2'nin önerdiği 'filtrelenmiş token kaybı' (filtered token loss) yöntemi, ön eğitim aşamasında modellerin kopyalama yeteneklerini veya içerik kelimelerindeki performansını ayrı ayrı izlemeye olanak tanıyarak daha verimli ve optimize edilmiş yapay zeka sistemlerinin geliştirilmesinin önünü açmaktadır.

Kim veya ne etkileniyor?

Bu gelişmeden en başta büyük dil modelleri geliştiren yapay zeka araştırmacıları, mühendisleri ve bu modelleri ticari ürünlerine entegre eden teknoloji şirketleri doğrudan etkilenmektedir. Özellikle uzun bağlamlı diyalog sistemleri, hikaye yazımı, müşteri hizmetleri botları gibi semantik tutarlılık gerektiren alanlarda çalışan geliştiriciler hibrit modellerle daha yüksek performans elde edebilirler. Öte yandan, hassas kod üretimi yapan yazılım araçları veya belgelerden birebir alıntı yapması gereken bilgi erişim (RAG) sistemleri, Transformer modellerinin kopyalama ve parantez eşleştirme yeteneklerine hala yüksek düzeyde ihtiyaç duymaktadır. Ayrıca, yapay zeka altyapısı sağlayan donanım üreticileri de hibrit modellerin getirdiği farklı bellek ve işlemci taleplerine göre gelecekteki optimizasyonlarını şekillendirecektir.

Ne yapılmalı?

Yapay zeka alanında çalışan geliştiricilerin ve araştırmacıların, model mimarilerini seçerken "tek beden herkese uyar" yaklaşımından kaçınmaları gerekmektedir. Kod üretimi veya tam eşleşmeli veri çekme gibi görevlerde dikkat mekanizmasının gücünden vazgeçilmemeli, ancak metin özetleme ve anlamlandırma odaklı projelerde hibrit mimarilere şans verilmelidir. Yeni nesil modeller tasarlanırken, dikkat katmanları ile yinelemeli katmanların hangi oranlarda ve nasıl bir sıralamayla birleştirileceği bu token tabanlı analizlere göre optimize edilmelidir. Ayrıca, ön eğitim (pretraining) süreçlerinde modellerin kabiliyetlerini erkenden görebilmek adına filtrelenmiş token kaybı analizlerinin standart bir değerlendirme adımı olarak benimsenmesi önerilmektedir.

**Kaynaklar:**
- https://huggingface.co/blog/allenai/hybrid-token-prediction
- https://arxiv.org/abs/2606.20936
- https://allenai.org/blog/olmohybrid