ZoriaNews

Ne oldu?

Cloudflare, web sitesi sahiplerinin yapay zeka bot trafiğini daha ayrıntılı bir şekilde kontrol edebilmesi için yeni filtreleme seçenekleri kullanıma sunduğunu açıkladı. Geçtiğimiz yıl sunulan tek tuşla tüm yapay zeka botlarını engelleme özelliğinin ardından şirket, bu kez trafiği Arama (Search), Aracı/Asistan (Agent) ve Model Eğitimi (Training) olmak üzere üç temel kategoriye ayırdı. Ücretsiz dâhil tüm üyelik planlarındaki kullanıcılar artık bu bot türlerini ayrı ayrı engelleyebilecek veya bunlara izin verebilecek. Ayrıca Cloudflare, 15 Eylül 2026 tarihinden itibaren geçerli olmak üzere, reklam geliriyle desteklenen sayfalarda yapay zeka eğitim ve aracı botlarını varsayılan olarak engelleyeceğini, arama botlarını ise açık bırakacağını duyurdu. Bununla birlikte, hem arama hem eğitim amaçlı çalışan Googlebot, Applebot ve BingBot gibi çok amaçlı örümceklerin, eğer eğitim botları engellendiyse en kısıtlayıcı kural gereği tamamen engelleneceği belirtildi.

Neden önemli?

Yapay zeka modellerinin internetteki özgün içerikleri hiçbir atıf yapmadan veya sitelere trafik yönlendirmeden çekmesi (web scraping), yayıncıların ve web sitesi sahiplerinin iş modellerini uzun süredir tehdit ediyordu. Cloudflare'in getirdiği bu yeni sınıflandırma, "ya hep ya hiç" şeklindeki katı engelleme modellerine kıyasla web yöneticilerine daha pragmatik ve esnek bir denetim mekanizması sunuyor. Örneğin, sitenize ziyaretçi yönlendiren yapay zeka tabanlı arama motorlarına izin verirken, içeriğinizi tamamen emerek kendi veritabanına katan eğitim botlarını engelleyebiliyorsunuz.

Ayrıca şirketin sunduğu yeni "Content-Signal" (İçerik Sinyali) protokolü ve robots.txt dosyaları için geliştirilen `use` parametresi (kullanım sınırları: immediate, reference, full), web ekosisteminde yeni bir şeffaflık standardı yaratmayı amaçlıyor. Kurallara uymayan ve içeriği izinsizce bütünüyle yeniden üreten botların "Güvenilir Bot" statüsünü kaybedecek olması, bot geliştiricilerini sitelerin tercihlerine uymaya zorlayacak caydırıcı bir güç barındırıyor. Şirketlerin proxy servisleri arkasına saklanarak yaptıkları bot faaliyetlerini izlemek adına Forwarded (RFC 7239) başlığının kullanımı gibi deneysel adımlar da yapay zeka çağında internetin güven ve şeffaflık temelinde yeniden şekillenmesine katkı sağlayabilir.

Kim veya ne etkileniyor?

Bu yeni düzenleme öncelikle Cloudflare ağını kullanan milyonlarca web sitesini, özellikle de reklam gelirlerine bağımlı olan dijital yayıncıları ve küçük ölçekli blogları doğrudan etkiliyor. Diğer taraftan, Google (Googlebot), Microsoft (BingBot), Apple (Applebot) ve OpenAI gibi çok amaçlı örümcekler çalıştıran büyük yapay zeka şirketleri ve arama motorları bu yeni kuralların hedefinde yer alıyor. 15 Eylül 2026 tarihinden itibaren geçerli olacak yeni varsayılan ayarlar nedeniyle, eğer web yöneticileri ayarlarını güncellemezlerse, hem arama hem de model eğitme amacıyla kullanılan çok amaçlı tarayıcılar Cloudflare korumalı birçok sitede engellenecek; bu durum yapay zeka şirketlerinin veri toplama süreçlerini zorlaştırırken, web sitelerinin de geleneksel arama motorlarındaki görünürlüğünü geçici olarak etkileyebilir.

Ne yapılmalı?

Web sitesi sahipleri ve yöneticileri, 15 Eylül 2026’daki varsayılan ayar değişikliği yürürlüğe girmeden önce Cloudflare güvenlik panellerine giderek mevcut bot trafiği tercihlerini gözden geçirmelidir. Arama motorlarından gelen organik trafiği kaybetmek istemeyen ancak içeriklerinin yapay zeka modelleri tarafından eğitilmesini engellemek isteyen sitelerin, çok amaçlı botların engellenme durumunu kontrol etmeleri ve gerekirse istisna kuralları tanımlamaları kritik önem taşımaktadır. Ayrıca, robots.txt dosyalarındaki yeni `use` parametrelerini test ederek yapay zeka ajanlarına içeriklerini ne düzeyde saklayıp sunabileceklerini beyan etmeleri uzun vadeli içerik hakları koruması adına yararlı bir adım olacaktır.

Kaynaklar:
- Cloudflare Blog
- Cloudflare Developers
- Content Signals