Wikipedia, AI Botları Yüzünden Artan Bant Genişliği ve Maliyetlerle Mücadele Ediyor

Wikipedia, AI patlamasının bedelini ödüyor: Çevrimiçi ansiklopedi, makalelerini tarayarak AI modellerini eğitmek için kullanılan botlar nedeniyle artan maliyetlerle karşı karşıya ve bu durum sitenin bant genişliğini zorluyor.

Salı günü, Wikipedia'yı barındıran kâr amacı gütmeyen kuruluş, "içeriğimiz için yapılan otomatik taleplerin katlanarak arttığını" belirtti. Bu durum, siteye erişimi kesintiye uğratabilir ve ansiklopedi sitesinin kapasitesini artırmasını zorunlu kılarak Wikipedia'nın veri merkezi faturalarını yükseltebilir.

Wikimedia Vakfı, "Altyapımız, yüksek ilgi gören olaylar sırasında insanlardan gelen ani trafik artışlarını sürdürebilecek şekilde inşa edildi, ancak tarayıcı botlar tarafından üretilen trafik miktarı benzersiz ve artan riskler ve maliyetler sunuyor." dedi.

Vakfın belirttiğine göre, "Ocak 2024'ten bu yana, multimedya içeriği indirmek için kullanılan bant genişliğinin %50 oranında arttığını gördük." Ancak trafik, insan okuyuculardan değil, sürekli olarak "AI modellerine görüntü sağlamak için açık lisanslı görüntüleri indiren" otomatik programlardan geliyor.

Bir diğer sorun ise botların genellikle daha az popüler olan Wikipedia makalelerinden veri toplaması. Vakıf, "Daha yakından incelediğimizde, sitenin toplam sayfa görüntülemelerinin yaklaşık %35'ini botlar oluştururken, kaynak tüketen trafiğin en az %65'inin botlardan geldiğini bulduk." dedi.

Botlar, sitenin kaynaklarını daha da zorlayarak "kod inceleme platformumuz veya hata izleyicimiz gibi geliştirici altyapımızdaki ana sistemleri" bile tarıyorlar. Bu duruma karşılık olarak, Wikipedia'nın site yöneticileri, sorunlu AI tarayıcıları için "duruma göre" hız sınırlamaları getirdi veya hatta onları yasakladı. Ancak uzun vadede sorunu çözmek için, Wikimedia Vakfı "Altyapının Sorumlu Kullanımı" planını geliştiriyor ve AI bot tarayıcılarından kaynaklanan ağ yükünün "sürdürülemez" olduğunu belirtiyor.

Vakıf, Wikipedia topluluğundan AI bot tarayıcılarından gelen trafiği belirleme ve erişimlerini filtreleme konusunda en iyi yollar hakkında geri bildirim toplamayı planlıyor. Bu, yüksek hacimli tarama ve API kullanımı için bot operatörlerinin kimlik doğrulama işlemlerinden geçmesini gerektirmeyi içeriyor. Vakıf, "İçeriğimiz ücretsiz, altyapımız değil: Sağlıklı bir dengeyi yeniden kurmak için şimdi harekete geçmeliyiz." diye ekledi.

Reddit, 2023 yılında benzer bir ikilemle karşı karşıya kaldı. Örneğin, Microsoft, Reddit'in içeriğini taradığını ve AI özellikleri için kullandığını Reddit'e bildirmedi. Daha sonra Reddit, Microsoft'un sitesini taramasını engelledi, bu durumu Reddit CEO'su Steve Huffman "gerçek bir baş belası" olarak nitelendirdi.

Reddit ayrıca üçüncü taraf geliştiricilerden API erişimi için ücret almaya karar verdi. Bu karar, geliştirici isyanına, subreddit karartmasına ve bazı popüler Reddit istemcilerinin kapatılmasına yol açtı.