BOT Nedir? Yeni Başlayanlar için Web Tarama Botları Rehberi

BOT nedir?

Dünyada dijitalleşme yaygınlaşmaya başladığından beri artık birçok şeyi insanlar yapmıyor. Bilgisayar teknolojisi ve programlama dilleri ile gelişen dijital dünyada süreklilik arz eden ve hızlı tekrar isteyen bazı görevler BOT denilen yazılımlar sayesinde yapılıyor.

Fabrikalardaki robotlar gibi sürekli aynı işi yapan bu programlara robot kısaltması olarak BOT adı verilmiş. Biz bu yazıda görevlerine ve bağlı bulundukları kuruluşa göre değişik isimlerle tanımlanan BOT’lar arasından web tarama botları üzerinde duracağız.

Web Tarama BOT’ları

İnternette doğru, yanlış veya kopya bilgiler içeren o kadar çok web sitesi var ki bu kadar web sitesi arasından gerçekten doğru, yeni ve değerli içerik bulunduran web sitelerinin, kötü örnek olan diğerlerinden bir şekilde ayırt edilmesini sağlamak gerekiyor. İşte tam bu görev için geliştirilmiş yazılımlara web tarama botu diyoruz.

İnternetin Dünyayı Saran Ağ ( World Wide Web) olduğunu düşününce tüm interneti bu şekilde tarayan ve ağda gezen BOT’lar web örümceği (web spider) şeklinde de isimlendirilir.

BOT’ları Kim Ne Amaçla Organize Ediyor?

İnternet ilk yaygınlaştığı zaman o kadar web sitesi arasından insanların bilgiye nasıl ulaşacağı sorusu arama motorlarının oluşmasının yolunu açtı. İlk başlarda aramalar belli kurallara göre yapılırdı ve sonuçlar genelde aradığınız şeyle pek alakalı olmazdı.

O yıllarda otomatik tamamlama veya ‘Did You Mean….? ‘ diye bir şey de yoktu. Tabi her şeyde olduğu gibi arama motorlarında yapay zeka kullanımının artması nedeniyle işler inanılmaz bir hal aldı.

Arama motorları, kendi kullanıcılarına en iyi deneyimi sağlamak için, yapılan aramayı en yakın, en doğru ve en değerli bilgi ile cevaplamak ister. Kullanıcı ilk birkaç linkte aradığını bulmalıdır. Peki bunu nasıl yaparlar? Cevabımız BOT’ lar olacaktır.

 Botlar Tarama İşini Nasıl Yapar?

BOT’lar her arama motorunda farklı olmakla birlikte, o arama motorunun geliştirdiği algoritmalara göre belirlenen kurallarda ve sıklıkta sürekli olarak web sitelerini gezerler.

Her ziyarette o web sitesinde daha önceki ziyaretinden farklı bir şey var mı, web sitesinde çalışmayan bir link veya sayfa var mı, içerikte kullanıcıların arayacağı bilgilere uygun hangi anahtar kelimeler var, link verdiği yani referans olduğu başka site var mı, web sitesinin yapısı nasıl gibi ve daha birçok kritere bakar.

Yapısı derken web sitesinin mimarisi, menülerinin dağılımı ve içeriklerine göre siteyi tarar. Bunu yapmasının amacı bir daha yapacağı ziyarette neyi nerede bulacağını bilerek hızlı hareket edebilmektir.

Web Tarama BOT Çeşitleri

Dediğimiz gibi BOT’ların arama ve tarama kriterlerine ait kurallar her arama motorunda değişiklik gösterebilir. Şimdi en çok bilinenden başlayarak arama motorları BOT’larını tanıyalım.

GoogleBOT

Google tarafından geliştirilen BOT en ünlüsüdür. Google kendi dizinindeki verilerin tamamını bu BOT’lar sayesinde oluşturur. Web sitelerinin içeriği, kodları, diğer web siteleri ile linkler yoluyla bağlantısı gibi birçok konuyu sürekli tarar.

GoogleBOT sıralaması değişken olmakla birlikte sizin Google aramalarında listelenmeniz için bilgilerinizin Google indeksine indirilmesini sağlar. Web sitenize sıklıkla yeni bilgi veri, foto, video yüklüyorsanız GoogleBOT da sizi sıklıkla ziyaret eder.

İki çeşidi vardır, ‘Derin Bot’ ( Deepbot ) ve ‘Yenileyici Bot‘ ( Freshbot ).

Deepbot ( Derin Bot ), webteki tüm siteleri ve bağlantıları incelemeye çalışır ve web sitelerini Google indeksine indirmekle görevlidir, ayda bir kez bu işlemi yapmaya çalışır.

Freshbot ( Yenileyici Bot ) ise webteki yenilenmiş sayfaları tarar değişiklik ve yenilikleri algılar ve sadece o bilgilerin indekslenmesini sağlar. Sıklıkla yeni bilgi girilen web sitelerini daha sık ziyaret eder.

GoogleBOT’un sitenizi sevmesini, sürekli ve sıklıkla ziyaret etmesini istiyorsanız onun dikkatini çekmelisiniz.

 Bir de pingleme denilen bir işlem vardır. Google’a web siteniz üzerinden ping atarak dikkatini çekersiniz ve googlebot ziyarete gelir. Bu işlemi gereksiz bir şekilde ve sık sık yaparsanız Google sizi indekslemekten vazgeçebilir.

Yeni bir web sitesi oluşturduysanız sitenizi indekslemesini sağlayacak kodları web sitenize eklemelisiniz. Nasıl yapıldığıyla ilgili detaylı bilgiye buradan ulaşabilirsiniz.

Neredeyse tüm arama motorları için geçerli olan bir kural daha var. O da robots.txt dosyası ile web sitenizin hangi kısımlarının taranabileceğinin BOT’a tanımlanması.

GoogleBOT sitenizi ziyaretinde dizininiz içinde robots.txt dosyası olup olmadığını da tarayacaktır. Bu dosyada belirtmediyseniz tüm dizinlerinizi tarar.

Siz de indekslenmesini istemediğiniz ve yayınlamak istemediğiniz sayfalar veya dosyalar varsa, bu robots.txt dosyası içinde ekleyeceğiniz kodlar yardımıyla kendi kurallarınızı oluşturabilirsiniz.

Ayrıca, örneğin yeni içerikleri girdiğiniz belirli bir zaman dilimi varsa sadece belirli saatlerde ziyaret etmelerini sağlayabilirsiniz.

Bu kodları nasıl yapacağınızı ilgili yazıda bulabilirsiniz.

HTML tarafında Meta Tag’ları ile ve sunucu tarafında ise Header üst bilgisi ile arama motoru botlarına nasıl davranmaları gerektiğine dair kurallar belirlenebilir.

BingBOT

Microsoft’un geliştirdiği web tarama botudur. Eski adıyla MSNbot daha sonra 2009 yılında BİNG arama motorunun oluşturulmasıyla Bingbot olarak isimlendirilmiştir.

Bing 2009 temmuzdan beri Yahoo arama motoru sonuçlarıyla da çalışmaktadır. Bing arama motorunun dizinlerine web sitenizi eklemek istiyorsanız aynı şekilde Bingbot için de ayarlamalar yapmalısınız.

BingBot için nasıl ayarlama yapacağınız ile ilgili detaylı bilgiye buradan ulaşabilirsiniz. Bu sayfada webmasterlar için Google Search Console gibi çeşitli ve kullanışlı araçları bulabilirsiniz.

BaiduSpider

Çin kısmi olarak dışarı kapalı olan ve sıkı kurallarla yönetilen bir ülke. Ticaret yapmak için dışarıyla ilişkiler kuruyor olsa da kendi halkı için çeşitli kısıtlamaları var.

Google veya benzeri arama motorlarına Çin’deki bir lokasyondan bağlanmak mümkün değil. Bu yüzden Çin Halkının arama yapabileceği baidu.com adlı yerel bir arama motoru üretilmiş.

Bu arama motorunu Çin’de milyarlarca insan kullanıyor. Çin’in nüfusu göze alındığı zaman normal bir durum aslında. Bu ülkede tanıtım yapmak veya Çin’deki pazarlara ulaşmak istiyorsanız BaiduSpider ayarlamalarını yapmalı yani web sitenizi Baiduspider botuna tanıtmalısınız.

Çin’den ziyaretçi almanız tabi ki mümkün, ancak burada dikkat etmeniz gereken bir şey var. Web siteniz ÇİN’ deki bir sunucuda değilse arama sonuçlarında üst sıralarda olmanız düşük ihtimaldir.

Eğer orası ile ticaret hedefiniz varsa sadece o pazarla ilgiliyseniz oradaki sunucularda web sitesi oluşturmak daha mantıklı olacaktır.

BaiduSpider her arama için farklı versiyonlara sahip.

• Web/ Mobil aramalar          BaiduSpider
• Görsel aramaları                   Baiduspider-image
• Video aramaları                    Baiduspider-video
• Haber aramaları                   Baiduspider-news
• İş dünyası aramaları            Baiduspider-ads
• Yer aramaları                         Baidu-favo
• Birlik, dernek vs aramaları Baidu-cpro

BOT engelleme kuralları diğerlerinde olduğu gibi robots.txt dosyasına yazılacak kurallarla olabilmektedir.

Baidubot’ un  Web / Mobil indekslemesini engellemek için:

User-agent: Baiduspider

Disallow: /

Baidunun video indekslemesini engellemek için:

User-agent: Baiduspider-video

Disallow: /

Baidunun resim indekslemesini engellemek için:

User-agent: Baiduspider-image

Disallow: /

Komutlarını kullanmalısınız.

YandexBOT

Malumunuz üzere Yandex arama motoruna ait BOT’a verilen isimdir. Rusya’da kurulan ve Rusyada %60 Pazar hakimiyetine ulaşan Yandex daha sonra birçok ülkede ofis açarak o ülkelere yatırım yapmaya başladı.

Ülkemizde de bir süre önce ofis açan ve yandex haritalar ve navigasyon uygulamasıyla adını duyuran Yandex, halkımız tarafından sevildi ancak istenilen etkiye bir türlü ulaşamadı.

Bu arama motoruna ait YandexBot için oluşturulmuş birçok versiyon mevcut. Yine bu arama motoru da benzer kurallar koyularak indekslemede sınırlandırılabiliyor ama tamamen değil.

Snapshot almak, mail indekslemek, domain, haberler, video, resim, takvim, reklam, preview denilen ön gösterim vs olmak üzere çok sayıda bot türevi oluşturulmuş.

AppleBOT

Apple tarafından Siri ve spotlight önerileri için geliştirilmiştir. Apple’ın bu servislerine dair hedefleriniz varsa web sitenizi Applebot’a tanıtıp ayarlamalarınızı yapmalısınız. Konu ile ilgili tüm detaylara buradan ulaşmanız mümkündür.

Her ne kadar Apple Botun sadece Siri ve Spotlight önerilerinde kullanılacağını söylese de bir takım farklı söylentiler de mevcut. Bu söylentilerin nedeni de yakın zamanda AppleBot ziyaretlerinde meydana gelen ciddi trafik artışı. Aynı zamanda robots.txt kurallarında da yeni düzenlemelere gidilmiş.

 Bu haberlere dayanarak bazı webmasterlar Apple tarafından bir arama motoru oluşturulma ihtimalini konuşmaya başladılar. Apple ise daha çok gizlilik ilkesiyle botlarını kullandığını belirtiyor.

Size en çok bilinen BOT‘lar üzerine bilgiler vermeye çalıştık, umarım makalemiz yararlı olmuştur. Sağlıcakla kalın.