Google ve diğer arama motorları, kullanıcılarına en doğru sonuçları en hızlı şekilde sunmayı amaçlar. Bu arama motorlarına ait olan ve bot olarak adlandırdığımız yazılımlar da web sayfalarını tarayarak kullanıcılara sunmak üzere dizinlerine eklerler. Fakat bazı sayfalarımızın arama motoru botları tarafından taranmasını ve dizine eklenmesini tercih etmeyebiliriz. Bu gibi durumlarda robots.txt olarak adlandırdığımız basit bir metin dosyası bize yardımcı olabilir.
Robots.txt Dosyası Nedir?
Arama motoru botlarına bazı direktiflerin verildiği ve genellikle hangi sayfalara erişebileceklerinin ya da erişemeyeceklerinin bildirildiği metin dosyası robots.txt olarak adlandırılır. Bu dosya sayesinde bazı sayfalarımızın ya da sayfa gruplarımızın, hatta web sitemizin tamamının arama motoru botları tarafından taranmamasını sağlayabiliriz. Bazılarının “Bunu neden isteyeyim ki?” dediğini duyar gibiyim. Fakat bazı durumlarda robots.txt dosyasından yararlanarak sayfa ya da sayfalarımızı taramaya kapatmak çok mantıklı bir hareket olabilir.
Örneğin arama motoru botlarının erişmesini ve dizine eklemesini istemediğimiz bazı özel sayfalarımız olabilir. Ya da çok fazla sayıda web sayfasına sahip olduğumuz için arama motoru botlarının bize ayırdığı kaynağı, yani tarama bütçemizi daha doğru kullanmak isteyebiliriz. Böylece arama motoru botlarının daha önemli sayfalarımız ile ilgilenmesini sağlayabiliriz. Bu gibi özel durumlarda robots.txt dosyası bizim için hayat kurtarıcı olabilir.
Robots.txt Dosyası Neden Önemlidir?
Arama motoru botları web sitemizi ziyaret etmeden önce ilk olarak bu dosyayı inceler. Sonrasında bu dosyadaki komutlar ışığında web sayfalarımızı taramaya başlar. Bu nedenle robots.txt dosyası içerisindeki her bir komutun doğru olduğundan kesinlikle emin olmamız gerekiyor. Aksi takdirde web sitemizin tamamını ya da önemli bir bölümünü yanlışlıkla taramaya kapatmış olabiliriz. Bu durum SEO performansımız açısından büyük bir felakete yol açabilir.
Diğer senaryoda da tarama bütçemizi optimize etmek için robots.txt dosyası ile önemsiz sayfalarımızı taramaya kapatabiliriz. Bu durum da SEO performansımıza olumlu şekilde yansıyabilir. Çünkü arama motoru botlarının web sitemiz için ayırdığı kaynağı, gerçekten önemli sayfalarımız için harcamalarını sağlayabiliriz. İşte tam da bu nedenle robots.txt dosyası ve içerisinde yer alan komutlar bir web sitesi için oldukça önemlidir.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyasını oluşturmak için Notepad, TextEdit vs. gibi bir metin düzenleyici kullanabilirsiniz. Çünkü eğer gerekli komutları biliyorsanız ihtiyacınız olan tek şey “txt” uzantılı basit bir metin dosyasıdır.
Bu işlem için ücretsiz robots.txt oluşturma araçlarını da kullanabilirsiniz. Arama motorları üzerinde “robots.txt generator” şeklinde bir arama yaparak aşağıdaki örnek ekran görüntüsüne benzer araçlara ulaşabilirsiniz. Bu araçları kullanmak komutlarda hata yapma ihtimalinizi de azaltacaktır.
Önemli Robots.txt Komutları
Her robots.txt dosyasında görebileceğiniz bazı temel komutlar bulunuyor. Örnek bir robots.txt dosyasına, dosyada bulunan komutlarına ve anlamlarına aşağıdan ulaşabilirsiniz.
User-agent: Bu komut ile direktif vermek istediğimiz arama motoru botunu seçebiliriz. Aşağıda yer alan örnekteki “User-agent: * ” komutu, web sayfalarımızı tüm arama motoru botlarının taramasına izin vermemiz anlamına geliyor. Ayrıca “User-agent” komutunu birden fazla kere kullanarak farklı arama motoru botlarına farklı direktifler verebiliriz.
Allow: Bu komut ile arama motoru botlarının erişmesini istediğimiz web sayfalarını ya da sayfa gruplarını bildiriyoruz.
Disallow: Bu komut ile arama motoru botlarının erişmemesini istediğimiz web sayfalarını ya da sayfa gruplarını bildiriyoruz.
Sitemap: Bu komut ile arama motoru botlarına site haritasının adresini işaret ediyoruz.