WordPress için Robots.txt kullanımı, özellikle arama motoru optimizasyonu yapan kişiler için oldukça önem teşkil etmektedir. Kısaca açıklamak gerekirse Robots.txt, bir web sitesi sahibinin arama motoru botlarına, web sitesinde nasıl gezinileceğini ve dizine ekleneceğini anlatmak için oluşturacakları bir metin dosyasıdır. Robots.txt dosyası, genellikle web sitenin ana klasörü olarak da bilinen kök dizini içinde kendine yer bulmaktadır.

Yeni bir web sitesi hazırladığınızda, arama motoru robotlarının bu siteyi tarama yapıp sitede yer alan sayfaların bir haritasını oluşturması gerekmektedir. Bu sayede internet kullanıcıları, anahtar kelime üzerinden arama motorunda araştırma yaptığında, robotlar bu kişiye web sitelerinden taradıkları bilgiler doğrultusunda hangi sayfaları sonuç olarak göstereceklerini belirleyebilmektedir.

WordPress İçin Robots.txt Dosyası

wordpress için robots.txt dosyası

WordPress tabanlı web siteleri için Robots.txt dosyası, çoğu web sitesi sahibinin ihtiyaç duyduğu bir veridir. Eğer web sitenizde hazırlanmış Robots.txt dosyası yoksa, bu durumda arama motorları yine de web sitenizi tarar ve dizine ekler. Fakat bu tür durumlarda arama motorlarına hangi sayfaları veya klasörleri taramaması gerektiğini söyleyemezseniz.

Örnek olarak bir blog sitesi oluşturduğunuzda ve ilk kez blog yazmaya başladığınızda, sitenizde çok fazla içeriğiniz olmadığı için bu durumda Robots.txt dosyasına çok gerek duymayabilirsiniz. Öte yandan web siteniz büyüdükçe ve blog üzerinden çok fazla içerik yayınladıkça,, arama motorunun web sitenizi nasıl taradığı ve dizine eklediği konusunda kontrol sahibi olmak istemeniz gayet doğaldır.

Google arama motoru botlarının, bütün web siteleri için tarama kotası vardır. Bu kota, bir gezinme oturumu sırasında botların, blog sitesinde bulunan bütün sayfaları değil de belirli sayıda sayfaları tarayıp dizine eklediği anlamına gelmektedir. Botlar bir gezinme oturumunda sitenizdeki tüm sayfaları taramayı tamamlamazsa, bir sonraki oturumda geri dönüp kaldıkları yerden taramaya devam ederler. Bu durum da web sitenizin indexlenme oranında yavaşlamalara ve sitenizin rakiplerinizden geri kalmasına sebep olabilir.

WordPress için En İdeal Robots.txt Doyası Nasıl Olmalı?

En kullanışlı Robots.txt dosyası özellikleri ile standartların dışında olması gerekmektedir. Günümüzde internet dünyasında pek çok popüler blog ve e-ticaret sitesi, gayet kullanışlı ancak çok basit olan bir Robots.txt dosyası kullanmaktadır. Bu dosyanın içeriği, belirli sitelerin kendi gereksinimlerine göre değişiklik gösterebilmektedir. Tüm arama motoru botlarının, web sitenizdeki bütün içerikleri indexlemesini sağlayan ve web sitenizin XML site haritalarına bağlantı veren ideal Robots.txt dosyası şu şekildedir:

  • User-Agent: *
  • Allow: /wp-content/uploads/
  • Disallow: /wp-content/plugins/
  • Disallow: /wp-admin/
  • Disallow: /readme.html
  • Disallow: /refer/
  • Sitemap: http://www.siteadi.com/post-sitemap.xml
  • Sitemap: http://www.siteadi.com/page-sitemap.xml

Bu Robots.txt dosyası, arama motoru botlarına WordPress tabanlı web sitesinde bulunan tüm resimleri ve dosyaları indexlemesini söylemektedir. Arama motoru botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress beni oku dosyasını ve bağlı kuruluş dosyalarını indexlemesini engellediği için avantajlı olmaktadır. Robots.txt dosyasına site haritaları ekleyerek, Google arama motoru botlarının sitenizde bulunan önemli bütün sayfaları kolaylıkla bulmasını sağlayabilirsiniz.

WordPress Robots.txt Dosyası Nasıl Oluşturulur?

WordPress için Robots.txt dosyası oluşturma, sanıldığından çok daha basit bir işlemdir. Robots.txt dosyası oluşturmanın bilinen iki yolu bulunmaktadır. FTP ile Robots.txt dosyasını direkt olarak düzenlemeniz mümkündür. Bunun için Yoast SEO eklentisi kullanıyorsanız, Robots.txt dosyası dosya üretici de araçlar kısmında eklenti içinde Robots.txt dosyası da yer almaktadır. Bunun için WordPress panelinizde;

  • SEO >
  • Araçlar >
  • Dosya düzenleyici

basamaklarını geçmeniz yeterlidir. Bir Robots.txt dosyası dosyanız bulunmuyorsa Yoast SEO bu sayfadan otomatik olarak oluşturabilmektedir. Tüm işlemlerden sonra değişiklikleri saklamak için “Robots.txt dosyasını kaydet” butonuna tıklamanız gerekmektedir.

Bir cevap yazın