Sitenizin Google, Yandex, Yahoo, Duckduckgo gibi arama motorları tarafından listelenmesini- indexlenmesini istemiyorsanız, robots.txt dosyasını düzenleyerek bu işlemi yapabilirsiniz. Peki nedir bu Robots dosyası ne işe yarar ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.
Sitenizin tüm sayfalarını Google aramalarından gizlemek istiyorsanız robots dosyanızı aşağıdaki gibi düzenleyebilirsiniz.
User-agent: Googlebot
Disallow: /seo
Aram motorlarının belirli dosyaları indexlemesini engellemek istiyorsanız aşağıdaki kodu kullanabilirsiniz. Örneğin jpg uzantılı resimlerin listelenmesini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*.jpg$
Sitenizin farklı sitelerde yayınlanan içeriklerini engellemek için aşağıdaki kodu kullanabilirsiniz. Örneğin: Benzer domain adresi gibi yayın yapan fakat içeriğinin sizinle bağlantısı olmayan birçok site için bu işlemi kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*?
Kaynağını bilmediğiniz sitelerin arama motorları tarafından listelenmesini engellemek için aşağıdaki işlemi yapabilrisiniz. siteadi.com/search/web adresini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /siteadi.com/search/web
Bunun haricinde index almasını engellemek istediğiniz tüm sayfaların <head> kodları arasına;
<meta name=”robots” content=”noindex, nofollow” /> Kodunu yapıştırarak bu sayfaların arama motorları tarafından index almasını tamamen kapatabilirsiniz.
Sitenizde bu işlemleri yaptıktan sonra, sayfalarınızın kaldırılması yaklaşık 1 hafta 10 gün arasında süre alacaktır. Eğer listelenmiş sayfalarınızın sayısı çok fazlaysa bu işlem daha da uzayabilir. İşlem için en mantıklı yöntem, sitenizi oluştururken en sonda kodlarını paylaştığımız nofollow komutlarını kullanmak olacaktır. Bunun haricindeki sorularınız için bizlere yorumlarınızı gönderebilirsiniz.
Sonrası Google’ın Sitemi İndexlemesini Nasıl Engellerim Ozengen ilk ortaya çıktı.