1. Hafta: 8- Robot.txt

1. Robots.txt dosyaları hakkında bilgi edinme - Search Console Yardım
2. Robots.txt Nedir Robots.txt Nasıl Hazırlanır - Sem Sector Online Marketing
3. Robots.txt yapımı » SEO Hocası

Robots.txt ne için kullanılır?

Robots.txt esas olarak sitenizin tarayıcı trafiğini yönetmek, zaman zaman da bir sayfayı Google'ın dışında tutmak için kullanılır. 

robots etkileti: google ziyaret etsin

robottxt aynı şey

Örnek Kullanımı;

Sayfanın indexlenmesini istiyorsak;

<meta name="robots" content="index, follow" />

Sayfanın indexlenmesini istemiyorsak;

<meta name="robots" content="noindex,nofollow" />

WordPress'te Robots.txt Kodları Nereye Yazılacak?
WordPresste Robots.txt dosyaları seo eklentileri içinde gelmektedir.
Aşağıdaki görsellerde numaralı yerler takip edildiğinde ilgili alana ulaşılacaktır.

WordPress İçin En Uygun Robots.txt Kodları

User-agent: *

Disallow: /wp-admin/

Disallow: */comments/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-includes/

Disallow: /xmlrpc.php