Googlebot, Robots.txt'ye saygı göstermiyor

Question

Herhangi bir nedenle robots.txt dosyanızın hangi URL'lerin engellendiğini görmek için Google Web Yöneticisi Aracı'nın "Analiz et robots.txt" adresini kontrol ettiğimde, beklediğim gibi değil. İşte dosyanın başından snippet'idir: komut klasöründe

Sitemap: http://[omitted]/sitemap_index.xml 

User-agent: Mediapartners-Google 
Disallow: /scripts 

User-agent: * 
Disallow: /scripts 
# list of articles given by the Content group 
Disallow: http://[omitted]/Living/books/book-review-not-stupid.aspx 
Disallow: http://[omitted]/Living/books/book-review-running-through-roadblocks-inspirational-stories-of-twenty-courageous-athletic-warriors.aspx 
Disallow: http://[omitted]/Living/sportsandrecreation/book-review-running-through-roadblocks-inspirational-stories-of-twenty-courageous-athletic-warriors.aspx 

şey doğru Googlebot'la Mediapartners-Google ikisi için engellenir. Googlebot Mediapartners-Google hattı 4. engellenirse Ve yine başka bir URL ikinci kullanıcı altında izin verilmeyen URL'ler dan koyarken komut satırından 7 engellenir diyor çünkü iki robotlar doğru yönergesini görüyoruz görebilirsiniz -ent yönergesi engellenmez! Benim yorum veya mutlak URL'ler öğelerden mahvediyorsun olmadığını merak ediyorum

...

Herhangi bir fikir takdir edilmektedir. Teşekkürler.

Answer 1

Göz ardı edilmelerinin nedeni, specification ürününün izin vermediği numaralı dosyada 3 girdilerinde tam URL'ye sahip olmanızdır. (Sadece göreceli yolları veya /) kullanarak mutlak yolları belirtmelisiniz. Aşağıdaki deneyin: önbelleğe alma gelince

Sitemap: /sitemap_index.xml 

User-agent: Mediapartners-Google 
Disallow: /scripts 

User-agent: * 
Disallow: /scripts 
# list of articles given by the Content group 
Disallow: /Living/books/book-review-not-stupid.aspx 
Disallow: /Living/books/book-review-running-through-roadblocks-inspirational-stories-of-twenty-courageous-athletic-warriors.aspx 
Disallow: /Living/sportsandrecreation/book-review-running-through-roadblocks-inspirational-stories-of-twenty-courageous-athletic-warriors.aspx 

, google robots.txt dosyasında ortalama her 24 saatte bir kopyasını geçmeye çalışır.

Answer 2

Bu değişikliği kısa bir süre önce robots.txt dosyanızda yaptınız mı? Benim durumumda bu google gerçekten uzun bir süre için o şeyi önbelleğe görünüyor.

Answer 3

En az bir hafta oldu ve Google en son 3 saat önce indirildiğini söylüyor, bu yüzden eminim yakın zamanda.

Answer 4

O mutlak URL'ler bu. robots.txt dosyasının yalnızca göreceli URI'ları içermesi gerekir; etki alanı, robots.txt dosyasının erişildiği etki alanına göre türetilir.