Alt dizinde robots.txt

Question

Ana etki alanının altındaki bir klasörde yer alan bir projem var ve etki alanının kendisinin köke erişemiyorum.

http://mydomain.com/myproject/ 

Ben

http://mydomain.com/myproject/forbidden/ 

ben sadece myproject klasöründe bir robots.txt koyabilir miyim "yasak" alt klasöründe üzerinde indeksleme izin vermemek istiyor? Kökte robots.txt olmasa bile okunacak mı?

Yasaklı klasörü engellemek için doğru sözdizimi nedir? robotstxt.org itibaren

User-agent: * 
Disallow: /forbidden/ 

veya

User-agent: * 
Disallow: forbidden/ 

Answer 1

:

o

kısa cevabı koymak: Web sunucunun en üst düzey dizinde.

uzun cevap:

robot URL için "/robots.txt" dosyasını arar

, bu URL (ilk tek eğik çizgi her şeyi) gelen yol bileşenini şeritler ve yerine "/robots.txt" koyar. Örneğin

, için /shop/index.html " http://www.example.com/shop/index.html, o kaldıracaktır "", ve ile değiştirin "/robots.txt" ve ile sona erecek" http://www.example.com/robots.txt".

Yani, bir web sitesi sahibi olarak bunu elde edilen URL çalışması için web sunucuda doğru yere koymak gerekir. Genellikle bu web sitesinin ana "endeksini koymak aynı yerde .html "hoşgeldiniz sayfası. tam olarak tha t, ve orada dosyayı koymak için web sunucunuza yazılım bağlıdır. "Robots.txt" değil "robots.txt

yüzden cevap koymak için sahip olmasıdır korkuyorum:

dosya için tüm küçük harf kullanmayı unutmayın. ikinci sorunuza ile ilgili olarak

:-(kök klasöründe, ben doğru sözdizimi eğik çizgi (örn. /forbidden/) ile başlayan biri olduğuna inanıyoruz.

Answer 2

Sen ne yazık ki olamaz. Robots.txt, yalnızca alanın kök dizinine gidebilir.

Belki de alan sahibine ricada bulunursanız lütfen mecbur olur mu?

ilk sözdizimi doğru sözdizimi, ancak etki alanının kökünden mutlak yol olması gerekir hatırlıyorum. Eğer kök yoksa

Answer 3

, siz "robot meta etiketi" kullanabilirsiniz.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

Answer 4

Aslında, ben hep 404 hatası neden bir alt klasörde robots.txt hakkında botlara çeşitli istekleri görebilirsiniz. Sadece bu botlara bazıları:

• Mozilla/5.0 (compatible; Uptimebot/1.0; + http://www.uptime.com/uptimebot)
• Mozilla/5.0 (compatible; Qwantify/2.2W; + https://www.qwant.com/)/ *
• Mozilla/5.0 (compatible ; bingbot/2.0; + http://www.bing.com/bingbot.htm)
• Mozilla/5.0 (uyumlu; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
• vb

Aptal 404 hatalar içeren hata günlüğü spam bu engellemek istiyorsanız 363.210

Yani, .htaccess yoluyla doğru yere bu istekleri yönlendirmek:

RewriteRule .+/robots.txt$ /robots.txt [R=301,L]