Igaz robots.txt

Fájl robots.txt a fő fájl, amely leírja a feldolgozási szabályok oldalait a keresők. Ez a fájl megadásához szükséges, a primer oldalon név, honlap térkép (sitemap.xml), állami, mind a magán szakaszok a honlap.
Fájl robots.txt tartalmazza a következő irányelvek:

• User-agent Irányelv meghatározza, hogy mi a robot, a következő szabályok
• * - robotok
• Yandex — fő robot Yandex
• A Googlebot — Googlebot a fő
• StackRambler — a kereső Rambler
• Behúzni — Behúzni kereső
• Dohányzás, a Yahoo robot
• MSNBot az MSN robot
• Letiltja az Irányelv a tilalom része a helyszínen
• Lehetővé teszi — Irányelv lehetővé teszi, hogy a weboldal része
• Fogadó — Irányelv határozza meg az elsődleges oldal neve
• Oldaltérkép— Irányelv, útmutató a honlap térkép (sitemap.xml)
• Crawl-késleltetés Irányelv meghatározza, hogy hány másodpercig a robot is várja a választ az ügyfél (szükség erősen terhelt források, így a robot nem vette figyelembe, hogy az oldal nem elérhető)
• Tiszta-param Irányelv leírja a dinamikus paraméterek nem érinti a tartalom a honlapon

Помимо директив в robots.txt используются спец символы:

• * - lubi (beleértve üres) karaktersor
• dollár — az elévülési szabályok

Összeállítása robots.txt használja a fenti irányelvek, valamint énekelt a karakterek a következők szerint:

• Megadja a nevét, a robot, ami meg van írva, szabályok
  (User-agent: * - a szabály minden robotok)
• A varázslat egy listát a tiltott szakaszok a honlap a megadott robot
  ( Disallow: / - megakadályozza az indexelés az egész oldalon)
• A varázslat egy lista az engedélyezett szakaszok a honlap
  (Lehetővé teszi,: /home/ — partíció haza megengedett)
• Megadja a nevét, a honlapon
  (Házigazda: crazysquirrel.ru — a fő a webhely neve crazysquirrel.ru)
• Meghatározza az abszolút elérési út a fájlhoz sitemap.xml
  (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Ha a webhely nem tiltott témák, robots.txt legalább 4 sor:

Ellenőrizze robots.txt hogyan befolyásolja az indexelés a honlap használatával eszközök Yandex