A robots.txt egy szöveges fájl a weboldal gyökerében, amelyet weboldal tulajdonosa létrehozhat annak érdekében, hogy a keresőrobotokkal kommunikáljon. A robots.txt fájl információkat tartalmaz arról, hogy melyik tartalom a keresőmotorok számára látható, illetve mely tartalmakat nem szeretnénk feltérképezni és ezáltal indexelni. Az így létrehozott robots.txt fájl az első dokumentum, amelyet a keresőmotorok általánosan letöltenek amikor meglátogatják az adott weboldalt.

A robots.txt fájl hasznos eszköz az oldal tulajdonosainak, mivel lehetővé teszi a keresőmotoroknak, hogy jobban megértsék, hogy mely oldalak számára legyenek feltérképezve, és mely oldalakat hagyjanak figyelmen kívül.

A robots.txt a feltérképezési költségkeret optimalizálására is szolgál, mert korlátozza a keresőmotor oldallátogatásának számát a webhely böngészése során. A lényeg az, hogy mivel a keresőkben sincs korlátlan erőforrás, ezért szükségük van valamilyen rendszerre. Itt két tényező kell figyelmebe vennünk: a feltérképezési korlátot és a feltérképezési igényt.

Azonban fontos megjegyezni, hogy a robots.txt fájl nem teljesen megbízható eszköz, és a keresőmotorokat nem lehet minden esetben megakadályozni az oldal tartalmának indexelésében. A legtöbb keresőmotor együttműködik a robots.txt fájllal, de ha valami miatt az oldal tulajdonosa nem szeretné, hogy az adott tartalom nyilvános legyen, akkor azon kívül is alkalmazni kell megfelelő védelmi intézkedéseket, mint például a jelszóval védett oldalak vagy az erős hitelesítési folyamatok.

 

Példa a robots.txt felépítésére

Az alábbi példában egy webshop robots.txt fájl tartalma, ahol többek között tiltjuk a kosár tartalmát, regisztrációs oldalakat, profil oldalakat, különböző paraméterek mentén létrejött listaoldalakat és egyéb feltételek alapján létrejött oldalakat:

User-agent: *
Disallow: /admin/
Disallow: /script/
Disallow: /api/
Disallow: /action/
Disallow: /*?priceMax
Disallow: /*?priceMin
Disallow: /*?parameterId
Disallow: /*?order
Disallow : /*?availabilityId
Disallow: /*?manufacturerId
Disallow: /*?stock
Disallow: /*?pv*=*,
Disallow: /*&pv*=*,
Disallow: /*?pv*=*&pv*=
Disallow: /*&pv*=*&pv*=
Disallow: /*:*,*/
Disallow: /*?currency=
Disallow: /*/?backTo=
Disallow: /*?dd=*,
Disallow: /*&dd=*,
Disallow: /*?dd=*&pv*=
Disallow: /*?pv*=*&dd=
Disallow: /kereses/
Disallow: /kosar/
Disallow: /login/
Disallow: /regisztracio/
Disallow: /client/forget-password/
Disallow: /affiliate-registration/
Disallow: /affiliate-forget-password/
Disallow: /*:discussion
Disallow: /*:question
Disallow: /*:watch-price
Disallow: /*:rating
Disallow: /*:wysiwyg

Sitemap: https://www.abcd.hu/sitemap.xml

Minden szerkesztői rendszer vagy weboldal más felépítést használ, és a Robots.txt-nek mindenképp az adott sturktúrához kell igazodnia.  A robots.txt konfiguráció segít abban, hogy a feltérképező költségkeretet ne használjuk szükségtelenül, és a robotok azokra az oldalakra tudjanak összpontosítani, amelyek hozzáadott értéket képviselnek, és amelyekre szeretnénk jobb eredményeket elérni a lehető leghamarabb.

Egy rosszul konfigurált robots.txt a fontos oldalak böngészésének blokkolásához vezethet, de megléte nem közvetlen rangsorolási tényező

 

 

Mi az a robots.txt fájl?

A robots.txt egy egyszerű szöveges fájl, amely a weboldal gyökérkönyvtárában található, és utasításokat ad a keresőmotorok robotjainak arról, hogy mely oldalakat indexeljék és melyeket nem.

Miért fontos a robots.txt fájl a weboldalon?

A robots.txt segít a keresőmotoroknak megérteni, hogy weboldalad mely részeit látogathatják és indexelhetik. Ezáltal optimalizálhatod a keresőmotor-indexelést és védheted a bizalmas tartalmakat.

Hogyan kell létrehozni egy robots.txt fájlt?

A robots.txt fájl bármely szövegszerkesztővel létrehozható. A fájlnak a weboldal gyökérkönyvtárába kell kerülnie (pl. www.sajatweboldal.hu/robots.txt), és speciális szintaxist kell követnie az utasítások megadásához.

Mi történik, ha nincs robots.txt fájl?

Ha nincs robots.txt fájl, a keresőmotorok alapértelmezetten minden nyilvános oldalt megpróbálnak indexelni. Ez nem feltétlenül probléma, de elveszik a lehetőség a keresőrobotok viselkedésének finomhangolására.

A robots.txt garantálja az oldalak védelmét?

Nem, a robots.txt csak egy útmutató a keresőrobotoknak, nem egy biztonsági eszköz. A rosszindulatú robotok figyelmen kívül hagyhatják az utasításokat, ezért bizalmas tartalom védelméhez további biztonsági intézkedésekre van szükség.