A robots.txt egy szöveges fájl a weboldal gyökerében, amelyet weboldal tulajdonosa létrehozhat annak érdekében, hogy a keresőrobotokkal kommunikáljon. A robots.txt fájl információkat tartalmaz arról, hogy melyik tartalom a keresőmotorok számára látható, illetve mely tartalmakat nem szeretnénk feltérképezni és ezáltal indexelni. Az így létrehozott robots.txt fájl az első dokumentum, amelyet a keresőmotorok általánosan letöltenek amikor meglátogatják az adott weboldalt.

A robots.txt fájl hasznos eszköz az oldal tulajdonosainak, mivel lehetővé teszi a keresőmotoroknak, hogy jobban megértsék, hogy mely oldalak számára legyenek feltérképezve, és mely oldalakat hagyjanak figyelmen kívül.

A robots.txt a feltérképezési költségkeret optimalizálására is szolgál, mert korlátozza a keresőmotor oldallátogatásának számát a webhely böngészése során. A lényeg az, hogy mivel a keresőkben sincs korlátlan erőforrás, ezért szükségük van valamilyen rendszerre. Itt két tényező kell figyelmebe vennünk: a feltérképezési korlátot és a feltérképezési igényt.

Azonban fontos megjegyezni, hogy a robots.txt fájl nem teljesen megbízható eszköz, és a keresőmotorokat nem lehet minden esetben megakadályozni az oldal tartalmának indexelésében. A legtöbb keresőmotor együttműködik a robots.txt fájllal, de ha valami miatt az oldal tulajdonosa nem szeretné, hogy az adott tartalom nyilvános legyen, akkor azon kívül is alkalmazni kell megfelelő védelmi intézkedéseket, mint például a jelszóval védett oldalak vagy az erős hitelesítési folyamatok.

 

Példa a robots.txt felépítésére

Az alábbi példában egy webshop robots.txt fájl tartalma, ahol többek között tiltjuk a kosár tartalmát, regisztrációs oldalakat, profil oldalakat, különböző paraméterek mentén létrejött listaoldalakat és egyéb feltételek alapján létrejött oldalakat:

User-agent: *
Disallow: /admin/
Disallow: /script/
Disallow: /api/
Disallow: /action/
Disallow: /*?priceMax
Disallow: /*?priceMin
Disallow: /*?parameterId
Disallow: /*?order
Disallow : /*?availabilityId
Disallow: /*?manufacturerId
Disallow: /*?stock
Disallow: /*?pv*=*,
Disallow: /*&pv*=*,
Disallow: /*?pv*=*&pv*=
Disallow: /*&pv*=*&pv*=
Disallow: /*:*,*/
Disallow: /*?currency=
Disallow: /*/?backTo=
Disallow: /*?dd=*,
Disallow: /*&dd=*,
Disallow: /*?dd=*&pv*=
Disallow: /*?pv*=*&dd=
Disallow: /kereses/
Disallow: /kosar/
Disallow: /login/
Disallow: /regisztracio/
Disallow: /client/forget-password/
Disallow: /affiliate-registration/

Disallow: /affiliate-forget-password/
Disallow: /*:discussion

Disallow: /*:question
Disallow: /*:watch-price
Disallow: /*:rating
Disallow: /*:wysiwyg

Sitemap: https://www.abcd.hu/sitemap.xml

Minden szerkesztői rendszer vagy weboldal más felépítést használ, és a Robots.txt-nek mindenképp az adott sturktúrához kell igazodnia.  A robots.txt konfiguráció segít abban, hogy a feltérképező költségkeretet ne használjuk szükségtelenül, és a robotok azokra az oldalakra tudjanak összpontosítani, amelyek hozzáadott értéket képviselnek, és amelyekre szeretnénk jobb eredményeket elérni a lehető leghamarabb.

Egy rosszul konfigurált robots.txt a fontos oldalak böngészésének blokkolásához vezethet, de megléte nem közvetlen rangsorolási tényező

 

 

Mi az a robots.txt fájl?

A robots.txt egy egyszerű szöveges fájl, amely a weboldal gyökérkönyvtárában található, és utasításokat ad a keresőmotorok robotjainak arról, hogy mely oldalakat indexeljék és melyeket nem.

Miért fontos a robots.txt fájl a weboldalon?

A robots.txt segít a keresőmotoroknak megérteni, hogy weboldalad mely részeit látogathatják és indexelhetik. Ezáltal optimalizálhatod a keresőmotor-indexelést és védheted a bizalmas tartalmakat.

Hogyan kell létrehozni egy robots.txt fájlt?

A robots.txt fájl bármely szövegszerkesztővel létrehozható. A fájlnak a weboldal gyökérkönyvtárába kell kerülnie (pl. www.sajatweboldal.hu/robots.txt), és speciális szintaxist kell követnie az utasítások megadásához.

Mi történik, ha nincs robots.txt fájl?

Ha nincs robots.txt fájl, a keresőmotorok alapértelmezetten minden nyilvános oldalt megpróbálnak indexelni. Ez nem feltétlenül probléma, de elveszik a lehetőség a keresőrobotok viselkedésének finomhangolására.

A robots.txt garantálja az oldalak védelmét?

Nem, a robots.txt csak egy útmutató a keresőrobotoknak, nem egy biztonsági eszköz. A rosszindulatú robotok figyelmen kívül hagyhatják az utasításokat, ezért bizalmas tartalom védelméhez további biztonsági intézkedésekre van szükség.

Vagy szeretné megtudni, hogyan alkalmazhatók ezek az elvek az Ön weboldalán?

30 perces szakértői konzultáció során átbeszéljük weboldala helyzetét és lehetőségeit

Kezdje ingyenes konzultációval!