llms.txt generátor — a fájl és a robots.txt blokk egy lépésben
Kitöltöd, megkapod, és mindkét kimenet olyan alakban jön, ami nem hordozza a leggyakoribb robots.txt hibát.
Nem hagyja el a böngésződ. Amit ide beírsz, nem megy sehova: nincs szerverhívás, nincs analitika, nincs mentés. A fájlok a te gépeden állnak össze, és csak akkor kerülnek lemezre, ha te kattintasz a letöltésre.
Az llms.txt egy Markdown-fájl a domain gyökerében, ami megmutatja, mik a site legfontosabb oldalai és egy mondatban miről szólnak. Az űrlap ebből állítja elő a fájlt, a helyes szerkezettel: cím, egymondatos összefoglaló, majd linkek leírással. Emellé generál egy robots.txt blokkot is a nevesített AI-crawlerekre — mert a két fájl más dolgot csinál, és a legtöbb zavar abból ered, hogy összekeverik őket: az llms.txt tájékoztat, a robots.txt szabályoz.
Soronként egy: URL — leírás. A leírás a fájl lényege, ne hagyd el.
Teljes útvonalat írj, ne mintát. A csillagot a generátor kiszedi — a robots.txt-ben átlépi a perjelet.
Add meg a cégnevet és legalább egy URL-t, és itt jelennek meg a fájlok.
Mire figyelj a kimenetnél
A leírás mezőt ne hagyd üresen és ne a cím parafrázisa legyen: a linklista önmagában nem ad többet, mint a sitemap, a fájl értéke a leírásokban van. A kizárásoknál pedig teljes útvonalat írj, ne mintát — a generátor szándékosan kiszedi a csillagot, ha beírsz egyet. Ennek oka van: a robots.txt-ben a csillag ÁTLÉPI a perjelet, tehát egy „/*/titkos” alakú tiltás a „/hu/termekek/titkos” lapot is megfogja. Ez a hiba nálunk élesben előfordult, és négy valós termékoldalt zárt el minden AI-crawler elől.
Gyakori kérdések
- Elmentitek, amit beírok?
- Nem. Nincs szerverhívás és nincs analitika ezen az oldalon: a fájlok a böngésződben állnak össze, és csak akkor kerülnek lemezre, ha letöltöd őket. Ez a forráskódból ellenőrizhető.
- Miért generáltok robots.txt blokkot is?
- Mert a két fájlt rendszeresen összekeverik. Az llms.txt tájékoztat — megmondja, mi a fontos; a robots.txt szabályoz — megmondja, mit szabad lekérni. Ha kizárnál valamit a gyűjtésből, azt csak a robots.txt tudja, az llms.txt nem.
- Miért veszitek ki a csillagot a kizárásokból?
- Mert a robots.txt-ben a csillag átlépi a perjelet, így egy mintás tiltás sokkal többet fog meg, mint amire szánták. Ez nálunk élesben megtörtént: négy valós termékoldal esett ki minden AI-crawler elől egy ilyen minta miatt. Teljes útvonalat írj inkább.
- Elég ez a fájl önmagában?
- Nem. Az llms.txt hasznossága ma nem bizonyított, és semmiképp nem helyettesíti a sitemapet vagy a rendes bejárhatóságot. Ha választanod kell, előbb azt tedd rendbe, amit a gyűjtők dokumentáltan használnak.