llms.txt-generátor: a robots.txt-blokkot is megkapod
Kitöltöd, megkapod — és mindkét fájl úgy készül el, hogy a leggyakoribb robots.txt-hibát eleve elkerüli.
Semmi nem hagyja el a böngésződet Amit ide beírsz, nem megy sehova: nincs szerverhívás, nincs analitika, nincs mentés. A fájlok a te gépeden állnak össze, és csak akkor mentődnek a gépedre, ha rákattintasz a letöltésre.
Az llms.txt egy Markdown-fájl a domain gyökerében, amely megmutatja, melyek a webhely legfontosabb oldalai, és egy mondatban azt is, miről szólnak. Az űrlap ebből állítja elő a fájlt, a helyes szerkezettel: cím, egymondatos összefoglaló, majd linkek leírással. Emellé készít egy robots.txt-blokkot is a nevesített AI-crawlerekre — mert a két fájl mást csinál, és a legtöbb zavar abból ered, hogy összekeverik őket: az llms.txt tájékoztat, a robots.txt szabályoz.
Soronként egy: URL — leírás. A leírás a fájl lényege, ne hagyd el.
Teljes útvonalat írj, ne mintát. A csillagot a generátor kiszedi, mert a robots.txt-ben a csillag a perjelen is átlép, és többet tilt, mint szeretnéd.
Add meg a cégnevet és legalább egy URL-t, és itt jelennek meg a fájlok.
Mire figyelj a kész fájloknál
A leírás mezőt ne hagyd üresen, és ne a címet ismételd benne: a linklista önmagában nem ad többet, mint a sitemap; a fájl értéke a leírásokban van. A kizárásoknál pedig teljes útvonalat írj, ne mintát: a generátor szándékosan kiszedi a csillagot, ha beírsz egyet. Ennek oka van: a robots.txt-ben a csillag átlépi a perjelet, tehát egy „/*/titkos” alakú tiltás a „/hu/termekek/titkos” lapot is megfogja. Ez a hiba nálunk élesben előfordult, és négy valós termékoldalt zárt el minden AI-crawler elől.
llms.txt-generátor — gyakori kérdések
4 kérdés, ami az eszköz használata közben a leggyakrabban felmerül.
Elmentitek, amit beírok?
Nem. Nincs szerverhívás és nincs analitika ezen az oldalon: a fájlok a böngésződben állnak össze, és csak akkor mentődnek a gépedre, ha letöltöd őket. Ez a forráskódból ellenőrizhető.
Miért generáltok robots.txt-blokkot is?
Mert a két fájlt rendszeresen összekeverik. Az llms.txt tájékoztat: megmondja, mi a fontos. A robots.txt szabályoz: megmondja, mit szabad lekérni. Ha kizárnál valamit a gyűjtésből, azt csak a robots.txt tudja, az llms.txt nem.
Miért veszitek ki a csillagot a kizárásokból?
Mert a robots.txt-ben a csillag átlépi a perjelet, így egy mintás tiltás sokkal többet fog meg, mint amire szánták. Ez nálunk élesben megtörtént: négy valós termékoldal esett ki minden AI-crawler elől egy ilyen minta miatt. Teljes útvonalat írj inkább.
Elég ez a fájl önmagában?
Nem. Az llms.txt hasznossága ma nem bizonyított, és semmiképp nem helyettesíti a sitemapet vagy a rendes bejárhatóságot. Ha választanod kell, előbb azt tedd rendbe, amit a gyűjtők dokumentáltan használnak — a robots.txt-receptünk és az ellenőrzőlista ebben visz végig.