seo/robots-txt
The site serves a robots.txt. Reglen seo/robots-txt kører i site-scope med severity 'error' og indgår i teknisk seo-domænet sammen med 23 andre kontrakter i frameworket.
Hvorfor robots-txt findes
robots.txt is the crawler contract: without it every crawler guesses, and you cannot reference your sitemap. Gold standard: robots.txt exists, allows indexing of content pages, and points to the sitemap.
Sådan håndhæves robots-txt
Reglen robots-txt evalueres på hele sitets fakta-indeks på én gang, fordi kravet kun giver mening på tværs af sider — den enkelte side kan se perfekt ud, mens mønsteret er problemet. Fejler en side, får agenten en finding, hvor fix-instruktionen for robots-txt er formuleret som en konkret arbejdsordre med filnavne og målbare krav — aldrig et vagt råd. Severity 'error' betyder at et brud på robots-txt fejler hele verifikationen med exit-kode 1, så hverken CI eller en agent kan skibe sitet før fundet er rettet.
Domænet: teknisk seo
Reglerne i seo-domænet dækker det klassiske tekniske fundament: titler, beskrivelser, canonicals, struktureret data, sitemaps og URL-hygiejne. Det er her de fleste sites taber terræn — ikke på avancerede tricks, men på basale signaler der mangler eller modsiger hinanden på tværs af tusindvis af sider. Netop derfor hører robots-txt hjemme her: kravet kan afgøres maskinelt, og dermed kan det håndhæves i stedet for blot at blive anbefalet.
Test og fixtures
Som alle kontrakter i frameworket har seo/robots-txt en mutant-test, der beviser at reglen fejler, når kravet brydes — en regel uden en fejlende test er ikke en regel. Golden-fixturet beviser omvendt, at en fuldt compliant side består robots-txt sammen med de øvrige 85 regler, og denne demoside er selv underlagt hele kontrakten.
Relaterede regler
Tilbage til oversigten over alle 86 regler.