Proč vás AI vyhledávače nenajdou (a jak to opravit)

Problém 1: robots.txt roboty nepustí dovnitř

Soubor robots.txt najdete na adrese vašeho webu s koncovkou /robots.txt. Říká robotům, kam smí. Když je v něm u některého AI robota řádek „Disallow: /“, máte ho zakázaného na celém webu.

Často to není ani vaše rozhodnutí. Některé hostingy a CDN služby mají přepínač, který AI roboty blokuje, nebo robots.txt upravují samy. Stojí za to podívat se do nastavení. Přesně tohle nás potkalo: externí audit našeho webu ukázal, že robots.txt zakazuje AI robotům přístup.

Oprava je jednoduchá. Do robots.txt napište „Allow: /“ pro všechny roboty a výslovně i pro ty AI. Pak zkontrolujte, že soubor na webu opravdu vypadá tak, jak jste ho napsali.

Problém 2: obsah je jen v JavaScriptu

Moderní weby se často skládají až v prohlížeči. Server pošle skoro prázdnou stránku a text do ní dopíše JavaScript. Člověk to nepozná, protože jeho prohlížeč JavaScript spustí.

Robot ale vidí jen tu prázdnou stránku. Google JavaScript spouštět umí. U AI robotů to platí jen výjimečně: měření společnosti Vercel z prosince 2024 (článek „The rise of the AI crawler“) ukázalo, že roboti OpenAI ani Anthropicu JavaScript nespouštějí. Takový web pro ně nemá žádný text.

Zkontrolujete to za minutu. Otevřete svůj web, klikněte pravým tlačítkem a zvolte „Zobrazit zdrojový kód stránky“. Když v kódu nenajdete svůj nadpis a texty, robot je nenajde také. Oprava je technická: web se musí předem vykreslit do hotového HTML. Na vlastním webu jsme přesně tohle udělali.

Problém 3: fakta si odporují

AI skládá odpověď z více stránek. Když na jedné píšete jedno číslo a na druhé jiné, model neví, čemu věřit, a raději vás nezmíní. Totéž platí pro služby, ceny nebo kontakty.

I tohle jsme řešili. Na našem webu byla čísla, která si odporovala. Dnes máme všechna fakta v jednom zdrojovém souboru, ze kterého berou všechny stránky. Když se něco změní, změní se to všude najednou.

Problém 4: AI nemá shrnutí na jednom místě

Pomůžou dvě věci. První jsou strukturovaná data (schema.org) přímo ve stránce. Řeknou strojům, jak se firma jmenuje, kde sídlí a co nabízí, a vyhledávače jim rozumějí.

Druhá je soubor llms.txt. Je to zatím jen návrh standardu (llmstxt.org), ne pravidlo, které všichni dodržují. Je to krátké shrnutí webu v obyčejném textu, které AI přečte snadněji než celé stránky. Nic nestojí a nic nepokazí.

Třetí věc je obyčejná: jasné texty. Napište na web přímo, co děláte, pro koho, kde působíte a kolik to zhruba stojí. AI pak nemusí nic domýšlet a nemá důvod vás vynechat.

Jak zjistit, co o vás AI ví

Nejjednodušší test: zeptejte se. Napište do ChatGPT, Perplexity nebo Claude „Co víš o firmě…“ a doplňte svůj název a město. Sledujte, jestli odpověď sedí a z jakých zdrojů vychází. Perplexity i ChatGPT s vyhledáváním zdroje u odpovědi ukazují.

Když AI cituje starý katalog firem nebo konkurenci, a ne váš web, je to znamení, že se k vašemu webu nedostala nebo mu nerozuměla. Po opravě to chvíli trvá. Roboti musí web znovu navštívit, a to se neděje každý den. Test proto po pár týdnech zopakujte.

Kontrolní seznam

• robots.txt povoluje všechny roboty včetně AI.
• Hosting ani CDN AI roboty neblokují.
• Ve zdrojovém kódu stránky je vidět váš text.
• Každá stránka má jeden hlavní nadpis a vlastní popis.
• Čísla, ceny a kontakty jsou všude stejné.
• Web má strukturovaná data, mapu webu a soubor llms.txt.

Co jsme udělali na vlastním webu

Povolili jsme všechny roboty, každou stránku předem vykreslujeme do HTML, doplnili jsme strukturovaná data a llms.txt a všechna fakta máme v jednom zdroji. Když chcete totéž pro svůj web, rádi ho projdeme na hovoru zdarma.