Jak mierzyć widoczność w LLM? Metryki, prompty, GA4 i logi serwera

Pomiar widoczności w modelach językowych różni się od klasycznego monitorowania pozycji w Google. Nie ma jednej listy wyników, którą każdy użytkownik zobaczy w identycznej kolejności. Odpowiedź może zależeć m.in. od modelu, sposobu sformułowania pytania, kontekstu rozmowy, języka czy tego, czy system korzysta w danym momencie z wyszukiwania w sieci.

Dlatego pojedyncza odpowiedź ChatGPT nie wystarczy, żeby stwierdzić, czy marka jest dobrze widoczna w AI. Potrzebna jest metodyka pozwalająca obserwować wyniki w czasie i wyciągać wnioski z większej liczby odpowiedzi.

Widoczność marki w LLM – co właściwie mierzymy?

W SEO widoczność można opisywać m.in. liczbą fraz w TOP3, TOP10 czy szacowanym ruchem organicznym. W przypadku LLM-ów sytuacja jest bardziej złożona, ponieważ odpowiedzi generatywne nie tworzą klasycznego rankingu stron.

Marka może pojawić się na kilka sposobów. Model może wymienić ją jako pierwszą rekomendację, umieścić wśród kilku alternatyw, wspomnieć dopiero pod koniec odpowiedzi albo wykorzystać treści z jej serwisu jako źródło bez wyraźnej rekomendacji samej firmy.

Dlatego widoczność marki w LLM warto mierzyć jednocześnie na kilku poziomach:

• czy marka pojawia się w odpowiedzi,
• jak często jest wymieniana,
• jak wypada na tle konkurentów,
• na której pozycji pojawia się w rekomendacji,
• w jakim kontekście model o niej mówi,
• czy odpowiedź zawiera link lub cytowanie prowadzące do jej domeny,
• czy użytkownicy faktycznie przechodzą z LLM-u na stronę.

Dopiero połączenie tych danych pokazuje, czy marka rzeczywiście zdobywa przestrzeń w odpowiedziach AI.

Sprawdź również: Czy warto inwestować w pozycjonowanie w LLM-ach i AIO?

Jak mierzyć widoczność w LLM? Zacznij od kilku podstawowych metryk

Nie istnieje jeden powszechnie obowiązujący wskaźnik widoczności w AI. Można jednak zbudować zestaw metryk GEO, który umożliwi porównywanie wyników między okresami, modelami i konkurentami.

Częstotliwość wzmianek

Najprostsza metryka odpowiada na pytanie: w ilu odpowiedziach AI pojawiła się marka?

Jeżeli wykonujesz 100 testów, a marka zostaje wymieniona w 32 odpowiedziach, jej mention rate wynosi 32%.

Wzór może wyglądać następująco:

Mention rate = liczba odpowiedzi zawierających markę / liczba wszystkich poprawnych odpowiedzi × 100%

Nie warto natomiast liczyć każdej powtórzonej nazwy marki w jednej odpowiedzi jako kolejnej wzmianki. Model może wymienić jedną firmę pięć razy, a konkurenta tylko raz, mimo że obie zostały przedstawione jako równorzędne propozycje. Do porównywania widoczności bardziej użyteczna jest więc obecność marki w odpowiedzi niż surowa liczba wystąpień jej nazwy.

Share of voice w AI

Sama częstotliwość wzmianek nie pokazuje jeszcze, kto przejmuje rekomendacje w Twojej kategorii. Do tego przydaje się share of voice w AI.

Załóżmy, że monitorujesz swoją markę i czterech najważniejszych konkurentów. W badanym zestawie odpowiedzi:

• marka A pojawiła się 60 razy,
• marka B – 45 razy,
• marka C – 30 razy,
• Twoja marka – 25 razy,
• marka D – 20 razy.

Łącznie daje to 180 obecności marek. Udział Twojej marki wynosi więc około 14%.

AI Share of Voice = liczba odpowiedzi ze wzmianką o marce / suma odpowiedzi ze wzmiankami o wszystkich monitorowanych markach × 100%

Taki wynik staje się szczególnie wartościowy, gdy obserwujesz go w czasie. Wzrost z 14 do 25% może świadczyć o zwiększającej się obecności marki w rekomendacjach, nawet jeżeli bezwzględna liczba wzmianek zmienia się między kolejnymi pomiarami.

Warto również liczyć SOV osobno dla poszczególnych grup zapytań. Marka może mieć mocną widoczność przy pytaniach produktowych, a niemal nie istnieć przy zapytaniach problemowych.

Cytowania w odpowiedziach AI

Kolejna metryka rozdziela dwie sytuacje, które z biznesowego punktu widzenia bardzo się różnią:

wzmiankę o marce bez linku oraz cytowanie lub link prowadzący do należącej do niej domeny.

Jeżeli ChatGPT wymienia firmę jako jedną z rekomendowanych, buduje jej obecność w procesie decyzyjnym użytkownika. Jeżeli dodatkowo wskazuje jej stronę jako źródło, pojawia się możliwość wygenerowania bezpośredniej wizyty.

Możesz więc osobno monitorować:

Citation rate = liczba odpowiedzi zawierających cytowanie domeny / liczba wszystkich odpowiedzi × 100%

oraz udział cytowań w odpowiedziach, w których marka została już wspomniana.

To ważne rozróżnienie. Cytowania w odpowiedziach AI nie są tym samym co wzmianki o marce, a wysoka obecność jednego typu nie musi oznaczać wysokiej obecności drugiego.

Pozycja marki w odpowiedzi

W rekomendacji składającej się z pięciu firm pierwsza pozycja może mieć zupełnie inną wartość niż ostatnia. Dlatego monitoring wzmianek w AI powinien obejmować również miejsce, w którym pojawia się marka.

Najprościej podzielić odpowiedzi na:

• pierwszą rekomendację,
• TOP3,
• dalszą część zestawienia,
• wzmiankę poza główną listą rekomendacji.

Możesz dzięki temu monitorować np. TOP3 presence, czyli odsetek odpowiedzi, w których marka znalazła się w pierwszej trójce wskazanych rozwiązań.

Nie zawsze warto na siłę nadawać każdemu fragmentowi odpowiedzi pozycję liczbową. LLM może zamiast rankingu stworzyć kilka kategorii, np. „najlepszy wybór dla dużej firmy”, „najlepszy stosunek ceny do możliwości” i „rozwiązanie dla początkujących”. W takim przypadku ważniejszy staje się kontekst rekomendacji niż numer na liście.

Sentyment i sposób przedstawienia marki

Dwie marki mogą mieć identyczną częstotliwość wzmianek, ale zupełnie inną widoczność jakościową.

Porównaj:

„Marka X jest jednym z popularnych rozwiązań w tej kategorii i wyróżnia się…”

z:

„Marka X również oferuje takie rozwiązanie, jednak może nie być najlepszym wyborem, jeśli zależy Ci na…”

W obu przypadkach system odnotuje wzmiankę. Jej znaczenie dla potencjalnego klienta jest jednak inne.

Dlatego warto klasyfikować odpowiedzi przynajmniej jako:

• pozytywne,
• neutralne,
• negatywne.

Przy bardziej rozbudowanym monitoringu można dodatkowo oznaczać przypisywane marce cechy. Dzięki temu zobaczysz nie tylko czy AI poleca Twoją markę, ale również za co ją poleca.

To szczególnie istotne, gdy LLM konsekwentnie kojarzy firmę z innym segmentem, produktem lub przewagą konkurencyjną niż ta, którą marka rzeczywiście chce budować.

AI Visibility Score – jeden wynik czy kilka osobnych metryk?

Na podstawie powyższych danych można zbudować zbiorczy AI Visibility Score. Nie jest to jednak ustandaryzowany wskaźnik działający identycznie we wszystkich narzędziach.

Firma może stworzyć własny indeks uwzględniający przykładowo:

• 30% – częstotliwość wzmianek,
• 25% – share of voice,
• 20% – cytowania,
• 15% – pozycję w odpowiedzi,
• 10% – sentyment.

Wagi powinny wynikać z celu pomiaru. Dla serwisu contentowego większe znaczenie mogą mieć cytowania i linki. W przypadku marki konsumenckiej kluczowa może być częstotliwość rekomendacji oraz sposób przedstawiania produktu.

AI Visibility Score ułatwia obserwowanie trendu, ale nie powinien zastępować metryk składowych. Wynik 72/100 nie wyjaśnia przecież, czy poprawa nastąpiła dzięki większej liczbie cytowań, częstszym rekomendacjom czy wzrostowi share of voice.

Jak zbudować prompty do monitoringu marki?

Jakość pomiaru zależy przede wszystkim od zestawu zapytań. Jeżeli będziesz pytać model wyłącznie o swoją firmę, otrzymasz zawyżony obraz jej obecności.

Prompty do monitoringu marki powinny odwzorowywać różne momenty procesu decyzyjnego użytkownika.

Dobry zestaw warto podzielić przynajmniej na cztery grupy.

1. Prompty brandowe

To pytania zawierające nazwę firmy, np.:

• „Co możesz powiedzieć o marce X?”
• „Czy marka X jest dobrym wyborem dla dużego e-commerce?”
• „Jakie usługi oferuje firma X?”

Takie zapytania pozwalają przede wszystkim oceniać, jak model rozumie markę, z czym ją kojarzy i czy podaje poprawne informacje.

Nie są jednak najlepszą miarą jej konkurencyjnej widoczności. Jeżeli użytkownik wpisuje nazwę firmy bezpośrednio w pytaniu, prawdopodobieństwo pojawienia się jej w odpowiedzi jest naturalnie bardzo wysokie.

2. Prompty kategorialne

Tu nazwa marki znika.

Przykłady:

• „Jakie są najlepsze agencje performance marketingu dla e-commerce w Polsce?”
• „Jaką agencję SEO wybrać dla dużego sklepu internetowego?”
• „Które firmy specjalizują się w kampaniach Google Ads dla B2B?”

To właśnie takie pytania najlepiej pokazują widoczność marki w ChatGPT i innych LLM-ach na etapie aktywnego wyboru dostawcy.

Jeżeli firma regularnie pojawia się przy najważniejszych zapytaniach kategorialnych bez podawania jej nazwy w prompcie, jest to znacznie silniejszy sygnał niż odpowiedź na pytanie brandowe.

3. Prompty porównawcze

Użytkownik może również pytać o alternatywy albo zestawiać kilka rozwiązań:

• „Jakie są alternatywy dla firmy X?”
• „Firma X czy firma Y – którą wybrać?”
• „Porównaj najlepsze agencje SEO dla e-commerce.”

Ta grupa pozwala obserwować nie tylko obecność, ale również konkurencyjne pozycjonowanie marki w odpowiedziach AI.

Warto sprawdzać, kto pojawia się obok niej, jakie przewagi model przypisuje poszczególnym firmom oraz czy marka trafia do właściwego zestawu konkurencyjnego.

4. Prompty problemowe

To grupa, którą łatwo pominąć, choć często znajduje się najbliżej rzeczywistego sposobu korzystania z AI.

Użytkownik nie musi przecież pytać o „agencję performance marketingu”. Może napisać:

• „Co zrobić, jeśli sklep internetowy wydaje coraz więcej na Google Ads, ale ROAS spada?”
• „Jak znaleźć przyczynę niskiej konwersji w e-commerce?”
• „Jak zwiększyć sprzedaż z ruchu organicznego w sklepie?”

Model może najpierw wyjaśnić problem, a następnie wskazać narzędzia, firmy, materiały lub konkretne rozwiązania.

To właśnie tutaj często okazuje się, czy marka jest obecna nie tylko przy swojej kategorii produktowej, ale również przy problemach biznesowych, które prowadzą klienta do zakupu.

Przeczytaj także: Najlepsze AI, czyli jakie? Lista Harbingers

Ile promptów potrzeba do wiarygodnego pomiaru?

Nie istnieje jedna właściwa liczba. Zestaw powinien przede wszystkim reprezentować rzeczywiste obszary biznesowe firmy.

Dobrym punktem startowym może być kilkadziesiąt promptów podzielonych między kluczowe kategorie, problemy i etapy procesu decyzyjnego. Przy większej ofercie liczba zapytań naturalnie wzrośnie.

Ważniejsze od samej wielkości zestawu jest zachowanie jego stabilności.

Jeżeli w jednym miesiącu testujesz 40 zapytań, a w kolejnym całkowicie zastępujesz je innymi 40, trudno stwierdzić, czy zmieniła się widoczność marki, czy po prostu sposób prowadzenia badania.

Nowe prompty można dodawać, ale podstawowy benchmark powinien pozostać możliwie stały.

Warto również zapisywać:

• dokładne brzmienie promptu,
• model i jego wersję, jeśli jest dostępna,
• język,
• rynek lub lokalizację, jeśli wpływa na odpowiedź,
• datę pomiaru,
• informację, czy wykorzystano wyszukiwanie internetowe,
• wyniki dla marki i konkurentów.

Dzięki temu kolejne pomiary można rzeczywiście ze sobą porównywać.

Dlaczego jednego promptu nie można sprawdzić tylko raz?

W klasycznych wynikach wyszukiwania można wielokrotnie sprawdzić tę samą frazę i oczekiwać stosunkowo podobnego zestawu wyników. Modele generatywne działają inaczej.

To samo pytanie może dać kilka wariantów odpowiedzi. Raz marka znajdzie się na pierwszym miejscu, innym razem na trzecim, a przy kolejnym uruchomieniu może nie pojawić się wcale.

Dlatego wyników widoczności w LLM-ach trzeba uśredniać.

Zamiast sprawdzić 50 promptów jeden raz, można przeprowadzić kilka niezależnych prób każdego z nich i dopiero na ich podstawie obliczyć częstotliwość wzmianek, share of voice czy udział marki w TOP3.

Jeżeli przykładowy prompt zostanie uruchomiony pięć razy, a marka pojawi się w czterech odpowiedziach, jego wynik wynosi 80%, a nie po prostu „marka jest widoczna”.

Im bardziej niestabilne wyniki obserwujesz, tym większej liczby powtórzeń potrzebujesz, aby odróżnić rzeczywistą zmianę od przypadkowej różnicy między dwiema odpowiedziami.

Właśnie dlatego pytanie „jak sprawdzić, czy AI poleca moją markę?” nie powinno kończyć się na otwarciu ChatGPT i wpisaniu jednego zapytania.

Jak prowadzić monitoring wzmianek w AI w czasie?

Najbardziej użyteczny jest pomiar cykliczny, wykonywany według tej samej metodologii.

Może obejmować np.:

1. stałą bazę promptów,
2. kilka powtórzeń każdego zapytania,
3. te same monitorowane modele,
4. listę najważniejszych konkurentów,
5. obliczenie metryk po zakończeniu każdej serii,
6. porównanie wyników miesiąc do miesiąca lub kwartał do kwartału.

Nie analizuj wyłącznie wyniku całej domeny. Podziel prompty na klastry odpowiadające konkretnym kategoriom usług, produktom, problemom czy etapom lejka.

Może się bowiem okazać, że całkowity AI Visibility Score praktycznie się nie zmienił, ale marka straciła połowę udziału w jednej strategicznej kategorii, a zyskała widoczność w obszarze, który ma niewielkie znaczenie biznesowe.

Jeśli chcesz zautomatyzować część tego procesu, osobnym tematem jest wybór platform monitorujących wyniki generatywne.

Ruch z ChatGPT w GA4 – jak go znaleźć?

Monitoring odpowiedzi pokazuje, czy marka występuje w LLM-ach. Kolejną warstwą pomiaru jest sprawdzenie, czy ta obecność prowadzi użytkowników na stronę.

W GA4 przejdź do raportu Pozyskiwanie ruchu i przeanalizuj wymiar Sesja – źródło lub Sesja – źródło/medium. Google definiuje źródło jako platformę, stronę lub inną lokalizację internetową, z której użytkownik został skierowany do witryny.

Szukaj przede wszystkim źródeł takich jak:

• chatgpt.com,
• perplexity.ai.

Warto utworzyć również własny segment obejmujący źródła generatywne i rozszerzać go wraz z pojawianiem się ruchu z kolejnych platform.

W przypadku ChatGPT identyfikacja ruchu stała się łatwiejsza. OpenAI informuje obecnie, że linki odsyłające z wyników wyszukiwania ChatGPT automatycznie zawierają parametr utm_source=chatgpt.com, który ma umożliwiać analizę tego ruchu w systemach takich jak Google Analytics.

Sam ruch z ChatGPT w GA4 nie mówi jednak jeszcze, jaka jest widoczność marki w modelu. Pokazuje jedynie wizyty zakończone kliknięciem.

Użytkownik może zobaczyć rekomendację marki w odpowiedzi AI, zapamiętać jej nazwę i później wejść na stronę przez Google albo bezpośrednio. Może też otrzymać pełną odpowiedź bez potrzeby przechodzenia do źródła.

Dlatego referral traffic z LLM-ów należy traktować jako dolną część pomiaru – efekt części ekspozycji, a nie pełną miarę jej skali.

Co analizować poza samą liczbą sesji?

Dla ruchu z LLM-ów warto obserwować również:

• strony docelowe,
• zaangażowanie użytkowników,
• realizowane kluczowe zdarzenia,
• liczbę leadów,
• transakcje i przychód,
• współczynnik konwersji,
• różnice między poszczególnymi źródłami AI.

To pozwala odpowiedzieć na znacznie ważniejsze pytanie: nie tylko „ile wejść daje ChatGPT?”, ale czy użytkownicy trafiający z odpowiedzi AI mają wartość biznesową.

GPTBot i logi serwera – czego naprawdę dowiesz się z danych crawlerów?

Trzecia warstwa analizy znajduje się poza GA4. Są nią logi serwera, w których można sprawdzić, czy roboty związane z systemami AI odwiedzają witrynę oraz jakie zasoby pobierają.

Trzeba jednak bardzo wyraźnie rozdzielić poszczególne crawlery.

W przypadku OpenAI GPTBot i OAI-SearchBot mają inne zadania. GPTBot jest związany z pozyskiwaniem treści, które mogą zostać wykorzystane do ulepszania i trenowania modeli, natomiast OAI-SearchBot odpowiada za odkrywanie treści mogących pojawiać się w wynikach wyszukiwania ChatGPT. OpenAI wskazuje, że zablokowanie OAI-SearchBot może ograniczyć możliwość wykorzystywania treści strony w podsumowaniach, cytowaniach i linkach w ChatGPT Search.

Podobne rozróżnienie stosuje Anthropic. Firma dokumentuje obecnie trzy osobne roboty: ClaudeBot przeznaczony do pozyskiwania danych mogących wspierać rozwój modeli, Claude-SearchBot związany z wyszukiwaniem oraz Claude-User, który może pobierać stronę na bezpośrednie żądanie użytkownika Claude’a.

Perplexity opisuje natomiast PerplexityBot jako crawler służący do indeksowania treści, które mogą być prezentowane i linkowane w wynikach wyszukiwania platformy.

Dlatego analiza logów może obejmować m.in.:

• OAI-SearchBot,
• GPTBot,
• Claude-SearchBot,
• Claude-User,
• ClaudeBot,
• PerplexityBot.

Samo znalezienie GPTBot w logach serwera nie oznacza, że ChatGPT poleca markę użytkownikom. Pokazuje jedynie, że określony crawler próbował uzyskać dostęp do zasobów.

Co sprawdzać w logach?

Nie ograniczaj analizy do policzenia wszystkich requestów.

Sprawdź przede wszystkim:

1. Jakie adresy URL odwiedzają boty?

Czy crawlery docierają do ważnych kart produktów, stron usługowych, poradników i materiałów eksperckich, czy niemal cały ich ruch koncentruje się na mało istotnych adresach?

2. Jak często wracają?

Zmiana częstotliwości crawlów może być dodatkowym sygnałem dotyczącym sposobu przetwarzania serwisu, choć sama w sobie nie świadczy o większej liczbie cytowań.

3. Jakie kody odpowiedzi otrzymują?

Szczególnie istotne są błędy 4xx i 5xx. Jeżeli bot regularnie trafia na 403, 404 lub problemy serwerowe, może nie mieć dostępu do treści, które chcesz udostępnić.

4. Jak wygląda konfiguracja robots.txt?

Robot może być widoczny w logach, ale jednocześnie nie mieć dostępu do strategicznej części serwisu. OpenAI, Anthropic i Perplexity publikują informacje dotyczące swoich crawlerów oraz obsługi reguł robots.txt.

Analiza logów odpowiada więc przede wszystkim na pytanie: czy systemy AI mogą docierać do moich treści i które z nich faktycznie pobierają?

Nie zastępuje monitorowania odpowiedzi.

Trzy poziomy pomiaru widoczności w LLM

Najpełniejszy obraz otrzymasz dopiero po połączeniu trzech warstw danych.

1. Odpowiedzi modeli – czy jestem widoczny?

Tutaj analizujesz częstotliwość wzmianek, share of voice, pozycję, sentyment i cytowania.

2. Analytics – czy użytkownicy przechodzą na stronę?

Tutaj obserwujesz ruch z ChatGPT, Perplexity i innych źródeł oraz jego konwersję.

3. Logi serwera – czy crawlery docierają do treści?

Tutaj weryfikujesz dostępność strony dla poszczególnych botów, odwiedzane URL-e i odpowiedzi serwera.

Te trzy źródła danych odpowiadają na inne pytania. Dlatego nie powinno się używać żadnego z nich jako samodzielnego wskaźnika całej widoczności.

Możesz mieć intensywny crawling i niemal zerową obecność w rekomendacjach. Możesz również mieć wysoką widoczność marki bez dużego ruchu referral, ponieważ użytkownik otrzymuje potrzebną informację bezpośrednio w odpowiedzi albo wraca do marki inną ścieżką.

Dowiedz się więcej: Perplexity – czym jest, jak korzystać?

Najczęstsze błędy w mierzeniu widoczności marki w ChatGPT i innych LLM-ach

Pierwszym jest wyciąganie wniosków na podstawie pojedynczych promptów. Jedna odpowiedź jest obserwacją, nie benchmarkiem.

Drugim – testowanie wyłącznie zapytań zawierających nazwę firmy. Prompty brandowe pokazują, co model wie o marce, ale nie odpowiadają na pytanie, czy spontanicznie rekomenduje ją użytkownikom.

Trzecim błędem jest brak stałej grupy konkurentów. Bez niej wzrost liczby wzmianek trudno osadzić w kontekście. Jeżeli liczba wystąpień Twojej marki wzrosła o 20%, ale główny konkurent urósł o 150%, sytuacja konkurencyjna mogła się w rzeczywistości pogorszyć.

Czwarty problem to łączenie cytowania i wzmianki w jeden wskaźnik. Model może znać markę i ją polecać, ale korzystać jako źródła z domen innych podmiotów. Z perspektywy GEO to cenna informacja.

Piąty – traktowanie ruchu z LLM-ów w GA4 jako pełnej miary wpływu AI. Analytics widzi kliknięcie, ale nie zobaczy wszystkich sytuacji, w których rekomendacja wpłynęła na decyzję użytkownika.

I wreszcie: obecność crawlerów w logach nie oznacza automatycznie obecności marki w odpowiedziach. Crawlability, cytowalność i rekomendowalność to trzy różne rzeczy.

Jak więc sprawdzić, czy AI poleca Twoją markę?

Nie szukaj jednej liczby, która zastąpi wszystkie pozostałe.

Zbuduj zestaw kilkudziesięciu reprezentatywnych promptów brandowych, kategorialnych, porównawczych i problemowych. Uruchamiaj je wielokrotnie w tych samych modelach i obserwuj częstotliwość wzmianek, share of voice w AI, pozycję, sentyment oraz cytowania.

Następnie zestaw te informacje z ruchem referral w GA4 oraz analizą logów serwera.

Dzięki temu zobaczysz cały proces: czy AI ma dostęp do Twoich treści, czy wykorzystuje Twoją domenę jako źródło, czy wymienia markę w odpowiedziach i wreszcie – czy użytkownicy przechodzą z tych odpowiedzi na stronę.

To właśnie taki powtarzalny benchmark pozwala odpowiedzieć na pytanie, jak mierzyć widoczność w LLM, a później sprawdzić, czy działania prowadzone w ramach GEO rzeczywiście tę widoczność zwiększają.

Źródła:

• support.google.com
• help.openai.com
• support.claude.com
• docs.perplexity.ai
• help.openai.com