Jak blokować dostęp do treści narzędziom AI? Czy to bezpieczne?

Blokowanie dostępu narzędziom AI – czy to rozwiązanie ma sens?

Blokowanie dostępu narzędziom AI do stron internetowych to rozwiązanie, które wprowadziły już najwięksi mediowi giganci tacy jak CNN, The New York Times, Disney, Boomberg czy ostatnio również polska Agora. 

Reakcja ta pokazuje, że wydawcy informacyjni rzeczywiście boją się rozwoju nowych technologii.  Chcą więc walczyć z nimi na swój sposób, zamiast bezczynnie czekać na reakcje władzy i odpowiednie reformy legislacyjne, które mają regulować działania podejmowane przez firmy takie jak OpenAI.

Bezpieczeństwo blokowania AI – jak swoją decyzję argumentuje Agora?

Bartosz Hojka, prezes Agory, podczas swojego wystąpienia na EFNI Talks przedstawił swój punkt widzenia na rozwój sztucznej inteligencji.

Agora swoją decyzję o blokowaniu AI argumentuje tym, że treści skanowane przez boty, wykorzystują później firmy takie jak Microsoft, Apple, czy Google do tworzenia ich własnych produktów, na których zarabiają. To jawne nieposzanowanie praw autorskich, co pozbawia wydawców i autorów treści zysków.

GPTbot wykorzystywany przez OpenAI do budowania swojego modelu językowego nie skanuje aktywnie Internetu.  Posłużył on jedynie do zbudowania bazy danych – informacje zbierał między 2008 a 2021 rokiem. Na ich podstawie trenowano model GPT3. 

Nie ma pewności, czy OpenAI wykorzystuje swojego bota do aktywnego zbierania danych ze stron internetowych. Nie ma również pewności co do tego, czy AI wykorzystywane jest aktywnie przez crawlery Googla oraz innych wyszukiwarek internetowych. Niemniej jednak, obawy dotyczące bezprawnego wykorzystania własności intelektualnej wydawców wydają się być zasadne i nic dziwnego, że starają się oni chronić swoje interesy poprzez blokowanie dostępu narzędziom AI. 

Warto również zauważyć w tym miejscu, jak różne są reakcje na rozwój sztucznej inteligencji wśród ekspertów z poszczególnych branż. Gdy domy mediowe i wydawcy drżą przed nieuprawnionym wykorzystaniem ich własności i utratą źródła dochodów, AI w bankowości pozwala na wprowadzenie nowych innowacyjnych rozwiązań usprawniających pracę banków i poprawiających bezpieczeństwo właścicieli kont bankowych. 

Zabezpieczenia przed narzędziami AI, czyli jak uchronić swoje treści przed bezprawnym ich wykorzystaniem

Najprostszym i najskuteczniejszym sposobem na zablokowanie botów zbierających dane z Twojej strony jest dodanie odpowiednich komend w pliku robots.txt. 

Jeżeli tak jak wydawcy informacyjni z całego świata, nie chcesz, aby boty OpenAI karmiły swoje bazy danych stworzonymi przez Ciebie treściami, możesz uzupełnić plik robots.txt o następujące wpisy:

User-agent: CCBot

Disallow: /

Za pomocą tego kodu zablokujesz bota Common Crawl, który wykorzystany został do budowania bazy danych zastosowanej podczas trenowania modelu GPT3. OpenAI podaje również komendę, która pozwoli zablokować GPTbota przed dostępem do Twojej strony:

User-agent: ChatGPT-User

Disallow: /

Natomiast Google nie ujawnia tego, które konkretnie boty odpowiedzialne są za zbieranie danych wykorzystywanych do trenowania sztucznej inteligencji. W tym wypadku oraz w wypadku innych narzędzi wykorzystujących tę technologia ochrona treści przed AI staje się znacznie utrudniona. 

Nie wiadomo, jakie boty powinny zostać zablokowane oraz czy w ogóle będą one respektowały narzucony im przez Ciebie zakaz odwiedzenia Twojej witryny. Tym samym zabezpieczenia przed narzędziami AI i tak mogą okazać się nieskuteczne mimo ich prawidłowego wdrożenia. 

Negatywne konsekwencje blokowania AI

Narzędzia AI stosowane są już dzisiaj niemal powszechnie w wielu dziedzinach i gałęziach biznesu, nie pozostając bez wpływu na rynek pracy czy naszą ogólnie rozumianą codzienność.

Pytanie brzmi więc, czy blokowanie dostępu do Twojej strony narzędziom AI jest warte wysiłku? Krótka odpowiedź brzmi: w większości przypadków, nie. 

Model biznesowy wydawców informacyjnych opiera się na publikowaniu treści wysokiej jakości, przygotowanych przez rzetelnych publicystów. To one są źródłem ich dochodu. Mają więc pełne prawo domagania się respektowania ich dorobku intelektualnego. 

W przypadku blogów firmowych, czy firm działających w branży e-commerce takie blokowanie dostępu crawlerom może nie mieć jednak racji bytu.

Jak Google ocenia blokowanie AI?

Teoretycznie zablokowanie dostępu do Twojej strony botom niepowiązanym z Google nie powinno mieć wpływu na ocenę Twojej strony przez Google. Na pewno jednak nie jest dobrym pomysłem blokowanie dostępu crawlerom Googla lub zabezpieczaniu strony przez zablokowanie dostępu do niej wszystkim botom przeczesującym sieć. 

Ostatnimi czasy Google zaczyna stosować politykę oswajania się z faktem, że wykorzystanie AI przez twórców treści staje się codziennością. Nie zamierza więc negatywnie traktować powstających w ten sposób tekstów. Nie ma więc również powodów, aby uważać, że blokowanie dostępu narzędziom AI do Twojej strony pozytywnie wpłynie na jej ocenę przez Google. 

Ryzyko utraty ruchu i zainteresowania treściami

Google oraz Bing – dwie najpopularniejsze wyszukiwarki internetowe – coraz chętniej wprowadzają sztuczną inteligencję do swoich produktów. Można więc zakładać, że w końcu rozwiązania znane z Google Bard czy Bing Chat staną się rozwiązaniami domyślnymi. Tym samym blokowanie dostępu narzędziom AI, odpowiedzialnym za zbieranie informacji będzie – z dużą dozą prawdopodobieństwa – skutkowało brakiem widoczności w wynikach wyszukiwania, a tym samym utratą ruchu organicznego. 

Podsumowanie

AI marketing to przyszłość branży reklamowej. Po rozwiązania te chętnie sięgają także banki czy branża e-commerce. Niemniej jednak oczywiste jest, że nie każdej branży rozwój tej technologii jest na rękę – tak jest np. w przypadku wydawnictw treści informacyjnych. 

Czy blokowanie dostępu narzędzi AI ma sens? Na to pytanie musisz odpowiedzieć sobie we własnym zakresie. Z biznesowego punktu widzenia z pewnością dużo istotniejsza jest widoczność Twojej marki w organicznych wynikach wyszukiwania niż to, że tworzone przez Ciebie i Twój zespół treści staną się kroplą w morzu danych, na których trenowane są modele wykorzystywane w narzędziach AI, z których sam z pewnością chętnie już korzystasz, albo zaczniesz korzystać w niedalekiej przyszłości. 

FAQ 

Czy blokowanie dostępu AI wpływa na pozycjonowanie strony w Google?

Nie ma oficjalnych informacji od Google jakoby blokowanie dostępu narzędzi wykorzystujących AI do Twojej strony internetowej wpływało negatywnie lub pozytywnie na jej pozycję w wynikach wyszukiwania. 

Jakie są alternatywne metody ochrony treści przed scrapowaniem przez AI?

Możesz zastosować ograniczenia dostępu do treści, na przykład poprzez wprowadzenie płatnych subskrypcji, rejestrację użytkowników lub weryfikację tożsamości. Może to skutecznie zniechęcić potencjalnych scrapujących, poprzez trudniejszy dostęp do pełnych treści.

Czy są jakieś pozytywne aspekty blokowania dostępu AI?

Jeżeli zablokujesz dostęp do swojej strony botom OpenAI, możesz być pewny, że treści zamieszczone na Twojej witrynie nie zostaną dołączone do bazy danych wykorzystywanej do trenowania nowych modeli językowych GPT stosowanych m.in. przez ChatGPT.  

Jakie są najczęstsze błędy podczas blokowania dostępu AI?

Najczęstszym błędem podczas blokowania dostępu AI oraz innych botów to utrudnienie lub nawet uniemożliwienie dostępu „żywym” użytkownikom do Twoich treści. Możesz doprowadzić do takiego stanu, stosując zbyt restrykcyjne reguły blokujące. 

Czy blokowanie dostępu AI to przyszłość marketingu internetowego?

Trudno jest odpowiedzieć na to pytanie, ponieważ praktyki te dopiero zostają wdrażane przez pewne podmioty. Niemniej jednak boty były i z pewnością będą wykorzystywane przez dostawców wyszukiwarek internetowych i innych narzędzi wspomagających działania marketingowe. Nie ma też podstaw, aby sądzić, że stan ten zmieni się w najbliższej przyszłości