Detektory AI. Czy można ufać weryfikatorom AI? Dlaczego warto tworzyć ekskluzywne treści pisane przez człowieka?

Kontynuujemy nasz cykl artykułów poświęconych generatywnej AI i jej powszechnemu wykorzystaniu w szeroko rozumianych działaniach marketingowych. W jednym z poprzednich artykułów podpowiadaliśmy, jak rozpoznać, że tekst został napisany przez sztuczną inteligencję. Wiele osób omija etap ręcznego sprawdzania treści i wspiera się tzw. detektorami AI, nazywanymi również weryfikatorami AI. Czym są te narzędzia? Czy można im ufać? Wreszcie: dlaczego warto sprawdzać, czy tekst został napisany przez copywritera czy przez AI? Zapraszamy do lektury naszego poradnika – jak zawsze, stworzonego w 100% przez człowieka.

Co to jest detektor AI?

Detektor AI to narzędzie służące wykrywaniu treści wygenerowanych przez LLM, czyli model językowy sztucznej inteligencji, taki jak ChatGPT, Perplexity, Claude etc. Kopiując tekst do detektora po chwili otrzymujemy wynik – narzędzie ocenia, jaka część tekstu (wyrażona procentowo) jest dziełem człowieka, a jaka została wygenerowana.

Teoretycznie takie narzędzia mają pomóc nam w sprawdzeniu, czy dana treść na pewno została napisana przez człowieka, na przykład zawodowego copywritera. Jest to przydatne rozwiązanie m.in. z punktu widzenia agencji SEO czy klientów zamawiających treści na potrzeby kampanii content marketingowych, którzy całkiem słusznie chcą wiedzieć, czy teksty, za które płacą copywriterom, przypadkiem nie powstały z użyciem AI lub wręcz nie zostały w całości wygenerowane.

Jak działa detektor AI?

Weryfikatory AI (same bazujące na tzw. sztucznej inteligencji), przeprowadzają szybką analizę językową tekstu i szukają wzorca, który może pasować do schematu generowania treści przez chatboty. Detektor sprawdza słownictwo, styl, gramatykę, nawet interpunkcję oraz wyszczególnia frazy, które są typowe dla tych używanych przez AI.

Jeśli tekst jest bardzo spójny pod kątem gramatycznym, językowym i stylistycznym, na przykład wszystkie zdania mają podobną długość, w nagłówkach pojawia się podobna liczba słów, poszczególne akapity są tak samo rozbudowane (np. wszystkie mają po 5-6 linijek tekstu), argumentacja jest przewidywalna i nic w danym tekście nie wyrywa się z ogólnego schematu (np. nie pojawia się zaskakujące słownictwo, rzadki przykład, osobista dygresja, przykład „z życia” czy typowa dla ludzi emocjonalna retoryka czy tym bardziej erystyka), to taka treść z dużym prawdopodobieństwem zostanie zaklasyfikowana jako „AI generated”.

Detektory AI skupiają się na szukaniu wzorca, schematu i jeśli tekst do niego pasuje, to nawet będąc napisanym przez człowieka, może być uznany za dzieło sztucznej inteligencji.

Popularne weryfikatory AI

Tych narzędzi jest całe mnóstwo, przy czym nasze testy jednoznacznie wykazały, że żadne z nich nie daje gwarancji bezbłędnego wykrycia ingerencji generatywnej AI, jak i nie może ze 100% pewnością tego wykluczyć.

Opieramy się tutaj wyłącznie na własnych analizach. Przetestowaliśmy działanie poniższych detektorów AI na tekstach pisanych przez copywriterów Soluma Interactive. Wyniki bywały mocno zaskakujące.

GPTZero

Ten detektor można sobie od razu odpuścić. Jest bardzo nieprecyzyjny, potrafiąc raz wskazać, że tekst w 50-55% został wygenerowany przez AI, po czym bez żadnych wątpliwości przypisać autorstwo człowiekowi. Co ciekawe, taki „rozrzut” występuje podczas analizy tekstów pisanych przez tę samą osobę, identycznym stylem, na ten sam temat, tworzonych jeden po drugim.

Undetectable AI

Z tym narzędziem, jako agencja, mieliśmy niezłe „przeboje”. O jego istnieniu poinformował nas klient, który – jak się okazało – przezornie zaczął sprawdzać dostarczane przez nas teksty pod kątem wspierania się AI. I oczywiście okazało się, że część treści została uznana za wygenerowaną.

Undetectable AI teoretycznie jest dobrym wyborem, ponieważ agreguje różne narzędzia w jednym: GPTZero, OpenAI, Writer, QuillBot, Copyleaks, Sapling, Grammarly oraz ZeroGPT. Problem w tym, że wyniki są skrajne – ten detektor może wskazać, że np. według ZeroGPT tekst jest w 99% „human”, a według OpenAI tylko w 31%. I to najlepiej pokazuje, jak losowo działają tego typu weryfikatory.

Rzetelność detektora podważa również fakt, iż narzędzie to oferuje komercyjną usługę „humanizowania” tekstu. Można zatem mieć podejrzenia (to wyłącznie przypuszczenie), że w interesie twórcy detektora jest jak najczęstsze uzyskiwanie fałszywie dodatnich wyników, by skłonić do wykupienia dodatkowej usługi np. twórców treści wspierających się narzędziami AI w swojej pracy.

ZeroGPT

Mieszane odczucia. Z jednej strony ten detektor praktycznie zawsze uznaje nasze teksty za napisane przez człowieka (zgodnie z prawdą), z drugiej kilkakrotnie nie poradził sobie z wykryciem ingerencji AI, gdy wrzuciliśmy mu treści częściowo wygenerowane. Skuteczność jest więc raczej marna, a co gorsza – uzyskiwane wyniki mogą zachęcać do zastępowania copywriterów przez chatboty, skoro ZeroGPT i tak nie dostrzega różnicy.

Inne popularne detektory, których jednak nie testowaliśmy na tyle intensywnie, aby móc ocenić ich działanie, to:

• Isgen,
• Smodin,
• Writer AI,
• Copyleaks.

Czy weryfikatory AI są skuteczne?

Nie, wyniki podawane przez te narzędzia trudno uznać za wiarygodne, dlatego nie należy się na nich opierać przy ocenie jakości i unikalności tekstu. Owszem, takie detektory są w stanie z dość wysoką precyzją wskazać treści w całości wygenerowane przez AI, natomiast dyskwalifikuje je to, że zbyt często mylą się w drugą stronę, niesłusznie podważając „ludzkość” tekstów napisanych przez zawodowych copywriterów.

Na tym etapie wskazania detektorów można traktować wyłącznie w kategorii ciekawostki. Ich wartością jest natomiast to, że bazują na zbliżonym schemacie działania, podpowiadając nam, jaka forma pisania, jakie frazy czy konstrukcje zdań są charakterystyczne dla generatywnej AI – to cenna informacja dla copywriterów i content writerów chcących podnosić swój warsztat i „wyprzedzać” AI, udowadniając swoją przydatność.

Problem fałszywie dodatnich lub fałszywie ujemnych wyników – dlaczego detektory AI się mylą?

Są dwie teorie, w tym jedna naszego autorstwa.

1. Detektory analizują sposób „pisania” chatbotów i sprawdzają, czy tekst mieści się w ramach z góry założonego schematu – na przykład zawiera krótkie, bardzo treściwe zdania, czy jest pisany jak od linijki, bez dygresji, zmiany tempa czy pozornego chaosu myślowego. Sprawdzają również, czy w tekstach pojawiają się frazy typowe dla AI – tutaj przykładem jest „W dzisiejszych czasach” czy „Współcześnie coraz częściej uznaje się” itp. Jeśli zaczniemy tekst od takiej frazy, co przecież może być zupełnie naturalne i pasować do kontekstu dalszej wypowiedzi, to z wysokim prawdopodobieństwem taka treść zostanie uznana za wygenerowaną przez AI. Mamy więc wynik fałszywie dodatni.
    
2. Minęliśmy punkt przegięcia – naukowcy badający fenomen generatywnej AI od dawna wskazywali na fakt, iż wraz z umasowieniem takich narzędzi nastąpi moment, w którym LLM-y zaczną czerpać informacje od siebie i uczyć się na wcześniej wygenerowanych tekstach. Ten moment już nastąpił. Szacuje się, że nawet 55-60 proc. wszystkich aktualnie publikowanych w sieci tekstów to dzieło AI. Skutkiem jest to, że treści generowane w coraz mniejszym stopniu różnią się od tych pisanych przez ludzi (lub jako takie deklarowanych), co myli detektory AI. Te zaczynają fałszywie uznawać, że każde zdanie napisane bezbłędnie, zgodnie z zasadami gramatyki, jest dziełem AI, po prostu nie wierząc, że gdzieś tam są jeszcze ludzie, którym chce się tworzyć autorskie treści, w dodatku poprawne językowo. Dochodzimy więc do absurdu: chcąc udowodnić weryfikatorowi, że tekst został stworzony przez człowieka, musimy używać mowy potocznej, robić celowe błędy czy używać unikalnego stylu, nawet tam, gdzie jest to niewskazane (np. w tekstach naukowych, specjalistycznych etc.).
    

Nic nie zastąpi ręcznej weryfikacji tekstu

Wiedząc, że detektory AI to żadna wyrocznia i raczej słaby sposób weryfikacji unikalności tekstu, lepiej pozostać przy nudnym, żmudnym, ręcznym sprawdzaniu treści. Tekst napisany przez człowieka wyraźnie różni się od tego wygenerowanego – da się w nim zauważyć emocje autora, osobiste zaangażowanie, wiedzę w podejmowanym temacie, często także pasję czy życiowe doświadczenie.

Teksty pisane przez AI czyta się mniej więcej tak jak wpisy encyklopedyczne: są do bólu poprawne, nienacechowane emocjonalnie, czytając je, z góry domyślamy się, o czym będą kolejne akapity, ponieważ są pisane schematycznie.

Ludzie natomiast mają tendencję do wyrywania się ze schematu, a już szczególnie osoby obdarzone kreatywnym umysłem, za które można uznać utalentowanych copywriterów.

Choć nie jest to metoda naukowa, to polecamy prosty test na „AI generated”: czytając tekst zadaj sobie pytanie, czy jest on dla Ciebie interesujący, czy chce Ci się dalej go czytać, czy znajdujesz w nim coś, czego nie wiesz, czy masz lekki niedosyt po jego przeczytaniu i czy chcesz zapoznać się z innymi dziełami autora. Teksty wygenerowane nie budzą takiej potrzeby – wręcz wolimy je przeskanować w poszukiwaniu tylko esencji i informacji, jakich szukamy. Dokładnie na tym schemacie bazuje funkcja AI Overviews w wyszukiwarce Google.

Dlaczego sprawdzanie tekstów pod kątem generatywnej AI stało się nowym standardem w marketingu?

Nie chodzi tutaj tylko o upewnienie się, że zamawiając teksty np. w agencji marketingowej czy SEO, płacimy za wytwór ludzkiej pracy i otrzymujemy coś unikalnego. Ważniejsze jest zrozumienie, jak poważne – zwłaszcza długofalowo – mogą być konsekwencje „karmienia” swojej strony internetowej, bloga, sklepu www itd. treścią wygenerowaną przez AI:

• Wysokie ryzyko spadku strony w rankingu Google – choć Google oficjalnie nie zabrania publikowania treści wygenerowanych przez AI, to jednocześnie podkreśla, że niedozwolone jest korzystanie z narzędzi sztucznej inteligencji do manipulowania rankingami. Za takie działanie może zostać uznane masowe wypełnienie strony tekstami AI generated, które są perfekcyjnie zoptymalizowane pod SEO.
   
• Niska ocena wartości strony – teksty generowane przez AI nie muszą być pozbawione merytorycznej wartości, natomiast są nieciekawe, wtórne, schematyczne, co ma negatywny wpływ na całościowy odbiór strony internetowej, nie tylko przez algorytm wyszukiwarki, ale też – czy przede wszystkim – przez użytkowników.
   
• Ryzyko plagiatu – trudno jest udowodnić plagiat, gdy teksty zostały wygenerowane przez AI, jednak już samo takie oskarżenie jest bardzo kłopotliwe, angażuje mnóstwo sił i czasu w wyjaśnienie sprawy, a w skrajnym przypadku może się skończyć interwencją Google (jeśli autor zgłoszenia dowiedzie, że to on jest prawowitym właścicielem treści).
   
• Spadek zaufania do marki przedsiębiorstwa – firmy, które rezygnują z usług copywriterów, aby zastąpić ich chatbotami, powinny zdawać sobie sprawę z tego, że coraz więcej osób potrafi odróżnić treści wygenerowane od tych napisanych przez człowieka, choćby w oparciu o styl, unikalną argumentację czy atrakcyjne słownictwo, którego praktycznie nie używa AI. Gdy okaże się, że wszystkie teksty opublikowane na stronie firmy są AI generated, to użytkownik może słusznie nabrać wątpliwości co do rzetelności i eksperckości danej marki biznesowej.
   

Należy przy tym rozróżnić teksty w 100% generowane przez AI od tych, które powstały przy wykorzystaniu LLM-ów. Wielu zawodowych copywriterów wspiera się takimi narzędziami, chociażby do porządkowania informacji, researchu, optymalizowania tekstów pod SEO, wymyślania tytułów czy tworzenia krótkich podsumowań w formie FAQ (odpowiedzi na najczęstsze pytania). Nie ma w tym nic złego i jeśli tekst rzeczywiście został napisany przez człowieka, natomiast z techniczną pomocą AI, to nie można go uznawać za AI generated.

Na koniec ciekawostka: ten artykuł został zaklasyfikowany przez Undectable AI jako w całości napisany przez człowieka (99% human). Brawo dla nas, choć oczywiście podchodzimy do tych ocen z dużym dystansem.