Zatrudniliśmy ChataGPT do pracy przy kampaniach klientów. Skutki mogły być opłakane

Pierwszy kontakt z modelami językowymi tzw. sztucznej inteligencji może robić wrażenie. Nie dziwimy się, że mnóstwo osób ulega zauroczeniu takimi narzędziami jak m.in. ChatGPT, Claude czy Perplexity. Doskonale wiemy, że nasza bezpośrednia konkurencja w kryzysowych dla branży marketingowej czasach, tnie koszty poprzez zrywanie współpracy z copywriterami, zastępując ich LLM (dużymi modelami językowymi). Może tak właśnie trzeba? Postanowiliśmy to sprawdzić i „zatrudniliśmy” ChataGPT – w wersji płatnej – do pracy przy kampaniach naszych klientów. Test jednoznacznie potwierdził, że choć rzeczywiście jest to narzędzie przydatne, to poleganie na nim może być bardzo niebezpieczne tak dla agencji mareketingowej, jak i jej klientów.

Żenujące błędy

Zjawisko „halucynacji” modeli LLM jest powszechnie znane wśród osób, które korzystają z tych narzędzi. Jeśli nie wiesz, o co chodzi, to krótko wyjaśnimy, że modele językowe mają tendencję do zmyślania pewnych faktów. Konfabulują na tyle dobrze, że początkowo podane stwierdzenie wygląda bardzo wiarygodnie i łatwo jest się na to naciąć.

Dlaczego LLM zmyślają? Powód jest prosty: są zaprogramowane w taki sposób, aby za wszelką cenę udzielić wyczerpującej odpowiedzi na zadane pytanie. Są w tym tak zapalczywe, że wolą podać bzdurę, niż zostawić użytkownika z niczym.

Mieliśmy taką sytuację podczas korzystania z ChataGPT. Poprosiliśmy model o opracowanie specjalistycznego artykułu dla klienta z branży RODO. Model napisał ładny tekst, powołując się w nim na badania pewnego naukowca, nawet cytując jego prace. W czym problem? Po dokładnym sprawdzeniu okazało się, że taki naukowiec… nie istnieje. ChatGPT sam się do tego przyznał, informując, że faktycznie użył zmyślonych informacji po to, aby tekst wyglądał bardziej wiarygodnie i specjalistycznie.

I tutaj pojawia się bardzo istotny problem. Wykryliśmy konfabulację tylko dzięki temu, że mamy w zespole osobę wtajemniczoną w zagadnienia RODO, której po przeczytaniu tekstu wygenerowanego przez AI od razu zapaliła się lampka ostrzegawcza. Co by jednak było w sytuacji, gdybyśmy po prostu skopiowali artykuł i opublikowali go na blogu klienta, bez weryfikacji treści z jego strony (a w przypadku długoletnich współpracy jest to normalna praktyka)? Narazilibyśmy klienta na śmieszność i podważenie jego autorytetu, co mogłoby skutkować niepowetowanymi stratami wizerunkowymi.

Grześ czy „Grzesiek”?

Zespół Soluma Interactive realizuje kampanię content marketingową na rzecz jednego z hoteli na Podhalu. Odpowiadamy za dostarczanie artykułów na blog oraz opracowywanie artykułów sponsorowanych – to taki standardowy pakiet działań.

Teksty nie są specjalistyczne, tematyka wydaje się być luźna, natomiast zaleciliśmy klientowi postawienie na treści poradnikowe i inspirujące, dlatego regularnie dostarczamy artykuły m.in. przybliżające najpopularniejsze szlaki piesze w Tatrach. I tutaj znów złapaliśmy ChataGPT na konfabulowaniu.

Otóż, w artykule dotyczącym polecanych szlaków z Polany Chochołowskiej, model zaproponował wycieczkę na „Grześka”. Znów: dobrze, że mamy w zespole znawców tatrzańskich szlaków, bo zaliczylibyśmy niezłą „wtopę”.

Nie ma żadnego „Grześka”, jest natomiast Grześ, szczyt graniczny mierzący 1653 m n.p.m. ChatGPT zmyślił więc nazwę szczytu, co znów mogło się skończyć opublikowaniem bzdury na blogu klienta i podważeniem jego reputacji. Zareagowaliśmy, natomiast możemy się tylko domyślać, jak wiele agencji bezrefleksyjnie korzysta z treści generowanych przez modele LLM, nie weryfikuje faktów i naraża swoich klientów na ośmieszenie.

Myślisz, że rozwiązaniem jest podanie źródła? No to patrz…

Też sądziliśmy, że halucynacje AI wynikają z błędów na etapie researchu oraz wciąż ograniczonych zasobów treściowych modeli LLM. Okazuje się jednak, że te narzędzia są po prostu… głupie.

Przeprowadziliśmy prosty test, który na ten moment utwierdził nas w przekonaniu, że absolutnie nie wolno ufać LLM, co podważa teorię o możliwości pełnego zastąpienia ludzi, w tym twórców treści, narzędziami tzw. sztucznej inteligencji.

Jednym z naszych klientów jest specjalistyczna klinika medycyny estetycznej, która w swojej ofercie ma również zabiegi kosmetyczne i kosmetologiczne. Klient poprosił o opracowanie szczegółowego, przekrojowego artykułu z omówieniem najważniejszych zabiegów, zaleceń do ich przeprowadzenia, efektów itd.

Klient udostępnił nam również katalog z wymienionymi i krótko opisanymi zabiegami, który miał stanowić rdzeń artykułu. Wkleiliśmy całą treść katalogu do ChataGPT i zleciliśmy narzędziu opracowanie artykułu. Po chwili był gotowy. Równie szybko trafił do kosza.

Ten eksperyment ostatecznie przekonał nas, że absolutnie nie można polegać na pracy modeli LLM. ChatGPT z nieznanych do końca powodów zmyślił połowę zabiegów, w ogóle nie uwzględniając części z tych, które podaliśmy mu na tacy – pomimo wyraźnego polecenia, aby bazował właśnie na tych informacjach. Gdybyśmy ślepo ufali temu narzędziu, to klient otrzymałby do weryfikacji artykuł zawierający nie tylko nieprawdziwe informacje, ale też godzące w wizerunek ekskluzywnej kliniki świadczącej zabiegi medyczne – ChatGPT np. wymyślił sobie, że nasz klient oferuje… kąpiele błotne, co jest wierutną bzdurą.

Podsumowanie

Konstatacja jest oczywista. ChatGPT i inne modele LLM rzeczywiście bywają pomocne w codziennej pracy redakcyjnej czy copywriterskiej, natomiast powinny pełnić wyłącznie funkcję wsparcia, swego rodzaju asystenta, który np. streści artykuł źródłowy czy zainspiruje do wymyślenia tytułu, wplecie słowa kluczowe etc. Wyręczanie się tymi narzędziami jest natomiast czystą głupotą i grozi konfliktem z klientem, który zada sobie trud przeczytania opracowanych dla niego artykułów i odkryje w nich żenujące błędy merytoryczne.

To i tak lepszy scenariusz, niż opublikowanie bez konsultacji treści zawierających nieprawdziwe informacje, co w wielu branżach – na przykład podpadających pod przepisy regulujące reklamowanie się podmiotów świadczących usługi medyczne – może sprowadzić na klienta poważne problemy prawne i finansowe.

Nie chcesz, aby Twoje artykuły do kampanii content marketingowej pisało AI, ale prawdziwi eksperci od tworzenia treści? Daj nam znać – jako jedna z nielicznych agencji na rynku nie wyręczamy się modelami LLM i nie oszukujemy klientów, że jest inaczej!