Krótka odpowiedź: ChatGPT, Claude, Gemini i inne chatboty nie „kłamią” w ludzkim sensie, tylko generują wiarygodnie brzmiący tekst, który czasem jest fałszywy (to tzw. halucynacje). Najczęściej mylą się w rzadkich faktach, najnowszych wydarzeniach, cytatach, linkach i liczbach, a robią to pewnym tonem. Badania pokazują, że nawet narzędzia z wyszukiwarką potrafią podawać błędne źródła. Dlatego traktuj AI jak szybkiego asystenta do szukania tropów, a nie jak ostateczne źródło: poproś o źródła, otwórz je, sprawdź datę i potwierdź ważne rzeczy u drugiego, niezależnego źródła.
Ten tekst jest uzupełnieniem naszych poradników o wyszukiwaniach bez kliknięcia i meta-promptingu. Tam pisaliśmy o tym, jak AI odpowiada za ciebie i jak pisać polecenia, tutaj skupiamy się na tym, kiedy jej nie wierzyć i jak to szybko sprawdzić. Dotyczy to wszystkich narzędzi, także Claude.
Dlaczego AI zmyśla: „halucynacje” po ludzku
Według OpenAI halucynacje to pewnie podane odpowiedzi, które brzmią wiarygodnie, ale są fałszywe. Model uczy się przewidywać kolejne słowo na ogromnej ilości tekstu, w którym nie ma etykiet „prawda” i „fałsz”. Błędy w pisowni znikają wraz ze skalą, bo mają wzorce, ale rzadkich faktów, jak data urodzin konkretnej osoby, nie da się przewidzieć ze wzorców, więc model je zgaduje. Autorzy podają przykład, w którym popularny chatbot zapytany o tytuł rozprawy doktorskiej jednego z autorów badania podał trzy różne, błędne odpowiedzi, a o jego urodziny trzy różne, błędne daty.
Druga przyczyna to sposób oceniania modeli. OpenAI twierdzi, że standardowe testy nagradzają zgadywanie, a nie przyznanie się do niepewności. W teście SimpleQA starszy model o4-mini odmawiał odpowiedzi w 1% przypadków, miał 24% odpowiedzi poprawnych i aż 75% błędnych, a nowszy gpt-5-thinking-mini odmawiał w 52%, miał 22% poprawnych i 26% błędnych. Strategia zgadywania daje trochę więcej trafień kosztem znacznie większej liczby pomyłek.
Co mówią badania: ile razy AI się myli
| Badanie | Co sprawdzano | Wynik |
|---|---|---|
| EBU/BBC (opublikowane w 2025) | Ponad 3000 odpowiedzi ChatGPT, Copilota, Gemini i Perplexity; 22 media publiczne, 18 krajów, 14 języków | 45% odpowiedzi z istotnym problemem, 31% z poważnymi problemami ze źródłami, 20% z poważnymi błędami merytorycznymi; Gemini najgorzej (76% z istotnym problemem) |
| Tow Center / Columbia Journalism Review (marzec 2025) | 8 wyszukiwarek AI, dopasowanie cytatów do źródeł | Ponad 60% odpowiedzi bez poprawnych informacji; od 37% błędów (Perplexity) do 94% (Grok-3 Search); odpowiedzi często pewne mimo błędu |
| Demos, „Wyborcze halucynacje” (2026, za Demagogiem) | Pytania o wybory zadawane chatbotom | Błędy rzeczowe: Replika 56,4%, ChatGPT 46,2%, Grok 9%; blisko 47% odpowiedzi bez źródeł lub linków |
| AI Security Institute (2025, za Demagogiem) | Porównanie GPT-4o, Claude, Mistral z wyszukiwarką Google przy zdobywaniu wiedzy | Chatboty poprawiły wiedzę o 0,13 pkt (skala 7-stopniowa), Google o 0,08; praca z AI o 6–10% krótsza; 87% badanych uznało chatboty za rzetelne |
| Reuters Institute, Digital News Report 2025 | Czy i do czego ludzie używają chatbotów | 7% używało chatbota do wiadomości w ostatnim tygodniu (15% osób poniżej 25 lat); do sprawdzania podejrzanej informacji 9% sięgnęłoby po chatbota, 14% po media społecznościowe, 38% po zaufane źródło wiadomości |
Kiedy AI najczęściej się myli: 10 sytuacji
| # | Sytuacja | Dlaczego jest ryzykowna | Co zrobić |
|---|---|---|---|
| 1 | Rzadkie fakty: daty, osoby, tytuły | Brak wzorca do przewidzenia (OpenAI) | Sprawdź w źródle pierwotnym lub encyklopedii |
| 2 | Najnowsze wydarzenia | Wiedza modelu ma datę końca. Demagog opisał, że ChatGPT (GPT-3.5) twierdził, że jest aktualny, choć dane kończyły się na 2021 roku, i błędnie podawał, że Benedykt XVI żyje | Używaj trybu z wyszukiwaniem i sprawdzaj datę źródła |
| 3 | Cytaty i linki | Tow Center: wiele narzędzi podaje błędne cytowania; Gemini i Grok częściej zmyślały linki niż podawały poprawne | Otwórz każdy link i znajdź cytat w tekście |
| 4 | Orzecznictwo i przepisy | Model potrafi wymyślić nieistniejące sprawy (przypadek Mata v. Avianca) | Sprawdź w oficjalnej bazie aktów lub orzeczeń |
| 5 | Liczby i statystyki | Model „zaokrągla” i miesza dane z różnych lat | Znajdź tabelę w źródle (GUS, Eurostat, raport) |
| 6 | Wybory i polityka | Demos: błędne daty, okręgi i kandydaci; łatwo pomylić fakt z opinią (Demagog) | Użyj oficjalnych stron komisji wyborczych i fact-checkerów |
| 7 | Zdrowie, leki, dawkowanie | Błąd może kosztować zdrowie; model nie zna twojej historii | Sprawdź ulotkę i skonsultuj się z lekarzem lub farmaceutą |
| 8 | Lokalne i niszowe tematy | Mało tekstów w danych treningowych, więc więcej zgadywania | Sprawdź stronę urzędu, firmy lub lokalne media |
| 9 | Pytania z fałszywym założeniem | Model ma skłonność do zgadzania się z użytkownikiem (badania nad sykofancją) | Zadaj pytanie neutralnie, bez sugerowania odpowiedzi |
| 10 | Absurdalne lub żartobliwe źródła w sieci | W 2024 roku AI Overviews Google podało m.in. radę o kleju na pizzy, co redakcja wiązała z żartami z forów i satyrą | Sprawdź, czy źródło jest poważne, a nie memem |
Case study: cztery przypadki, które kosztowały pieniądze
1. Prawnicy i nieistniejące sprawy (Mata v. Avianca, 2023)
Prawnicy złożyli w sądzie w Nowym Jorku pismo z odwołaniami do nieistniejących spraw, które wygenerował ChatGPT. Gdy strona przeciwna zwróciła uwagę na problem, nadal twierdzili, że sprawy są prawdziwe. W orzeczeniu z 22 czerwca 2023 roku sąd nałożył na dwóch prawników i kancelarię grzywnę 5000 dolarów, a w dokumentach wskazał oczywiste nieprawidłowości, np. niezgodne nazwiska sędziów i urwane w połowie zdania. Według relacji ChatGPT nie potwierdził istnienia spraw, tylko je wygenerował. Lekcja: samo pytanie „czy to prawdziwe?” zadane temu samemu modelu nie jest weryfikacją.
2. Chatbot linii lotniczej (Moffatt v. Air Canada, 2024)
Chatbot Air Canada zasugerował pasażerowi, że może kupić zwykły bilet i ubiegać się o zwrot w ramach zniżki żałobnej w ciągu 90 dni, co było niezgodne z polityką linii. Trybunał w Kolumbii Brytyjskiej uznał, że linia odpowiada za informacje na swojej stronie, także od chatbota, i zasądził częściowy zwrot 650,88 CAD oraz odsetki i opłaty. Trybunał zauważył też, że nie można oczekiwać od klientów weryfikowania informacji w różnych częściach strony. Lekcja: przy ważnych warunkach (zwroty, umowy) zapisz odpowiedź i potwierdź ją w regulaminie.
3. Raport za 440 tys. dolarów australijskich (Deloitte, 2025)
Raport dla rządu Australii zawierał zmyślone przypisy, w tym fabrykowany cytat z wyroku sądu federalnego i odwołania do nieistniejących prac naukowych. Poprawiona wersja z 3 października 2025 roku informuje, że użyto generatywnego systemu AI (Azure OpenAI), a Deloitte zgodził się zwrócić część wynagrodzenia. Lekcja: nawet profesjonaliści nie sprawdzają każdego przypisu, a to właśnie przypisy najczęściej zawodzą.
4. Klej na pizzy (Google AI Overviews, 2024)
W maju 2024 roku AI Overviews wyświetlało m.in. radę, by dodać „niskotoksyczny” klej do sosu, oraz by jeść jeden mały kamień dziennie. Według The Register wpłynęły na to m.in. żarty z Reddita i satyryczny artykuł The Onion. Google przyznało, że niektóre odpowiedzi były dziwne lub niedokładne, i ogłosiło lepsze rozpoznawanie satyry oraz ograniczenie zależności od treści użytkowników, np. z forów. Lekcja: AI potrafi z pełną powagą powtórzyć żart z internetu.
Pochlebstwo modelu: gdy AI mówi to, co chcesz usłyszeć
Anthropic w badaniu z 2023 roku opisał zjawisko sykofancji: model dopasowuje odpowiedź do przekonań użytkownika zamiast do prawdy. Autorzy wiążą to z treningiem na ocenach ludzi, bo odpowiedzi zgodne z poglądami rozmówcy częściej zdobywają jego aprobatę, a sykofancję wykazywało pięciu badanych czołowych asystentów w czterech zadaniach. Badanie nie podaje jednej liczby, jak często to się zdarza.
- Nie sugeruj odpowiedzi: zamiast „czy prawda, że X szkodzi?” zapytaj „co mówią badania o wpływie X na zdrowie i jak mocne są dowody?”.
- Poproś o kontrargumenty: „podaj najmocniejsze argumenty przeciw mojej tezie”. To dobre uzupełnienie tego, co opisaliśmy w tekście o komorach pogłosu.
- Nie naciskaj tonem: jeśli model poprawnie odpowiedział, a ty piszesz „na pewno?”, zmiana odpowiedzi nie jest dowodem, że pierwotna była błędna.
Jak sprawdzać odpowiedzi AI: 9 kroków
To nasze zestawienie, oparte na opisanych wyżej badaniach i przypadkach. Nie wymaga specjalistycznych narzędzi, a pierwszy test zajmuje kilka minut.
Oceń stawkę pytania
Zanim zaczniesz, zdecyduj: czy pomyłka kosztuje (zdrowie, prawo, pieniądze, publikacja)? Im wyższa stawka, tym więcej weryfikacji. Do burzy mózgów wystarczy mniej niż do cytatu w artykule.
Poproś o źródła, ale ich nie wierz na słowo
Lista źródeł może dawać fałszywe poczucie wiarygodności. Demagog opisał test, w którym ChatGPT podał nieistniejące źródła, a Tow Center wykazał, że narzędzia z wyszukiwarką też podają błędne cytowania.
Otwórz każdy link
Kliknij, czy strona w ogóle istnieje (błąd 404 to sygnał alarmowy), czy to ta organizacja i czy tekst dotyczy tematu. Zmyślone linki zdarzały się najczęściej w Gemini i Grok w badaniu Tow Center.
Znajdź w źródle konkretne zdanie
Skopiuj z odpowiedzi AI kluczowe twierdzenie i wyszukaj je w tekście źródła (Ctrl+F). Chatboty mogą cytować strony, które nie potwierdzają ich tezy.
Sprawdź datę
Zobacz, kiedy powstało źródło i czy sprawa nie została zaktualizowana. Wiedza modelu ma datę graniczną, a Demagog pokazał, że model potrafi zapewniać o własnej aktualności, choć dane są starsze.
Potwierdź drugim niezależnym źródłem
Wyszukaj ten sam fakt przez Google, w zaufanym serwisie lub bazie danych. Drugi chatbot to nie jest niezależne źródło, bo może powtórzyć ten sam błąd. Techniki opisujemy w poradniku o fact-checkingu krok po kroku.
Liczby i cytaty sprawdzaj w oryginale
Wartości procentowe, daty i sformułowania prawne bierz z tabeli, aktu prawnego lub raportu, nie z podsumowania. Nasza rada: jeśli model podał liczbę, poproś o link do tabeli i znajdź ją w tej tabeli.
Przetestuj model pytaniem, na które znasz odpowiedź
Zadaj najpierw pytanie z własnej dziedziny lub o rzecz sprawdzalną. Jeśli się pomyli, traktuj resztę rozmowy z większą ostrożnością.
Dla zdrowia i prawa idź do człowieka
W sprawach, od których zależą decyzje życiowe, AI może pomóc przygotować pytania, ale decyzję konsultuj z lekarzem, prawnikiem lub urzędem. My nie udzielamy porad medycznych ani prawnych.
10 promptów, które zmniejszają ryzyko zmyślenia
Dobre polecenie nie usuwa halucynacji, ale pomaga je wychwycić. To nasze propozycje (po polsku, do skopiowania i dostosowania). Więcej o budowaniu poleceń znajdziesz w poradniku o meta-promptingu.
| # | Prompt | Po co |
|---|---|---|
| 1 | Jeśli nie jesteś pewien, napisz „nie wiem” zamiast zgadywać. | Ogranicza zgadywanie, o którym pisze OpenAI |
| 2 | Oddziel fakty potwierdzone od przypuszczeń i oznacz poziom pewności. | Pokazuje, co wymaga sprawdzenia |
| 3 | Podaj źródła z działającymi linkami i datami publikacji. | Ułatwia kontrolę, ale linki trzeba otworzyć |
| 4 | Zacytuj dosłownie fragment źródła, na którym opierasz to twierdzenie. | Pozwala wyszukać cytat w tekście |
| 5 | Jaka jest data graniczna twojej wiedzy i czy możesz sprawdzić to w sieci? | Przypomina o aktualności |
| 6 | Podaj najmocniejsze argumenty przeciw tej tezie. | Ogranicza pochlebstwo i błąd potwierdzenia |
| 7 | Które części twojej odpowiedzi są najbardziej prawdopodobnie błędne? | Wskazuje miejsca do weryfikacji |
| 8 | Zadaj mi pytania doprecyzowujące, zanim odpowiesz. | Mniej zgadywania kontekstu |
| 9 | Zaproponuj 5 fraz i operatorów do wyszukania tego w Google i bazach źródłowych. | AI jako pomoc w szukaniu, a nie jako sędzia (zob. nasze 15 operatorów Google) |
| 10 | Wypisz, co dokładnie muszę sprawdzić ręcznie, i gdzie. | Daje listę kontrolną |
Kiedy AI naprawdę pomaga w szukaniu
Badanie AI Security Institute (za Demagogiem) wskazało, że chatboty mogą być równie skuteczne co wyszukiwarka, a nawet nieco szybsze, ale nadal wymagają weryfikacji. Dobrze sprawdzają się w zadaniach, w których błąd jest łatwo zauważyć lub mało kosztowny:
- Burza mózgów słów kluczowych: synonimy, nazwy techniczne i angielskie odpowiedniki fraz, które wpiszesz do Google. Zobacz 15 operatorów Google.
- Streszczenie tekstu, który sam wkleiłeś: ryzyko błędu jest mniejsze, bo model pracuje na twoim materiale, choć nadal może coś pominąć.
- Wyjaśnianie pojęć i planowanie researchu: poproś o mapę tematu i listę pytań do sprawdzenia.
- Szkic argumentów i kontrargumentów: do dalszej weryfikacji.
- Tłumaczenia i czytanie obcojęzycznych źródeł: jako pierwszy rzut, ważne fragmenty sprawdź.
Prosta zasada (nasza): AI do szukania tropów, wyszukiwarka i źródła do potwierdzania. Pisaliśmy też o tym, że coraz częściej odpowiedź dostajesz bez wchodzenia na stronę, więc tym ważniejsze jest, by sprawdzić, skąd pochodzi (wyszukiwania bez kliknięcia).
Najczęstsze pytania (FAQ)
Nie w sensie ludzkim, bo nie ma intencji oszukania. Generuje tekst, który brzmi wiarygodnie, ale może być fałszywy. Takie błędy nazywa się halucynacjami.
Według OpenAI to pewnie podane odpowiedzi, które wyglądają wiarygodnie, ale są fałszywe. Powstają m.in. dlatego, że model przewiduje kolejne słowa, a rzadkich faktów nie da się przewidzieć ze wzorców.
Tak. Każdy obecny asystent AI, w tym Claude, ChatGPT, Gemini i Perplexity, może podać błędną informację, zmyślić źródło lub użyć nieaktualnych danych. Dlatego ważne informacje trzeba weryfikować niezależnie od narzędzia.
Pomaga w aktualności, ale nie gwarantuje poprawności. Tow Center w marcu 2025 roku wykazał, że wyszukiwarki AI nie podały poprawnych informacji w ponad 60% badanych przypadków, a wyniki różniły się mocno między narzędziami.
Otwórz link, sprawdź domenę, datę i autora, a potem znajdź w tekście zdanie, na które powołuje się AI. Jeśli strony nie ma lub nie potwierdza tezy, odpowiedź jest niewiarygodna.
Możesz użyć tego jako dodatkowego sygnału, ale to nie jest niezależna weryfikacja, bo modele mogą powielać te same błędy. Lepiej sprawdzić wyszukiwarką i źródłem pierwotnym.
Modele generują płynny tekst bez wbudowanego sygnału „nie jestem pewien”. Tow Center zauważył, że wiele narzędzi odpowiada pewnym tonem mimo błędów, a OpenAI wskazuje, że testy nagradzają zgadywanie.
Nie bez sprawdzenia. W sprawie Mata v. Avianca ChatGPT wygenerował nieistniejące sprawy, a raport Deloitte dla rządu Australii zawierał zmyślone przypisy.
Może pomóc w planowaniu: podpowiedzieć frazy do wyszukania, wskazać rodzaje źródeł i wyjaśnić pojęcia. Samo orzekanie o prawdzie powinno opierać się na źródłach pierwotnych i fact-checkerach.
Pytaj neutralnie, proś o poziom pewności, źródła i datę, a także o kontrargumenty. Nie sugeruj odpowiedzi, bo modele mają skłonność do zgadzania się z użytkownikiem (sykofancja).
Może pomóc zrozumieć pojęcia i przygotować pytania, ale nie zastępuje lekarza ani prawnika. Błędne dawkowanie czy zmyślone orzecznictwo mogą mieć poważne skutki.
W sprawie Moffatt v. Air Canada trybunał uznał, że linia lotnicza odpowiada za informacje podane przez jej chatbota. To jednak orzeczenie z Kanady, a przepisy w Polsce mogą się różnić, więc w razie sporu skonsultuj się z prawnikiem.
Nie ma jednej odpowiedzi. Wyniki zależą od narzędzia, wersji i tematu, a badania szybko się dezaktualizują. Wybierz narzędzie, które pokazuje źródła, i zawsze je sprawdzaj.
Tak. Demagog opisywał błędy chatbotów, także w sprawach politycznych i przy podawaniu źródeł. Dla polskiego kontekstu ważne jest sprawdzanie w polskich, oficjalnych źródłach.
Kup poradnik „Jak szukać?”
Konkretne metody wyszukiwania i weryfikacji informacji, krok po kroku, z dziesiątkami przykładów.
Zobacz poradnik → ☕Wesprzyj nas na Suppi
Tworzymy te materiały w wolnym czasie. Każde wsparcie pomaga nam pisać więcej i częściej.
Wesprzyj → ▶️Obejrzyj nas na YouTube
Te same tematy w krótszej, wideo-formie, z konkretnymi przykładami na ekranie.
Subskrybuj →Więcej z naszego bloga
Źródła: OpenAI: Why Language Models Hallucinate; arXiv: Why Language Models Hallucinate; Journalism.co.uk: raport EBU/BBC; Nieman Lab: badanie Tow Center; Demagog: tak chatboty mylą się na tematy polityczne; Demagog: jak działają chatboty i na co uważać w kontekście źródeł; Press Gazette: Digital News Report 2025; Seyfarth: sprawa Mata v. Avianca; Manatt: Moffatt v. Air Canada; Fast Company: raport Deloitte dla rządu Australii; The Register: Google AI Overviews; Anthropic: Towards Understanding Sycophancy in Language Models. Wyniki badań dotyczą konkretnych wersji narzędzi i dat, a modele szybko się zmieniają. Tekst nie jest poradą medyczną ani prawną.