Halucynacje AI w dokumentach prawnych: sprawdź przepis w bazie

Zawodowy pełnomocnik oparł zażalenie do Naczelnego Sądu Administracyjnego na trzech postanowieniach tego sądu. Sygnatury istniały. Sąd sprawdził je po kolei. W postanowieniu z 23 czerwca 2026 r. (I FZ 104/26) stwierdził, że żadne nie oddaje rzeczywistego stanowiska NSA: orzeczenia zapadły w innych datach i nie dotyczyły wstrzymania wykonania decyzji. Zażalenie oddalono.

Winny nie jest jeden słaby model. Każdy układa zdanie, losując kolejne słowa, i każdy robi to coraz płynniej. Sprawdzić to, co napisał, da się dopiero na dosłownym tekście przepisu ze źródła. Pokazujemy sesję, w której baza prawna Umowy.AI zwróciła agentowi AI tekst artykułu, a agent cofnął własne uzasadnienie.

To samo pytanie, dwie różne odpowiedzi

Model układa odpowiedź słowo po słowie, losując każde kolejne z rozkładu prawdopodobieństwa, i do żadnego rejestru sam nie zagląda. Stąd określenie „niedeterministyczny”.

Badacze z Thinking Machines Lab sprawdzili to we wrześniu 2025 roku. Wysłali do dużego modelu z otwartymi wagami to samo zapytanie 1000 razy przy temperaturze 0. Temperatura 0 to ustawienie, przy którym model w teorii odpowiada zawsze tak samo. Dostali 80 różnych odpowiedzi.

Numer artykułu, który model przywołuje z pamięci, jest więc czystym losowaniem. Model nie sprawdza go w żadnym rejestrze, tylko losuje jak każde inne słowo odpowiedzi, za każdym razem od nowa. Tekst artykułu z bazy prawnej Umowy.AI nie podlega losowaniu: na to samo zapytanie baza zwraca za każdym razem ten sam tekst w aktualnym brzmieniu z Dziennika Ustaw. Losowość jest po stronie modelu, nie po stronie bazy.

Im pewniej brzmi model, tym trudniej go sprawdzić

Badanie z 2025 r. w „Nature Machine Intelligence” wykazało, że dłuższe wyjaśnienie modelu podnosiło zaufanie badanych, ale nie jego trafność.

W sprawie, od której zaczęliśmy, sąd nazwał przywołane postanowienia halucynacjami AI. Jak podała „Rzeczpospolita”, napisał przy tym:

Nader krytycznie należy ocenić bezrefleksyjne korzystanie z narzędzi AI przez zawodowego pełnomocnika przy sporządzaniu pism procesowych.

Inny przykład: firma z ofertą za 15,5 mln zł wypadła w 2025 roku z przetargu na utrzymanie dróg (KIO 3342/25). W wyjaśnieniach ceny powołała interpretacje podatkowe, których nikt nie wydał. Konkurent to wykazał przed Krajową Izbą Odwoławczą.

Dostęp do źródeł zmniejsza ryzyko, ale go nie zeruje. Badacze ze Stanfordu sprawdzili trzy komercyjne narzędzia prawnicze, które przed odpowiedzią przeszukują własne zbiory: halucynowały rzadziej niż czat ogólny, ale nadal w 17–33% odpowiedzi. Badanie dotyczy prawa USA i modeli z lat 2023–2024.

Dlatego baza prawna Umowy.AI nie odpowiada modelowi na pytanie „czy mam rację”. Zwraca mu dosłowny tekst przepisu z adresem publikacyjnym, żebyś sprawdzał model na źródle, a nie na jego pewności siebie.

Rękojmia przy jednoosobowej działalności: co zmienił tekst przepisu

Pracujemy w Claude Code. To agent AI firmy Anthropic: program, który czyta pliki na komputerze, poprawia je i wykonuje polecenia krok po kroku. Pod spodem ma ogólny model językowy, więc myli się jak każdy model. Z naszych narzędzi jest w tej historii jedno: baza prawna Umowy.AI. Claude Code łączy się z nią przez MCP (Model Context Protocol), standard dostępu modeli do zewnętrznych danych.

Model przygotowywał umowę sprzedaży między przedsiębiorcami. Kupujący prowadzi jednoosobową działalność, a umowa wyłącza rękojmię. Uzasadnienie klauzuli napisał z pamięci: wyłączenie jest dopuszczalne, bo obie strony zawierają umowę w ramach działalności gospodarczej. Dalej stało tak:

(…) Kupujący nie jest konsumentem ani osobą fizyczną zawierającą umowę bezpośrednio związaną z jej działalnością gospodarczą, która nie ma dla niej charakteru zawodowego (…)

Po ludzku: skuteczność klauzuli model oparł na ocenie, że umowa ma dla kupującego charakter zawodowy.

Potem sam zapowiedział, że weryfikuje jeszcze jedno ryzyko: kupujący to jednoosobowa działalność, więc wyłączenie rękojmi może nie zadziałać. Wywołał bazę prawną Umowy.AI i po odczytaniu przepisu napisał:

Moje pierwotne uzasadnienie w § 6 było prawnie nieścisłe — poprawiam.

Przepis to art. 556⁴ § 1 ustawy z dnia 23 kwietnia 1964 r. – Kodeks cywilny (dalej: KC). Rozciąga konsumenckie przepisy o rękojmi na osobę fizyczną, która zawiera umowę związaną ze swoją działalnością, ale bez charakteru zawodowego. Z jednym zastrzeżeniem: „z wyjątkiem art. 558 § 1 zdanie drugie”. To zdanie ogranicza wyłączanie rękojmi wobec konsumenta i na przedsiębiorcę będącego osobą fizyczną się nie przenosi.

W to miejsce model wpisał oświadczenie kupującego:

Kupujący oświadcza, że nie jest konsumentem, zawiera niniejszą umowę w ramach prowadzonej przez siebie działalności gospodarczej, a umowa ta posiada dla niego charakter zawodowy w rozumieniu art. 556⁴ § 1 Kodeksu cywilnego (…)

Takie oświadczenie przewiduje art. 556⁴ § 2 KC, gdy z treści umowy nie wynika, czy ma ona charakter zawodowy. Druga strona nie może uzależnić od niego zawarcia umowy. Niżej model dołożył osobny ustęp:

Strony zgodnie stwierdzają, że wyłączenie rękojmi, o którym mowa w ust. 1, jest w pełni skuteczne — ograniczenie przewidziane w art. 558 § 1 zdanie drugie Kodeksu cywilnego dotyczy wyłącznie konsumentów i zgodnie z art. 556⁴ § 1 Kodeksu cywilnego nie znajduje zastosowania do osoby fizycznej zawierającej umowę bezpośrednio związaną z jej działalnością gospodarczą.

Model nie zmyślił przepisu, a wniosek końcowy miał dobry. Napisał pewnie brzmiące uzasadnienie na kruchej przesłance. Takiego błędu nie wyłapiesz, sprawdzając, czy artykuł o tym numerze istnieje. Wyłapał go dopiero tekst przepisu, który baza Umowy.AI zwróciła po jednym wywołaniu.

Komentarz modelu na zrzucie: dokąd sięga i gdzie zaczyna się rola człowieka

Na zrzucie widać jeszcze jedno zdanie modelu: wyłączenie rękojmi wobec jednoosobowej działalności jest skuteczne „niezależnie od charakteru zawodowego”. Za szerokie jest to jedno zdanie komentarza, nie zapis w umowie. Komentarz jest prawdziwy w granicach art. 558 KC, a poza nimi charakter zawodowy umowy znów decyduje. Art. 7aa ustawy z dnia 30 maja 2014 r. o prawach konsumenta rozciąga rozdział 5a, o braku zgodności towaru z umową, na osobę fizyczną prowadzącą działalność. Warunek: z treści umowy wynika, że nie ma ona dla tej osoby charakteru zawodowego. Do umów objętych tym rozdziałem nie stosuje się przepisów KC o rękojmi przy sprzedaży (art. 43a ust. 1 tej ustawy). Tę samą osobę obejmują przepisy o klauzulach niedozwolonych, przez art. 385⁵ § 1 KC.

Same zapisy w umowie mają oparcie w przepisach: oświadczenie kupującego w art. 556⁴ § 2 i art. 385⁵ § 1¹ KC, ustęp o wyłączeniu w art. 556⁴ § 1 KC.

Baza prawna Umowy.AI dała modelowi dokładny tekst artykułu, o który zapytał. Jak te trzy regulacje ułożą się w konkretnej umowie, ocenia człowiek; tej granicy nie przejdzie za niego żadne narzędzie AI.

Narzędzie jako baza dla modelu

Pomysł na bazę prawną Umowy.AI mieliśmy w 2023 roku, kiedy zobaczyliśmy, czego tym modelom brakuje. Model jest z natury niedeterministyczny, baza daje mu deterministyczny dostęp do wiedzy.

To samo zapytanie do bazy prawnej Umowy.AI o art. 558 KC zwraca za każdym razem ten sam, aktualny tekst artykułu z Dziennika Ustaw. Do tego adres publikacyjny, tutaj Dz.U. 2026 poz. 795, i status obowiązywania aktu. Model dostaje prawdziwe wrotki zamiast zgadywania: dosłowne brzmienie i źródło.

W drugiej sesji model zapowiedział, że przed napisaniem pism do urzędu skarbowego sprawdzi podstawy prawne w bazie prawnej Umowy.AI. Sięgnął do niej sześć razy, zanim napisał pierwsze zdanie. Zrzut nie pokazuje, czego szukał; pokazuje kolejność: najpierw przepis, potem pismo.

Trzeci przypadek zdarzył się przy pracy nad tym wpisem. Model, który go przygotowywał, chciał z pamięci powołać art. 556⁵ KC jako podstawę historii rękojmi. Baza prawna Umowy.AI zwróciła tekst art. 556⁵ § 1 KC, a ten dotyczy czego innego: art. 563 i art. 567 § 2 KC. Właściwy był art. 556⁴ KC. Pomyłka o jedną cyfrę w indeksie górnym.

To nasze doświadczenie, a nie pomiar. Badania dla polskiego prawa nie znaleźliśmy.

Checklista najlepszych działań w pracy z AI nad dokumentami

1. Wklej do polecenia zdanie, które pozwala modelowi się wycofać: „Jeśli nie znasz przepisu, napisz «nie wiem» zamiast zgadywać”. Zaleca to dokumentacja Anthropic.
2. Każ mu pracować na dosłownym brzmieniu: „Zanim zaczniesz argumentować, przytocz dosłowny tekst artykułu i napisz, czy masz go ze źródła, czy z pamięci”.
3. Porównaj cytat z aktualnym tekstem w Dzienniku Ustaw. Dla Kodeksu cywilnego to dziś Dz.U. 2026 poz. 795. Art. 556⁴ i art. 556⁵ KC różni jedna cyfra.
4. Sprawdź przy każdym orzeczeniu datę i tezę, a nie samą sygnaturę. W sprawie I FZ 104/26 sygnatury istniały.
5. Zadaj modelowi to samo pytanie prawne trzy razy, każde w nowej rozmowie. Trzy różne numery artykułu znaczą, że model zgaduje.
6. Podłącz agentowi bazę, która zwraca tekst przepisu. Naszą podpina się przez MCP. Pierwszy raz zrób to według naszego poradnika.
7. Szukaj w oknie programu wywołania bazy przy każdym przepisie. U nas to linia „Called baza-prawna”. Numer artykułu bez niej traktuj jak napisany z pamięci.
8. Przeczytaj uzasadnienie klauzuli, a nie sam wniosek. Sprawdź, czy przesłanka jest w przepisie i czy tej samej sytuacji nie reguluje drugi akt. Przekonaj się samodzielnie, jak baza prawna Umowy.AI zmienia jakość pracy z AI.

Pierwsze pięć kroków zrobisz dziś na dowolnym czacie. Szósty jest granicą: od niego model przestaje opowiadać o przepisie z halucynacji i zaczyna go czytać z bazy danych, a to jest gigantyczna różnica.

Ten artykuł ma charakter edukacyjny i nie stanowi porady prawnej. W sprawach indywidualnych skonsultuj się z prawnikiem.