W badanej serii halucynacje oznaczono w 51 z 80 odpowiedzi bez narzędzi i w 40 z 80 z wyszukiwaniem w internecie; poprawnie ugruntowanych było odpowiednio 19 i 27.
Zobacz wynikiRaport PDF · 44 str.Artykuł metodologiczny (EN)Wyniki dotyczą jednej serii dziesięciu pytań; karty sprawdzał jeden prawnik. To nie jest ogólny ranking modeli ani produktów. Ograniczenia badania
Odpowiedź ma pełny rdzeń (trafia w sedno pytania) i ani jednego twierdzenia o źródle prawa niezgodnego z tekstem urzędowym, a co najmniej jedno powołanie zostało sprawdzone u źródła.
Odpowiedź zawiera co najmniej jedno twierdzenie o przepisie lub orzeczeniu niezgodne z tekstem urzędowym na dzień stanu prawnego, także wtedy, gdy sam wniosek jest trafny.
Brak halucynacji nie wystarcza: odpowiedź bez błędnych powołań, ale z niepełnym rdzeniem albo bez żadnego sprawdzonego źródła, nie jest poprawnie ugruntowana. Definicje i mianowniki.
Każdy model odpowiadał na te same dziesięć pytań dwa razy: bez narzędzi (W0) i z wyszukiwaniem w internecie narzędziem dostawcy (W1).
Jak powstała ocena. Model przygotowuje kartę każdej odpowiedzi i szuka każdego powołania w źródle urzędowym; prawnik sprawdza każdą kartę i zatwierdza albo zmienia ocenę. Sprawdzono 1 436 z 1 454 powołań. Procedura
Dla jednego modelu w jednym warunku jedna odpowiedź to 10 punktów procentowych; różnice 1–2 odpowiedzi nie wystarczają do ustalenia stabilnej kolejności modeli. Blok A to kryteria sprawdzane wobec klucza i źródła (rdzeń, podstawy prawne, powołania), blok B to kryteria ocenne. Koszt serii dziesięciu odpowiedzi według cenników z 18.10.2026 jako równoważnik API; „≥” to dolne oszacowanie. Wyniki per pytanie: dziesięć pytań.
Tabelę można przesuwać w bok; kolumna z nazwą modelu zostaje na miejscu.
| Model | Warunek | Poprawnie ugruntowane z 10 | Halucynacje z 10 | Blok A % | Blok B % | Koszt serii USD | USD / poprawnie ugruntowaną | Sprawdzone powołania |
|---|---|---|---|---|---|---|---|---|
| GPT-6.1 Sol | W0 | 6 | 1 | 72,8 | 86,7 | 0,250 | 0,042 | 51 z 51 |
| W1 | 7 | 1 | 84,0 | 96,7 | ≥ 1,544 | ≥ 0,221 | 72 z 73 | |
| GPT-6 Astra | W0 | 6 | 1 | 75,2 | 83,3 | 1,415 | 0,236 | 59 z 59 |
| W1 | 7 | 0 | 82,5 | 93,3 | 3,816 | 0,545 | 63 z 63 | |
| GPT-5.6 Terra | W0 | 3 | 6 | 41,7 | 66,7 | 0,206 | 0,069 | 41 z 41 |
| W1 | 4 | 4 | 72,7 | 86,7 | 1,321 | 0,330 | 70 z 70 | |
| Claude Opus 5.5 | W0 | 0 | 9 | 55,0 | 73,3 | 0,961 | n/d | 123 z 123 |
| W1 | 4 | 5 | 86,0 | 96,7 | ≥ 1,467 | ≥ 0,367 | 147 z 147 | |
| Claude Sonnet 5.5 | W0 | 0 | 9 | 43,5 | 60,0 | 0,613 | n/d | 93 z 93 |
| W1 | 0 | 9 | 67,8 | 90,0 | ≥ 0,842 | n/d | 104 z 111 | |
| Claude Haiku 5.5 | W0 | 0 | 9 | 30,1 | 56,7 | 0,029 | n/d | 62 z 62 |
| W1 | 0 | 8 | 49,5 | 66,7 | ≥ 0,225 | n/d | 75 z 77 | |
| Gemini 3.8 Flash | W0 | 2 | 8 | 49,6 | 70,0 | 0,116 | 0,058 | 75 z 77 |
| W1 | 4 | 5 | 78,1 | 86,7 | ≥ 0,514 | ≥ 0,128 | 97 z 97 | |
| Gemini 4 Argon | W0 | 2 | 8 | 61,0 | 80,0 | 0,372 | 0,186 | 115 z 121 |
| W1 | 1 | 8 | 75,3 | 86,7 | ≥ 2,085 | ≥ 2,085 | 189 z 189 |
Najczęściej oznaczano klasę T: przypisanie istniejącemu przepisowi lub orzeczeniu treści, której źródło nie potwierdza (42 z 80 odpowiedzi bez narzędzi, 24 z 80 z wyszukiwaniem). Klasa W, brzmienie przepisu z innej daty podane jako obowiązujące, wystąpiła w 18 i 17 odpowiedziach. Ma znaczenie, bo przepisy zmieniają się nowelizacjami, a do pisma trafia brzmienie obowiązujące w dniu sprawy. Zmyślone źródło (F) i przekręcony identyfikator (S) są rzadkie.
Jedna odpowiedź może mieć kilka klas, więc liczby się nie sumują. Łącznie 51 odpowiedzi z halucynacją bez narzędzi i 40 z wyszukiwaniem. Definicje klas
Oba przykłady to ten sam model, GPT-5.6 Terra, w obu warunkach: w P01 wyszukiwanie zaszkodziło, w P05 pomogło. Każda ze 160 odpowiedzi ma podobną kartę z punktami, dowodem ze źródła i klasą błędu.
„W 2026 r. granica … wynosi co do zasady 800 zł. Nie zmieniła się ona wraz ze wzrostem płacy minimalnej.”
„W 2026 r. próg wynosi 1 201,50 zł. Tak, próg wzrósł wraz z płacą minimalną … ustawowy próg to jej 1/4.”
W tej parze wyszukiwanie nie zastąpiło sprawdzenia brzmienia przepisu na datę: model z dostępem do sieci podał brzmienie sprzed 1.10.2023 jako obowiązujące.
„Co do zasady osoba fizyczna występująca we własnym imieniu nie jest obowiązana odbierać pism sądowych przez Portal Informacyjny.”
„Tak — od 1 czerwca 2026 r. osoba fizyczna może otrzymywać pisma sądowe przez Portal Informacyjny, ale wyłącznie po dobrowolnym wyborze tej formy doręczeń.”
W tej parze wyszukiwanie dało dostęp do noweli, której model nie znał z pamięci. Inny przypadek, w którym trafna odpowiedź „tak” opiera się na złym przepisie: P07, Claude Haiku 5.5.
Każda liczba na tej stronie wynika z karty oceny jednej odpowiedzi. Pełna metodologia
Publikujemy pytania z kluczami, odpowiedzi, karty, oceny sędziów i skrypty.
Za Twoją zgodą używamy plików cookie Google Analytics, żeby wiedzieć, które strony i materiały są czytane. Bez zgody nie ładujemy żadnego skryptu analitycznego. Prywatność i cookies