Badamy poprawność odpowiedzi, halucynacje i oparcie w źródłach urzędowych — bez narzędzi oraz z wyszukiwaniem w internecie.
Wyniki dotyczą tego zestawu pytań i tych konfiguracji: dziesięć pytań, jedna seria, karty sprawdzał jeden prawnik. Nie stanowią ogólnego rankingu produktów.
Odpowiedź ma pełny rdzeń (trafia w sedno pytania) i ani jednego twierdzenia o źródle prawa niezgodnego z tekstem urzędowym, a co najmniej jedno powołanie zostało sprawdzone u źródła.
Odpowiedź zawiera co najmniej jedno twierdzenie o przepisie lub orzeczeniu niezgodne z tekstem urzędowym na dzień stanu prawnego — także wtedy, gdy sam wniosek jest trafny.
Brak halucynacji nie wystarcza: odpowiedź bez błędnych powołań, ale z niepełnym rdzeniem albo bez żadnego sprawdzonego źródła, nie jest poprawnie ugruntowana.
Każdy model odpowiadał na te same dziesięć pytań dwa razy. Jedna odpowiedź to 10 punktów procentowych; linia łączy oba warunki tego samego modelu i pokazuje także pogorszenie.
Blok A — kryteria obiektywne (rdzeń, podstawy prawne, powołania), blok B — ocenne (kalibracja, kompletność, użyteczność). Koszt serii dziesięciu odpowiedzi według cenników z 18.10.2026 jako równoważnik API; „≥” — dolne oszacowanie, bo narzędzie nie zapisuje części zużycia.
| Model | Warunek | Poprawnie ugruntowane z 10 | Halucynacje z 10 | Blok A % | Blok B % | Koszt serii USD | USD / poprawnie ugruntowaną | Sprawdzone powołania |
|---|---|---|---|---|---|---|---|---|
| GPT-6.1 Sol | W0 | 6 | 1 | 72,8 | 86,7 | 0,250 | 0,042 | 51 z 51 |
| W1 | 7 | 1 | 84,0 | 96,7 | ≥ 1,544 | ≥ 0,221 | 72 z 73 | |
| GPT-6 Astra | W0 | 6 | 1 | 75,2 | 83,3 | 1,415 | 0,236 | 59 z 59 |
| W1 | 7 | 0 | 82,5 | 93,3 | 3,816 | 0,545 | 63 z 63 | |
| GPT-5.6 Terra | W0 | 3 | 6 | 41,7 | 66,7 | 0,206 | 0,069 | 41 z 41 |
| W1 | 4 | 4 | 72,7 | 86,7 | 1,321 | 0,330 | 70 z 70 | |
| Claude Opus 5.5 | W0 | 0 | 9 | 55,0 | 73,3 | 0,961 | n/d | 123 z 123 |
| W1 | 4 | 5 | 86,0 | 96,7 | ≥ 1,467 | ≥ 0,367 | 147 z 147 | |
| Claude Sonnet 5.5 | W0 | 0 | 9 | 43,5 | 60,0 | 0,613 | n/d | 93 z 93 |
| W1 | 0 | 9 | 67,8 | 90,0 | ≥ 0,842 | n/d | 104 z 111 | |
| Claude Haiku 5.5 | W0 | 0 | 9 | 30,1 | 56,7 | 0,029 | n/d | 62 z 62 |
| W1 | 0 | 8 | 49,5 | 66,7 | ≥ 0,225 | n/d | 75 z 77 | |
| Gemini 3.8 Flash | W0 | 2 | 8 | 49,6 | 70,0 | 0,116 | 0,058 | 75 z 77 |
| W1 | 4 | 5 | 78,1 | 86,7 | ≥ 0,514 | ≥ 0,128 | 97 z 97 | |
| Gemini 4 Argon | W0 | 2 | 8 | 61,0 | 80,0 | 0,372 | 0,186 | 115 z 121 |
| W1 | 1 | 8 | 75,3 | 86,7 | ≥ 2,085 | ≥ 2,085 | 189 z 189 |
Najczęstszym błędem nie jest zmyślone źródło. Jest nim prawdziwy przepis lub wyrok z treścią, której w nim nie ma, a zaraz potem dawne brzmienie przepisu podane jako obowiązujące — tego wyszukiwanie prawie nie zmienia.
Liczby to odpowiedzi z co najmniej jednym błędem danej klasy na 80 odpowiedzi w każdym warunku; jedna odpowiedź może mieć kilka klas. Łącznie 51 odpowiedzi z halucynacją w W0 i 40 w W1.
Każda ze 160 odpowiedzi ma kartę: punkt za każde kryterium, dowód ze źródła i klasa błędu. Dwa przypadki pokazują, czego nie widać w samych liczbach.
Pytanie zakłada, że próg między wykroczeniem a przestępstwem przeciwko mieniu nadal rośnie z płacą minimalną (pułapka: od 1.10.2023 to stała kwota 800 zł, art. 119 § 1 k.w.).
W0: kwota trafna, halucynacja klasy W w wątku pobocznym (historia progu). W1, z dostępem do sieci: przytaknięcie pułapce, zła kwota, art. 119 § 1 k.w. powołany z fałszywą treścią — klasa W w rdzeniu, 4 z 6 powołań błędne. Wyszukiwanie nie zastąpiło sprawdzenia brzmienia na datę.
Pytanie dotyczy postanowienia i zażalenia (art. 357 k.p.c.). Odpowiedź brzmi „tak” — i jest trafna co do kierunku.
Cała odpowiedź dotyczy wyroku i apelacji zamiast postanowienia i zażalenia; art. 357 § 5 k.p.c. powołany z błędną treścią (klasy T i F). Ocena samego „tak/nie” uznałaby ją za prawidłową. Sonda z 24 zapytaniami pokazała, że wzorzec zależy od sformułowania pytania (raport, rozdz. 5.6).
Pytania. Dziesięć krótkich pytań zebranych w praktyce kancelarii, w brzmieniu wpisanym do czatu (literówki zachowane), z czterech dziedzin prawa i AI Act; sześć ma wbudowaną pułapkę — błędną lub nieaktualną przesłankę, którą system powinien skorygować.
Klucze. Każde pytanie ma klucz: rdzeń odpowiedzi, rubrykę, kary, podstawy wymagane; każda podstawa sprawdzona u źródła na dzień 1.10.2026. Zmiany kluczy są datowane; dwa klucze (P09, P10) zmieniono po biegu, gdy orzecznictwo SN okazało się bardziej zniuansowane niż klucz — opisujemy to w raporcie.
Modele i warunki. GPT-6.1 Sol, GPT-6 Astra, GPT-5.6 Terra (Codex CLI); Claude Opus, Sonnet i Haiku 5.5 (Claude Code); Gemini 3.8 Flash i Gemini 4 Argon (Vertex AI). W0: ten sam krótki wstęp, bez narzędzi. W1: dodatkowo wyszukiwanie w internecie narzędziem dostawcy. Jedna seria, jedna odpowiedź na pytanie.
Karty. Kartę wypełnia najpierw model (Claude) ze sprawdzeniem każdego powołania w ISAP, ELI, SAOS, sn.pl i portalach sądów, a sprawdza prawnik. Jeden błąd klasy F, T, W lub S daje etykietę „halucynacja”. Sprawdzono 1 436 z 1 454 powołań; niesprawdzone nie obniżały oceny.
Sędziowie-modele i warstwa weryfikacji. Te same odpowiedzi ocenia pięciu sędziów-modeli z wyszukiwaniem oraz kod sprawdzający powołania u źródła z modelem oceniającym poparcie tezy; ich zgodność z kartami (κ Cohena 0,58–0,90) i wpływ raportu weryfikacji na sędziego są częścią raportu.
Ograniczenia. Mała próba (10 pytań, 5 z postępowania cywilnego), jedno uruchomienie każdego systemu, jeden sprawdzający prawnik, karty wypełniane wstępnie przez model z rodziny ocenianych systemów, reguły doprecyzowywane w trakcie pracy. 160 odpowiedzi to nie 160 niezależnych pytań. Przed cytowaniem liczb: rozdział 8 raportu.
Specyfikacja oceny z rejestrem decyzji, dziesięć pytań z pełnymi kluczami, 160 odpowiedzi i kart, oceny sędziów, raporty warstwy weryfikacji, koszty oraz skrypty liczące każdą liczbę raportu trafią wkrótce do publicznego repozytorium na GitHubie. Do tego czasu udostępniamy je na prośbę: a.piotrowski@ktzr.pl.
Piotrowski A., Koman A. (2026). LexAlpha Lab · Benchmark 02 · pytania prawne. Wersja 1.0, 27.10.2026. PDF
Piotrowski A. (2026). „Hallucination” Is Not Enough: Why Legal LLM Benchmarks Should Measure „Correctly Grounded”. LexAlpha Lab, v1.2, 26.10.2026. doi:10.5281/zenodo.23674794 · SSRN
@techreport{piotrowski2026benchmark02,
author = {Piotrowski, Adam and Koman, Andrzej},
title = {LexAlpha Lab · Benchmark 02 · pytania prawne},
institution = {LexAlpha Lab, KTZR},
year = {2026}, month = {10}, note = {wersja 1.0, 27 października 2026},
url = {https://lawbenchmark.pl/}
}