Benchmark 02 · prawo polskie · aktualizacja 29.10.2026 Zbiór kalibracyjny

Jak modele językowe odpowiadają na pytania z polskiego prawa?

W badanej serii halucynacje oznaczono w 51 z 80 odpowiedzi bez narzędzi i w 40 z 80 z wyszukiwaniem w internecie; poprawnie ugruntowanych było odpowiednio 19 i 27.

Zobacz wynikiRaport PDF · 44 str.Artykuł metodologiczny (EN)

Wyniki dotyczą jednej serii dziesięciu pytań; karty sprawdzał jeden prawnik. To nie jest ogólny ranking modeli ani produktów. Ograniczenia badania

O badaniu: Benchmark 02 · raport 1.1 z 29.10.2026 · karty z 25.10.2026 · stan prawny 1.10.2026 · specyfikacja oceny 1.0.4
Benchmark 02 · 80 odpowiedzi w każdym warunku
Odpowiedzi z halucynacją
bez narzędzi51/80
z wyszukiwaniem40/80
Poprawnie ugruntowane
bez narzędzi19/80
z wyszukiwaniem27/80
10pytań z praktyki
8modeli, 3 dostawców
160odpowiedzi z kartą
1 436sprawdzonych powołań z 1 454
Definicje

Jak czytać wyniki

Poprawnie ugruntowane ↑

Odpowiedź ma pełny rdzeń (trafia w sedno pytania) i ani jednego twierdzenia o źródle prawa niezgodnego z tekstem urzędowym, a co najmniej jedno powołanie zostało sprawdzone u źródła.

Z halucynacją ↓

Odpowiedź zawiera co najmniej jedno twierdzenie o przepisie lub orzeczeniu niezgodne z tekstem urzędowym na dzień stanu prawnego, także wtedy, gdy sam wniosek jest trafny.

Brak halucynacji nie wystarcza: odpowiedź bez błędnych powołań, ale z niepełnym rdzeniem albo bez żadnego sprawdzonego źródła, nie jest poprawnie ugruntowana. Definicje i mianowniki.

Wyniki

Wyniki: bez narzędzi (W0) i z wyszukiwaniem (W1)

Każdy model odpowiadał na te same dziesięć pytań dwa razy: bez narzędzi (W0) i z wyszukiwaniem w internecie narzędziem dostawcy (W1).

Jak powstała ocena. Model przygotowuje kartę każdej odpowiedzi i szuka każdego powołania w źródle urzędowym; prawnik sprawdza każdą kartę i zatwierdza albo zmienia ocenę. Sprawdzono 1 436 z 1 454 powołań. Procedura

W0 · bez narzędziW1 · z wyszukiwaniem w internecieten sam wynik w obu warunkachKolejność według dostawców, nie według wyniku.
Poprawnie ugruntowane (z 10)więcej = lepiej · bez narzędzi · z wyszukiwaniem
OpenAI
GPT-6.1 Sol6 → 7więcej
GPT-6 Astra6 → 7więcej
GPT-5.6 Terra3 → 4więcej
Anthropic
Claude Opus 5.50 → 4więcej
Claude Sonnet 5.50 → 0bez zmian
Claude Haiku 5.50 → 0bez zmian
Google
Gemini 3.8 Flash2 → 4więcej
Gemini 4 Argon2 → 1mniej
Odpowiedzi z halucynacją (z 10)mniej = lepiej · bez narzędzi · z wyszukiwaniem
OpenAI
GPT-6.1 Sol1 → 1bez zmian
GPT-6 Astra1 → 0mniej
GPT-5.6 Terra6 → 4mniej
Anthropic
Claude Opus 5.59 → 5mniej
Claude Sonnet 5.59 → 9bez zmian
Claude Haiku 5.59 → 8mniej
Google
Gemini 3.8 Flash8 → 5mniej
Gemini 4 Argon8 → 8bez zmian

Wyniki szczegółowe

Dla jednego modelu w jednym warunku jedna odpowiedź to 10 punktów procentowych; różnice 1–2 odpowiedzi nie wystarczają do ustalenia stabilnej kolejności modeli. Blok A to kryteria sprawdzane wobec klucza i źródła (rdzeń, podstawy prawne, powołania), blok B to kryteria ocenne. Koszt serii dziesięciu odpowiedzi według cenników z 18.10.2026 jako równoważnik API; „≥” to dolne oszacowanie. Wyniki per pytanie: dziesięć pytań.

Tabelę można przesuwać w bok; kolumna z nazwą modelu zostaje na miejscu.

Sortuj według wyniku z wyszukiwaniem (W1)
ModelWarunekPoprawnie ugruntowane z 10Halucynacje z 10Blok A %Blok B %Koszt serii USDUSD / poprawnie ugruntowanąSprawdzone powołania
GPT-6.1 SolW06172,886,70,2500,04251 z 51
W17184,096,7≥ 1,544≥ 0,22172 z 73
GPT-6 AstraW06175,283,31,4150,23659 z 59
W17082,593,33,8160,54563 z 63
GPT-5.6 TerraW03641,766,70,2060,06941 z 41
W14472,786,71,3210,33070 z 70
Claude Opus 5.5W00955,073,30,961n/d123 z 123
W14586,096,7≥ 1,467≥ 0,367147 z 147
Claude Sonnet 5.5W00943,560,00,613n/d93 z 93
W10967,890,0≥ 0,842n/d104 z 111
Claude Haiku 5.5W00930,156,70,029n/d62 z 62
W10849,566,7≥ 0,225n/d75 z 77
Gemini 3.8 FlashW02849,670,00,1160,05875 z 77
W14578,186,7≥ 0,514≥ 0,12897 z 97
Gemini 4 ArgonW02861,080,00,3720,186115 z 121
W11875,386,7≥ 2,085≥ 2,085189 z 189
Klasy błędu

Cztery klasy błędu

Najczęściej oznaczano klasę T: przypisanie istniejącemu przepisowi lub orzeczeniu treści, której źródło nie potwierdza (42 z 80 odpowiedzi bez narzędzi, 24 z 80 z wyszukiwaniem). Klasa W, brzmienie przepisu z innej daty podane jako obowiązujące, wystąpiła w 18 i 17 odpowiedziach. Ma znaczenie, bo przepisy zmieniają się nowelizacjami, a do pisma trafia brzmienie obowiązujące w dniu sprawy. Zmyślone źródło (F) i przekręcony identyfikator (S) są rzadkie.

W0 · bez narzędziW1 · z wyszukiwaniemodpowiedzi z co najmniej jednym błędem danej klasy, na 80 w każdym warunku
T
treść, której w źródle nie maklasa T · razem 66 odpowiedzi
W042/80
W124/80
W
brzmienie z innej daty podane jako obowiązująceklasa W · razem 35 odpowiedzi
W018/80
W117/80
F
źródło lub jednostka redakcyjna nie istniejeklasa F · razem 8 odpowiedzi
W04/80
W14/80
S
zniekształcony identyfikator (sygnatura, numer)klasa S · razem 9 odpowiedzi
W04/80
W15/80

Jedna odpowiedź może mieć kilka klas, więc liczby się nie sumują. Łącznie 51 odpowiedzi z halucynacją bez narzędzi i 40 z wyszukiwaniem. Definicje klas

Przykłady z kart

Dwa przykłady z kart

Oba przykłady to ten sam model, GPT-5.6 Terra, w obu warunkach: w P01 wyszukiwanie zaszkodziło, w P05 pomogło. Każda ze 160 odpowiedzi ma podobną kartę z punktami, dowodem ze źródła i klasą błędu.

P01 · próg wykroczenia przeciwko mieniu · GPT-5.6 Terra

Z wyszukiwaniem gorzej: przytaknięcie pułapce

Pytanie zakłada, że próg między wykroczeniem a przestępstwem przeciwko mieniu nadal rośnie z płacą minimalną. Pułapka: od 1.10.2023 to stała kwota 800 zł (art. 119 § 1 k.w.).
W0 · bez narzędzi
„W 2026 r. granica … wynosi co do zasady 800 zł. Nie zmieniła się ona wraz ze wzrostem płacy minimalnej.”
Kwota trafnaKlasa W w historii progu (element rubryki)5 z 5 powołań sprawdzonych
W1 · z wyszukiwaniem
„W 2026 r. próg wynosi 1 201,50 zł. Tak, próg wzrósł wraz z płacą minimalną … ustawowy próg to jej 1/4.”
Przytaknięcie pułapceKlasa W w rdzeniu4 z 6 powołań błędne: art. 119, 120, 122 i 124 § 1 k.w. w dawnym brzmieniu

W tej parze wyszukiwanie nie zastąpiło sprawdzenia brzmienia przepisu na datę: model z dostępem do sieci podał brzmienie sprzed 1.10.2023 jako obowiązujące.

P05 · doręczenia przez Portal Informacyjny · GPT-5.6 Terra

Z wyszukiwaniem lepiej: znaleziona nowela

Pytanie dotyczy doręczeń osobie fizycznej przez Portal Informacyjny. Pułapka aktualności: od 1.06.2026 sąd doręcza przez portal także stronie, która wybrała ten sposób (art. 131¹ᵃ § 1 k.p.c.); wcześniej tylko pełnomocnikom zawodowym.
W0 · bez narzędzi
„Co do zasady osoba fizyczna występująca we własnym imieniu nie jest obowiązana odbierać pism sądowych przez Portal Informacyjny.”
Rdzeń odwrotny do kluczaKlasa W w rdzeniu: art. 131¹ᵃ § 1 w brzmieniu sprzed 1.06.2026Blok A 0 %
W1 · z wyszukiwaniem
„Tak — od 1 czerwca 2026 r. osoba fizyczna może otrzymywać pisma sądowe przez Portal Informacyjny, ale wyłącznie po dobrowolnym wyborze tej formy doręczeń.”
Poprawnie ugruntowana11 z 11 powołań zgodnychBlok A 100 %

W tej parze wyszukiwanie dało dostęp do noweli, której model nie znał z pamięci. Inny przypadek, w którym trafna odpowiedź „tak” opiera się na złym przepisie: P07, Claude Haiku 5.5.

Metoda

Jak powstaje wynik

Każda liczba na tej stronie wynika z karty oceny jednej odpowiedzi. Pełna metodologia

Pytania z praktykiDziesięć pytań w brzmieniu wpisanym do czatu, z literówkami. Sześć ma wbudowaną błędną albo nieaktualną przesłankę.
Klucz ustalony przed badaniemRdzeń odpowiedzi, przepisy wymagane i elementy punktowane, każda podstawa sprawdzona w tekście urzędowym na 1.10.2026.
Każde powołanie u źródłaPrzepisy w ISAP i ELI, orzeczenia w SAOS i na stronach sądów. Jeden błąd klasy F, T, W albo S daje etykietę „halucynacja”.
Karta sprawdzana przez prawnikaModel przygotowuje kartę z dowodami, prawnik ją zatwierdza albo zmienia. Pięciu sędziów-modeli ocenia to samo dla porównania.
Bez udziału dostawców modeliŻaden dostawca nie przygotowywał ani nie finansował badania. Produktów LexAlpha i KTZR nie ma w Benchmarku 02.
Ograniczenia badaniaDziesięć pytań, jedna seria, jeden prawnik. 160 odpowiedzi to nie 160 niezależnych obserwacji. Ograniczenia
Materiały

Raporty, dane i kod

Publikujemy pytania z kluczami, odpowiedzi, karty, oceny sędziów i skrypty.