Benchmark 02 · pytania prawne (raport, PL)#
Piotrowski A., Koman A. (2026). LexAlpha Lab · Benchmark 02 · pytania prawne. Wersja 1.0, 27.10.2026, 44 strony. PDF
Zakres. Osiem modeli trzech dostawców (OpenAI, Anthropic, Google), dziesięć pytań z polskiego prawa, dwa warunki (bez narzędzi i z wyszukiwaniem w internecie), 160 odpowiedzi; 1436 z 1454 powołań sprawdzonych w źródle urzędowym na dzień 1.10.2026.
Główne ustalenia. Odpowiedzi z halucynacją: 51 z 80 bez narzędzi, 40 z 80 z wyszukiwaniem; poprawnie ugruntowanych 19 i 27. Najczęstsza klasa błędu to prawdziwy przepis albo orzeczenie z treścią, której w nim nie ma (66 odpowiedzi), a za nią dawne brzmienie podane jako obowiązujące (35); zmyślone źródła są rzadkie (8), zniekształcone identyfikatory też (9); jedna odpowiedź może mieć kilka klas. W tej serii w W1 odnotowano mniej odpowiedzi z halucynacją u pięciu z ośmiu modeli, a u trzech tyle samo; koszt serii w W1 był od 1,40 do 7,70 razy wyższy niż w W0 (część kosztów W1 znana tylko jako dolna granica). Jedna seria z różnych dni nie pozwala oddzielić wpływu narzędzi od zmienności odpowiedzi. Czterech sędziów-modeli ocenianych na pełnym zbiorze osiąga κ od 0,58 do 0,90 z kartami (piąty, GPT-6 Astra, 0,95 na 43 kartach pilotażu); raport weryfikacji podany sędziemu jako pomoc poprawia surowego sędziego i pogarsza łagodnego.
Spis treści. 1 Wstęp · 2 Zbiór pytań: dziesięć pytań z praktyki, klucze zatwierdzane przed biegiem (klucze P09 i P10 zmieniono po zebraniu odpowiedzi, zob. metodologia) · 3 Systemy i warunki biegu · 4 Metoda oceny · 5 Wyniki modeli · 6 Sędziowie-modele · 7 Warstwa weryfikacji · 8 Ograniczenia · 9 Wnioski i dalsze kroki · aneksy A–E (pytania i klucze w skrócie, wyniki pytanie × system, sędziowie: zgodność i ustawienia, słownik pojęć, macierze pomyłek i przedziały niepewności dla każdej κ).
@techreport{piotrowski2026benchmark02,
author = {Piotrowski, Adam and Koman, Andrzej},
title = {LexAlpha Lab · Benchmark 02 · pytania prawne},
institution = {LexAlpha Lab, KTZR},
year = {2026}, month = {10}, note = {wersja 1.0, 27 października 2026},
url = {https://lawbenchmark.pl/}
}
„Hallucination” Is Not Enough (artykuł metodologiczny, EN)#
Piotrowski A. (2026). „Hallucination” Is Not Enough: Why Legal LLM Benchmarks Should Measure „Correctly Grounded”. LexAlpha Lab, working paper v1.2, 26.10.2026, 37 stron (tekst nierecenzowany). doi:10.5281/zenodo.23674794 · SSRN 7672779 · pełny tekst na ktzr.pl · PDF
O czym jest. Artykuł uzasadnia metrykę używaną na tej stronie. Etykieta „halucynacja” mierzy tylko, czy model powiedział coś nieprawdziwego o prawie; nie mówi, czy odpowiedź jest kompletna ani na czym ją oparł. Artykuł proponuje miarę „correctly grounded” (pełny rdzeń, brak fałszywych powołań, co najmniej jedno powołanie sprawdzone u źródła) i typologię błędów F/T/W/S z pochodzeniem błędu, a na kartach z pilotażu pokazuje, jak sędziowie-modele oceniają wiarygodność odpowiedzi zamiast jej prawdziwości i jak raport weryfikacji zmienia ich werdykty. Zawiera κ sędziów z macierzami i przedziałami ufności oraz pełną specyfikację oceny. Autor uzasadnia też, dlaczego taka miara jest potrzebna zwłaszcza w systemach prawa stanowionego.
@techreport{piotrowski2026correctly,
author = {Piotrowski, Adam},
title = {"Hallucination" Is Not Enough: Why Legal LLM Benchmarks Should Measure "Correctly Grounded"},
institution = {LexAlpha Lab, KTZR},
year = {2026}, month = {10}, note = {v1.2, 26 October 2026},
doi = {10.5281/zenodo.23674794}
}