Co mierzy benchmark modeli AI#
Za benchmarkiem stoi praktyczne pytanie: ile pracy sprawdzającej zostaje prawnikowi po otrzymaniu odpowiedzi modelu. Benchmark tego pytania nie rozstrzyga. Mierzy dwie rzeczy, które da się sprawdzić: zgodność odpowiedzi z kluczem ustalonym przed badaniem oraz prawdziwość zawartych w niej twierdzeń o źródłach prawa wobec tekstu urzędowego na dzień stanu prawnego. Żadna etykieta na tej stronie nie oznacza, że odpowiedź nadaje się do pisma bez kontroli.
Stąd dwie osie oceny. Pierwsza, halucynacja, odpowiada na pytanie, czy twierdzenia o źródłach prawa są prawdziwe. Druga, ugruntowanie, odpowiada na pytanie, czy powołania w odpowiedzi dało się potwierdzić w źródle urzędowym, a w warunku z wyszukiwaniem także, czy system takie źródło otworzył. Miara główna łączy obie osie: odsetek odpowiedzi poprawnie ugruntowanych.
Benchmark 02 jest zbiorem kalibracyjnym. Dziesięć pytań, jedna seria i jeden sprawdzający prawnik wystarczają, by pokazać kryteria i ich skutki na prawdziwych odpowiedziach, nie by ustalić ranking produktów. Reguły oceny zmieniano w trakcie pracy po lekturze odpowiedzi; każda zmiana ma datę w rejestrze decyzji.
Pytania#
Pytania pochodzą z praktyki kancelarii i mają postać, w jakiej prawnik wpisuje je do czatu: z literówkami, skrótami, czasem z błędną przesłanką. Błędy językowe i błędne przesłanki zachowano celowo, by sprawdzić, jak systemy reagują na takie pytania.
Każde pytanie ma typ, który decyduje o sposobie liczenia rdzenia odpowiedzi:
- zamknięte — trafienie „tak”, „nie” albo „zależy od X”; w Benchmarku 02 osiem z dziesięciu pytań;
- obliczenie — wynik liczbowy w zadanej tolerancji (P01);
- weryfikacja — czy system sprawdza cudze twierdzenie, czy mu przytakuje (P08).
Sześć pytań ma wbudowaną pułapkę: błędną albo nieaktualną przesłankę, którą system powinien nazwać i skorygować. Przykład: pytanie P01 zakłada, że próg wykroczenia rośnie z płacą minimalną, a od 1.10.2023 jest kwotą stałą. Pytanie P05 działa odwrotnie: odpowiedź, która jeszcze w maju 2026 r. była prawidłowa, na dzień stanu prawnego jest nieaktualna. Para P09 i P10 to para z przeciwnymi sugestiami (w specyfikacji: „lustro”): to samo zagadnienie, raz z sugestią „nie wystarcza”, raz „wystarcza”. Mierzy, czy system zmienia odpowiedź pod wpływem oczekiwań pytającego.
Każde pytanie ma tekst oryginalny (dokładnie tak, jak wpisał prawnik) i, gdy oryginał nie wystarcza do jednoznacznego klucza, tekst benchmarkowy uzupełniony przed badaniem o brakujące dane. W badaniu użyto tekstu benchmarkowego, jeśli istnieje: dotyczy to P01, P04 i P09 (P10 jako wersja z odwróconą sugestią ma tylko tekst benchmarkowy); pozostałe sześć pytań zadano w brzmieniu oryginalnym. Strona każdego pytania pokazuje obie wersje. Pełne brzmienia i klucze: dziesięć pytań.
Pula liczy 50 pytań. Opublikowano 10; pozostałe 40 zostają nieujawnione, by kolejne edycje mogły użyć pytań, których modele nie widziały.
Jak ustalamy prawidłową odpowiedź: klucze#
Klucz pytania jest ustalany przed zebraniem odpowiedzi i zawiera: rdzeń odpowiedzi, rubrykę (elementy premiowane), kary (błędy, za które odejmuje się punkt), podstawy wymagane (przepisy, bez których odpowiedź nie jest kompletna) i oczekiwaną kalibrację (kategoryczna albo warunkowa, z warunkiem). Zasady klucza:
- Każda podstawa ma źródło: ISAP, ELI, EUR-Lex, SAOS albo sn.pl. Cytaty przepisów są przepisane z tekstu urzędowego, nie z bazy pomocniczej ani z pamięci.
- Orzeczenie w kluczu ma sygnaturę, sąd, datę, tezę przepisaną z tekstu orzeczenia i źródło z zakresem odczytu. Omówienia i komentarze nie są źródłem tezy.
- Klucz obejmuje tylko to, o co pyta pytanie. Zagadnienie sąsiednie nie wchodzi do rubryki ani kar, choćby było praktycznie ważne.
- Klucza nie zmienia się po poznaniu odpowiedzi systemów. Zmiana wymaga nowej wersji z datą i powodem.
- Do badania idą tylko klucze zatwierdzone przez prawnika; pole „weryfikacja” mówi wprost, czego nie sprawdzono.
Stan prawny każdego klucza to 1 października 2026 r. Odpowiedzi ocenia się według prawa na ten dzień. Dwa klucze (P09, P10) zmieniono po zebraniu odpowiedzi, gdy orzecznictwo Sądu Najwyższego okazało się bardziej zniuansowane niż klucz; rdzeń stał się warunkowy, a zmiana jest opisana w raporcie i w rejestrze decyzji. Jest to odstępstwo od zasady 4 i podajemy je jawnie. Warunkowość rdzenia P09 i P10 wynika z wykładni umowy (art. 65 k.c.) przyjętej w orzecznictwie Sądu Najwyższego, nie z rozbieżności między orzeczeniami; dlatego pytania nie są oznaczone jako sporne i kryterium A5 ich nie dotyczy.
Dokumenty niewiążące (wytyczne Komisji Europejskiej, kodeksy praktyk) wchodzą do klucza jako osobny element rubryki, nigdy jako kara: brak odwołania nie jest błędem, a halucynacją jest dopiero przypisanie im mocy wiążącej albo treści, której w nich nie ma.
Warunki badania#
Każdy model odpowiadał na te same dziesięć pytań w dwóch warunkach:
- W0 — bez narzędzi: ten sam krótki, neutralny wstęp i pytanie. Odpowiedź pochodzi wyłącznie z wag modelu.
- W1 — z wyszukiwaniem w internecie narzędziem dostawcy: dla OpenAI wyszukiwanie Codex CLI, dla Anthropic WebSearch i WebFetch w Claude Code, dla Google
google_searchiurl_contextw Vertex AI. Wstęp dodaje jedno zdanie o podawaniu adresów źródeł.
Wstęp nie zawiera prośby o zwięzłość ani wskazówek o pułapkach czy sporności i nie zmienia się w trakcie serii. Jedna seria, jedna odpowiedź na pytanie; odpowiedź zapisuje się w postaci, w jakiej zwrócił ją system, razem ze śladem narzędzi tam, gdzie narzędzie go zapisuje.
| Dostawca | Model | Identyfikator | Wywołanie | Ustawienia |
|---|---|---|---|---|
| OpenAI | GPT-6.1 Sol | gpt-6.1-sol | Codex CLI (konto ChatGPT) | rozumowanie: medium; W1: wyszukiwanie Codex |
| OpenAI | GPT-6 Astra | gpt-6-astra | ||
| OpenAI | GPT-5.6 Terra | gpt-5.6-terra | ||
| Anthropic | Claude Opus 5.5 | claude-opus-5-5 | Claude Code CLI (subskrypcja), bez MCP i CLAUDE.md | temperatura domyślna CLI; W1: WebSearch + WebFetch (strony streszcza model pomocniczy Haiku) |
| Anthropic | Claude Sonnet 5.5 | claude-sonnet-5-5 | ||
| Anthropic | Claude Haiku 5.5 | claude-haiku-5-5 | ||
| Gemini 3.8 Flash | gemini-3.8-flash | Vertex AI, region global | poziom rozumowania domyślny modelu; W1: google_search + url_context | |
| Gemini 4 Argon | gemini-4-argon |
Odpowiedzi zebrano 10, 13, 17 i 18 października 2026 r.; każda ma datę, identyfikator modelu i ustawienia w metadanych. Własne produkty kancelarii nie biorą udziału w benchmarku.
Kryteria oceny#
Każda odpowiedź ma kartę z punktem za każde kryterium i dowodem ze źródła. Karta dzieli się na blok A (kryteria sprawdzane wobec klucza i tekstu urzędowego) i blok B (kryteria ocenne); wyniki obu bloków podajemy osobno i nie uśredniamy ich. Także w bloku A część ocen wymaga rozstrzygnięcia prawnika: istnienie źródła i brzmienie przepisu porównuje się wprost, ale to, czy przypisana źródłu treść mieści się w jego tekście, ocenia prawnik wobec źródła i klucza.
Blok A — kryteria sprawdzane wobec klucza i źródła#
| Kryterium | Co mierzy | Punkty |
|---|---|---|
| A-R | rdzeń odpowiedzi: czy odpowiedź trafia w sedno pytania (może paść w dowolnym miejscu odpowiedzi) | 0 / 1 / 2 — 2 = pełny rdzeń, 1 = kierunek trafny bez kluczowego warunku (np. jedna gałąź pytania warunkowego) |
| A2 | podstawy wymagane z klucza | 0 / 1 — 0 przy braku którejkolwiek albo przy błędnej podstawie |
| A3 | cytaty przepisów zgodne z tekstem urzędowym | 0 / 1, tylko gdy system cytuje; inaczej nie dotyczy |
| A5 | nazwanie sporności | 0 / 1, tylko przy pytaniu oznaczonym jako sporne (w Benchmarku 02 brak) |
| A6 | halucynacje: zgodność każdego twierdzenia o źródle prawa z tekstem urzędowym | 1 / 0 — zero-jedynkowe, z klasą i pochodzeniem błędu (sekcja niżej) |
| A8 | ramy: czy odpowiedź dotyczy zadanego pytania (długości nie ocenia) | 1 / ½ / 0 — ½ przy dygresji poza pytanie, 0 gdy treść poza pytaniem przeważa, odpowiedź dotyczy innego pytania albo zawiera artefakty techniczne |
| R | elementy rubryki klucza | +1 za każdy |
| K | kary z klucza | −1 za każdą; wynik bloku nie spada poniżej 0 |
A % = (suma punktów − kary) / suma punktów możliwych; punkty możliwe liczy się bez kryteriów „nie dotyczy”. Przy pułapce omówienie prawidłowego stanu prawnego zamiast założonego w pytaniu jest odpowiedzią, nie dygresją. Milczące przyjęcie błędnego numeru przepisu z pytania kosztuje element rubryki, jeśli klucz go ma; karę płaci dopiero utrwalenie błędu.
Blok B — kryteria ocenne#
- B1, przydatność (0–2): czy prawnik wie, co zrobić dalej. Błąd w praktycznej wskazówce, który zmienia działanie (kwota opłaty, termin, organ, forma), obniża B1 do najwyżej 1, także gdy system nie powołał przepisu.
- B2, sposób sformułowania konkluzji (0–1; do 29.10.2026 pod nazwą „kalibracja”): zgodność formy konkluzji z kluczem. Przy kluczu kategorycznym punkt dostaje odpowiedź, która stawia tezę wprost; rozmycie jasnej tezy („zależy od interpretacji”, „warto skonsultować”) bez wskazania, od czego, kosztuje punkt. Przy kluczu warunkowym punkt dostaje odpowiedź, która wiąże konkluzję z warunkiem; system może też dopytać, o ile nazwie rozwidlenie.
B2 mierzy formę konkluzji wobec klucza, nie trafność ani rzeczywistą pewność modelu, stąd zmiana nazwy po recenzji zewnętrznej: błędna, lecz kategoryczna odpowiedź przy kluczu kategorycznym ma B2 = 1, a sam błąd obniża wynik bloku A. Blok B nie dubluje bloku A; profil „A niskie, B wysokie” ma być widoczny, nie wygładzony. Formułki „nie stanowi porady prawnej” nie wpływają na ocenę.
Halucynacja i klasy błędu#
Halucynacją jest każde twierdzenie o źródle prawa niezgodne ze źródłem urzędowym na dzień stanu prawnego. Jedno takie twierdzenie daje A6 = 0 i etykietę „halucynacja” dla całej odpowiedzi, także wtedy, gdy sam wniosek jest trafny. Etykieta „bez halucynacji” oznacza brak wykrytej halucynacji: sprawdzono 1436 z 1454 powołań, a powołania niesprawdzone nie obniżały oceny (jedna karta ma niesprawdzone powołanie przy etykiecie „poprawnie ugruntowana”; raport, rozdz. 8).
Karta zapisuje obok punktu wszystkie wykryte klasy błędu, każdą z dowodem (co powołano, co jest w źródle, gdzie sprawdzono):
W Benchmarku 02 klasa T wystąpiła w 66 odpowiedziach, W w 35, F w 8, S w 9. Jedna odpowiedź może mieć kilka klas, więc liczby nie sumują się do 91 odpowiedzi z halucynacją.
Samo pominięcie przesłanki albo elementu przepisu nie jest twierdzeniem fałszywym: nie obniża A6, odejmuje punkty w rubryce i rdzeniu. Granica z klasą T: odpowiedź, która opisuje art. 787 k.p.c. niepełnie, ale nie twierdzi, że przepis obejmuje tylko to, co opisała, popełnia pominięcie; odpowiedź, która stwierdza, że przepis stosuje się wyłącznie w sytuacji, do której się nie ogranicza, przypisuje mu zawężony zakres i dostaje klasę T. Odpowiedź bez żadnych powołań ma A6 = 1. Odpowiedź pusta ma A6 = 0 bez etykiety. Gdy tekst zablokował filtr dostawcy (np. Vertex RECITATION), odpowiedź trafia do osobnej kategorii „blokada dostawcy”: ani halucynacja, ani odpowiedź prawidłowa (w Benchmarku 02 jeden przypadek, P07 Gemini 4 Argon W1).
Przy każdym błędzie karta zapisuje dwie rzeczy więcej:
- pochodzenie — pamięć (brak potwierdzonego odczytu źródła: warunek bez narzędzi, narzędzia nieużyte albo brak tego aktu w śladzie narzędzi; nazwa kategorii wyraża hipotezę, że treść pochodzi z wag modelu), odczyt źródła (ślad pokazuje otwarcie właściwego źródła urzędowego, a treść i tak jest błędna), źródło wtórne (błąd powtarza błąd lub skrót serwisu, który system otworzył), nieustalone;
- zakres — rdzeń, gdy błąd dotyczy sedna pytania, podstaw wymaganych albo elementu rubryki; poboczne, gdy występuje w części pobocznej (dygresja, analogia, tło) przy poprawnej konkluzji. W Benchmarku 02: 57 odpowiedzi z błędem w rdzeniu, 34 z błędem tylko pobocznym.
W warunku W1 karta odnotowuje także, czy system w ogóle użył źródła urzędowego:
| Model (W1) | Źródło urzędowe użyte | Tylko źródła wtórne | Narzędzia nieużyte | Halucynacje wg pochodzenia pamięć / odczyt źródła / źródło wtórne / nieustalone |
|---|---|---|---|---|
| GPT-6.1 Sol | 10 | 0 | 0 | 0 / 1 / 0 / 0 |
| GPT-6 Astra | 10 | 0 | 0 | 0 / 0 / 0 / 0 |
| GPT-5.6 Terra | 9 | 1 | 0 | 3 / 1 / 0 / 0 |
| Claude Opus 5.5 | 4 | 4 | 2 | 4 / 0 / 0 / 1 |
| Claude Sonnet 5.5 | 4 | 2 | 4 | 6 / 0 / 0 / 3 |
| Claude Haiku 5.5 | 3 | 4 | 3 | 3 / 1 / 3 / 1 |
| Gemini 3.8 Flash | 3 | 4 | 3 | 1 / 1 / 1 / 2 |
| Gemini 4 Argon | 7 | 3 | 0 | 4 / 3 / 0 / 1 |
Odpowiedź poprawnie ugruntowana#
Odpowiedź jest poprawnie ugruntowana, gdy spełnia trzy warunki naraz: pełny rdzeń (A-R = 2), brak wykrytej halucynacji (A6 = 1) i co najmniej jedno powołanie, które oceniający potwierdził w źródle urzędowym. Sprawdzenia dokonuje oceniający, nie system: etykieta mówi, że powołania w odpowiedzi są prawdziwe i da się je potwierdzić, a nie, że model je przeczytał. W warunku bez narzędzi model źródła nie otwierał; czy w warunku z wyszukiwaniem otworzył źródło urzędowe, pokazuje osobna tabela w sekcji o halucynacjach. Odpowiedź bez błędnych powołań, ale z niepełnym rdzeniem albo bez żadnego potwierdzonego powołania, nie jest poprawnie ugruntowana; odpowiedź z trafnym wnioskiem i jednym fałszywym powołaniem też nie.
Mianowniki: każdy model ma 10 odpowiedzi w warunku; 80 odpowiedzi w warunku; 160 odpowiedzi łącznie. W Benchmarku 02 poprawnie ugruntowanych było 19 z 80 w W0 i 27 z 80 w W1; z halucynacją 51 i 40. Reszta to odpowiedzi bez wykrytej halucynacji, lecz z niepełnym rdzeniem albo bez potwierdzonego powołania, oraz jedna blokada dostawcy (P07, Gemini 4 Argon, W1), która pozostaje w mianowniku 80. 160 odpowiedzi to nie 160 niezależnych obserwacji: te same dziesięć pytań powtarza się u każdego modelu, więc wynik zależy od doboru pytań. Przed cytowaniem liczb: rozdział 8 raportu.
Sprawdzono 1436 z 1454 powołań we wszystkich odpowiedziach; karta podaje „sprawdzone n z m”.
Jak sprawdzamy odpowiedzi: karta oceny#
- Model (Claude) wypełnia kartę wstępnie: wyszukuje każde powołanie w ISAP, ELI, SAOS, sn.pl albo portalu sądu, porównuje treść z odpowiedzią, proponuje punkty i klasy błędów z dowodami.
- Prawnik sprawdza każdą kartę i zatwierdza albo zmienia werdykt. Decyzje graniczne trafiają do rejestru decyzji w specyfikacji z datą, by kolejne karty były oceniane tak samo.
- Karta zapisuje wersję specyfikacji, według której ją oceniono, datę i historię zmian. Kart ocenionych według starszej wersji nie porównuje się z nowymi bez przeliczenia.
Model wypełniający karty należy do tej samej rodziny co trzy oceniane systemy. Także wśród sędziów-modeli część ocenia odpowiedzi własnej rodziny, a w kilku kartach własne (raport, rozdz. 6). Dlatego każdą kartę sprawdza człowiek, a na tych samych kartach liczymy zgodność z pięcioma sędziami-modelami z trzech rodzin.
Sędziowie-modele i zgodność z kartami#
Te same odpowiedzi oceniło osobno pięć modeli z dostępem do wyszukiwania, w oddzielnych wywołaniach, według specyfikacji 1.0.1. Dla każdego sędziego liczymy zgodność z kartami i κ Cohena dla etykiety „halucynacja”, osobno dla zbioru pilotażowego (P05–P07, P12, P13) i rozszerzenia (P01, P04, P08–P10), zawsze na kartach, które dany sędzia ocenił (kolumna n). Cztery modele oceniły 147–160 kart; GPT-6 Astra oceniła 49 kart, więc jej κ nie jest porównywalna z pozostałymi. Fałszywy alarm to halucynacja orzeczona przez sędziego tam, gdzie karta jej nie ma; pominięcie odwrotnie.
| Sędzia | Zbiór pytań | n kart | Zgodność | κ | Fałszywe alarmy | Pominięcia | Wyszukań na kartę |
|---|---|---|---|---|---|---|---|
| Gemini 4 Argon | rozszerzenie (P01, P04, P08–P10) | 79 | 95 % | 0,90 | 1 | 3 | 12,2 |
| Gemini 4 Argon | pilotaż (P05–P07, P12, P13) | 68 | 99 % | 0,97 | 0 | 1 | 16,2 |
| GPT-6.1 Sol | rozszerzenie (P01, P04, P08–P10) | 80 | 90 % | 0,80 | 7 | 1 | 11,2 |
| GPT-6.1 Sol | pilotaż (P05–P07, P12, P13) | 80 | 92 % | 0,84 | 6 | 0 | 13,5 |
| Gemini 3.1 Pro | rozszerzenie (P01, P04, P08–P10) | 80 | 90 % | 0,80 | 0 | 8 | 4,3 |
| Gemini 3.1 Pro | pilotaż (P05–P07, P12, P13) | 79 | 86 % | 0,71 | 5 | 6 | 7,6 |
| Gemini 3.8 Flash | rozszerzenie (P01, P04, P08–P10) | 80 | 79 % | 0,58 | 1 | 16 | 4,7 |
| Gemini 3.8 Flash | pilotaż (P05–P07, P12, P13) | 80 | 91 % | 0,82 | 2 | 5 | 6,8 |
| GPT-6 Astra | rozszerzenie (P01, P04, P08–P10) | 6 | 100 % | 1,00 | 0 | 0 | 10,3 |
| GPT-6 Astra | pilotaż (P05–P07, P12, P13) | 43 | 98 % | 0,95 | 1 | 0 | 10,2 |
κ nie dowodzi, że karty są prawdziwe; mówi, na ile inny oceniający dochodzi do tych samych wniosków. Na rozszerzeniu κ czterech sędziów mieści się między 0,58 a 0,90 (79–80 kart), na pilotażu między 0,71 a 0,97 (68–80 kart). Przedziały ufności z bootstrapu po pytaniach i macierze TP/FP/FN/TN są w aneksie E raportu. Sędziowie, którzy mało korzystali z wyszukiwarki, są najmniej zgodni z kartami, a prawie żaden nie przyznaje, czego nie sprawdził. Raport bada też wariant „sędzia z raportem weryfikacji” (karta meta v3), w którym sędzia dostaje raport warstwy weryfikacji jako pomoc, nie werdykt. Zmiana zgodności z kartami: GPT-6.1 Sol κ 0,80 → 0,89 na 128 wspólnych kartach, Gemini 4 Argon 0,95 → 0,88 na 116; u Argona strata przypada na klasę W, której kod nie umie ustalić.
Warstwa weryfikacji#
Obok sędziów działa warstwa weryfikacji w dwóch krokach. Krok faktów to kod: wyciąga powołania z odpowiedzi, próbuje ustalić brzmienie jednostki na dzień stanu prawnego z ISAP/ELI (biblioteka legal-cite-pl) i orzeczenie z SAOS, sprawdza istnienie, identyfikator i brzmienie; przypadki, których nie umie rozstrzygnąć, oznacza jako nieustalone. Ocena poparcia to model, który dostaje tezę z odpowiedzi i tekst źródła i ocenia, czy źródło tę tezę wspiera. Wynik trafia do sędziego jako raport pomocniczy, nigdy jako werdykt wiążący.
Na ośmiu pytaniach poza zbiorem strojenia warstwa wykryła 84 ze 147 błędów z kart (57 %). Większość pominięć to różnice definicji (zawężony zakres normy, który karta liczy jako T) i klasa W: między tekstami jednolitymi k.p.c. weszło w życie zbyt wiele nowelizacji, by kod ustalił brzmienie na dzień. Odsetek fałszywych alarmów, wyniki przed naprawami wejścia i po nich oraz mianowniki podaje rozdział 7 raportu; kod i raporty dla poszczególnych kart są w repozytorium.
Koszt#
Dla każdej odpowiedzi liczymy koszt równoważny API: ile kosztowałoby to samo zużycie tokenów i narzędzi według publicznego cennika dostawcy z 18.10.2026. Systemy uruchamiane z subskrypcji (Claude Code, Codex) nie generują tych kwot naprawdę; Vertex AI to koszt faktyczny. Koszt nie wpływa na punkty i nie wchodzi do rankingu jakości.
Metryka pomocnicza: USD na odpowiedź poprawnie ugruntowaną, czyli koszt serii podzielony przez liczbę takich odpowiedzi; przy wskaźniku zawsze pokazujemy koszt serii, liczbę odpowiedzi i oznaczenie dolnej granicy. System bez ani jednej takiej odpowiedzi ma „n/d”, nie „∞”. Przy dziesięciu pytaniach i części kosztów znanych tylko jako dolna granica wskaźnik nie jest oceną opłacalności produktu. Ograniczenia: tokeny z cache liczone tak, jak raportuje narzędzie; Claude Code nie zapisuje liczby wyszukań (w W1 opłata „n/d”, koszt to dolna granica „≥”); skrypt Vertex nie zapisywał tokenów treści z url_context. Pełny koszt badania (odpowiedzi, sędziowie, warstwa weryfikacji) to co najmniej 170,70 USD według cennika, bez kosztu pracy prawnika.
Ograniczenia#
- Mała próba. Dziesięć pytań, pięć z postępowania cywilnego. Wynik zależy od doboru pytań; 160 odpowiedzi to nie 160 niezależnych obserwacji.
- Jedna seria. Każdy system uruchomiono raz na pytanie. Nie znamy wariancji między uruchomieniami tego samego modelu; wyniki W0 i W1 pochodzą z różnych dni.
- Jeden prawnik. Karty sprawdzała jedna osoba. Nie ma zgodności człowiek–człowiek jako punktu odniesienia dla κ sędziów-modeli.
- Karty wstępnie wypełniał model z rodziny jednego z ocenianych dostawców.
- Reguły doprecyzowywano w trakcie. Trzy zmiany definicji A6 między 9 a 11.10.2026, kolejne doprecyzowania do 25.10; dwa klucze zmieniono po zebraniu odpowiedzi.
- Konfiguracje dostawców różnią się (CLI z subskrypcji, API, różne narzędzia wyszukiwania), a część kosztów jest dolną granicą.
- Pytania są publiczne od października 2026 r., więc kolejne pomiary na tym samym zbiorze mogą być skażone ekspozycją.
- Skład modeli. Claude Fable 5.1, najnowszy model Anthropic, nie wszedł do serii z 17–18.10.2026: ma tylko pięć odpowiedzi z pilotażu w W0, bez kompletu W1, więc raport go nie obejmuje. Jest zaplanowany na następną serię w obu warunkach. Skład to migawka z października 2026 r.; nowsze wersje modeli nie są w nim ujęte.
Z tych powodów wyniki należy czytać jako ilustrację kryteriów, nie ranking. Plan kolejnych edycji: nowe, nieujawnione pytania; klucze zatwierdzone przed zebraniem odpowiedzi i zamrożona specyfikacja; co najmniej trzy biegi na system z przedziałami ufności; drugi prawnik na próbce kart; weryfikacja powołań jako osobny krok przed sędziowaniem.
Wersjonowanie i identyfikatory#
- Specyfikacja oceny: 1.0 z 11.10.2026 (po trzech zmianach definicji A6 w dniach 9–11.10); 1.0.1 z tego samego dnia dodaje przykłady graniczne, a karty P06 i P12 przeliczono; 1.0.2 (18.10.2026): koszt, reguły z przeglądu kart rozszerzenia, pole „zakres” halucynacji, blokada dostawcy, soft law; 1.0.3 (25.10.2026): doprecyzowanie pola „zakres”, uzupełnione w kartach pilotażu; 1.0.4 (29.10.2026): nowa nazwa kryterium B2. Od 1.0.1 zasady punktacji nie zmieniły się, dlatego karty podają wersję 1.0.1.
- Klucze: każdy ma numer wersji, datę i status zatwierdzenia; w Benchmarku 02 wersje od v1 do v4. Zmiany po zebraniu odpowiedzi (P09 v4, P10 v3, 18.10.2026) są opisane.
- Odpowiedzi: identyfikator
Pnn_<system>_<warunek>_r3, data, identyfikator modelu, ustawienia i ślad narzędzi w metadanych. - Karty: wersja specyfikacji, data i historia zmian w każdej karcie; stan kart użyty w raporcie: 25.10.2026.
- Raport: Benchmark 02 wersja 1.0 z 27.10.2026; zmiany w
CHANGELOG.mdrepozytorium.
Kontaminacja i kanarek#
Każdy klucz, karta, odpowiedź, ocena sędziego i rekord danych zawiera ciąg kanaryjski (konwencja BIG-bench) z prośbą, by nie używać tych plików do treningu modeli. Kanarek pozwala wykryć część przypadków ekspozycji, ale jego niewykrycie nie dowodzi braku kontaminacji. Dlatego opublikowany zbiór traktujemy jako potencjalnie skażony od dnia publikacji, a kolejne edycje opieramy na pytaniach wcześniej nieujawnionych.
Autorzy, finansowanie, konflikt interesów#
Benchmark prowadzi LexAlpha Lab, wspólna inicjatywa badawcza kancelarii KTZR (Gdańsk) i spółki LexAlpha Sp. z o.o. (Warszawa), która rozwija komercyjną platformę AI dla prawników. Autorzy: Adam Piotrowski (radca prawny, partner KTZR; projekt metodologii, klucze, karty, raport) i Andrzej Koman (CEO LexAlpha). Badanie jest finansowane ze środków własnych obu podmiotów.
Konflikt interesów. LexAlpha Sp. z o.o. oferuje komercyjne narzędzia AI dla prawników, zbudowane na modelach językowych tych samych dostawców, których czyste modele ocenia benchmark; spółka ma więc interes gospodarczy związany z wynikami i sposobem ich przedstawiania, a jej CEO jest współautorem raportu. KTZR korzysta z narzędzi tych dostawców na warunkach komercyjnych. Decyzją z 17.10.2026 własne produkty obu podmiotów wyłączono z benchmarku; ogranicza to bezpośredni konflikt związany z oceną własnego produktu, ale nie usuwa powiązań ekonomicznych autorów. Dlatego oceniamy wyłącznie czyste modele w publicznie dostępnych konfiguracjach, a klucze, karty, odpowiedzi i kod są publiczne, by każdą ocenę można było sprawdzić niezależnie. Wyniki czystych modeli nie mówią nic o jakości produktów LexAlpha ani KTZR; produkt z własnym wyszukiwaniem i instrukcjami wymaga osobnego badania.
Role. Pytania, klucze, kontrolę kart i decyzje o publikacji wykonywał Adam Piotrowski; Andrzej Koman współtworzył raport. Żaden dostawca modeli nie uczestniczył w przygotowaniu badania ani go nie finansował; autorzy nie przekazywali dostawcom wyników przed publikacją. Do 29.10.2026 strona opisywała LexAlpha Lab jako laboratorium kancelarii KTZR; obecny opis odzwierciedla udział obu podmiotów.