Co jest w zbiorze#
| Katalog | Zawartość | Rekordy |
|---|---|---|
SPEC/ | specyfikacja oceny v1.0.4 (punktacja jak w 1.0.1) z rejestrem datowanych decyzji (dokument wewnętrzny w postaci użytej, po przeglądzie pod kątem danych osobowych i wewnętrznych identyfikatorów) | 1 |
keys/ | klucze dziesięciu pytań: rdzeń, rubryka, kary, podstawy wymagane, źródła sprawdzone, wersja i status | 10 |
answers/ | odpowiedzi systemów w postaci zwróconej, ze śladem narzędzi tam, gdzie narzędzie go zapisuje | 160 |
cards/ | karty wzorcowe: punkty A/B, klasy błędów, pochodzenie i zakres, każde powołanie sprawdzone, data wersji | 160 |
judges/ | oceny pięciu sędziów-modeli oraz wariantów „sędzia z raportem weryfikacji” | 1 319 |
verification/ | raporty warstwy weryfikacji: krok faktów (kod) i weryfikator poparcia (model), per karta i zbiorcze | 2 184 |
costs/ | cennik z 18.10.2026 ze źródłami i koszt na odpowiedź (równoważnik API) | — |
data/ | warstwa maszynowa: questions, keys, answers, cards, judgments, verification jako JSONL (pola po angielsku, treść po polsku) z kartą zbioru | 6 plików |
reports/ | raport Benchmark 02 (PDF, HTML, źródła Markdown, dane.py) i artykuł v1.2 | 2 |
tools/ | skrypty biegów systemów i sędziów, porównanie sędziów z kartami, warstwa weryfikacji, eksport JSONL, budowa tej strony | — |
Jak odtworzyć wyniki#
- Tabele raportu i tej strony:
python3 -I reports/benchmark-02/src/dane.py— czytacards/,keys/,judges/,costs/i przelicza z nich każdą tabelę. - Warstwa JSONL:
python3 -I tools/export_jsonl.py— odbudowujedata/ze źródeł i sprawdza sumy zdane.py. - Sędziowie wobec kart:
python3 -I tools/porownaj_sedziow.py argon4v101(identyfikatory:argon4v101,sol61v101,gemini31v101,gemini38flashv101,astra6v101). - Własna seria odpowiedzi na pytaniach:
tools/eval_*.py— wymaga CLI dostawcy albo dostępu do Vertex AI. Powtórzenie serii nie odtworzy odpowiedzi z badania: modele, ich konfiguracje i wyniki wyszukiwania zmieniają się w czasie. - Warstwa weryfikacji (
tools/verification/) potrzebuje biblioteki legal-cite-pl do odczytu ISAP/ELI.
Skrypty są w repozytorium w postaci użytej; ścieżki zamieniono na względne. Nazwy robocze systemów w plikach (np. chatgpt_codex = GPT-6.1 Sol, argon4_high_vertex = Gemini 4 Argon) są rozpisane w README repozytorium i w aneksie D raportu.
Licencje i kanarek#
- Materiał własny (specyfikacja, pytania w brzmieniu benchmarkowym, klucze, karty, instrukcje sędziów, raporty warstwy, raporty i teksty): CC BY 4.0; oznaczenie autorstwa „LexAlpha Lab, LawBenchmark.pl”.
- Kod: MIT.
- Odpowiedzi modeli to wyniki systemów osób trzecich, przytoczone dosłownie w celu oceny, krytyki i badań; nie rościmy sobie do nich praw ani ich nie relicencjonujemy. Fragmenty cudzych opracowań, które model mógł powtórzyć w odpowiedzi, pozostają własnością ich autorów.
- Przepisy i orzeczenia cytowane w odpowiedziach i kluczach to urzędowe dokumenty i materiały, niechronione prawem autorskim (art. 4 pkt 2 pr.aut.); nie dotyczy to komentarzy i opracowań.
- Kanarek: każdy plik i rekord zawiera ciąg kanaryjski z prośbą o nieużywanie zbioru do treningu modeli. Licencja takiego użycia nie zakazuje; to prośba metodologiczna, by kolejne pomiary pozostały miarodajne.
Cytowanie zbioru#
Piotrowski A., Koman A. (2026). LawBenchmark.pl · Benchmark 02 · pytania prawne (dane). Wersja 1.0, 27.10.2026. LexAlpha Lab, KTZR. https://lawbenchmark.pl/dane
Raport i artykuł metodologiczny: raporty. Kontakt: a.piotrowski@ktzr.pl.