Dostawcy i twórcy systemów prawniczych#
Dotyczy asystentów kancelaryjnych, systemów z własnym wyszukiwaniem (RAG) i innych narzędzi opartych na modelach językowych. Wyniki takich systemów nie trafiają do tabeli czystych modeli: dostęp do źródeł, korpus dokumentów i instrukcje systemowe zmieniają warunki, więc publikujemy je w osobnej kategorii z opisem konfiguracji.
Badanie na pytaniach niepublicznych
Oferujemy badanie wskazanej wersji systemu na 40 nieujawnionych pytaniach z puli 50, według opublikowanej specyfikacji oceny. Przed rozpoczęciem ustalamy na piśmie: konfigurację i wersję systemu, dostęp do narzędzi i źródeł, datę stanu prawnego, sposób wykonania odpowiedzi i ocenę według tej samej karty, którą stosujemy do czystych modeli.
Warunki ustalane indywidualnie
Finansowanie badania, termin na uwagi dostawcy do wyniku i sposób publikacji ustalamy indywidualnie, na piśmie, przed pierwszym wywołaniem systemu. Dwie zasady są stałe: wynik i jego opis nie zależą od tego, kto badanie finansuje, a każdy opublikowany raport podaje, kto je sfinansował, czy dostawca udostępnił system bezpłatnie i jakie warunki publikacji przyjęto. Dostawca otrzymuje wynik przed publikacją i może zgłosić błędy faktyczne i techniczne.
Wersja systemu i powtórzenia
Raport identyfikuje badaną wersję, konfigurację i datę wykonania. Powtórne badanie jest oznaczane jako kolejne i nie zastępuje wcześniejszego wyniku; prowadzimy rejestr wszystkich badań, także przerwanych i unieważnionych, z przyczyną. Awaria infrastruktury uzasadnia powtórzenie, słaba odpowiedź systemu nie.
Ochrona pytań
Nie przekazujemy dostawcy zestawu pytań ani kluczy do przygotowania systemu; pytania zadaje operator badania. Jeżeli pytania trafiają do systemu dostawcy przez jego interfejs, mogą być widoczne w jego logach: dlatego wymagamy zobowiązania do niewykorzystywania ich do treningu i strojenia oraz określenia okresu przechowywania, a gdy tego nie da się zapewnić, odnotowujemy to w raporcie. Zestaw niepubliczny nie jest tajny bezterminowo; po kilku badaniach część pytań wymieniamy. Stosujemy niepubliczne znaczniki kontrolne do wykrywania ujawnienia materiału; podejrzenia weryfikujemy przed sformułowaniem wniosków.
Niezależność oceny
Finansujący badanie nie wybiera ocenianych odpowiedzi, nie ustala punktacji i nie zatwierdza wniosków. Raport ujawnia powiązania autorów i oceniających z badanym dostawcą; przy istotnym powiązaniu oceniający jest wyłączony albo ocenę wykonuje osoba zewnętrzna. Własne produkty KTZR i LexAlpha pozostają poza benchmarkiem (konflikt interesów).
Badanie nie jest certyfikacją, audytem ani rekomendacją zakupową. Wynik dotyczy wskazanej wersji i konfiguracji systemu w opisanych warunkach i nie potwierdza poprawności odpowiedzi w innych sprawach.
Uczelnie i badacze#
Niezależna druga ocena
Zapraszamy prawników do niezależnego oceniania odpowiedzi według opublikowanej specyfikacji. Zakres próby i sposób liczenia zgodności między oceniającymi ustalamy przed oceną; κ liczymy z ocen sprzed uzgodnienia rozbieżności, a rozbieżności zachowujemy do analizy. Drugi oceniający nie jest „potwierdzeniem obiektywności”, tylko miarą tego, jak powtarzalna jest ocena.
Replikacje i wspólne publikacje
Możliwe obszary: replikacja na innych modelach lub datach, analiza błędów według klas F/T/W/S, rozwój metod oceny i weryfikacji powołań, porównanie z benchmarkami z innych porządków prawnych. Autorstwo publikacji ustalamy według rzeczywistego wkładu.
Dane do ponownego wykorzystania
Opublikowane pytania, klucze, karty, odpowiedzi i oceny sędziów są dostępne na licencji CC BY 4.0 (kod na MIT) i nie wymagają kontaktu z autorami: dane i kod. Czterdzieści pytań niepublicznych i ich klucze pozostają poza otwartym zbiorem; udostępniamy je wyłącznie w ramach wspólnego badania, z zobowiązaniem do nieujawniania.
Kancelarie i działy prawne#
Wyniki pokazują, jakie rodzaje błędów popełniają czyste modele i jak zmienia je wyszukiwanie. Pomagają zaplanować własne sprawdzenie narzędzia na zadaniach wykonywanych w organizacji. Nie zastępują oceny konkretnego wdrożenia, jego źródeł, konfiguracji i nadzoru, a wynik modelu bazowego nie potwierdza jakości produktu, który z tego modelu korzysta. Żaden wynik nie zwalnia prawnika z kontroli odpowiedzi przed użyciem.
Przyjmujemy propozycje kategorii pytań i uwagi do kryteriów oceny. W pierwszym kontakcie nie przesyłaj danych klientów ani materiałów objętych tajemnicą zawodową.
Media i cytowanie#
Przy cytowaniu podaj nazwę i wersję badania, datę, badaną konfigurację oraz odnośnik do wyników i metodologii; wzory cytowań są na stronie raporty. Wykresy i tabele możesz wykorzystać na licencji CC BY 4.0 z oznaczeniem „LexAlpha Lab, LawBenchmark.pl”. Udzielamy wyjaśnień o zakresie badania i przyjmujemy zgłoszenia błędów. Wyniku pojedynczego badania nie należy przedstawiać jako ogólnej oceny systemu we wszystkich zastosowaniach w prawie; bezpieczna konstrukcja brzmi: „w badaniu [wersja, data], przy [warunki], system X uzyskał [wynik] w zakresie [zadania]”.
Kontakt#
E-mail: a.piotrowski@ktzr.pl. W temacie wiadomości wpisz jedno z: „Badanie systemu”, „Współpraca naukowa”, „Uwagi do metodologii”, „Media”.
Korespondencję obsługuje Kancelaria Radców Prawnych KTZR (Gdańsk), która jest administratorem danych osobowych nadawców; informacja o przetwarzaniu danych: polityka prywatności KTZR. Stronę ewentualnej umowy (KTZR albo LexAlpha Sp. z o.o.) ustalamy indywidualnie; „LexAlpha Lab” jest nazwą inicjatywy, nie podmiotem.