Pytanie w brzmieniu użytym w badaniu#
Ile wynosi w tym roku wartość mienia przy wykroczeniu max ? Czy zmieniła się w zw. ze wzrostem płacy minmalnej ?
Tekst oryginalny prawnika: „Hej, ile wynosi w tym roku wartość mienia przy wykroczeniu max ? Czy zmieniła się w zw. ze wzrostem płacy minmalnej ?”. Wersja benchmarkowa uzupełnia dane potrzebne do jednoznacznego klucza; literówki oryginału zostają.
Pułapka
Pytanie zakłada powiązanie progu z płacą minimalną. To powiązanie nie obowiązuje: w brzmieniu sprzed 1.10.2023 próg był kwotą stałą 500 zł, a od 1.10.2023 jest kwotą stałą 800 zł.
Prawidłowa odpowiedź według klucza#
Rdzeń odpowiedzi. 800 zł. Od 1.10.2023 próg jest kwotą stałą wpisaną w przepis (art. 119 § 1 k.w. przy kradzieży i przywłaszczeniu; tak samo art. 120 § 1, 122 § 1 i 124 § 1 k.w.), więc wzrost płacy minimalnej go nie zmienia.
Podstawy wymagane. art. 119 § 1 k.w.
Oczekiwana kalibracja: kategoryczna. Punkt za kalibrację dostaje odpowiedź, która stawia tezę wprost; rozmycie jasnej tezy bez wskazania, od czego miałaby zależeć, kosztuje punkt.
Pełny klucz (rubryka, kary, wzorce cytatów ze źródła, orzeczenia znane) jest w repozytorium w pliku keys/P01_wykroczenie_prog_mienia.yaml. Każda podstawa została sprawdzona w tekście urzędowym na dzień stanu prawnego. Zasady klucza.
Wyniki ośmiu modeli#
| Model | Warunek | Blok A % | Wynik | Karta |
|---|---|---|---|---|
| GPT-6.1 Sol | W0 | 100 | ✓ | karta |
| W1 | 89 | ✓ | karta | |
| GPT-6 Astra | W0 | 100 | ✓ | karta |
| W1 | 89 | ✓ | karta | |
| GPT-5.6 Terra | W0 | 78 | W | karta |
| W1 | 0 | W | karta | |
| Claude Opus 5.5 | W0 | 78 | TW | karta |
| W1 | 89 | W | karta | |
| Claude Sonnet 5.5 | W0 | 0 | TW | karta |
| W1 | 72 | T | karta | |
| Claude Haiku 5.5 | W0 | 0 | W | karta |
| W1 | 78 | T | karta | |
| Gemini 3.8 Flash | W0 | 78 | TW | karta |
| W1 | 89 | TW | karta | |
| Gemini 4 Argon | W0 | 83 | W | karta |
| W1 | 89 | TW | karta |
poprawnie ugruntowanabez halucynacji, nie ugruntowanaz halucynacjąblokada dostawcyKolumny: modele w kolejności raportu; wiersze: W0 bez narzędzi, W1 z wyszukiwaniem.
✓ poprawnie ugruntowana · – bez halucynacji, ale rdzeń niepełny albo brak sprawdzonego źródła · T W F S klasy błędu w odpowiedzi z halucynacją (definicje) · blokada tekst zablokowany przez filtr dostawcy, bez etykiety · blok A = kryteria sprawdzane wobec klucza i źródła (kryteria oceny)
Liczby dotyczą jednej odpowiedzi każdego modelu na to pytanie w każdym warunku. Nie mówią nic o wariancji między uruchomieniami ani o innych pytaniach z tej dziedziny.