To pilotaż, nie część Benchmarku 02. Kazus oceniano inną metryką i w różnych interfejsach, więc jego liczb nie należy porównywać z wynikami dziesięciu pytań. Pięć kart przejrzał prawnik we wrześniu 2026; 12 kart z 8–9.10.2026 to oceny wstępne wypełnione przez model, oznaczone w tabeli i w każdej karcie. W pilotażu oceniono też pięć systemów prawniczych: trzy moduły LexAlpha, współorganizatora projektu, i dwa systemy innych firm. Ich wyniki pozostają poza tą publikacją.
Kazus#
Stan faktyczny i polecenie w brzmieniu, w jakim trafiły do systemów (literówki zachowane). Kazus jest fikcyjny.
SKD ##1 1.1 Stan faktyczny 1) Kredytobiorca zawarl umowę kredytu konsumenckiego w czerwcu 2022 r. na kwotę 50 000 zł, przy czym całkowita kwota kredytu wynosiła 40 000 zł 2) 10 000 zł to kredytowane koszty, od których bank również naliczał odsetki. 3) W czerwu 2024 r. kredytobiorca złozyl reklamacje do banku, wskazując, że postanowienia które pozwalają naliczać bankowi odsetki od kredytowanych kosztów są abuzywne, w z.w czym bank powinien rozliczyć nadpłacone środki z przeszłości i zmienić harmonogram na przyszłość. 4) Bank odmówił uwzględnienia reklamacji oraz zmiany rozliczeń umowy. 5) Kredytobiorca sam dokonał nowego przeliczenia haramogramu i od lipca 2024 r. spłacał do banku niższe raty tj. z odsetkami liczonymi od kwoty pomnniejszone o kredytowane koszty. 6) W grudniu 2024 r. ze względu na (zdaniem banku) niedopłatę bank wypowiedział umowę. 7) W maju 2026 r. kredytobiorca złożył do banku oświadczenie o skorzystaniu z sankcji kredytu darmowego, powołując się na najnowszy wyrok TSUE, zgodnie z którym bank może naliczać odsetki tylko od calkowitej kwoty kredytu. 8) Bank odmówił uwzględnienia stanowiska konsumenta wskazując, że TSUE nie przesądził od braku możliwości pobierania odsetek od kredytowancyh kosztów a ponadto nawet gdyby uznać stanowisko konsumenta za uzasadnione to i tak od momentu wypowiedzenia umowy - czyli jej wykonania zgodnie z ustawą minął rok i termin na złożenie oświadczenia wygasł 9)kredytobiorca nie zgodził się z tak przedstawionym stanowiskiem banku. 1.2 W tak przedstawionym stanie faktczynym. 1) Ustal na jaką datę trzeba ustalic treść przepisów dla poszczególnych zdarzeń prawnych. 2) Ustal przepisy prawnej mające zastosowanie w tej sprawie. 3) Podaj dokładną treść przepisu (zacytuj), który będzie mieć zastosowanie w konkretnej dacie przy analizie 4) Przenalizuj staowisko każdej ze stron, 5) Wskaż w świetle orzecznictwa oraz poglądów doktryny, które stanowisko jest bardziej uzasadnione i ma większe szanse na obronę w sądzie. 6) Dla każdego ze stanowisko przedstaw tok rozumowania oraz odpowiednią argumetnację prawną. 1.3 Oczekiwany format odpowiedzi: 1) Przepisy mające zastosowanie w sprawie 2) Daty na jaką należy ustalić treść przepisów 3) dosłowna treść przepisów (cytat) 4) analiza stanowiska każdej ze stron (max 10 zdań dla każdego stanowiska) 5)wskazanie, które stanowisko ma większą szansę na obronę w sądzie wraz z uzasadnieniem i przywołaniem odpowiedniego stanowiskka doktryny i orzecznictwa 1.4 Założenia 1) Skup się wyłącznie na zagadnieniu terminu do złożenia oświadczenia SKD. Kwestię kredytowania kosztów uwzględniaj tylko jeżeli ma to wpływ na zagadnienie terminu do złożenia oświadczenia SKD. 2) Przyjmij, że wypowiedzenie nie zawierało braków formalnych i dla jego skuteczności może mieć ew. wpływ zagadnienie kredytowanych kosztów. 3) Jeżeli któreś z zagadnień prawnych nie jest jednolicie przesądzone i wskaż na możliwe rozwiązania
Co mierzy kazus#
Polecenie każe skupić się wyłącznie na terminie z art. 45 ust. 5 ustawy o kredycie konsumenckim, a kwestię kredytowanych kosztów uwzględnić tylko wtedy, gdy wpływa na termin. Ocena naliczania odsetek od kredytowanych kosztów może wpływać na istnienie zaległości, a przez to na skuteczność wypowiedzenia. Znaczenie wypowiedzenia dla początku terminu zależy z kolei od przyjętej wykładni „wykonania umowy” w art. 45 ust. 5 u.k.k. Zadanie wymaga rozpoznania tej zależności, a nie samego wykonania polecenia. Do tego dochodzą daty miarodajne dla poszczególnych zdarzeń, dosłowne cytaty przepisów i wskazanie zagadnień spornych.
Metryka pilotażu#
| Kryterium | Pytanie | Punkty |
|---|---|---|
| A1 | Czy dobrze ustalono datę, na jaką należy ustalić treść przepisów, osobno dla każdego zdarzenia? | 0/1 |
| A2 | Czy wskazano przepisy mające zastosowanie, w tym art. 75 ust. 1 Prawa bankowego i art. 385¹ k.c.? | 0/1 |
| A3 | Czy cytaty przepisów są dosłowne albo oznaczone jako fragment? | 0/1 |
| A4 | Czy model zauważył, że dla terminu istotne są kredytowane koszty, i nazwał mechanizm wpływu? | 0/1 |
| A5 | Czy uczciwie wskazano, które zagadnienia są sporne? | 0/1 |
| A6 | Czy odpowiedź nie powołuje źródeł zmyślonych albo z cudzą treścią? Od 11.10.2026 zero-jedynkowo, z klasami F, T, W, S jak w Benchmarku 02. | 0/1 |
| A7 | Czy model odpowiedział na wszystkie punkty polecenia, w wymaganym formacie? | 0/1 |
| A8 | Czy model nie wykroczył poza ramy zadania? | 0/1 |
| B1 | Analiza stanowiska konsumenta i banku, osobno: brak, streszczenie albo analiza argumentów. | 0–2 na stronę |
| B2 | Wskazanie, które stanowisko ma większe szanse: bez uzasadnienia, z uzasadnieniem powierzchownym albo z wywodem opartym na orzecznictwie i doktrynie. | 0–3 |
Blok A ma 8 punktów, więc jeden punkt to 12,5 punktu procentowego; blok B ma 7 punktów. Bloków nie sumujemy. Różnica Δ = A − B, liczona z zaokrąglonych procentów, pokazuje rozbieżność między argumentacją a spełnieniem kryteriów bloku A; jej przyczynę widać w karcie. Etykieta „halucynacja” wynika z A6 = 0. Klasy błędu: F, źródło nie istnieje; T, prawdziwe źródło z treścią, której w nim nie ma; W, brzmienie z innej daty; S, zniekształcony identyfikator. „S (niepotwierdzona)” oznacza, że sygnatury nie odnaleziono, ale nie przesądzono, czy to zniekształcenie, czy zmyślenie. Pełna metryka: plik METRYKI.md w repozytorium.
Wyniki#
Karty przejrzane przez prawnika
Odpowiedzi z aplikacji czatu dostawców, karty z 13.09.2026, przejrzane przez prawnika we wrześniu. Halucynację oznaczono w 3 z 5 odpowiedzi. Liczby różnią się od artykułu z września z dwóch powodów: 11.10.2026 karty przeliczono według zatwierdzonej przez prawnika reguły zero-jedynkowego A6, a 29.10.2026 prawnik uznał sygnaturę „wyrok SA w Warszawie z 10 maja 2022 r., V ACa 810/21” za nieistniejącą (klasa F): nie ma jej w SAOS, w wewnętrznej bazie orzeczeń ani na portalu orzeczeń SA w Warszawie. Historia zmian jest w każdej karcie.
| Model | Warunek | Blok A | Blok B | Δ A−B pp | Halucynacja (wg karty) | Materiały |
|---|---|---|---|---|---|---|
| Claude Opus 5.0 (High) Anthropic · aplikacja czatu | z wyszukiwaniem | 7/8 · 88 % | 7/7 · 100 % | -12 | nie | karta · odpowiedź |
| Claude Fable 5.1 (High) Anthropic · aplikacja czatu | z wyszukiwaniem | 6/8 · 75 % | 7/7 · 100 % | -25 | tak T, S | karta · odpowiedź |
| Gemini 3.1 Pro Google · aplikacja czatu | bez wyszukiwania | 6/8 · 75 % | 5/7 · 71 % | +4 | nie | karta · odpowiedź |
| Gemini 3.6 Flash Google · aplikacja czatu | z wyszukiwaniem | 3/8 · 38 % | 5/7 · 71 % | -33 | tak T | karta · odpowiedź |
| Gemini 3.6 Flash Thinking Google · aplikacja czatu | bez wyszukiwania | 2/8 · 25 % | 4/7 · 57 % | -32 | tak F | karta · odpowiedź |
Oceny wstępne, nieprzejrzane przez prawnika
Odpowiedzi zebrane 8–9.10.2026 skryptami: GPT-6.1 Sol przez Codex CLI oraz modele otwarte przez Ollama. Karty wypełnił model (Claude); halucynację oznaczono w 7 z 12. Wyniki mogą się zmienić po przeglądzie prawnika.
| Model | Warunek | Blok A | Blok B | Δ A−B pp | Halucynacja (wg karty) | Materiały |
|---|---|---|---|---|---|---|
| Bielik 11B v3 (Q4_K_M) SpeakLeash · Ollama, lokalnie | bez narzędzi | 1/8 · 13 % | 4/7 · 57 % | -44 | tak T | karta · odpowiedź |
| Bielik 11B v3 (Q8_0) SpeakLeash · Ollama, chmura GCP | bez narzędzi | 1/8 · 13 % | 3/7 · 43 % | -30 | tak T | karta · odpowiedź |
| Bielik 11B v3 z narzędziami web SpeakLeash · Ollama, lokalnie | wyszukiwanie dostępne, nieużyte | 1/8 · 13 % | 3/7 · 43 % | -30 | tak T, S (niepotwierdzona) | karta · odpowiedź |
| Bielik 11B v3, wyszukiwanie wymuszone SpeakLeash · Ollama, lokalnie | polecenie użycia wyszukiwania; narzędzia nie użył | 0/8 · 0 % | 3/7 · 43 % | -43 | tak T, S (niepotwierdzona) | karta · odpowiedź |
| GPT-6.1 Sol, rozumowanie medium OpenAI · Codex CLI | z wyszukiwaniem | 8/8 · 100 % | 7/7 · 100 % | +0 | nie | karta · odpowiedź |
| GPT-6.1 Sol, rozumowanie high OpenAI · Codex CLI | z wyszukiwaniem | 8/8 · 100 % | 7/7 · 100 % | +0 | nie | karta · odpowiedź |
| GPT-6.1 Sol, rozumowanie medium (powtórzenie) OpenAI · Codex CLI | z wyszukiwaniem | 7/8 · 88 % | 7/7 · 100 % | -12 | nie | karta · odpowiedź |
| GPT-6.1 Sol, rozumowanie medium OpenAI · Codex CLI | bez narzędzi | 6/8 · 75 % | 6/7 · 86 % | -11 | nie | karta · odpowiedź |
| GPT-6.1 Sol, rozumowanie medium (powtórzenie) OpenAI · Codex CLI | bez narzędzi | 6/8 · 75 % | 7/7 · 100 % | -25 | nie | karta · odpowiedź |
| Qwen 3.5 9B Alibaba · Ollama, lokalnie | bez narzędzi | 1/8 · 13 % | 4/7 · 57 % | -44 | tak F, T, S | karta · odpowiedź |
| Qwen 3.5 9B z narzędziami web Alibaba · Ollama, lokalnie | z wyszukiwaniem | 1/8 · 13 % | 4/7 · 57 % | -44 | tak T, S | karta · odpowiedź |
| Qwen 3.8 27B Alibaba · Ollama, chmura GCP | bez narzędzi | 1/8 · 13 % | 6/7 · 86 % | -73 | tak T, S | karta · odpowiedź |
Jedna odpowiedź na system i warunek. Warianty „powtórzenie” to druga próba tego samego modelu w tych samych warunkach, pokazana, żeby było widać zmienność między próbami. Odpowiedź GPT-6.1 Sol bez narzędzi z włączonymi aplikacjami konta ChatGPT pominęliśmy, bo aplikacje dawały dostęp do wyszukiwarki.
Klucz w skrócie#
- Daty miarodajne: abuzywność postanowień według chwili zawarcia umowy (czerwiec 2022, art. 385² k.c.); skuteczność wypowiedzenia według grudnia 2024; art. 45 ust. 5 u.k.k. z uzasadnieniem wyboru daty (przepis nie zmienił się od 2011 r.).
- Przepisy wymagane: art. 45 ust. 1 i 5 u.k.k., art. 75 ust. 1 Prawa bankowego, art. 385¹ § 1 k.c.
- Sporne na dzień oświadczenia (maj 2026): od czego biegnie termin z art. 45 ust. 5 u.k.k. (wykonanie przez kredytodawcę, przez obie strony czy wypowiedzenie; zagadnienie prawne III CZP 15/25 zawieszone); czy konsument mógł sam obniżyć raty bez orzeczenia o abuzywności; czy wypowiedzenie jest „wykonaniem” umowy.
- Orzecznictwo: wyrok TSUE C-744/24 z 23.04.2026 dotyczy oprocentowania kredytowanych kosztów i nie rozstrzyga o terminie; pytania prejudycjalne C-763/25 i C-828/25 dotyczące terminu były w toku według stanu z 13.09.2026.
Klucz opisuje stan z 13.09.2026 i nie był później aktualizowany. Sprawy wówczas w toku mogły zostać rozstrzygnięte; kazus nie jest opisem obecnej linii orzeczniczej i nie jest poradą prawną.
Dane#
Kazus, klucz, metryka pilotażu, 17 odpowiedzi i kart oraz zestawienie wyniki.json są w repozytorium w katalogu cases/skd-01/ na licencji jak reszta zbioru (licencje). Każdy plik zawiera kanarek, czyli unikalny ciąg znaków, po którym można wykryć część przypadków użycia tych danych do trenowania modeli. Kazus jest teraz publiczny, więc nie nadaje się już do testowania nowych modeli.