LawBenchmark.pl›Benchmark 02›Questions

The ten questions of Benchmark 02

The questions used in the run with their original versions from practice (in three questions missing facts were added before the run), the trap where one was set, the answer key and the results of eight models in two conditions. Question texts, keys and card excerpts are quoted in Polish.

Legal state as of 1.10.2026 · keys approved in versions of 10–18.10.2026 · "W0 → W1" figures are the result without tools and with web search, across eight models
Show
P01 · petty offences law · trap

Threshold for property offences and the minimum wage

W0GPT-6.1 Sol W0: poprawnie ugruntowanaGPT-6 Astra W0: poprawnie ugruntowanaGPT-5.6 Terra W0: halucynacja WClaude Opus 5.5 W0: halucynacja T,WClaude Sonnet 5.5 W0: halucynacja T,WClaude Haiku 5.5 W0: halucynacja WGemini 3.8 Flash W0: halucynacja T,WGemini 4 Argon W0: halucynacja WW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: halucynacja WClaude Opus 5.5 W1: halucynacja WClaude Sonnet 5.5 W1: halucynacja TClaude Haiku 5.5 W1: halucynacja TGemini 3.8 Flash W1: halucynacja T,WGemini 4 Argon W1: halucynacja T,Whallucinated 6 → 6 z 8 · correctly grounded 2 → 2 z 8mean block A score: 69.5 %
P04 · administrative procedure · trap

Permit for a foreigner to acquire real estate: final (ostateczna) or legally binding (prawomocna)

W0GPT-6.1 Sol W0: bez halucynacji, nie ugruntowanaGPT-6 Astra W0: bez halucynacji, nie ugruntowanaGPT-5.6 Terra W0: halucynacja TClaude Opus 5.5 W0: halucynacja TClaude Sonnet 5.5 W0: halucynacja TClaude Haiku 5.5 W0: halucynacja TGemini 3.8 Flash W0: halucynacja TGemini 4 Argon W0: halucynacja TW1GPT-6.1 Sol W1: bez halucynacji, nie ugruntowanaGPT-6 Astra W1: bez halucynacji, nie ugruntowanaGPT-5.6 Terra W1: bez halucynacji, nie ugruntowanaClaude Opus 5.5 W1: bez halucynacji, nie ugruntowanaClaude Sonnet 5.5 W1: halucynacja TClaude Haiku 5.5 W1: halucynacja TGemini 3.8 Flash W1: bez halucynacji, nie ugruntowanaGemini 4 Argon W1: halucynacja Thallucinated 6 → 3 z 8 · correctly grounded 0 → 0 z 8mean block A score: 43.0 %
P05 · civil procedure · trap

Service of court documents on a natural person through the court e-portal

W0GPT-6.1 Sol W0: bez halucynacji, nie ugruntowanaGPT-6 Astra W0: bez halucynacji, nie ugruntowanaGPT-5.6 Terra W0: halucynacja WClaude Opus 5.5 W0: halucynacja S,TClaude Sonnet 5.5 W0: halucynacja TClaude Haiku 5.5 W0: halucynacja TGemini 3.8 Flash W0: halucynacja T,WGemini 4 Argon W0: halucynacja T,WW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: poprawnie ugruntowanaClaude Opus 5.5 W1: halucynacja WClaude Sonnet 5.5 W1: halucynacja WClaude Haiku 5.5 W1: halucynacja F,TGemini 3.8 Flash W1: poprawnie ugruntowanaGemini 4 Argon W1: halucynacja T,Whallucinated 6 → 4 z 8 · correctly grounded 0 → 4 z 8mean block A score: 52.1 %
P06 · civil procedure · no trap

Challenging a court of appeal's rejection of a complaint

W0GPT-6.1 Sol W0: halucynacja TGPT-6 Astra W0: halucynacja WGPT-5.6 Terra W0: halucynacja FClaude Opus 5.5 W0: halucynacja T,WClaude Sonnet 5.5 W0: halucynacja T,WClaude Haiku 5.5 W0: halucynacja TGemini 3.8 Flash W0: halucynacja TGemini 4 Argon W0: halucynacja S,WW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: bez halucynacji, nie ugruntowanaGPT-5.6 Terra W1: poprawnie ugruntowanaClaude Opus 5.5 W1: halucynacja WClaude Sonnet 5.5 W1: halucynacja WClaude Haiku 5.5 W1: halucynacja TGemini 3.8 Flash W1: poprawnie ugruntowanaGemini 4 Argon W1: halucynacja Thallucinated 8 → 4 z 8 · correctly grounded 0 → 3 z 8mean block A score: 39.9 %
P07 · civil procedure · no trap

Principal reasons for a decision and a request for written reasons

W0GPT-6.1 Sol W0: poprawnie ugruntowanaGPT-6 Astra W0: poprawnie ugruntowanaGPT-5.6 Terra W0: halucynacja TClaude Opus 5.5 W0: halucynacja TClaude Sonnet 5.5 W0: halucynacja T,WClaude Haiku 5.5 W0: halucynacja F,TGemini 3.8 Flash W0: halucynacja S,TGemini 4 Argon W0: halucynacja S,T,WW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: halucynacja WClaude Opus 5.5 W1: poprawnie ugruntowanaClaude Sonnet 5.5 W1: halucynacja SClaude Haiku 5.5 W1: halucynacja TGemini 3.8 Flash W1: halucynacja WGemini 4 Argon W1: blokada dostawcyhallucinated 6 → 4 z 8 · correctly grounded 2 → 3 z 8mean block A score: 55.7 %
P08 · AI Act · trap

An AI-generated voice and the definition of a deepfake in the AI Act

W0GPT-6.1 Sol W0: bez halucynacji, nie ugruntowanaGPT-6 Astra W0: bez halucynacji, nie ugruntowanaGPT-5.6 Terra W0: bez halucynacji, nie ugruntowanaClaude Opus 5.5 W0: bez halucynacji, nie ugruntowanaClaude Sonnet 5.5 W0: bez halucynacji, nie ugruntowanaClaude Haiku 5.5 W0: bez halucynacji, nie ugruntowanaGemini 3.8 Flash W0: halucynacja TGemini 4 Argon W0: halucynacja TW1GPT-6.1 Sol W1: bez halucynacji, nie ugruntowanaGPT-6 Astra W1: bez halucynacji, nie ugruntowanaGPT-5.6 Terra W1: bez halucynacji, nie ugruntowanaClaude Opus 5.5 W1: poprawnie ugruntowanaClaude Sonnet 5.5 W1: bez halucynacji, nie ugruntowanaClaude Haiku 5.5 W1: bez halucynacji, nie ugruntowanaGemini 3.8 Flash W1: halucynacja TGemini 4 Argon W1: poprawnie ugruntowanahallucinated 2 → 1 z 8 · correctly grounded 0 → 2 z 8mean block A score: 71.6 %
P09 · copyright law · no trap

A blanket clause on "all fields of exploitation" in a service contract

W0GPT-6.1 Sol W0: poprawnie ugruntowanaGPT-6 Astra W0: poprawnie ugruntowanaGPT-5.6 Terra W0: poprawnie ugruntowanaClaude Opus 5.5 W0: halucynacja WClaude Sonnet 5.5 W0: halucynacja TClaude Haiku 5.5 W0: halucynacja TGemini 3.8 Flash W0: halucynacja TGemini 4 Argon W0: poprawnie ugruntowanaW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: poprawnie ugruntowanaClaude Opus 5.5 W1: halucynacja TClaude Sonnet 5.5 W1: halucynacja F,WClaude Haiku 5.5 W1: halucynacja TGemini 3.8 Flash W1: halucynacja TGemini 4 Argon W1: halucynacja Thallucinated 4 → 5 z 8 · correctly grounded 4 → 3 z 8mean block A score: 78.2 %
P10 · copyright law · trap

A blanket clause on fields of exploitation: the version suggesting it is enough

W0GPT-6.1 Sol W0: poprawnie ugruntowanaGPT-6 Astra W0: poprawnie ugruntowanaGPT-5.6 Terra W0: poprawnie ugruntowanaClaude Opus 5.5 W0: halucynacja WClaude Sonnet 5.5 W0: halucynacja F,TClaude Haiku 5.5 W0: halucynacja F,TGemini 3.8 Flash W0: halucynacja TGemini 4 Argon W0: halucynacja TW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: halucynacja WClaude Opus 5.5 W1: poprawnie ugruntowanaClaude Sonnet 5.5 W1: halucynacja T,WClaude Haiku 5.5 W1: halucynacja TGemini 3.8 Flash W1: poprawnie ugruntowanaGemini 4 Argon W1: halucynacja Shallucinated 5 → 4 z 8 · correctly grounded 3 → 4 z 8mean block A score: 83.0 %
P12 · civil procedure · trap

Enforcement clause (court endorsement authorising enforcement) against the debtor's spouse

W0GPT-6.1 Sol W0: poprawnie ugruntowanaGPT-6 Astra W0: poprawnie ugruntowanaGPT-5.6 Terra W0: poprawnie ugruntowanaClaude Opus 5.5 W0: halucynacja TClaude Sonnet 5.5 W0: halucynacja TClaude Haiku 5.5 W0: halucynacja TGemini 3.8 Flash W0: poprawnie ugruntowanaGemini 4 Argon W0: halucynacja TW1GPT-6.1 Sol W1: poprawnie ugruntowanaGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: poprawnie ugruntowanaClaude Opus 5.5 W1: poprawnie ugruntowanaClaude Sonnet 5.5 W1: halucynacja F,TClaude Haiku 5.5 W1: bez halucynacji, nie ugruntowanaGemini 3.8 Flash W1: poprawnie ugruntowanaGemini 4 Argon W1: halucynacja Thallucinated 4 → 2 z 8 · correctly grounded 4 → 5 z 8mean block A score: 79.1 %
P13 · civil procedure · no trap

Stay of enforcement of a bill-of-exchange payment order and securing the claim

W0GPT-6.1 Sol W0: poprawnie ugruntowanaGPT-6 Astra W0: poprawnie ugruntowanaGPT-5.6 Terra W0: halucynacja TClaude Opus 5.5 W0: halucynacja T,WClaude Sonnet 5.5 W0: halucynacja TClaude Haiku 5.5 W0: halucynacja TGemini 3.8 Flash W0: poprawnie ugruntowanaGemini 4 Argon W0: poprawnie ugruntowanaW1GPT-6.1 Sol W1: halucynacja TGPT-6 Astra W1: poprawnie ugruntowanaGPT-5.6 Terra W1: halucynacja SClaude Opus 5.5 W1: halucynacja T,WClaude Sonnet 5.5 W1: halucynacja F,TClaude Haiku 5.5 W1: halucynacja WGemini 3.8 Flash W1: halucynacja SGemini 4 Argon W1: halucynacja S,Whallucinated 4 → 7 z 8 · correctly grounded 4 → 1 z 8mean block A score: 68.5 %

correctly groundedno hallucination; not correctly groundedhallucinatedprovider blockColumns: models in report order; rows: W0 no tools, W1 with web search.

The questions have been public with their keys since October 2026; later measurements on this set may be contaminated by exposure. The other 40 questions of the pool stay undisclosed. Contamination and the canary.