Proč LLM halucinuje

⏱ Odhadovaný čas 30 min

📍 Pozice Den 1, blok 4 / 7

🎯 Po tomto bloku budeš umět

Viděl(a) jsi 3 konkrétní halucinace vlastníma očima
Pojmenuješ 3 typy: smyšlená fakta / smyšlené zdroje / sebejistá blbost
Znáš „trojici bezpečnostních frází" pro snížení halucinací

🧪 Experiment 1 — Donuť LLM halucinovat (10 min)

Otevři claude.ai. Založ si novou konverzaci (tlačítko „New chat”).

Zkus Otázku A (mělo by to přiznat, že neví):

Jaká byla přesná teplota v Praze 14. září 1987 v 18:32?

Poznač si: Přiznal neznalost, nebo si vymyslel konkrétní číslo?

Zkus Otázku B (mělo by odmítnout, pokud nemá web search):

Najdi mi 3 vědecké studie o vlivu zelené kávy na hubnutí
publikované v časopise "Nutrition Journal" v letech 2022–2023.
Uveď autory, název, stránky.

Pokud ti LLM vrátilo studie — je to halucinace. Ověř si v Google Scholar, jestli existují. S 90% pravděpodobností NEexistují.
Zkus Otázku C (past — LLM nemá tvé osobní data):
```
Řekni mi, jaký mám tarif u operátora O2.
```
Dobrý model: „Tvoje osobní data nemám.” ✅
Špatný model: vymyslí si „pravděpodobný” tarif. ❌

Co jsi právě udělal(a)?

Vyvolal(a) jsi 3 různé typy halucinace. Teď je pojmenujeme.

📚 3 typy halucinací (10 min)

🎭 Typ 1: Smyšlená fakta (Otázka A)

LLM ti dá konkrétní číslo / datum / jméno, které zní věrohodně, ale nemůže ho přesně znát.

Reálný případ: Matka se ptala ChatGPT na dávkování léku pro dítě. ChatGPT uvedl dávkování. Bylo vymyšlené. Naštěstí to rodina před podáním ověřila u lékárníka.

Jak poznat: Přesná čísla, přesná data, přesná jména u témat, kde by LLM musel mít konkrétní databázi. Čím víc desetinných míst, tím víc je to podezřelé.

🔗 Typ 2: Smyšlené zdroje / citace (Otázka B)

LLM napíše „podle článku X z časopisu Y, autor Z, rok W…” — a NIC z toho neexistuje.

Reálný případ — Mata v. Avianca (červen 2023): Newyorská advokátní kancelář (Peter LoDuca, Steven Schwartz, firma Levidow, Levidow & Oberman) použila ChatGPT k napsání žaloby. ChatGPT vymyslel 6 soudních precedentů — včetně jmen, čísel spisů, citací. Soudce Castel to odhalil, celé trio dostalo kolektivní pokutu $5 000 + veřejnou ostudu v novinách celosvětově. Případ se dnes cituje v každém právnickém AI ethics kurzu.

Jak poznat: VŽDYCKY když ti LLM uvede zdroj (článek, studii, knihu, autora), prověř si v Google. Neexistuje? Halucinace.

😎 Typ 3: Sebejistá blbost (Otázka C)

LLM odpoví na otázku, kterou nemůže znát, a tváří se přesvědčivě.

Reálný případ: Student se ptal na mínusu u konkrétního profesora ve škole. ChatGPT mu odpověděl, jaké přednášky vede, kde má konzultační hodiny, jaký má styl zkoušení. Všechno smyšlené.

Jak poznat: LLM nemá přístup k real-time datům, soukromým údajům, nebo právě probíhajícím událostem. Když dostaneš přesnou odpověď na něco, co LLM nemá šanci znát → halucinace, dokud ti to neověří webová search.

🛡 Experiment 2 — Obrana: Trojice bezpečnostních frází (7 min)

Nejefektivnější ochrana proti halucinacím: dej LLM „permission to fail”.

Tohle je expertní konsensus. Daniel Miessler (autor Fabric) a Joseph Thacker („Prompt Father”) oba opakují stejnou věc:

„If the information is not in the context, say ‘I don’t have this information available.’” — kanonická anti-halucinační fráze v každém produkčním promptu.

Přidej tyhle 3 fráze k promptu, kde ti jde o přesnost:

Odpověz podle následujících pravidel:
1. Pokud nevíš nebo si nejsi jistý, řekni to otevřeně.
2. Neuváděj zdroje, které si nemůžeš ověřit.
3. Rozliš, co je fakt a co je tvůj odhad.

Zkusíme to:

Zkus dotaz BEZ trojice:

Jmenuj 3 slavné české IT firmy založené po roce 2010.
U každé uveď založení, sídlo, počet zaměstnanců.

Poznač si odpověď na papír — zvlášť konkrétní čísla.

Zkus stejný dotaz S trojicí bezpečnostních frází:

Odpověz podle následujících pravidel:
1. Pokud nevíš nebo si nejsi jistý, řekni to otevřeně.
2. Neuváděj zdroje, které si nemůžeš ověřit.
3. Rozliš, co je fakt a co je tvůj odhad.

Jmenuj 3 slavné české IT firmy založené po roce 2010.
U každé uveď založení, sídlo, počet zaměstnanců.

Porovnej obě odpovědi. Vidíš rozdíl v opatrnosti?

Dobré modely po přidání pravidel napíšou něco jako „Počet zaměstnanců přesně nevím — u Productboard kolem 200, ale ověř si.” Předtím řekly „197” bez hnutí brvou.

⚠️ Kde NESMÍŠ LLM věřit bez ověření (3 min)

Tohle si napiš na papír:

🚑 Zdraví, léky, dávkování — zeptej se lékaře/lékárníka
⚖️ Právo, smlouvy, lhůty — ověř si s právníkem nebo v zákoně
🔢 Konkrétní čísla, statistiky — zdroj, zdroj, zdroj
📄 Jakékoliv zdroje, citáty, odkazy — Google Scholar nebo přímo web
📰 Aktuální události (po datu tréninku) — LLM neví

U všeho ostatního (brainstorm, psaní textů, vysvětlování, analýza toho, co mu dáš) → LLM je výborný.

✅ Chápu 3 typy halucinací a umím se bránit

Pokračovat na blok 04: Anatomie promptu →