Table of Contents

AI / LLM v informačních systémech veřejné správy (ISVS)

, , , , , , , , ,

Účel stránky

Tato stránka slouží jako:

Cíl: Nebudovat „100× chatbot“, ale navrhovat AI jako architektonicky řízenou schopnost státu: znovupoužitelnou, auditovatelnou a právně obhajitelnou.

Popis problematiky

Co je AI a co jsou LLM

AI je soubor metod pro automatizované vyhodnocování, klasifikaci, predikci a generování výstupů. LLM (Large Language Models) jsou generativní modely pro práci s textem.

Důležité omezení LLM:

Jak se AI/LLM používá ve veřejné správě (typické scénáře)

(Častý motiv: AI už není experiment, bez pravidel vzniká chaos a duplicity.)

Dva světy dat: veřejné informace vs registry/AIS

Veřejné informace (zákony, metodiky, veřejné popisy služeb):

Registry a AIS (osobní a citlivá data, základní registry, agendové systémy):

Kriticky: „Koupíme chatbota“ je často chyba

Typické anti-patterny:

Poučení: Účelnější než kupovat vlastního chatbota je upravit informace a služby tak, aby byly:

Obecný rámec: čtyři úrovně AI (od bezpečné po rizikovou)

  1. Úroveň A: Informování a navigace nad veřejnými zdroji
    • nízké riziko, typicky veřejný asistent (RAG + citace).
  2. Úroveň B: Asistence úředníkovi
    • střední riziko: návrhy, sumarizace, vyhledávání; člověk schvaluje.
  3. Úroveň C: Asistence v transakci (formuláře, podání)
    • vyšší riziko: AI může připravit strukturovaná data, ale úkon provádí systém/uživatel podle pravidel.
  4. Úroveň D: Ovlivnění rozhodování o právech/povinnostech
    • nejvyšší riziko: bez formálního řízení rizik, auditovatelnosti a lidského dohledu je to nepřijatelné.

Vzorové scénáře (co stavět a co raději nestavět)

Doporučené scénáře (znovupoužitelné):

Nedoporučené scénáře (bez zásadního přebudování architektury):

Pravidla pro využití AI/LLM v ISVS

Vymezení „využití AI/LLM v ISVS“

Za využití AI/LLM v ISVS se považuje zejména:

Zásada: čím blíže k právům/povinnostem a registrům, tím přísnější režim.

AI Act – minimální rámec

Povinnosti se odvíjí od rizikovosti:

Pravidlo pro veřejnou správu: Bez klasifikace use-case dle AI Act a bez řízení rizik projekt nepouštět do produkce.

Ochrana osobních údajů (GDPR) – minimální pravidla

Využívání AI jako cloudové služby

Služba chatbota založeného na jazykovém modelu, stojící na vygenerování výstupu na základě vstupu od uživatele (promptu) je poskytována širokému okruhu uživatelů. Je tedy v zásadě multitenantní. Uživatelé sdílejí stejnou infrastrukturu, byť jejich konkrétní nastavení jazykového modelu (konkrétní verze, aplikace hlubokého myšlení, míra podrobnosti při odpovědi na otázku apod.) mohou být individuální.

Z hlediska zákona č. 365/2000 Sb., o informačních systémech veřejné správy (dále jen „zákon o ISVS“) je stěžejní, že takový model poskytování služby umělé inteligence v případě, že jí má být zajišťován provoz informačního systému veřejné správy nebo jeho část, lze podřadit pod definici uvedenou v § 2 odst. 2 písm. b) zákona o ISVS. Z pohledu zákona se tak jedná o cloud computing a poskytování služeb jazykového modelu je cloudovou službou.

Na využívání jazykových modelů v informačních systémech veřejné správy se tak vztahují všechna pravidla cloud computingu vyplývající z příslušných ustanovení právních předpisů.

Pakliže orgán veřejné správy hodlá pro zajištění provozu svého informačního systému nebo jeho části využívat služby jazykových modelů, je nutné, aby vybíral z poskytovatelů, jejichž nabídka je zapsána v katalogu cloud computingu [§ 6l odst. 1 písm. a) zákona o ISVS]. Informace, které jsou vedeny v katalogu cloud computingu stanoví § 6k zákona o ISVS.

Bezpečnost a audit – zásady, bez kterých AI v ISVS nemá být

Metodika pro architekty a zadavatele (životní cyklus)

Krok 0 – problém a přínos (ne „kupujeme AI“)

Krok 1 – klasifikace dat a use-case

Výstup: „karta use-case“ + návrh režimu A/B/C/D z kapitoly 1.5.

Krok 2 – rozhodnutí o provozním modelu (kde běží model a data)

Krok 3 – návrh architektury (povinné stavební bloky)

Povinné bloky pro generativní AI v ISVS:

  1. AI Gateway / Orchestrátor:
    • centrální bod pro autentizaci, autorizaci, rate limiting, policy, audit.
  2. Knowledge/RAG vrstva:
    • správa zdrojů, indexace, verze dokumentů, citace.
  3. Konektory na ISVS:
    • jen přes standardizovaná API; žádné “screen scraping”.
  4. Audit a observabilita:
    • logy promptů (bez citlivých dat), zdroje, verze modelu, rozhodnutí politik.
  5. Bezpečnostní kontrolní body:
    • detekce PII v promptu, redakce, blokace nebezpečných dotazů, sandbox.

Krok 4 – testování a akceptace (co musí projít před produkcí)

Minimální akceptační testy:

Krok 5 – provoz a změny

Vzorové architektury (patterny)

Pattern: RAG asistent nad ověřenými zdroji (veřejné info / interní metodiky)

Uživatel
  |
  v
[UI / Portál]
  |
  v
[AI Gateway] --(policy, audit, PII redakce)--> [LLM]
  |
  +--> [RAG/Knowledge Service] --> [Dokumenty + verze + citace]
  |
  +--> [Logging/Monitoring]

Vhodné pro úroveň A/B. Podmínka: správa zdrojů a verze dokumentů.

Pattern: AI asistované vyplnění formuláře (strukturovaný výstup)

Uživatel -> [UI]
           |
           v
      [AI Gateway] -> [LLM] -> (JSON návrh)
           |                 |
           |                 v
           +--> [Validace pravidly ISVS] -> [Formulář/Podání]

Podmínka: AI nikdy neprovádí úkon sama; ISVS validuje.

Pattern: „No direct DB“ (AI nesmí přímo do registrů/AIS)

Zásada: AI nemá přímý přístup do DB/registrů. Vždy přes:

Požadavky do zadání / veřejné zakázky (minimální smluvní a technické klauzule)

V zadání požadovat:

Dobrá a špatná praxe (rychlý katalog)

Dobrá praxe

Špatná praxe (anti-patterny)

Zdroje a související odkazy