1984 nebyla minulost, ale návod pro dnešek aka Chat Control

Úvod

Když George Orwell v roce 1949 vydal svůj román 1984, mnozí jej četli jako alegorii na totalitní režimy své doby. Dnes ale čím dál víc lidí chápe, že Orwell psal o mechanismech moci, které jsou nadčasové, a v kombinaci s moderní technologií se mohou stát ještě účinnějšími.

Evropská unie momentálně projednává návrh nařízení známý jako Chat Control (oficiálně CSAM). Na první pohled jde o snahu chránit děti před zneužíváním online. Ve skutečnosti však návrh směřuje k plošnému sledování soukromé komunikace občanů EU.

Pokud bude tento návrh přijat, dotkne se všech, kdo používají běžné služby: WhatsApp, Messenger, iMessage, Signal, Telegram, e-mailové platformy i cloudová úložiště fotografií. Ochrana, kterou dnes zajišťuje end-to-end (End-to-end šifrování znamená, že zprávu umí přečíst jen odesílatel a příjemce. Ani poskytovatel služby nemá k obsahu přístup) šifrování, by byla prolomena. A to není jen právní nebo technická otázka, to je otázka samotné podstaty svobody. Tedy by to porušovalo i samotnou listinu práv a svobod. (Listina základních práv a svobod je ústavní dokument, který chrání základní lidská práva, včetně práva na soukromí. Chat Control by ji porušoval, protože umožňuje plošné sledování soukromé komunikace bez individuálního podezření.)

Orwell kdysi varoval před světem, kde jazyk, technologie a strach formují chování lidí. Chat Control ukazuje, že jeho varování nebylo o minulosti, ale o naší budoucnosti.

1. Jazyk a přejmenování reality

George Orwell ve svém románu 1984 popisuje koncept Newspeaku, nového jazyka, který neměl sloužit k rozšíření komunikace, ale naopak k jejímu omezení. Smyslem bylo přetvořit slova tak, aby lidé přestali být schopní myslet kriticky. Pokud se například slovo „svoboda“ ztratí z jazyka, postupně se vytratí i schopnost koncept svobody pojmenovat a bránit.

Ztráta kritického myšlení je patrná už dnes, stačí se podívat na tzv. brainrot aplikace, jejichž nekonečný proud krátkého a povrchního obsahu vede k otupování pozornosti i schopnosti logicky uvažovat. Místo aby se děti učily rozlišovat pravdu od manipulace a samy odolávat nebezpečím internetu, Chat Control jim předkládá jednoduchý model: „ochrana = dohled“. Tím se ale vychovává generace, která si zvykne, že sledování je normální, a která přijme omezení svobody jako samozřejmost.

(Brainrot je slang pro „vyhnilý mozek“, stav, kdy člověk tráví čas u nekonečného, povrchního obsahu (např. TikTok, Reels, Shorts) a postupně ztrácí pozornost i schopnost soustředění. Používá se hlavně pro popis negativního vlivu těchto aplikací na myšlení a vnímání reality.)

Dnes se podobný mechanismus neodehrává v literatuře, ale v reálné politice. Evropská komise a někteří zastánci nové legislativy používají termín „ochrana dětí před zneužíváním online“. Na první pohled zní toto označení správně a těžko mu odporovat, kdo by byl proti ochraně dětí? Jenže za tímto pozitivním jazykem se skrývá něco úplně jiného: návrh nařízení známý jako Chat Control, který ve své podstatě zavádí plošný dohled nad soukromou komunikací všech občanů EU.

Plošný dohled nad soukromou komunikací může být prezentován jako bezpečnostní výhoda v boji proti terorismu, ale to je jen zdánlivý argument pro ty, kteří zákonu věří. Ve skutečnosti zločinci využijí darknet, off-chain komunikátory či šifrování ukryté například v JPG souborech, zatímco běžní lidé zůstanou bez skutečné ochrany.

Prakticky to znamená, že poskytovatelé služeb (WhatsApp, Messenger, iMessage, e-mailové servery aj.) by byli nuceni automaticky skenovat obsah všech zpráv a vyhodnocovat je pomocí algoritmů a umělé inteligence. Pokud by systém vyhodnotil obsah jako podezřelý, zpráva by byla nahlášena úřadům.

Problém?

• Nejde o cílené sledování konkrétních pachatelů, ale o hromadné prohledávání soukromých zpráv všech uživatelů.
• Technologie není spolehlivá, hrozí velké množství falešných poplachů (např. rodinné fotografie, které systém vyhodnotí jako závadné).
• Vytvoří se nebezpečný precedent, jakmile jednou vznikne systém plošného sledování, lze ho snadno rozšířit i na jiné oblasti.

Psychologický rozměr je zřejmý: pokud je opatření prezentováno jako „ochrana dětí“, většina lidí má tendenci s ním souhlasit, i když ve skutečnosti znamená zásadní omezení jejich práv. To je přesně orwellovský dvojí jazyk, věc, která ve skutečnosti znamená opak toho, co její název slibuje.

2. Technologie jako telescreen

V Orwellově 1984 existoval takzvaný telescreen, obrazovka, která nejen vysílala propagandu, ale zároveň lidi sledovala přímo v jejich domovech. Soukromí přestalo existovat, protože každý musel počítat s tím, že je permanentně sledován.

Dnes se k něčemu podobnému dostáváme prostřednictvím návrhu Chat Control. Většina z nás používá komunikační služby jako WhatsApp, Messenger, iMessage, Signal, Telegram nebo e-mailové platformy. Dosud jsme měli určitou jistotu, že zprávy a fotografie posílané přes tyto kanály jsou chráněny end-to-end šifrováním, tedy že je mohou číst jen odesílatel a příjemce.

Pokud by ale legislativa Chat Control vstoupila v platnost, tato ochrana by padla. V praxi by to znamenalo:

• Každá zpráva, fotografie či video by bylo automaticky zkontrolováno pravděpodobně předtím, než dorazí adresátovi.
• Obsah by byl ukládán a analyzován na serverech, které by měly přístup k obrovskému množství citlivých dat.
• Nešlo by tedy jen o „lov pedofilů“, ve skutečnosti by vznikl centrální dohledový systém, kde by se ocitly i vaše rodinné fotky z dovolené, obchodní nápady, soukromé konverzace nebo třeba zdravotní informace.
• Vtip dne: Politiků by se to netýkalo, jednoho by se totiž o porušení pracovní mlčenlivost.

To vede k zásadnímu bodu: ztráta autonomie uživatele i občana.

Když nemůžete kontrolovat, kdo má přístup k vaší komunikaci, přestáváte být svobodným účastníkem digitálního prostoru. Vaše data se stávají komoditou, která může být:

• zneužita hackery, protože každý backdoor (zadní vrátka do šifrování) je lákadlem pro kyberzločince,
• předmětem průmyslové špionáže, kdy může být ukraden váš podnikatelský nápad nebo obchodní strategie,
• nástrojem státního nebo politického nátlaku, protože dohled nikdy nezůstane jen u jednoho účelu.

Orwellovský telescreen byl v každém bytě a lidé věděli, že jsou sledováni. Chat Control by z našich mobilů, počítačů a tabletů udělal moderní digitální telescreeny, zdánlivě běžná zařízení, která se ale v reálném čase mění na nástroj hromadného dohledu.

A to je přesně moment, kdy se začíná projevovat další orwellovský efekt: samocenzura a strach.

Když víte, že každá vaše zpráva může být čtena, začínáte si dávat pozor na to, co píšete. V podnikání to znamená, že se zdráháte posílat důvěrné informace kolegům. V osobním životě to vede k omezení svobody projevu, lidé raději neřeknou, co si opravdu myslí, protože si nejsou jistí, kdo všechno jejich slova uvidí.

Zabezpečení přestává existovat. Šifrování bez šifrování je jen iluze, která dává falešný pocit bezpečí. A právě to je nejnebezpečnější, uživatel věří, že má soukromí, ale ve skutečnosti se jeho komunikace stává otevřenou knihou.

3. Samocenzura a strach

V 1984 lidé věděli, že každý jejich čin může být sledován sousedy, příslušníky Strany nebo samotným telescreenem. Proto se začali sami kontrolovat, neříkali nahlas, co si myslí, nepsali, co cítí, a omezovali své chování tak, aby nevzbuzovalo podezření.

Dnes se schyluje k obdobnému jevu. Pokud by byla přijata legislativa Chat Control, vědomí, že každá zpráva může být automaticky skenována a vyhodnocena umělou inteligencí, by začalo měnit chování společnosti:

• Lidé by si dávali pozor na to, co píší, i když nemají co skrývat.
• V podnikání by se firmy bály komunikovat nápady, strategie nebo know-how přes běžné kanály, hrozba úniku dat by byla příliš vysoká.
• Ve vztazích a osobním životě by se lidé omezovali, protože by nikdy nevěděli, kdo jejich zprávy v budoucnu uvidí.

To je psychologicky klíčové: dlouhodobý dohled nemění jen soukromí, ale formuje chování celé společnosti. Svoboda projevu se pomalu vytrácí, protože lidé si začínají sami nasazovat autocenzuru.

Další rovina je technologicko-ekonomická. Velké společnosti mimo EU, které si zakládají na ochraně soukromí, budou stát před dilematem:

• buď oslabí své šifrování a dobrovolně vytvoří backdoor (což je v přímém rozporu s jejich bezpečnostními standardy),
• nebo se z evropského trhu stáhnou.

Představme si například Apple: firma, která se roky profiluje jako ochránce soukromí. Je těžko uvěřitelné, že by dobrovolně implementovala backdoor do iMessage nebo FaceTime jen proto, aby vyhověla regulaci. Reálnější scénář je ten, že by Apple část služeb v EU omezil nebo vypnul.

Stejná situace se týká i Signal, ProtonMailu, Threemy a dalších poskytovatelů, kteří staví svoji reputaci právě na neprolomitelné ochraně komunikace. Pokud by byli donuceni šifrování „otevřít“, ztratili by důvěru uživatelů na celém světě. Výsledek? Omezení služeb pro Evropany a oslabení evropské digitální ekonomiky.

A i kdyby se společnosti podvolily, backdoor není možné mít „jen pro vládu“. Jakmile existuje, dříve či později jej objeví i hackeři, cizí mocnosti nebo organizovaný zločin.

Výsledek?

• Autocenzura obyvatel,
• strach firem sdílet informace,
• odchod inovativních služeb z EU,
• a celkový úpadek digitální svobody i konkurenceschopnosti.

Orwell psal o tom, že lidé se naučí sami sebe omezovat, protože nikdy nevědí, kdy jsou sledováni. Chat Control tento mechanismus přenáší do 21. století, tentokrát s pomocí umělé inteligence a globálních serverů.

4. Ekonomický a společenský dopad

V Orwellově 1984 byla společnost záměrně uniformní, lidé měli stejné názory, stejné chování, stejné možnosti. Inovace a kreativita nebyly žádoucí, protože představovaly hrozbu pro kontrolu. Strana udržovala svět v umělé stagnaci, kde „nové“ znamenalo nebezpečí.

Dnes čelíme riziku, že návrh Chat Control povede k podobné stagnaci – jen ne ideologické, ale technologické a ekonomické.

Pokud budou firmy nuceny oslabit šifrování a implementovat backdoory, mají v zásadě dvě možnosti:

1. Přizpůsobit se – a tím ztratit důvěru zákazníků po celém světě.
2. Odejít z EU – stáhnout své služby nebo je zde omezit.

Ani jedna možnost není pro Evropany výhodná. Stačí se podívat na problémy v Anglii po Brexitu, odchod firem a služeb vedl k horší dostupnosti technologií, vyšším nákladům a omezenému výběru pro běžné uživatele.

Rizika pro inovace a trh:

• Ztráta důvěry: spolehnutí se na evropské služby by bylo nemožné, protože nikdo by si nemohl být jistý, že jejich komunikace je opravdu chráněná.
• Odchod firem: poskytovatelé jako Signal, ProtonMail, Threema, Apple nebo menší startupy by raději ukončili služby v EU, než aby otevřeli backdoor.
• Odliv inovací: vývoj a investice se přesunou do regionů, které soukromí chrání – typicky do USA nebo Švýcarska.
• Digitální závislost: Evropa, místo aby podporovala vlastní inovace, se stane technologicky závislá na zahraničních hráčích, kteří budou určovat pravidla hry.

Společenské důsledky:

• Občané začnou používat obcházející technologie (VPN, darknet, peer-to-peer šifrování mimo mainstreamové platformy). Tím se rozdělí společnost na „ty, co mají přístup k bezpečným nástrojům“ a „ty, co zůstanou v systému pod dohledem“.
• Vznikne digitální nedůvěra, lidé přestanou věřit nejen státům, ale i komunikačním platformám a samotnému internetu jako bezpečnému prostoru. Nemluvě o deep fake obsahu generovaného skrze AI.
• Může se objevit i digitální exodus, firmy, vývojáři i jednotlivci začnou EU opouštět, protože prostředí nebude příznivé pro inovace ani pro podnikání.

Ve výsledku by to znamenalo, že Evropa sama sebe technologicky oslabí.

Místo aby byla lídrem v oblasti digitální bezpečnosti a inovací, stane se regionem s omezeným přístupem k moderním technologiím, digitálním skanzenem, kde inovace nejsou vítány.

To je čistě orwellovský scénář: společnost bez důvěry, bez inovací a bez svobody.

Závěr

Když píšu tento text, píšu ho nejen jako člověk z oblasti cybersecurity, ale také jako student psychologie. A právě kombinace těchto dvou oborů mi ukazuje, jak obrovskou hrozbu v sobě návrh Chat Control skrývá.

Technicky jde o totální zradu, od společnosti, od institucí, které by měly chránit občany, ne je plošně sledovat. Pokud je prolomeno šifrování, pak neexistuje žádná ochrana. Backdoor není nikdy jen „pro dobro“, vždy se stane i nástrojem zneužití, ať už hackery, autoritáři nebo komerčními subjekty.

Psychologicky to povede k devastaci.

Lidé se nebudou moci svobodně bavit, protože každá zpráva může být čtena a vyhodnocena. A tak se začne dít to, co už Orwell popisoval:

• Slabší jedinci tlak neunesou. U části populace může dlouhodobý dohled přispět ke zvýšené úrovni úzkostí, depresí a samovražedných tendencí.
• Silnější jedinci se přizpůsobí, ale za cenu autocenzury, neustálého hlídání vlastních slov a myšlenek.

Výsledek? Společnost se stane méně svobodná, více ustrašená a méně kreativní.

Pokud tento trend přijmeme, můžeme se připravit na scénář připomínající Čínu, sociální kreditní systém, kde budeme prosit, zda máme dost „bodů“ na to, abychom si mohli koupit lístek na tramvaj nebo využít běžné služby. Orwell by tomu říkal dystopie, ale my tomu budeme říkat „moderní legislativa“.

Je to budoucnost, kterou chceme?

Proto jsem v rámci projektu S-Guardian začal už dříve upozorňovat, že ztráta kritického myšlení a slepá důvěra v „ochranné“ technologie nás přivede přesně sem, do společnosti, kde svoboda není samozřejmost, ale výsada.

A pokud se nevzbudíme včas, zjistíme, že 1984 není jen román. Je to manuál, který někdo právě teď převádí do praxe.