Bezpečnostní informační systém
Kriminalita
Aktuality > Kriminalita
BEZPEČNÁ DOPRAVAPRVNÍ POMOCPOŽÁRYOSOBNÍ BEZPEČÍMIMOŘÁDNÉ UDÁLOSTIPRO ŠKOLY

(Ne)bezpečný ChatGPT

17.02.2023
Svět dobývají algoritmy strojového učení, neboli umělá inteligence (AI). Jednou z oblastí, kde AI ukazuje výrazný potenciál, jsou chatboti určení ke generování textu. Tím nejznámějším je ChatGPT (Generative Pre-trained Transformer), spuštěný firmou OpenAI v listopadu 2022, a postaven na rodině

Svět dobývají algoritmy strojového učení, neboli umělá inteligence (AI). Jednou z oblastí, kde AI ukazuje výrazný potenciál, jsou chatboti určení ke generování textu. Tím nejznámějším je ChatGPT (Generative Pre-trained Transformer), spuštěný firmou OpenAI v listopadu 2022, a postaven na rodině velkých jazykových modelů této firmy GPT-3.

foto: Pixabay

Na to, jak funguje a jaká bezpečnostní rizika přináší v dnešních dnech hojně diskutovaný ChatGPT, a jaké druhy protiopatření jsou možná, jsme se zeptali Chestera Wisniewskiho, hlavního bezpečnostního analytika společnosti Sophos.

 

foto: Archiv

Jak dobře s ohledem na možná bezpečností rizika ChatGPT funguje?

ChatGPT funguje překvapivě dobře například při psaní phishingových návnad, což se dalo očekávat s ohledem na výsledky experimentů, v rámci kterých jsme ho nechali psát dopisy, e-maily atd. Phishingová návnada se od skutečného e-mailu liší vlastně jen akcí, která se od příjemce na konci očekává. Možnost interakce s ChatGPT, která trochu vyladí sociální inženýrství, v kombinaci s jeho téměř dokonalou gramatikou z něj dělá ideální nástroj pro ty, kteří se snaží psát anglicky tak, aby text zněl jako od rodilého mluvčího, přestože že sami anglicky neumí.

Mohlo by to pomoci podvodníkům a botům nebo k vytváření falešných recenzí apod.?

Rozhodně ano. Kdybych se v této oblasti angažoval já, mou prioritou by bylo získat klíč k rozhraní API a začal bych jej zneužívat právě k tomuto účelu. Vzhledem k nízké kvalitě mnoha existujících spamových či recenzentských botů lze takto dosáhnout mnohem lepšího výsledku s větší unikátností, než byste kdy mohli nakódovat sami ručně.

Jaké druhy protiopatření jsou možné?

To je zajímavá otázka. Výzkumníci z Hugging Face vytvořili detektor GPT-2, který měl rozumnou přesnost, což naznačuje, že by mohl existovat způsob, jak detekovat text generovaný tímto konkrétním modelem s poměrně vysokou přesností. Samozřejmě, pokud začnou marketingové týmy používat ChatGPT3 k psaní reklamních textů, mohlo by jim to komplikovat blokování textu, u kterého je vysoká pravděpodobnost, že byl vygenerován umělou inteligencí (ale nebo taky ne…). Většina podvodů obsahuje nějakou „výzvu k akci“. Klikněte zde, otevřete toto, zavolejte na toto číslo atd. Možná tedy bude jednodušší zaměřit naše technické detekce spíše na tyto výzvy k akci než na samotný obsah e-mailu. Detekce je značně složitá, protože end-to-end šifrované chaty v rámci služeb, jako jsou WhatsApp a Signal, nelze filtrovat stejným způsobem, jakým můžeme filtrovat nechráněné zprávy, například e-maily. Můžeme ale s jistotou říci, že dny, kdy jsme se spoléhali na uživatele, že podvodné zprávy odhalí a budou je ignorovat, jsou pryč.

 

Komentáře

Přidat komentář