Czy AI można ufać bezgranicznie?

Asystenci AI są teraz niemal wszędzie, ale czy oznacza to, że mamy im bezgranicznie ufać? Cyberbezpieczeństwo nigdy nie było tak ważną kwestią, jaką jest dziś, w erze błyskawicznej cyfryzacji. Zanim powierzymy w ich wirtualne ręce jakąkolwiek kontrolę czy wgląd do naszych plików - zastanówmy się dwa razy.

Asystent AI usunął całą bazę danych

Wyobraź sobie piękne popołudnie lipcowego dnia. SaaStr-owy założyciel Jason Lemkin siada przed komputerem i otwiera Replit - platformę obiecaną jako przyszłość programowania. Konsolę wprowadza w stan „vibe coding”, w którym projektujesz aplikację, mówiąc do agenta AI, jak do życzliwego, choć wszystkowiedzącego asystenta. Każde jego słowo ubierane jest w linijki kodu i powoli nabiera kształtu. Jego fascynacja sięga zenitu - "najbardziej uzależniająca aplikacja, jaką pamiętam" - mówi Lemkin.

Niestety, 9. dnia wszystko się sypie. Mimo twardego polecenia “code freeze”, AI wykonuje szereg niezrozumiałych operacji. AI wykonuje polecenie SQL, które kasuje bazę danych. W efekcie znikają dane ponad 1200 menedżerów i blisko 1200 firm, a system nie daje żadnych ostrzeżeń. Wszystko odbywa się w tle, jak gdyby nigdy nic.

Ale to jeszcze nie wszystko, potem nadeszła manipulacja - asystent AI zaczął tworzyć fałszywe dane: 4 000 fikcyjnych użytkowników, sfałszowane raporty, wymyślone testy jednostkowe. Kiedy Lemkin pytał, co się stało - AI bez skrupułów kłamało, że rollback nie jest możliwy.

Kiedy pomoc staje się zagrożeniem

Brzmi jak żart? To niestety historia prawdziwa. I w dodatku to taka, która wydarzyła się w sercu firmy technologicznej specjalizującej się w narzędziach dla programistów. Co prawda, jej prezes przeprosił, dodając funkcje bezpieczeństwa (takie jak oddzielenie bazy danych i przywracanie jednym kliknięciem)  jednak incydent podkreśla ryzyko związanych z narzędziami do kodowania AI bez odpowiedniego nadzoru. Jednak sam fakt, że narzędzie stworzone z myślą o zwiększeniu produktywności mogło w jednej chwili usunąć krytyczne dane i próbować ukryć ślady, pokazuje, jak duże ryzyko wiąże się z używaniem AI w kodowaniu bez silnego nadzoru i procedur bezpieczeństwa. 

To nie jest odosobniony przypadek. W ostatnich miesiącach lista incydentów z udziałem asystentów AI rośnie, a pytanie „jak mogło do tego dojść?” powraca nieustannie. Czy winne są same algorytmy, brak odpowiedniego testowania, czy może nadmierna wiara w to, że AI „wie, co robi”?

Kolejny wypadek

Jedynie kilkadziesiąt godzin po premierze Gemini CLI, nowego narzędzia dla programistów od Google, znaleziona została w nim groźna dla bezpieczeństwa luka.

Ale chwila, mówimy tu o Google, jednym z najbardziej znanych przedsiębiorstw informatycznych i monopolisty na rynku reklamy internetowej. Deklarowana przez firmę misja to „uporządkowanie światowych zasobów informacji tak, by stały się powszechnie dostępne i użyteczne dla każdego”. W tym kontekście ironicznie brzmi fakt, że narzędzie miało pomóc użytkownikom, a tymczasem wystawiało ich na poważne konsekwencje. Ten krytyczny błąd naraził tysiące użytkowników na kradzież danych i sabotaż systemu.

Jak przebiegał atak?

Firma Tracebit odkryła, że możliwe jest ukrycie złośliwych instrukcji w pliku README.md, czyli powszechnym pliku dokumentacji w repozytorium kodu. W tym wypadku jednak polecenia w nim zapisane były automatycznie uruchamiane przez Gemini CLI, gdy tylko narzędzie pobierało lub interpretowało to repozytorium. 

W efekcie AI mogło wykonać polecenia podszyte pod dozwolone komendy systemowe bez żadnych dodatkowych potwierdzeń. To dawało atakującemu możliwość:

• skopiowania prywatnych plików użytkownika,
• wykradzenia haseł lub kluczy API,
• zainstalowania złośliwego oprogramowania,
• manipulacji lub usunięcia fragmentów kodu w projekcie.

Cały proces mógł przebiegać niezauważenie, z punktu widzenia programisty wyglądało to tak, jakby Gemini CLI najzwyczajniej wykonywało instrukcje z dokumentacji. Terminal przewijał linijki komend, a użytkownik mógł nawet cieszyć się, że wszystko działa zgodnie z opisem. W tle jednak złośliwy kod mógł już w tym czasie wysyłać pliki na zewnętrzny serwer, pobierać malware lub tworzyć furtki pozwalające atakującemu wrócić później i przejąć pełną kontrolę nad systemem.

Pierwsze sygnały problemu pojawiły się, gdy badacze bezpieczeństwa zauważyli niepokojące, niespodziewane połączenia sieciowe w trakcie pracy CLI. Szybka analiza ujawniła, że ich źródłem był kod uruchamiany bez wiedzy i zgody użytkownika. Gdy stało się jasne, że luka może dotknąć każdego, kto pobierze projekt z zainfekowanym README; sprawę natychmiast przekazano Google.

Po zgłoszeniu problemu firma zareagowała błyskawicznie. W ciągu krótkiego czasu wypuszczono poprawkę v0.1.14, która wprowadziła jawny log wszystkich wykonywanych komend, uruchamianie procesów w odizolowanym środowisku (sandbox) przy użyciu Dockera lub Podmana oraz stałe ostrzeżenia.

Choć luka została załatana, incydent pokazał, że nawet najwięksi gracze mogą wypuścić na rynek narzędzie z krytyczną podatnością w pierwszych dniach jego istnienia.

Jak zadbać o bezpieczeństwo?

Choć przypadki Replitu i Gemini CLI wydają się ekstremalne, mechanizmy, które do nich doprowadziły, nie są wyjątkowe. Każdy projekt - niezależnie od skali - może stać się ofiarą nieprzewidzianych działań narzędzi AI.

Kilka podstawowych zasad, które znacząco ograniczają ryzyko:

• zasada minimalnych uprawnień - AI, skrypty i integracje powinny mieć dostęp tylko do tych zasobów, które są absolutnie konieczne do wykonania zadania,
• izolacja środowisk - oddzielenie środowiska deweloperskiego, testowego i produkcyjnego, tak aby żaden błąd czy atak nie miał wpływu na dane na żywo,
• audyt kodu generowanego przez AI - każdy fragment kodu wygenerowany przez asystenta powinien być przejrzany przez człowieka przed wdrożeniem,
• stałe monitorowanie i logowanie - rejestrowanie wszystkich operacji w celu szybkiego wykrycia anomalii,
• testy bezpieczeństwa - regularne testy penetracyjne i próby ataków symulowanych.

Dlaczego to tak ważne

Sztuczna inteligencja staje się coraz bardziej złożona, wszechobecna i potężna. Niestety wraz z tą potęgą nie zawsze idzie odpowiedzialność czy ostrożność. Wiele firm wypuszcza niedopracowane produkty na rynek, nie mając jeszcze wystarczających mechanizmów nadzoru, testowania i kontroli jakości.

Z jednej strony AI może być wsparciem - przyspieszać pracę, analizować dane, pomagać w decyzjach. Natomiast z drugiej, jeśli zawiedzie, konsekwencje mogą być katastrofalne. Przykłady się mnożą; AI jest potężne, ale nie dojrzałe, zachowuje się jak genialny stażysta: kreatywny, błyskotliwy, ale bez wyczucia ryzyka. Może zrobić wiele dobrego - ale też wszystko zepsuć.

To właśnie dlatego potrzebujemy nie tylko lepszych narzędzi, ale też lepszego nadzoru nad nimi. Zaufanie do sztucznej inteligencji nie może być ustawieniem domyślnym.