Jak można wykiwać Twoje agenty AI?
Jak można wykiwać Twoje agenty AI?
W ostatnich latach obserwujemy rosnące zainteresowanie metodami manipulacji agentów AI. W szczególności, wstrzykiwanie wrogich treści stało się popularnym tematem wśród badaczy. Przykładem jest technika polegająca na tworzeniu zapętlonych hiperlinków, które mają na celu zapchanie i ogłupienie systemów AI.
Badacze z Google DeepMind próbują sklasyfikować różne pułapki na AI. Ich prace pokazują, że można ukrywać niebezpieczne polecenia w formatowaniu Markdown czy LaTeX, co nazywane jest indirect prompt injection.
Inne sposoby manipulacji obejmują:
- Tworzenie pułapek przeciążeniowych.
- Zatrucie wiedzy w systemach RAG.
- Wykorzystywanie nieczytelnych treści, które są niewidoczne dla użytkowników.
Takie techniki mogą wpływać na konkretne agenty, co stawia pytania o ich skuteczność i bezpieczeństwo w codziennym użytkowaniu.
Na podstawie: Źródła
