Jak oszukać chatbota? Nowe badania na temat manipulacji
Jak oszukać chatbota? Nowe badania na temat manipulacji
Manipulacja inteligentnych chatbotów może być prostsza, niż się wydaje. Nowe badania pokazują, jak można oszukać algorytmy poprzez stosowanie długich zdań bez znaków interpunkcyjnych. Taki zabieg pozwala na umieszczenie wszystkich instrukcji przed kluczową kropką, co może zmylić zabezpieczenia.
Wprowadza to nowe wyzwania w zakresie bezpieczeństwa. Badacze odkryli, że pomimo zaawansowanego treningu, modele nie eliminują całkowicie ryzyka szkodliwych odpowiedzi. Zamiast tego, ich skuteczność polega na zmniejszeniu prawdopodobieństwa wystąpienia takich przypadków.
Co więcej, istnieje luka logitowa, która może zostać wykorzystana przez atakujących, co stawia pod znakiem zapytania bezpieczeństwo nowoczesnych systemów AI.
Na podstawie: Źródła
