Czy edytowanie dokumentów przez LLM naprawdę prowadzi do ich uszkodzenia?
Czy edytowanie dokumentów przez LLM naprawdę prowadzi do ich uszkodzenia?
Badanie DELEGATE-52 przeprowadzone przez Microsoft Research ujawnia niepokojące wyniki dotyczące edytowania dokumentów przez modele językowe (LLMs). Testowano 19 LLM-ów w 52 profesjonalnych dziedzinach, a wyniki są alarmujące.
W trakcie 20 interakcji edytorskich, nawet najbardziej zaawansowane modele, takie jak Gemini 3.1 Pro, Claude 4.6 Opus i GPT 5.4, uszkadzały średnio 25% zawartości dokumentów. W skali całego badania, degradacja treści osiągnęła nawet 50%.
Co więcej, błędy, które pojawiały się w dokumentach, były rzadkie, ale poważne. Zmiany, choć gramatycznie poprawne, prowadziły do istotnych zniekształceń treści. Wprowadzenie podstawowych narzędzi agenta do LLM-ów jeszcze bardziej pogorszyło wyniki, zwiększając degradację o około 6% oraz zużywając od dwóch do pięciu razy więcej tokenów wejściowych.
Jedyną dziedziną, w której większość LLM-ów osiągnęła wynik powyżej 98%, była Python.
- Degradacja treści dokumentów przez LLM-y
- Rzadkie, ale poważne błędy w treści
- Wpływ użycia narzędzi agenta na wyniki
Na podstawie: Źródła
