Jak działa GenAI i skąd biorą się generowane treści?

4. 1.4. Model językowy nie jest bazą wiedzy ani źródłem naukowym

Model językowy może wygenerować:

• poprawną odpowiedź,
• częściowo poprawną odpowiedź,
• odpowiedź nieaktualną,
• treść zawierającą prawdziwe i fałszywe elementy,
• nieistniejące źródła,
• kod działający tylko w części przypadków,
• przekonujące uzasadnienie błędnej tezy.

Jeżeli model ma dostęp do wyszukiwarki lub wskazanej bazy dokumentów, może korzystać z pobranych informacji. Nadal jednak generowany tekst jest rezultatem działania modelu. Cytowania, interpretacje i zgodność z materiałem źródłowym wymagają sprawdzenia.

Stochastyczna papuga

Model językowy służy do generowania treści. Nie powinien być automatycznie traktowany jako źródło wiedzy ani narzędzie potwierdzające prawdziwość informacji.

Wykrywa i odtwarza regularności występujące w danych językowych, płynna wypowiedź nie stanowi jednak dowodu, że wygenerowana treść jest prawdziwa ani że model dysponuje rozumieniem odpowiadającym rozumieniu człowieka (Bender i in. 2021).

Metafora „stochastycznej papugi” nie stanowi definicji współczesnego modelu językowego, ale publikacja dostarcza krytycznej perspektywy dotyczącej danych, znaczenia, uprzedzeń i kosztów modeli.

Więcej w wystąpieniu dr. hab. inż. Piotra Szczuko, prof. PG na konferencji "eTEE 2024: dydaktyka i technologia" (30 min) pt. "Wykładowcy AI i wirtualni korepetytorzy. Czy kalkulator nauczy mnie matematyki?"