3. 1.3. Jak model językowy generuje tekst?

Dokończ zdanie: Politechnika Gdańska znajduje się w...

Model językowy przetwarza dostarczony kontekst i oblicza, jakie tokeny mogą pojawić się dalej. Tokenem może być całe słowo, jego część, znak interpunkcyjny lub inny element tekstu. Po wygenerowaniu jednego tokenu proces jest powtarzany dla kolejnego. W ten sposób sekwencyjnie powstaje cała wypowiedź.

Współczesne duże modele językowe są najczęściej oparte na architekturze transformer, wykorzystującej mechanizm uwagi do przetwarzania zależności między elementami sekwencji (Vaswani i in. 2017).

Uważaj na uproszczenie

Przewidywanie tokenów nie jest prostym autouzupełnianiem znanym z edytora tekstu. Umożliwia wykonywanie złożonych zadań językowych, ale nie zapewnia zgodności wyniku z faktami ani poprawności rozumowania. 

Co dzieje się podczas trenowania?

W bardzo dużym uproszczeniu:

  1. Model przetwarza bardzo duże zbiory danych.
  2. Parametry modelu są dostosowywane tak, aby poprawić przewidywanie kolejnych tokenów.
  3. Model wykrywa zależności występujące w języku i danych.
  4. Dodatkowe etapy trenowania dostosowują sposób generowania odpowiedzi do instrukcji użytkowników oraz reguł działania modelu.

 Podczas treningu parametry modelu są optymalizowane tak, aby zmniejszać błąd przewidywania tokenów. Kolejne etapy dostrajania mogą modyfikować sposób reagowania na instrukcje i zasady działania modelu.

Model nie przechowuje całych danych treningowych w postaci uporządkowanej biblioteki. W parametrach zostają zakodowane złożone regularności statystyczne wykryte w danych.