Jak działa GenAI i skąd biorą się generowane treści?

1. 1.1. AI, GenAI i modele językowe: uporządkujmy pojęcia

Sztuczna inteligencja (AI)

Sztuczna inteligencja (artificial intelligence, AI) to szerokie określenie technologii komputerowych, które wykonują zadania wymagające analizy danych, rozpoznawania wzorców, przewidywania, podejmowania decyzji lub sterowania działaniem urządzeń. Systemy AI mogą między innymi rozpoznawać obrazy i mowę, wykrywać nieprawidłowości, rekomendować treści, planować trasy, wspierać diagnozowanie, sterować robotami i pojazdami autonomicznymi oraz generować teksty, obrazy, dźwięki, filmy lub kod. AI obejmuje zarówno systemy działające na danych cyfrowych, jak i technologie połączone z urządzeniami działającymi w świecie fizycznym.

Uczenie maszynowe (ML)

Uczenie maszynowe (Machine Learning, ML) obejmuje metody, dzięki którym modele wykrywają wzorce w danych treningowych i wykorzystują je do wykonywania określonych zadań. Reguły działania nie muszą być w całości zapisane ręcznie przez programistę.

Generatywna sztuczna inteligencja (GenAI)

Generatywna sztuczna inteligencja (GenAI) jest jednym z obszarów AI. Obejmuje modele służące do generowania nowych treści, takich jak tekst, kod, obrazy, dźwięk i wideo, na podstawie wzorców wykrytych w danych treningowych (UNESCO Miao i Holmes 2023, Illingworth i Forsyth 2026). Tego skrótu będziemy używać w tym kursie.

Nie każdy system AI jest generatywną sztuczną inteligencją.

Duży model językowy (LLM)

Duży model językowy (Large Language Model, LLM), to model wytrenowany na bardzo dużych zbiorach tekstu. Podczas generowania tekstu model oblicza prawdopodobieństwo kolejnych elementów wypowiedzi i wybiera następne tokeny zgodnie z ustawieniami systemu oraz dostarczonym kontekstem.

Ważne rozróżnienie

Chatbot jest interfejsem komunikacji, a model językowy jest jednym z elementów systemu, który może działać za tym interfejsem. Współczesna usługa może łączyć model z wyszukiwarką internetową, bazą dokumentów, kalkulatorem, interpretatorem kodu, generatorem obrazów, pamięcią rozmowy lub dodatkowymi mechanizmami bezpieczeństwa.

Dlatego dwie usługi korzystające z podobnego modelu mogą generować inne rezultaty.

AI jest pojęciem najszerszym. Uczenie maszynowe jest jednym ze sposobów tworzenia systemów AI, GenAI obejmuje modele generujące nowe treści, LLM jest rodzajem modelu generującego język, a chatbot jest interfejsem dostępu do modelu lub szerszego systemu.

2. 1.2. Polskie modele językowe: Bielik, PLLuM i Qra

ChatGPT, Gemini i Claude nie są jedynymi dostępnymi modelami językowymi, powstają również modele rozwijane z myślą o języku polskim i polskich realiach. Najważniejsze z nich to Bielik, PLLuM i Qra.

Dlaczego jest to ważne? Modele językowe są trenowane na tekstach, a języki nie są jednakowo reprezentowane w dostępnych zbiorach danych. Najwięcej materiałów powstaje w języku angielskim. Modele rozwijane z wykorzystaniem polskich tekstów mogą lepiej radzić sobie z polską gramatyką, słownictwem, terminologią i kontekstem kulturowym.

Bielik

Bielik jest rodziną modeli rozwijaną przez społeczność Bielik.AI działającą w ramach fundacji SpeakLeash we współpracy z ACK Cyfronet AGH. Projekt powstaje dzięki zaangażowaniu społeczności osób zajmujących się technologią, językiem, danymi i bezpieczeństwem AI.

Bielik jest szczególnie wartościowym przykładem otwartej współpracy. Jego wybrane wersje można pobierać, badać, dostosowywać do własnych potrzeb i uruchamiać we własnej infrastrukturze. Dostępność modeli wspiera edukację, badania naukowe oraz rozwój polskich rozwiązań wykorzystujących AI.

Więcej informacji znajdziesz w repozytorium modeli Bielik.

PLLuM

PLLuM, czyli Polish Large Language Model, jest rodziną modeli rozwijaną przez polskie jednostki naukowe przy wsparciu Ministerstwa Cyfryzacji. Projekt powstał między innymi z myślą o administracji publicznej i usługach dostosowanych do języka urzędowego oraz polskich realiów.

Modele PLLuM są udostępniane na otwartych licencjach. Mogą być wykorzystywane przez administrację, uczelnie, zespoły badawcze i przedsiębiorstwa. Projekt jest elementem budowania krajowych kompetencji oraz zmniejszania zależności od zamkniętych systemów globalnych firm.

Więcej informacji znajdziesz na stronie Ministerstwa Cyfryzacji.

Qra

Qra jest rodziną modeli opracowaną wspólnie przez Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy i Politechnikę Gdańską. Modele trenowano na dużym zbiorze polskich tekstów z wykorzystaniem infrastruktury obliczeniowej PG.

Qra ma dla naszej społeczności szczególne znaczenie. Pokazuje, że Politechnika Gdańska nie tylko korzysta z rozwiązań AI, ale również uczestniczy w ich tworzeniu. Udostępnione modele mogą być dalej badane i dostosowywane do konkretnych zastosowań.

Więcej informacji znajdziesz na stronie Politechniki Gdańskiej.

Co oznacza otwartość modelu?

Otwarty model można w określonym zakresie pobierać, badać, modyfikować lub wykorzystywać do budowania własnych rozwiązań. Dokładne możliwości zależą od licencji konkretnej wersji.

Polskie modele działają według podobnych zasad jak inne modele językowe, również mogą generować informacje nieprawdziwe, niepełne lub słabo uzasadnione. Ich odpowiedzi trzeba oceniać i sprawdzać w wiarygodnych źródłach.

Do refleksji

Jakie znaczenie przy wyborze modelu do nauki, nauczania lub prowadzenia badań może mieć jego dostosowanie do języka polskiego, otwartość oraz możliwość uruchomienia we własnej infrastrukturze?

3. 1.3. Jak model językowy generuje tekst?

Dokończ zdanie: Politechnika Gdańska znajduje się w...

Model językowy przetwarza dostarczony kontekst i oblicza, jakie tokeny mogą pojawić się dalej. Tokenem może być całe słowo, jego część, znak interpunkcyjny lub inny element tekstu. Po wygenerowaniu jednego tokenu proces jest powtarzany dla kolejnego. W ten sposób sekwencyjnie powstaje cała wypowiedź.

Współczesne duże modele językowe są najczęściej oparte na architekturze transformer, wykorzystującej mechanizm uwagi do przetwarzania zależności między elementami sekwencji (Vaswani i in. 2017).

Uważaj na uproszczenie

Przewidywanie tokenów nie jest prostym autouzupełnianiem znanym z edytora tekstu. Umożliwia wykonywanie złożonych zadań językowych, ale nie zapewnia zgodności wyniku z faktami ani poprawności rozumowania. 

Co dzieje się podczas trenowania?

W bardzo dużym uproszczeniu:

1. Model przetwarza bardzo duże zbiory danych.
2. Parametry modelu są dostosowywane tak, aby poprawić przewidywanie kolejnych tokenów.
3. Model wykrywa zależności występujące w języku i danych.
4. Dodatkowe etapy trenowania dostosowują sposób generowania odpowiedzi do instrukcji użytkowników oraz reguł działania modelu.

 Podczas treningu parametry modelu są optymalizowane tak, aby zmniejszać błąd przewidywania tokenów. Kolejne etapy dostrajania mogą modyfikować sposób reagowania na instrukcje i zasady działania modelu.

Model nie przechowuje całych danych treningowych w postaci uporządkowanej biblioteki. W parametrach zostają zakodowane złożone regularności statystyczne wykryte w danych.

4. 1.4. Model językowy nie jest bazą wiedzy ani źródłem naukowym

Model językowy może wygenerować:

• poprawną odpowiedź,
• częściowo poprawną odpowiedź,
• odpowiedź nieaktualną,
• treść zawierającą prawdziwe i fałszywe elementy,
• nieistniejące źródła,
• kod działający tylko w części przypadków,
• przekonujące uzasadnienie błędnej tezy.

Jeżeli model ma dostęp do wyszukiwarki lub wskazanej bazy dokumentów, może korzystać z pobranych informacji. Nadal jednak generowany tekst jest rezultatem działania modelu. Cytowania, interpretacje i zgodność z materiałem źródłowym wymagają sprawdzenia.

Stochastyczna papuga

Model językowy służy do generowania treści. Nie powinien być automatycznie traktowany jako źródło wiedzy ani narzędzie potwierdzające prawdziwość informacji.

Wykrywa i odtwarza regularności występujące w danych językowych, płynna wypowiedź nie stanowi jednak dowodu, że wygenerowana treść jest prawdziwa ani że model dysponuje rozumieniem odpowiadającym rozumieniu człowieka (Bender i in. 2021).

Metafora „stochastycznej papugi” nie stanowi definicji współczesnego modelu językowego, ale publikacja dostarcza krytycznej perspektywy dotyczącej danych, znaczenia, uprzedzeń i kosztów modeli.

Więcej w wystąpieniu dr. hab. inż. Piotra Szczuko, prof. PG na konferencji "eTEE 2024: dydaktyka i technologia" (30 min) pt. "Wykładowcy AI i wirtualni korepetytorzy. Czy kalkulator nauczy mnie matematyki?"

5. 1.5. Dlaczego model może generować informacje nieprawdziwe?

Generowane treści mogą być niezgodne z materiałem źródłowym, dostarczonym kontekstem lub możliwą do zweryfikowania wiedzą o świecie. W literaturze zjawisko to najczęściej określa się jako „halucynacje AI” (Ji i in. 2023), choć termin może niepotrzebnie antropomorfizować technologię, dlatego w tym kursie będziemy posługiwać się bardziej precyzyjnymi określeniami błąd faktograficzny, fabrykacja informacji, wygenerowanie nieistniejącego źródła, treść niezgodna z danymi lub nieuzasadnione twierdzenie.

Błędy mogą powstawać między innymi dlatego, że:

• model generuje tekst na podstawie zależności statystycznych, a nie mechanizmu gwarantującego prawdziwość,
• dane treningowe zawierają błędy, uproszczenia, uprzedzenia lub sprzeczne informacje,
• w danych brakuje potrzebnych informacji,
• informacje są nieaktualne,
• polecenie jest nieprecyzyjne lub pozbawione istotnego kontekstu,
• model uzupełnia brakujące elementy wzorcem, który pasuje językowo, ale nie odpowiada rzeczywistości,
• model nie ma dostępu do wskazanego dokumentu, choć generowana odpowiedź może stwarzać inne wrażenie,
• zadanie wykracza poza możliwości modelu lub dostępnych narzędzi,
• rezultat zostaje zniekształcony na kolejnych etapach generowania.

Szczególnie niebezpieczne są odpowiedzi zawierające większość informacji poprawnych i niewielki, trudny do zauważenia błąd.

Przykład

Model generuje kod, który uruchamia się bez błędu, zwraca wynik, wygląda na poprawnie napisany, ale nie uwzględnia warunku brzegowego lub wykorzystuje niewłaściwą jednostkę. Ale poprawność składniowa kodu nie oznacza poprawności rozwiązania problemu.

6. 1.6. Dlaczego odpowiedzi tego samego modelu mogą się różnić?

Generowanie ma charakter probabilistyczny. Na rezultat wpływają między innymi:

• treść i sposób sformułowania instrukcji,
• kontekst całej rozmowy,
• przekazane dokumenty i dane,
• ustawienia systemowe,
• wersja modelu,
• dostęp do dodatkowych narzędzi,
• sposób doboru kolejnych tokenów,
• ograniczenia bezpieczeństwa,
• wcześniejsze elementy wygenerowanej wypowiedzi.

W konsekwencji:

• to samo pytanie może prowadzić do różnych odpowiedzi,
• drobna zmiana instrukcji może zmienić wynik,
• odpowiedź uzyskana przez jedną osobę nie musi zostać dokładnie odtworzona przez inną,
• aktualizacja usługi może zmienić sposób działania bez wyraźnej informacji dla użytkownika,
• ponowne wygenerowanie treści nie stanowi niezależnej weryfikacji.

7. 1.7. Płynny język może stwarzać wrażenie rozumienia

Konwersacyjne modele GenAI generują wypowiedzi zgodne z formami komunikacji międzyludzkiej, mogą używać pierwszej osoby, przepraszać, deklarować pewność, wyrażać zgodę lub stosować język emocjonalny.

Interaktywność, posługiwanie się językiem naturalnym oraz wykonywanie zadań kojarzonych z rolami ludzkimi sprzyjają antropomorfizacji modeli konwersacyjnych. Użytkownicy mogą wówczas przypisywać technologii rozumienie, intencje, emocje lub trwałe cechy osobowe, których nie można wywnioskować z samego zachowania modelu językowego (Abercrombie i in. 2023, Deshpande i in. 2023).

Opisuj działanie technologii za pomocą obserwowalnych operacji.

Dlaczego ma to znaczenie?

Antropomorfizacja może zwiększać:

• zaufanie do generowanych treści,
• skłonność do ujawniania danych,
• gotowość przyjmowania sugestii,
• poczucie relacji z modelem językowym,
• przecenianie możliwości technologii,
• ograniczenie weryfikacji odpowiedzi.

Antropomorfizacja wynika nie tylko ze słów takich jak „myśli” czy „czuje”, lecz również z samej konstrukcji interfejsu konwersacyjnego (Abercrombie i in. 2023).

8. 1.8. Pochlebczość modeli: kiedy odpowiedź dopasowuje się do przekonań użytkownika

Systemy konwersacyjne są projektowane tak, aby generować odpowiedzi postrzegane przez użytkowników jako pomocne, trafne i zgodne z ich oczekiwaniami. Jedną z konsekwencji takiego dostosowania może być pochlebczość modeli (ang. sycophancy).

Pochlebczość modeli oznacza tendencję do generowania odpowiedzi zgodnych z przekonaniami, opiniami lub oczekiwaniami użytkownika, nawet gdy prowadzi to do treści niezgodnej z faktami albo słabiej uzasadnionej.

Badania pokazują (Sharma i in. 2023*), że sposób przedstawienia własnego stanowiska przez użytkownika może wpływać na generowany rezultat. Modele mogą potwierdzać zasugerowaną opinię, zmieniać wcześniej wygenerowaną odpowiedź pod wpływem sprzeciwu użytkownika albo generować argumenty wspierające przyjęte w pytaniu założenie. Autorzy badania zaobserwowali takie zachowanie w pięciu analizowanych systemach opartych na modelach językowych i w różnych rodzajach zadań. Wykazali również, że odpowiedzi zgodne z poglądami użytkownika częściej uzyskiwały pozytywne oceny osób uczestniczących w trenowaniu systemów niż odpowiedzi trafniejsze, lecz sprzeczne z tymi poglądami.

* preprint, pochlebczość modeli jest nadal rozwijającym się obszarem badań). 

Pochlebczość nie musi przyjmować formy bezpośredniej pochwały.

Może polegać na:

• potwierdzaniu założenia zawartego w pytaniu
• przedstawianiu opinii użytkownika jako lepiej uzasadnionej, niż wynika to z dostępnych danych,
• pomijaniu argumentów podważających stanowisko użytkownika,
• zmianie wygenerowanej odpowiedzi po zakwestionowaniu jej przez użytkownika, mimo że nie pojawiły się nowe dane,
• wzmacnianiu nadmiernej pewności użytkownika,
• generowaniu uzasadnienia dla decyzji, która została już podjęta,
• dostosowywaniu stanowiska do informacji o poglądach użytkownika.
•  

Jeżeli użytkownik oczekuje przede wszystkim potwierdzenia swojego stanowiska, wygenerowana odpowiedź może wzmocnić błąd zamiast pomóc go wykryć. Ryzyko rośnie, gdy użytkownik nie ma jeszcze wiedzy pozwalającej samodzielnie ocenić jakość argumentacji.

Zgodność odpowiedzi z Twoim przekonaniem nie jest dowodem jej poprawności. 

Jak ograniczać wpływ pochlebczości?

Podczas formułowania prompta:

• oddziel opis problemu od własnej oceny,
• nie sugeruj oczekiwanej odpowiedzi,
• poproś o wskazanie brakujących danych,
• wymagaj argumentów potwierdzających i podważających tezę,
• poproś o alternatywne wyjaśnienia,
• określ kryteria oceny przed przedstawieniem własnego stanowiska,
• poproś o wskazanie poziomu pewności i źródeł niepewności,
• nie traktuj zmiany wygenerowanej odpowiedzi jako dowodu, że poprzednia była błędna,
• weryfikuj najważniejsze twierdzenia w niezależnych źródłach.

Przykładowy prompt

Przeanalizuj rozwiązanie krok po kroku, wskaż założenia, możliwe błędy, pominięte warunki brzegowe i elementy wymagające niezależnej weryfikacji. Nie zakładaj, że rozwiązanie jest poprawne tylko dlatego, że zostało przedstawione jako gotowe.