Φαντάσου έναν αρχαιολόγο μπροστά σε ένα τραπέζι γεμάτο θραύσματα από ένα αρχαίο αγγείο.
Άλλα κομμάτια είναι μεγάλα.
Άλλα είναι μικρά.
Κάποια έχουν σχέδιο.
Κάποια έχουν μόνο ένα χρώμα ή μια μικρή καμπύλη.
Ο αρχαιολόγος τα κοιτάζει προσεκτικά.
Τα συγκρίνει.
Τα ενώνει.
Και σιγά σιγά αρχίζει να καταλαβαίνει πώς μπορεί να ήταν το αγγείο ολόκληρο.
🏺 Δεν βλέπει από την αρχή ολόκληρο το αντικείμενο.
Ξεκινά από κομμάτια.
Κάτι παρόμοιο συμβαίνει και με την ΤΝ όταν επεξεργάζεται κείμενο. 🤖
Μόνο που η ΤΝ δεν πιάνει στα χέρια της θραύσματα.
«Βλέπει» μικρότερα τμήματα του κειμένου, που τα ονομάζουμε tokens.
🔎 Δραστηριότητα 1 — Το αγγείο και τα κομμάτια του
Φαντάσου ότι βρίσκονται μπροστά σου πέντε κομμάτια από ένα αγγείο.
Σε ένα φαίνεται μέρος ενός ματιού.
Σε άλλο ένα κομμάτι από λαβή.
Σε άλλο ένα τμήμα από κυματιστή διακόσμηση.
Μπορείς αμέσως να δεις ολόκληρο το αγγείο;
Όχι.
Αλλά τα κομμάτια σου δίνουν στοιχεία.
🧠 Το ίδιο συμβαίνει και με το κείμενο στην ΤΝ.
Εμείς διαβάζουμε μια λέξη όπως είναι:
«συναρπαστική»
Η ΤΝ όμως μπορεί να μη τη δει ως μία έτοιμη μονάδα.
Μπορεί να τη «σπάσει» σε μικρότερα τμήματα.
Όπως:
συναρ
παστ
ική
Αυτά τα μικρότερα κομμάτια είναι τα tokens.
💡 Πρώτο συμπέρασμα:
η ΤΝ δεν διαβάζει πάντα ολόκληρες λέξεις όπως εμείς.
🧩 Δραστηριότητα 2 — Σπάσε κι εσύ τη λέξη
Πάρε τη φράση:
«Η ΤΝ είναι συναρπαστική!»
Τώρα σκέψου πώς θα μπορούσε να τη «δει» ένα μοντέλο:
Η | ΤΝ | είναι | συναρ | παστ | ική | !
Βλέπεις ότι:
✅ μερικά tokens είναι ολόκληρες λέξεις
✅ άλλα είναι μέρη λέξεων
✅ ακόμη και τα σημεία στίξης μπορεί να μετρήσουν ως tokens
🎯 Αυτό είναι πολύ σημαντικό.
Γιατί όταν μιλάμε με ένα γλωσσικό μοντέλο, εκείνο δεν μετρά μόνο «λέξεις» όπως εμείς.
Μετρά tokens.
🏺 Δραστηριότητα 3 — Ο αρχαιολόγος ενώνει τα κομμάτια
Ο αρχαιολόγος κοιτάζει ένα θραύσμα και αναρωτιέται:
Από πού προέρχεται;
Σε ποιο σημείο ανήκει;
Με ποιο άλλο κομμάτι ταιριάζει;
Τι μας λέει για το σύνολο;
Δεν αρκεί να δει ένα μόνο κομμάτι.
Πρέπει να το συσχετίσει με τα υπόλοιπα.
Κάπως έτσι και η ΤΝ δεν κοιτάζει μόνο ένα token μόνο του.
Το κοιτάζει μέσα στο πλαίσιο του υπόλοιπου κειμένου.
📜 token + άλλα tokens + context = καλύτερη κατανόηση του μοτίβου
Άρα:
Δεν έχει σημασία μόνο ποιο token βλέπει.
Έχει σημασία και δίπλα σε ποια άλλα tokens εμφανίζεται.
✨ Δραστηριότητα 4 — Γιατί αυτό έχει σημασία;
Ας πούμε ότι έχουμε τη λέξη:
«τράπεζα»
Αν τη δεις μόνη της, μπορεί να σημαίνει πολλά.
💰 τράπεζα ως οικονομικός οργανισμός
🪑 τράπεζα ως έπιπλο / επιφάνεια
🌳 «κάθισα στην τράπεζα του πάρκου» σε άλλο πλαίσιο
Η ΤΝ δεν αποφασίζει το νόημα κοιτώντας μόνο μία λέξη απομονωμένη.
Χρειάζεται τα γύρω tokens.
Όπως και ο αρχαιολόγος δεν βγάζει συμπέρασμα από ένα τυχαίο θραύσμα μόνο του.
Χρειάζεται τα συμφραζόμενα.
💡 Εδώ γεννιέται μια πολύ σημαντική ιδέα:
το νόημα προκύπτει όχι μόνο από το κομμάτι, αλλά από τη σχέση του με τα υπόλοιπα.
📏 Δραστηριότητα 5 — Πόσα κομμάτια μπορώ να δω μαζί;
Φαντάσου τώρα δύο αρχαιολόγους.
Ο πρώτος έχει μπροστά του μόνο 5 θραύσματα.
Ο δεύτερος έχει μπροστά του 50.
Ποιος έχει περισσότερες πιθανότητες να καταλάβει καλύτερα το αγγείο;
Μάλλον ο δεύτερος.
Κάτι αντίστοιχο συμβαίνει και με τα μοντέλα ΤΝ.
Όσο περισσότερα tokens μπορεί να επεξεργαστεί ένα μοντέλο μαζί, τόσο μεγαλύτερο κομμάτι κειμένου «βλέπει».
Αυτό σχετίζεται με το context window.
📌 Το context window δεν μετριέται σε λέξεις.
Μετριέται σε tokens.
Άρα:
περισσότερα tokens → μεγαλύτερο «παράθυρο» κειμένου → περισσότερες σχέσεις που μπορεί να εξετάσει το μοντέλο
🧠 Δραστηριότητα 6 — Ο άνθρωπος και η ΤΝ δεν «διαβάζουν» το ίδιο
Εδώ χρειάζεται πάλι η βασική μας διάκριση.
Ο αρχαιολόγος:
👀 βλέπει το κομμάτι
🧠 το ερμηνεύει
📚 φέρνει τη γνώση του
🏺 καταλαβαίνει το πολιτισμικό πλαίσιο
💭 κάνει υποθέσεις με νόημα
Η ΤΝ δεν λειτουργεί έτσι.
Δεν «βλέπει» ένα token και δεν σκέφτεται όπως ένας άνθρωπος.
Επεξεργάζεται αυτά τα κομμάτια μαθηματικά και υπολογίζει ποιο token είναι πιο πιθανό να ακολουθήσει ή να σχετίζεται με τα υπόλοιπα.
Άρα η αναλογία με τον αρχαιολόγο μάς βοηθά να καταλάβουμε τη λογική των μικρών κομματιών, αλλά όχι να πούμε ότι η ΤΝ σκέφτεται σαν επιστήμονας.
🎲 Μικρό πείραμα
Έχουμε δύο περιπτώσεις.
Περίπτωση Α
Ο αρχαιολόγος βρίσκει μόνο ένα μικρό θραύσμα.
Περίπτωση Β
Ο αρχαιολόγος βρίσκει πολλά θραύσματα από το ίδιο αγγείο.
Σε ποια περίπτωση μπορεί να κάνει καλύτερη ανασύνθεση;
Φυσικά στη δεύτερη.
Τώρα άλλαξε τη λέξη:
θραύσματα → tokens
Και θα δεις πιο καθαρά γιατί το μοντέλο λειτουργεί καλύτερα όταν έχει επαρκές κείμενο, σαφές πλαίσιο και καλά διατυπωμένη είσοδο.
🏛️ Η μεγάλη εικόνα
Μέχρι τώρα έχουμε δει:
🎭 στο 2ο εργαστήρι πώς ένα μοντέλο «εκπαιδεύεται»
📚 στο 3ο εργαστήρι από τι δεδομένα μαθαίνει
🏺 και τώρα, στο 4ο, πώς «σπάει» το κείμενο σε κομμάτια για να το επεξεργαστεί
Άρα προχωράμε βήμα βήμα:
εκπαίδευση → δεδομένα → tokens
Και αυτό είναι πολύ σημαντικό, γιατί μας βοηθά να καταλάβουμε γιατί η διατύπωση μιας ερώτησης επηρεάζει τόσο πολύ την απάντηση.
Σύνοψη Εργαστηρίου
