🖼️ 9ο Εργαστήρι Από τον επιμελητή στο Attention Πώς το context επηρεάζει την «προσοχή» του μοντέλου;
Από τον επιμελητή στο Attention
Φαντάσου έναν επιμελητή μουσείου μπροστά σε ένα έργο τέχνης.
Έχει στη διάθεσή του πολλές πληροφορίες:
📅 πότε δημιουργήθηκε
🎨 ποια τεχνική χρησιμοποιήθηκε
🏛️ από πού προέρχεται
📜 ποια είναι η ιστορία του
🔎 με ποια άλλα έργα συνδέεται
🌍 τι μας λέει για την κοινωνία και την εποχή του
Μπορεί όμως να παρουσιάσει όλες αυτές τις πληροφορίες με την ίδια έμφαση;
Όχι.
Ο επιμελητής πρέπει να αποφασίσει:
💡 Εδώ βρίσκεται η πρώτη μας σύνδεση με το Attention στην Τεχνητή Νοημοσύνη.
Ένα μοντέλο έχει επίσης μπροστά του πολλές πληροφορίες μέσα στο κείμενο. Δεν έχουν όμως όλες την ίδια σημασία για κάθε στιγμή της επεξεργασίας.
Κάποιες σχέσεις αποκτούν μεγαλύτερο «βάρος».
🎨 Δραστηριότητα 1 — Το ίδιο έργο, τρεις διαφορετικές εκθέσεις
Έχουμε το ίδιο έργο.
Φαντάσου τώρα ότι παρουσιάζεται σε τρεις διαφορετικές εκθέσεις.
🖌️ τεχνική
📅 χρονολόγηση
🎨 ύφος
👤 δημιουργός
🗺️ προέλευση
🚢 μετακινήσεις
📜 ιστορικά τεκμήρια
🏛️ τόπος στον οποίο βρέθηκε
🌍 κοινωνικό περιβάλλον
👥 άνθρωποι που το χρησιμοποιούσαν
💭 ιδέες της εποχής
🔎 λειτουργία του
Το έργο δεν άλλαξε.
Οι πληροφορίες υπάρχουν όλες.
context → διαφορετική έμφαση → διαφορετική παρουσίαση
🎯 Δραστηριότητα 2 — Ποια πληροφορία είναι σημαντικότερη;
Έχεις μπροστά σου τις εξής πληροφορίες για ένα αντικείμενο:
2️⃣ είναι κατασκευασμένο από ξύλο
3️⃣ μεταφέρθηκε σε άλλη χώρα
4️⃣ επέστρεψε στον τόπο προέλευσής του
5️⃣ έχει ύψος 60 εκατοστά
Τώρα αλλάζουμε μόνο την ερώτηση.
➡️ Μεγαλύτερη σημασία αποκτά η πληροφορία 2.
➡️ Μεγαλύτερη σημασία αποκτούν οι πληροφορίες 3 και 4.
➡️ Μεγαλύτερη σημασία αποκτά η πληροφορία 1.
🤔 Οι πληροφορίες δεν άλλαξαν. Άλλαξε αυτό που αναζητούμε.
👁️ Δραστηριότητα 3 — Από τον επιμελητή στο μοντέλο
Ας περάσουμε τώρα σε μια πρόταση:
Αν το μοντέλο επεξεργάζεται τη λέξη «επέστρεψε», ποιες πληροφορίες είναι πιο σχετικές;
➡️ «κειμήλιο»
➡️ «μουσείο»
Αν όμως εξετάζει την «αποκατάσταση», τότε άλλες σχέσεις μπορεί να αποκτήσουν μεγαλύτερη βαρύτητα.
🔹 κάποια συνδέονται περισσότερο
🔹 κάποια λιγότερο
🔹 η σχέση αλλάζει ανάλογα με το σημείο που επεξεργάζεται το μοντέλο
⚖️ Δραστηριότητα 4 — Δώσε «βάρος» στις πληροφορίες
Ας γίνουμε τώρα εμείς το μοντέλο.
Θέλουμε να καταλάβουμε σε τι αναφέρεται το:
Ποιες λέξεις θα έβαζες πιο κοντά;
🏺 αγγείο
👩 αρχαιολόγος
👥 επισκέπτες
🔧 συντήρηση
Ποια έχει μεγαλύτερη σχέση;
Αυτό ακριβώς προσπαθεί να κάνει μαθηματικά το Attention: να υπολογίσει ποια στοιχεία σχετίζονται περισσότερο μεταξύ τους.
Δεν αντιμετωπίζει όλες τις λέξεις ως εξίσου σημαντικές.
🖼️ Δραστηριότητα 5 — Ο επιμελητής αλλάζει έκθεση
Έχουμε ένα αρχαίο αγγείο.
🏺 χρήση του
🍇 προϊόντα που περιείχε
👥 άνθρωποι που το χρησιμοποιούσαν
🎨 παραστάσεις
🖌️ τεχνική
📐 σύνθεση
👤 αγγειογράφος
Το αντικείμενο παραμένει το ίδιο.
Το πλαίσιο όμως άλλαξε.
🧠 Δραστηριότητα 6 — Το ίδιο συμβαίνει και στη γλώσσα
Λέξεις όπως «χρέωσε» και «προμήθεια» μας οδηγούν προς την οικονομική σημασία.
Τώρα το πλαίσιο είναι διαφορετικό.
Λέξεις όπως «κάθισε» και «πάρκο» μάς οδηγούν σε άλλη ερμηνεία.
Διαφορετικό context.
Διαφορετικές σχέσεις.
Διαφορετική ερμηνεία.
👁️ Το Attention βοηθά το μοντέλο να σταθμίσει αυτές τις σχέσεις.
🎲 Μικρό πείραμα — Γίνε επιμελητής
Σου δίνω ένα αντικείμενο:
και έξι πληροφορίες:
📅 χρονολογείται στον 5ο αιώνα π.Χ.
🏛️ βρέθηκε σε αρχαιολογικό χώρο
👥 απεικονίζει ανθρώπινες μορφές
📏 έχει ύψος 40 εκατοστά
🖌️ χρησιμοποιήθηκε συγκεκριμένη τεχνική διακόσμησης
Δημιούργησε δύο μικρές ετικέτες μουσείου:
Ποιες πληροφορίες θα τονίσεις;
Ποιες πληροφορίες θα επιλέξεις τώρα;
🎯 Δεν πετάς τις υπόλοιπες πληροφορίες.
Απλώς αλλάζεις το βάρος που τους δίνεις.
🔢 Δραστηριότητα 7 — Όμως η ΤΝ δεν είναι επιμελητής
Ο επιμελητής:
🧠 κατανοεί το έργο
📚 χρησιμοποιεί επιστημονική γνώση
🎯 έχει συγκεκριμένη πρόθεση
👥 σκέφτεται το κοινό
💭 ερμηνεύει πολιτισμικά και ιστορικά
Το μοντέλο ΤΝ:
🔢 υπολογίζει σχέσεις
⚖️ δίνει αριθμητικά βάρη
🧩 επεξεργάζεται tokens
📈 χρησιμοποιεί πιθανότητες
👁️ Πώς λειτουργεί απλά το Attention;
Το μοντέλο έχει μπροστά του τα κομμάτια του κειμένου.
Εξετάζει ποια tokens συνδέονται περισσότερο μεταξύ τους.
Δίνει διαφορετική βαρύτητα στις σχέσεις.
Χρησιμοποιεί αυτές τις πληροφορίες για την επόμενη πρόβλεψη.
🧭 Η μεγάλη εικόνα
🎭 Training
↓
📚 Data
↓
🧩 Tokens
↓
🎼 Embeddings
↓
🧠 Neural Networks
↓
🎨 Machine Learning
↓
⚙️ Transformers
↓
👁️ Attention
Τώρα αρχίζουμε να βλέπουμε γιατί η ίδια λέξη ή η ίδια ερώτηση μπορεί να οδηγεί σε διαφορετική απάντηση όταν αλλάζει το πλαίσιο.
📌 Τι έμαθες σήμερα...
Πώς το context επηρεάζει την απάντηση
Τώρα έχεις καταλάβει:
👁️ το Attention δεν δίνει την ίδια σημασία σε όλα τα tokens
⚖️ κάθε σχέση μπορεί να αποκτά διαφορετικό βάρος
🔗 τα tokens εξετάζονται σε σχέση με τα υπόλοιπα
🧩 το context επηρεάζει ποιες σχέσεις γίνονται σημαντικότερες
💬 διαφορετικό context μπορεί να οδηγήσει σε διαφορετική απάντηση
🔢 Μόνο που το μοντέλο δεν κάνει ανθρώπινη επιλογή ή ερμηνεία. Υπολογίζει αυτές τις σχέσεις μαθηματικά.
Αφού το μοντέλο δίνει διαφορετικό βάρος στα tokens και χρησιμοποιεί το context…
πώς φτάνει τελικά στην επιλογή της επόμενης λέξης;