Νόμπελ Φυσικής 2024




Το βραβείο Νόμπελ 2024 στην Φυσική απονεμήθηκε στους John J. Hopfield
(Princeton University, NJ, Η.Π.Α) και Geoffrey E. Hinton (University of Toronto, Canada) «για θεμελιώδεις ανακαλύψεις και εφευρέσεις που επιτρέπουν την μηχανική μάθηση με τεχνητά νευρωνικά δίκτυα»

Το Νόμπελ Φυσικής 2024 μοιράζονται οι John Hopfield και Geoffrey Hinton για την ανάπτυξη μεθόδων και τεχνικών που έθεσαν τα θεμέλια στην επαναστατική εξέλιξη της τεχνητής νοημοσύνης

Εκπαίδευσαν τεχνητά νευρωνικά δίκτυα χρησιμοποιώντας τη φυσική




ο βραβείο Νομπέλ της Φυσικής για το 2024 απονεμήθηκε σε έναν Άγγλο και έναν Αμερικανό επιστήμονα, που οι εργασίες τους, ξεκινώντας από τα απλά νευρωνικά δίκτυα, αρχές της δεκαετίας του ’80, ναι, στον περασμένο αιώνα, 60 χρόνια πριν, οδήγησαν σε εφαρμογές σήμερα του τύπου GPT-4.


Ο Τζον Χόπφιλντ(John Hopfield), γεννημένος το 1933 στο Σικάγο, 91 ετών σήμερα, ξεκίνησε στο Πανεπιστήμιο του Κορνέλ την καριέρα του για να την τερματίσει στο Πρίνστον. Ο κατά δεκατέσσερα χρόνια νεότερός του Τζέφρυ Χίντον(Jeoffrey Hinton), 76 ετών σήμερα, γεννημένος στο Λονδίνο το 1947, εκπόνησε την διδακτορική του διατριβή στο Πανεπιστήμιο του Εδιμβούργου και τώρα είναι καθηγητής στο Πανεπιστήμιο του Τορόντο στον Καναδά.
Νευρωνικά Δίκτυα

Νευρωνικό δίκτυο είναι κύκλωμα και μέθοδος στην τεχνητή νοημοσύνη (AI) που διδάσκει στους υπολογιστές να επεξεργάζονται δεδομένα με τρόπο εμπνευσμένο από τον ανθρώπινο εγκέφαλο. Είναι ένας τύπος διαδικασίας μηχανικής μάθησης (ML), που ονομάζεται «βαθιά μάθηση» και χρησιμοποιεί διασυνδεδεμένους κόμβους (ή αλλιώς «νευρώνες») σε μια πολυεπίπεδη δομή που προσπαθεί να μοιάζει με την λειτουργία του ανθρωπίνου εγκεφάλου.

Δημιουργεί ένα «προσαρμοστικό» σύστημα όπως των υπολογιστών για να μαθαίνουν από τα λάθη τους και να βελτιώνονται συνεχώς αλλά πολύ πιο εξελιγμενο. Διότι οι συμβατικές υπολογιστικές μηχανές της καθημερινής μας ζωής ακολουθούν απλά και πιστά ένα «πρόγραμμα», δηλαδή αυστηρές οδηγίες που έχουμε δώσει από πριν. Δεν αφήνονται να πάρουν αποφάσεις που δεν ελέγχουμε. Με τα τεχνητά νευρωνικά δίκτυα γίνεται προσπάθεια να λυθούν περίπλοκα προβλήματα, όπως η αναγνώριση προσώπων, με ακρίβεια και χωρίς το αποτέλεσμα να εγκλωβίζεται στην εκτέλεσηπολύ συγκεκριμένων οδηγιών. Τους ζητείται να βοηθήσουν τους υπολογιστές να λαμβάνουν έξυπνες αποφάσεις με περιορισμένη ανθρώπινη βοήθεια. Αυτό συμβαίνει επειδή μπορούν να μάθουν και να μοντελοποιήσουν τις σχέσεις μεταξύ δεδομένων εισόδου και εξόδου όταν αυτές είναι μη γραμμικές(δηλαδή από μια τιμή Α να προκύπτει μια του τύπου κΑ+ μ) και πολύπλοκες.

Ονομάζονται νευρωνικά όχι διότι υπάρχει κάτι ζωικό σε οποιοδήποτε σημείο των κυκλωμάτων τους αλλά επειδή ξεκίνησαν με αρχικό σκοπό να μιμηθούν στοιχειώδεις τρόπους λειτουργίας του εγκεφάλου.
Η συμβολή του Χόπφιλντ

Και στα φετινά βραβεία το δικό μας… νευρωνικό δίκτυο αναγνωρίζει το ίδιο υπόδειγμα(pattern): Ένας επιστήμονας που αφού έκανε πράγματα σε έναν τομέα αλλάζει εντελώς ερευνητικό πεδίο μεταφέροντας όμως και τις προηγούμενες γνώσεις του στην νέα του έρευνα και στην συνέχεια εκεί που οι άλλοι εγκαταλέιπουν τις αναζητήσεις τους γιατί φαίνεται πως αυτό το «ορυχείο» δεν έχει άλλο μετάλλευμα να δώσει, εκείνος συνεχίζει, επιμένει και βρίσκει μια νέα φλέβα.

Ο John Hopfield, ένας θεωρητικός φυσικός, στην θεμελιώδη εργασία του τη δεκαετία του 1970 εξέτασε τη μεταφορά ηλεκτρονίων μεταξύ βιομορίων και τη διόρθωση σφαλμάτων στις βιοχημικές αντιδράσεις . Το 1982, όμως ο Hopfield δημοσίευσε ένα δυναμικό μοντέλο για μια συνειρμική μνήμη βασισμένο σε ένα απλό επαναλαμβανόμενο νευρωνικό δίκτυο . Συλλογικά φαινόμενα εμφανίζονται συχνά σε φυσικά συστήματα, όπως κινήσεις μορίων που συγκροτούν ένα αέριο και δίνες στη ροή ρευστού.

Αναρωτήθηκε λοιπόν εάν τα αναδυόμενα ομαδικά φαινόμενα σε μεγάλες συλλογές νευρώνων θα μπορούσαν να προκαλέσουν «υπολογιστικές» ικανότητες. Σημειώνοντας ότι οι συλλογικές ιδιότητες σε πολλά φυσικά συστήματα είναι ανθεκτικές σε αλλαγές στις λεπτομέρειες του μοντέλου και απάντησε αυτό το ερώτημα χρησιμοποιώντας ένα νευρωνικό δίκτυο με N δυαδικούς κόμβους (0 ή 1). Η δυναμική ήταν ασύγχρονη με ενημερώσεις κατωφλίου μεμονωμένων κόμβων σε τυχαίους χρόνους. Η νέα τιμή ενός κόμβου(και αυτό ήταν κάτι πρωτότυπο) προσδιοριζόταν από ένα σταθμισμένο άθροισμα από όλους τους άλλους κόμβους. Ταυτόχρονα παρατήρησε ότι οι συλλογικές ιδιότητες σε πολλά φυσικά συστήματα είναι ανθεκτικές σε αλλαγές στις λεπτομέρειες του μοντέλου. Η νέα τιμή ενός κόμβου που προσδιοριζόταν από το σταθμισμένο άθροισμα σε όλους τους άλλους κόμβους ήταν αρκετά «σίγουρη».

Ο Χόπφιλντ χρησιμοποίησε το μοντέλο του ως συσχετιστική μνήμη(associative memory) ή ως μέθοδο διόρθωσης σφαλμάτων ή συμπλήρωσης προτύπων. Ένα σύστημα που έχει εισαχθεί με εσφαλμένο μοτίβο, ίσως μια ανορθόγραφη λέξη, προσελκύεται στο πλησιέστερο τοπικό ελάχιστο ενεργειακό επίπεδο(άρα στο πιο σταθερό), οπότε τότε λαμβάνει χώρα μια διόρθωση. Το μοντέλο κέρδισε πρόσθετη έλξη όταν έγινε σαφές ότι βασικές ιδιότητες, όπως η χωρητικότητα αποθήκευσης, μπορούσαν να δώσουν την δυνατότητα να αποθηκεύονται πολλά πρότυπα σε παράλληλη διάταξη.

Στην συνέχεια μεταξύ εισόδου και εξόδου στο νευρωνικό δίκτυο παρενεβλήθησαν τα κρυφά στρώματα. Που θα μπορούσαν να εκπαιδευτούν για ταξινόμηση χρησιμοποιώντας έναν αλγόριθμο γνωστό ως backpropagation. Εδώ, ο στόχος ήταν να ελαχιστοποιηθεί η απόκλιση, μεταξύ της εισόδου και της εξόδου από το νευρωνικό δίκτυο. Επιπλέον, και το πιο σημαντικό, με την ομάδα του απέδειξαν ότι τα δίκτυα με ένα κρυφό επίπεδο μπορούσαν να λύσουν προβλήματα που εθεωρούντο άλυτα.

Οι μεθοδολογικές ανακαλύψεις στη δεκαετία του 1980 ακολουθήθηκαν σύντομα από επιτυχημένες εφαρμογές, συμπεριλαμβανομένης της αναγνώρισης προτύπων σε εικόνες, γλώσσες και κλινικά δεδομένα. Μια σημαντική μέθοδος ήταν τα πολυεπίπεδα συνελικτικά νευρωνικά δίκτυα (CNN) που εκπαιδεύονται με οπίσθια διάδοση.
Η σκυτάλη στον Τζόφρυ Χίντον

Ενώ ορισμένες πολυεπίπεδες αρχιτεκτονικές οδήγησαν σε επιτυχημένες εφαρμογές στη δεκαετία του 1990, παρέμεναν οι προκλήσεις για την εκπαίδευση σε βαθιά πολυεπίπεδα δίκτυα με πολλές συνδέσεις μεταξύ διαδοχικών στρωμάτων. Σε πολλούς ερευνητές του πεδίου, η εκπαίδευση σε πυκνά πολυεπίπεδα δίκτυα φαινόταν εκτός λειτουργίας. Η κατάσταση άλλαξε τη δεκαετία του 2000. Ηγετική φυσιογνωμία σε αυτή την ανακάλυψη ήταν ο Hinton,και ένα σημαντικό εργαλείο ήταν η λεγόμενη περιορισμένη μηχανή Boltzmann (RBM).

Η μηχανή Boltzmann είναι ένα μοντέλο παραγωγής προτύπων. Αλλά σε αντίθεση με το μοντέλο Hopfield, εστιάζει σε στατιστικές κατανομές προτύπων και όχι σε μεμονωμένα μοτίβα. Περιέχει ορατούς κόμβους που αντιστοιχούν στα μοτίβα προς εκμάθηση καθώς και πρόσθετους κρυφούς κόμβους, όπου οι τελευταίοι περιλαμβάνονται για να επιτρέψουν τη μοντελοποίηση πιο γενικών κατανομών πιθανοτήτων.

Εξέλιξη της μηχανής Boltzmann υπήρξε η «περιορισμένη μηχανή Boltzmann»(RBM) που έγινε από τον Χίντον και τους συνεργάτες του. Ένα δίκτυο RBM έχει βάρη μόνο μεταξύ ορατών και κρυφών κόμβων και κανένα βάρος δεν συνδέει δύο κόμβους του ίδιου τύπου. Για τα RBM, ο Hinton δημιούργησε έναν αποτελεσματικό κατά προσέγγιση αλγόριθμο μάθησης , που ονομάζεται αντιθετική απόκλιση, ο οποίος ήταν πολύ ταχύτερος από τους προηγούμενους. Η πόρτα για την εξέλιξη τεράστιων πλέον προγραμμάτων τεχνητής νοημοσύνης με νευρωνικά δίκτυα δισεκατομμυρίων, ναι, κόμβων άνοιξε διάπλατα.
Οι αμήχανες στιγμές για την επιτροπή του Νομπέλ

Στην διάρκεια της παρουσίασης σήμερα των δυο επιστημόνων ο πρόεδρος της επιτροπής πέρασε δυο δύσκολες στιγμές. Η μια ήταν αναμενόμενη και αντιμετωπίσημη. Διότι πολλοί θα ρωτούσαν και τί σχέση έχει η Τεχνητή Νοημοσύνη με την Φυσική; Δεν γνωρίζουμε βέβαια τους λόγους που οι Σουηδοί ακαδημαϊκοί αγνόησαν άλλα επιτεύγματα και προέκριναν τα νευρωνικά δίκτυα, αλλά σίγουρα η επιλογή τους παραξένεψε. Ήταν όμως έτοιμοι γι’ αυτό και τόνισαν όσο μπορούσαν περισσότερο το ότι η αρχική και γενεσιουργός σκέψη και στους δυο επιστήμονες, είχε σχέση με την Φυσική και τις γνώσεις τους αρχικά σε τομείς όπως ο μαγνητισμός, οι περιοχές Weiss στους μαγνήτες και οι δίνες στους στροβίλους. Πάει καλά έως εδώ.

Η επόμενη στιγμή αμηχανίας όμως ήταν αρκετά πιο επώδυνη. Διότι όταν βγήκε στο τηλέφωνο ο Τζόφρυ Χίντον, γνωστός επικριτής και σκεπτικιστής ως προς τον δρόμο που πάει να πάρει η τεχνητή νοημοσύνη(τον ίδιο πάντως τον αποκαλούν στην Αμερική και Godfather of AI), η τελευταία ερώτηση που του έγινε από δημοσιογράφο ήταν σχετική με την συνέντευξη που είχε δώσει στους New York Times τον περασμένο Μάιο όπου έλεγε ότι έχει μετανοήσει για την ΑΙ. «Πώς αισθάνεστε σήμερα;» ήταν η ερώτηση. Θα ήθελε δηλαδή να γυρίσει πίσω και να αλλάξει κάτι;

Εκείνος απήντησε, χωρίς να σκεφθεί και τους οικοδεσπότες ότι «υπάρχουν δυο είδη ενοχής (και αντίστοιχα μετάνοιας). Το ένα είναι να μετανιώσεις για κάτι που δεν έπρεπε να διαπράξεις και το άλλο είναι αν θα έκανες ξανά κάτι κάτω από τις ίδιες συνθήκες που κατέληξε όμως με λάθος τρόπο. Γι’ αυτό το δεύτερο είναι σήμερα οι ενδοιασμοί μου”, είπε. «Κάποια συστήματα ΑΙ μπορεί να καταλήξουν εκτός ελέγχου».
Το οδυνηρό ήταν προφανώς ότι αυτά ειπώθηκαν μέσα στο Ίδρυμα του Άλφρεντ Νομπέλ που ο λόγος ύπαρξής του είναι ακριβώς λόγω των ενοχών που ένιωσε ο ίδιος μετά από την εφεύρεσή του.

Όταν μιλάμε για τεχνητή νοημοσύνη, εννοούμε συχνά τη μηχανική μάθηση χρησιμοποιώντας τεχνητά νευρωνικά δίκτυα. Αυτή η τεχνολογία ήταν αρχικά εμπνευσμένη από τη δομή του εγκεφάλου. Σε ένα τεχνητό νευρωνικό δίκτυο, οι νευρώνες του εγκεφάλου αντιπροσωπεύονται από κόμβους που έχουν διαφορετικές τιμές. Αυτοί οι κόμβοι επηρεάζουν ο ένας τον άλλον μέσω συνδέσεων που μπορούν να παρομοιαστούν με συνάψεις και οι οποίες μπορούν να γίνουν ισχυρότερες ή πιο αδύναμες. Το δίκτυο εκπαιδεύεται, για παράδειγμα, να αναπτύσσει ισχυρότερες συνδέσεις μεταξύ κόμβων ταυτόχρονα με τις υψηλές τιμές. Οι Hopfield και Hinton έχουν πραγματοποιήσει σημαντική έρευνα με τεχνητά νευρωνικά δίκτυα από τη δεκαετία του 1980 και μετά.


Ο John Hopfield εφηύρε ένα δίκτυο που χρησιμοποιεί μια μέθοδο αποθήκευσης και αναδημιουργίας μοτίβων. Μπορούμε να φανταστούμε τους κόμβους ως pixel. Το δίκτυο Hopfield χρησιμοποιεί τη φυσική που περιγράφει τα χαρακτηριστικά ενός υλικού που οφείλονται στα σπιν των ατόμων του – μια ιδιότητα που κάνει κάθε άτομο να συμπεριφέρεται σαν ένας μικροσκοπικός μαγνήτης. Το δίκτυο στο σύνολό του περιγράφεται με τρόπο ισοδύναμο με την ενέργεια του φυσικού συστήματος σπιν και εκπαιδεύεται με την εύρεση τιμών για τις συνδέσεις μεταξύ των κόμβων, έτσι ώστε οι αποθηκευμένες εικόνες να έχουν χαμηλή ενέργεια. Όταν το δίκτυο Hopfield τροφοδοτείται με μια παραμορφωμένη ή ημιτελή εικόνα, λειτουργεί μεθοδικά μέσω των κόμβων και ενημερώνει τις τιμές τους έτσι ώστε η ενέργεια του δικτύου να πέφτει. Το δίκτυο έτσι λειτουργεί σταδιακά για να βρει την αποθηκευμένη εικόνα που μοιάζει περισσότερο με την ατελή με την οποία τροφοδοτήθηκε.


Ο Geoffrey Hinton χρησιμοποίησε το δίκτυο Hopfield ως τη βάση για ένα νέο δίκτυο που χρησιμοποιεί μια διαφορετική μέθοδο: την μηχανή Boltzmann. Αυτή μπορεί να μάθει να αναγνωρίζει χαρακτηριστικά στοιχεία σε έναν δεδομένο τύπο δεδομένων. Ο Hinton χρησιμοποίησε εργαλεία από τη στατιστική φυσική και την επιστήμη των συστημάτων. Η μηχανή εκπαιδεύεται τροφοδοτώντας την παραδείγματα που είναι πολύ πιθανό να προκύψουν κατά την διάρκεια της λειτουργίας της. Η μηχανή Boltzmann μπορεί να χρησιμοποιηθεί για την ταξινόμηση εικόνων ή την δημιουργία νέων παραδειγμάτων μοτίβων στο οποίο εκπαιδεύτηκε. Ο Hinton με τον τρόπο αυτό συνέβαλλε στην έναρξη της τωρινής εκρηκτικής ανάπτυξης της μηχανικής μάθησης.


Επειδή οι ΦΥΣΙΚΟΙ, με τα εργαλεία που τους προσφέρει η ΦΥΣΙΚΗ, έχουν συμβάλλει ΚΑΙ στην ανάπτυξη της μηχανικής μάθησης, έχει ενδιαφέρον να δούμε πώς η Φυσική, ως ερευνητικός τομέας, επωφελείται επίσης από τα τεχνητά νευρωνικά δίκτυα. Η μηχανική μάθηση χρησιμοποιείται εδώ και χρόνια σε τομείς που ίσως γνωρίζουμε από προηγούμενα βραβεία Νόμπελ Φυσικής. Αυτά περιλαμβάνουν την χρήση της μηχανικής μάθησης για την εξέταση και επεξεργασία των τεράστιων ποσοτήτων δεδομένων που ήταν απαραίτητα για την ανακάλυψη του σωματιδίου Higgs. Άλλες εφαρμογές περιλαμβάνουν τη μείωση του θορύβου στις μετρήσεις της βαρυτικών κυμάτων που προκαλούν οι συγχωνεύσεις μαύρων τρυπών ή στην αναζήτηση εξωπλανητών.

Τα τελευταία χρόνια, αυτή η τεχνολογία χρησιμοποιείται επίσης για τον υπολογισμό και την πρόβλεψη των ιδιοτήτων των μορίων και των υλικών – όπως ο υπολογισμός της δομής των πρωτεϊνικών μορίων, που καθορίζει την λειτουργία τους ή στο να βρεθούν ποιές νέες μορφές ενός υλικού μπορούν να έχουν τις βέλτιστες ιδιότητες στην χρήση τους για πιο αποδοτικά ηλιακά πάνελ.

Πηγή: https://physicsgg.me/ ΤΟ ΒΗΜΑ
https://www.reuters.com/science/hopfield-hinton-win-2024-nobel-prize-physics-2024-10-08/




“How could I be sure it wasn’t a spoof call?”

2024 physics laureate Geoffrey Hinton received the phone call from Stockholm in the early hours in a hotel room in California, and multiple Swedish accents helped reassure him that his Nobel Prize in Physics was real. In this interview recorded just after he found out about the prize, he talks about the state of machine learning, the pressing need for safety research, and his hopes that the award might make people take the fears he voices more seriously.

Interview transcript

Geoffrey Hinton: Hello?

Adam Smith: Oh, hello. Am I speaking with Geoffrey Hinton?

GH: You are.

AS: This is Adam Smith calling from the website of the Nobel Prize.

GH: Okay. I know who you are ’cause a long time ago I noticed that they have somebody who calls up to get people’s reactions.

AS: Exactly. So could we talk for just a few minutes?

GH: Yes.

AS: Thank you very much indeed. First of all, of course. Many congratulations.

GH: Thank you.

AS: And, where are you? Where did, where did the news reach you?

GH: I’m in a cheap hotel in California, without an internet connection, and with a not very good phone line, phone connection. And I was planning to get an MRI scan today, but I guess I’ll have to cancel that. I had no idea I’d even been nominated for the Nobel Prize in Physics. I was extremely surprised.

AS: It sounds like, quite a sensible place to receive the news in a way. Because you’re a little bit isolated. You can collect your thoughts before, before the deluge of the day.

GH: Yes. On the other hand, it’s two o’clock in the morning.

AS: Oh, goodness. Yes. I’m sorry. Yes. Uh oh dear. I don’t know if you’ve got …

GH: I think it’s three o’clock by now.

AS: … I don’t know if you’ve got the sang froid to go back to bed or whether you just have to accept that the day is going to be a long one.

GH: Yeah, I don’t think I’ve got that much sang froid. 

AS: Well, an utter surprise. What, what were your first thoughts?

GH: My very first thought was how could I be sure it wasn’t a spoof call.

AS: And? How could you?

GH: It was coming from Sweden and the person had a strong Swedish accent and there were several of them.

AS: Yes. So it would have to be a posse of impersonators, which is unlikely, I suppose.

GH: Yes. 

AS: How would you describe yourself? Would you say you were a computer scientist or would you say you were a physicist trying to understand biology when you were doing this work?

GH: I would say I am someone who doesn’t really know what field he’s in but would like to understand how the brain works. And in my attempts to understand how the brain works, I’ve helped to create a technology that works surprisingly well.

AS: It’s notable, I suppose that you’ve very publicly expressed fears about what the technology can bring. What do you think needs to be done in order to allay the fears that you and others are expressing?

GH: So I think it’s rather different from climate change. With climate change, everybody knows what needs to be done. We need to stop burning carbon. It’s just a question of the political will to do that. And large companies making big profits not being willing to do that. But it’s clear what you need to do. Here we’re dealing with something where we have much less idea of what’s going to happen and what to do about it. And so, I wish I had a sort of simple recipe that if you do this, everything’s going to be okay. But I don’t. In particular with respect to the existential threat of these things getting out of control and taking over, I think we’re a kind of bifurcation point in history where in the next few years we need to figure out if there’s a way to deal with that threat. So, I think it’s very important right now for people to be working on the issue of how will we keep control? We need to put a lot of research effort into it. I think one thing governments can do is force the big companies to spend a lot more of their resources on safety research. So that, for example, companies like OpenAI can’t just put safety research on the back burner.

AS: Is there a parallel with the biotechnology revolution when, the bio technologies themselves got together in those Asilomar conferences and sat down and said, you know, there is potential danger here and we need to, we need to be on it ourselves?

GH: Yes. I think there are similarities with that, and I think what they did was very good. Unfortunately there’s many more practical applications of AI. And for the things like cloning that the biologists were trying to keep under control. And so, I think it’s going to be a lot harder. But I think the biologists, what they did is, a good model to look at. It’s impressive that they managed to achieve agreement, and the scientists did it.

AS: So, for instance with the large language models, the thing that I suppose contributes to your fear is you feel that these models are much closer to understanding than a lot of people say. When it comes to the impact of the Nobel Prize in this area, do you think it will make a difference?

GH: Yes, I think it will make a difference. Hopefully it’ll make me more credible when I say these things really do understand what they’re saying.

AS: Do you worry that people don’t take you seriously?

GH: So there is a whole school of linguistics that comes from Chomsky that thinks that it’s complete nonsense to say these things understand, that they don’t process language at all in the same way as we do. I think that school is wrong. I think it’s clear now that neural nets are much better at processing language than anything ever produced by the Chomsky School of Linguistics. But there’s still a lot of debate about that, particularly among linguists.

AS: I just wanted to come back though, to the circumstances of you receiving this news, in your hotel room, in the middle of the night. In some ways, a rather lonely place to hear the news. No one to turn to, to sort of hug and celebrate.

GH: Well, I’m here with my partner. I’m here with my partner and she’s quite excited.

AS: Okay. Yes, indeed. But for now, many, many congratulations.

GH: Thank you. Okay.

AS: Bye.

GH: Bye. 


Σχόλια

Δημοφιλείς αναρτήσεις