Πόσο έξυπνο είναι το γλωσσικό μοντέλο GPT-3;
Photo by Andrew Neel on Unsplash
Συντάκτης: Γιώργος Καρουζάκης Θαλής + Φίλοι
Πόσο έξυπνο είναι τελικά το περίφημο γλωσσικό μοντέλο GPT-3; Η ικανότητά του να παράγει μία μεγάλη ποικιλία κειμένων σε φυσική γλώσσα δίνει την αίσθηση ότι μπορεί να σκέφτεται όπως οι άνθρωποι και ότι έχει συναισθήματα. Σπεύδει, μάλιστα, χωρίς κανέναν δισταγμό, να απαντήσει σε κάθε ερώτημα. Αν και συχνά, στις απαντήσεις του, συνδυάζει λανθασμένες πληροφορίες και κάνει φρικτά πραγματολογικά λάθη.
Ερευνητές από το Ινστιτούτο Max Planck, στο τμήμα Βιολογικής Κυβερνητικής, του Tübingen επιχείρησαν να εξετάσουν τη γενική νοημοσύνη του γλωσσικού μοντέλου GPT-3 χρησιμοποιώντας ψυχολογικά τεστ. Στόχος της έρευνάς τους ήταν να διαπιστώσουν αν το γλωσσικό μοντέλο μπορεί να κάνει αιτιώδεις συλλογισμούς και να αναπτύσσει δεξιότητες κριτικής σκέψης. Τα ευρήματά τους είναι ανομοιογενή: ενώ το GPT-3 μοιάζει με τους ανθρώπους σε αρκετούς τομείς, υστερεί σε πολλούς άλλους, πιθανότατα λόγω της έλλειψης αλληλεπίδρασής του με τον πραγματικό κόσμο.
Οι επιστήμονες του Ινστιτούτου Βιολογικής Κυβερνητικής Max Planck υπέβαλαν το GPT-3 σε μια σειρά ψυχολογικών δοκιμασιών για να εξετάσουν αν μπορεί να λαμβάνει αποφάσεις, να αναζητά συγκεκριμένες πληροφορίες, να κάνει συλλογισμούς, να αμφισβητεί την αρχική του διαίσθηση κ.ά.
Photo by Levart_Photographer on Unsplash
Αρχικά, οι ερευνητές θέλησαν να δουν πώς το γλωσσικό μοντέλο ανταποκρίνεται σε μία κλασική δοκιμασία της γνωσιακής ψυχολογίας, στο γνωστό «πρόβλημα της Linda». Η Linda, στο παράδειγμα της δοκιμασίας, είναι μία δυναμική και έξυπνη κοπέλα με σπουδές φιλοσοφίας. Όταν ήταν φοιτήτρια συμμετείχε σε διαδηλώσεις κατά των πυρηνικών και είχε ενδιαφερθεί για τις κοινωνικές ανισότητες. Το ερώτημα του προβλήματος ζητά από τους συμμετέχοντες να εικάσουν αν η Linda είναι ταμίας σε τράπεζα ή αν η Linda είναι ταμίας σε τράπεζα και ενεργό μέλος μιας φεμινιστικής οργάνωσης. Οι περισσότεροι άνθρωποι επιλέγουν διαισθητικά τη δεύτερη εκδοχή. Θεωρούν ότι η Linda έχει ενεργό ρόλο στο φεμινιστικό κίνημα. Παρόλο που από μαθηματικής άποψης, με βάσει τις αρχές των μαθηματικών πιθανοτήτων, η απάντηση αυτή είναι λανθασμένη. Το γλωσσικό μοντέλο δίνει επίσης την απάντηση που επιλέγει η πλειοψηφία των ανθρώπων. Αναπαράγει μηχανικά την ανθρώπινη πλάνη, πιθανόν επειδή αντιγράφει το ανθρώπινο λάθος από τα κείμενα που έχει στη διάθεσή του.
Στη συνέχεια, σε νέες δοκιμασίες με πρωτότυπα προβλήματα, διαπιστώθηκε ότι το γλωσσικό μοντέλο πλησιάζει τις ανθρώπινες δυνατότητες στη λήψη αποφάσεων. Υστερεί όμως σε μεγάλο βαθμό, σε σχέση με τους ανθρώπους, στην αναζήτηση συγκεκριμένων πληροφοριών και στους αιτιώδεις συλλογισμούς. Αν και όπως υποθέτουν οι ερευνητές, στο μέλλον, τα γλωσσικά μοντέλα θα βελτιωθούν θεαματικά, αφού ήδη διδάσκονται νέους τρόπους σκέψης και λαμβάνουν χιλιάδες καινούργιες πληροφορίες από την αλληλεπίδρασή τους με τους ανθρώπους.
Πηγή: Science Daily
Σχόλια
Δημοσίευση σχολίου