Η κατάλυση της δηµοκρατίας από τους... αλγορίθµους
Ο εξ απορρήτων
Αν µπορούν να χειραγωγήσουν αποτελεσµατικά τα συναισθήµατα των ανθρώπων, τότε η δηµοκρατία µετατρέπεται σε συγκινησιακό κουκλοθέατρο
Από το 2010, περίπου, τα µαθηµατικά ανακατεύονται όπως ποτέ άλλοτε στις ανθρώπινες υποθέσεις και το κοινό σε µεγάλο βαθµό τα έχει αποδεχθεί θετικά. Οµως, ήδη διαφαίνεται το πρόβληµα. Οι βασιζόµενες στα µαθηµατικά εφαρµογές, που στηρίζουν την οικονοµία των δεδοµένων, στηρίζονταν σε επιλογές που γίνονται από µη αλάθητα ανθρώπινα όντα. Μερικές από αυτές αναµφίβολα έγιναν µε τις καλύτερες προθέσεις. Όµως, πολλά από τα µοντέλα αυτά έχουν ενσωµατώσει την ανθρώπινη προκατάληψη και παρανόηση µέσα στους κώδικες των λογισµικών συστηµάτων, που όλο και περισσότερο διαχειρίζονται τη ζωή µας. Όπως οι θεοί, αυτά τα µαθηµατικά µοντέλα είναι αδιαφανή, οι επεξεργασίες τους αόρατες από όλους εµάς, εκτός από τους «αρχιερείς» στον κόσµο τους: τους µαθηµατικούς και τους επιστήµονες των υπολογιστών. Οι κρίσεις τους, ακόµα κι αν είναι λανθασµένες ή επιβλαβείς, είναι πέραν κάθε αµφισβήτησης ή καταγγελίας.
Η τάση τους είναι να τιµωρούν τον φτωχό και τον καταπιεζόµενο στις κοινωνίες µας, ενώ ταυτόχρονα κάνουν τους πλούσιους πλουσιότερους. Η προσπάθεια «εγκλωβισµού» της συµπεριφοράς, του τρόπου λειτουργίας και του δυναµικού των ανθρώπων σε αλγορίθµους δεν είναι εύκολη δουλειά. Στις εταιρείες big data, όπως για παράδειγµα η Google, οι ερευνητές κάνουν συνεχείς ελέγχους και παρακολουθούν χιλιάδες µεταβλητές. Μπορούν να αλλάξουν το φόντο µιας συγκεκριµένης διαφήµισης από µπλε σε κόκκινο, να «σερβίρουν» και τις δύο εκδοχές σε 10 εκατοµµύρια καταναλωτές και να καταγράψουν ποια από τις δύο παίρνει τα περισσότερα «κλικ». Χρησιµοποιούν την ενηµέρωση αυτή για να βελτιώσουν τους αλγορίθµους τους και να εκλεπτύνουν τη λειτουργία τους. Είναι θεµιτό να υπάρχουν πολλές διαφωνίες σχετικά µε τη λειτουργία της Google, αλλά αυτός ο τύπος ελέγχου αξιοποιεί τα συµπεράσµατα και κάνει αποτελεσµατική χρήση της στατιστικής.
Η προσπάθεια να υπολογίσουµε την επίδραση που µπορεί να έχει ένας δάσκαλος σε έναν µαθητή κατά τη διάρκεια της σχολικής χρονιάς είναι πολύ πιο περίπλοκη υπόθεση. Υπάρχουν τόσο πολλοί παράγοντες που υπεισέρχονται στη µάθηση και τη διδασκαλία, ώστε θα ήταν εξαιρετικά δύσκολο να τους υπολογίσουµε όλους. Υπάρχει σηµαντική διαφορά µεταξύ του µαθηµατικού µοντέλου αξιολόγησης ενός περιφερειακού σχολείου και αυτού που διερευνά τις προοπτικές αποπληρωµής των «κόκκινων» δανείων σε µια τράπεζα. Για το περιφερειακό σχολείο, η επίπτωση µεταφράζεται σε πολιτικό κέρδος και δίνει την αίσθηση ότι τα προβλήµατα λύθηκαν.
Αλλά για τις επιχειρήσεις αφορά την τυπική παράµετρο: το χρήµα. Για πολλές από αυτές που χρησιµοποιούν αυτούς τους «απατεώνες» αλγορίθµους, τα χρήµατα που εισρέουν στα ταµεία τους φαίνεται να αποδεικνύουν ότι τα µοντέλα τους λειτουργούν σωστά. Με το δικό τους µάτι, αυτό έχει µια λογική. Οταν αναπτύσσουν στατιστικά συστήµατα, για να βρουν νέους πελάτες ή να πιέσουν απεγνωσµένους οφειλέτες, τα αυξανόµενα έσοδα δίνουν την απατηλή εντύπωση ότι βρίσκονται στον σωστό δρόµο. Το λογισµικό κάνει καλά τη δουλειά του.
Το πρόβληµα είναι ότι τα κέρδη κρύβουν την αλήθεια της κατάστασης. Η επικίνδυνη αυτή σύγχυση, µάλιστα, ανακύπτει συνέχεια. Αυτό συµβαίνει επειδή όλοι οι επιστήµονες δεδοµένων χάνουν πολύ συχνά την αίσθηση των ανθρώπων που βρίσκονται από την άλλη µεριά της συναλλαγής.
Σίγουρα αντιλαµβάνονται ότι ένα πρόγραµµα που επεξεργάζεται µεγάλη ποσότητα δεδοµένων αναγκαστικά καταλήγει σε λανθασµένη αξιολόγηση για ένα ποσοστό από τα άτοµα που εξετάζει, κατατάσσοντάς τα σε λάθος οµάδες και αποκλείοντάς τα από µια δουλειά ή από την αγορά ενός σπιτιού. Αλλά, κατά κανόνα, αυτοί που χειρίζονται τα Οπλα Μαθηµατικής Καταστροφής δεν πτοούνται µε αυτά τα λάθη, τα οποία τους φέρνουν χρήµατα, που είναι και το βασικό τους κίνητρο. Τα συστήµατά τους έχουν κατασκευαστεί για να καταβροχθίζουν όλο και περισσότερα δεδοµένα και να διορθώνουν τον τρόπο ανάλυσής τους έτσι ώστε να εισρέει όλο και περισσότερο χρήµα. Οι επενδυτές, φυσικά, πανηγυρίζουν µε αυτή την εισροή χρηµάτων και ραίνουν µε περισσότερα χρήµατα τις εταιρείες Οπλων Μαθηµατικής Καταστροφής.
Τι γίνεται, όµως, µε τα θύµατα; Τα θύµατα αυτά είναι οι παράπλευρες απώλειες; Τέσσερα χρόνια πριν, το Facebook κατοχύρωσε ένα σύστηµα αξιολόγησης το οποίο λάµβανε υπ’ όψιν του το ιστορικό των οικονοµικών των φίλων κάθε χρήστη του. Αδιαφανείς καινοτοµίες, όπως τα e-scores, χρησιµοποιούνται από όλο και περισσότερες εταιρείες για να στοχεύσουν στο πού θα κάνουν µάρκετινγκ, ενώ «σαΐνια», όπως αυτά της περιβόητης Cambridge Analytica, «ψαρεύουν» τις online δραστηριότητες των ανθρώπων, έτσι ώστε να προσδιορίσουν το πού θα προωθήσουν τα πολιτικά τους µηνύµατα. Η τυραννία των αλγορίθµων είναι πλέον στοιχείο ενσωµατωµένο στις ζωές µας. Τα συστήµατα αυτά απλώνονται παντού, συχνά µέσω τυχαίας διασύνδεσης µε άλλα, και είναι πέραν κάθε λογικής. Αν ιδωθούν, όµως, από άλλη οπτική γωνία, αποτελούν πλέον συστατικά µέρη των εκτεταµένων συστηµάτων κοινωνικής αξιολόγησης, τα οποία περιµένουν τη στιγµή που θα συνδεθούν όλα µαζί σε ένα. Η στιγµή αυτή ίσως δεν είναι µακρινή, δεδοµένης της συνεχούς επέκτασης του Ίντερνετ.
Αν τα «έξυπνα» κινητά τηλέφωνα και οι τραπεζικές µας κάρτες αφήνουν πίσω τους ένα τεράστιο ίχνος από προσωπικά µας δεδοµένα, τότε το λεγόµενο Ιντερνετ των Πραγµάτων (ΙοΤ) θα γιγαντώσει ταχύτατα το πληροφοριακό µας «αποτύπωµα». Στο άµεσο µέλλον, οι µεγαλύτερες συνέπειες θα φανούν στον τοµέα της ασφάλισης, όπου οι απρόσωπες «δεξαµενές» συγκέντρωσης των παραγόντων κινδύνου θα αντικατασταθούν από µοντέλα που θα επικεντρώνονται σε κάθε άτοµο προσωπικά.
Χωρίς ανατροφοδότηση, όµως, µια στατιστική µηχανή µπορεί να συνεχίσει να διεξάγει λανθασµένη και καταστροφική ανάλυση, αφού δεν θα µπορεί ποτέ να µάθει από τα λάθη της. Ενας αλγόριθµος επεξεργάζεται µια σειρά στατιστικών στοιχείων και καταλήγει σε µια πιθανότητα, ότι ένα συγκεκριµένο άτοµο µπορεί να είναι αναξιόπιστος µισθωτής, ασυνεπής οφειλέτης, τροµοκράτης ή άθλιος καθηγητής. Η πιθανότητα αυτή διαµορφώνεται σε βαθµολογηµένο δείκτη, o οποίος µπορεί να ανατρέψει τη ζωή ενός ατόµου. Ακόµα κι αν το άτοµο αντιδράσει, οι αντιρρήσεις που θα προβάλει δεν θα ανατρέψουν την απόφαση των αλγορίθµων, αφού αυτή θεωρείται ακλόνητη.
Τελικά ο τεχνολογικός κίνδυνος που απειλεί το µέλλον της δηµοκρατίας είναι o συνδυασµός και η ανάµειξη τεχνολογίας των πληροφοριών και βιοτεχνολογίας, κάτι που αναπόφευκτα οδηγεί στην ανάπτυξη αλγορίθµων, οι οποίοι θα γνωρίζουν τους ανθρώπους καλύτερα απ’ ό,τι οι ίδιοι τον εαυτό τους. Όταν ένα εξωτερικό σύστηµα, όπως η κυβέρνηση, αποκτά πρόσβαση σε τέτοιους αλγορίθµους, τότε αποκτά τη δυνατότητα όχι µόνο να προβλέπει τις αποφάσεις και τις συµπεριφορές των ανθρώπων, αλλά και να χειραγωγεί τα αισθήµατα και τις αντιδράσεις τους. Οι αδιαφανείς Αρχές µπορούν να «χακάρουν» τα ανθρώπινα αισθήµατα (τον φόβο, το µίσος, την έχθρα, τον ναρκισσισµό, τον τρόµο και τη µαταιοδοξία) και να τα χρησιµοποιούν για να πολώνουν και να καταστρέφουν εκ των έσω τη δηµοκρατία. Αν µπορούν να χειραγωγήσουν αποτελεσµατικά τα συναισθήµατα των ανθρώπων, τότε η δηµοκρατία µετατρέπεται σε συγκινησιακό κουκλοθέατρο.
Τα αισθήµατά µας είναι τα αποτελέσµατα βιοχηµικών διεργασιών στο σώµα µας: ορισµένες ορµόνες ρυθµίζουν το πόσο ευτυχισµένοι ή θλιµµένοι αισθανόµαστε. Συνεπώς, για να «χακάρουν» τους ανθρώπους είναι απαραίτητη η σηµαντική γνώση των βιολογικών διεργασιών και µια πραγµατική µεγάλη υπολογιστική δύναµη, κάτι που µέχρι τώρα δεν υπήρχε.
Όταν συνειδητοποιήσουµε ότι µπορούν να µας χειραγωγούν µε άµεσο τρόπο, τότε θα αντιληφθούµε τελικά ότι επάνω µας εφαρµόζεται ένα νέο είδος επιστηµονικού φασισµού. Αυτό είναι ένα από τα θεµελιώδη ζητήµατα της εποχής µας, που άπτεται άµεσα της σχέσης µεταξύ ατόµου και εξουσίας, είτε αυτή ασκείται από το κράτος είτε από ιδιωτικούς οργανισµούς. Τώρα, όλα αυτά µπορεί να φαίνονται ακόµη παράλογα. Είναι πιθανόν, όµως, σύντοµα να υλοποιηθούν τόσο στην Ανατολή όσο και στη ∆ύση και η αξιολόγησή µας από τους «αδιάφθορους» αλγορίθµους να προκαλέσει την καθηµερινή µας κόλαση, που κάποιοι πάντα λάτρευαν να επιβάλλουν (στους άλλους)...
Δημοσιεύτηκε στα Παραπολιτικά
Η τάση τους είναι να τιµωρούν τον φτωχό και τον καταπιεζόµενο στις κοινωνίες µας, ενώ ταυτόχρονα κάνουν τους πλούσιους πλουσιότερους. Η προσπάθεια «εγκλωβισµού» της συµπεριφοράς, του τρόπου λειτουργίας και του δυναµικού των ανθρώπων σε αλγορίθµους δεν είναι εύκολη δουλειά. Στις εταιρείες big data, όπως για παράδειγµα η Google, οι ερευνητές κάνουν συνεχείς ελέγχους και παρακολουθούν χιλιάδες µεταβλητές. Μπορούν να αλλάξουν το φόντο µιας συγκεκριµένης διαφήµισης από µπλε σε κόκκινο, να «σερβίρουν» και τις δύο εκδοχές σε 10 εκατοµµύρια καταναλωτές και να καταγράψουν ποια από τις δύο παίρνει τα περισσότερα «κλικ». Χρησιµοποιούν την ενηµέρωση αυτή για να βελτιώσουν τους αλγορίθµους τους και να εκλεπτύνουν τη λειτουργία τους. Είναι θεµιτό να υπάρχουν πολλές διαφωνίες σχετικά µε τη λειτουργία της Google, αλλά αυτός ο τύπος ελέγχου αξιοποιεί τα συµπεράσµατα και κάνει αποτελεσµατική χρήση της στατιστικής.
Η προσπάθεια να υπολογίσουµε την επίδραση που µπορεί να έχει ένας δάσκαλος σε έναν µαθητή κατά τη διάρκεια της σχολικής χρονιάς είναι πολύ πιο περίπλοκη υπόθεση. Υπάρχουν τόσο πολλοί παράγοντες που υπεισέρχονται στη µάθηση και τη διδασκαλία, ώστε θα ήταν εξαιρετικά δύσκολο να τους υπολογίσουµε όλους. Υπάρχει σηµαντική διαφορά µεταξύ του µαθηµατικού µοντέλου αξιολόγησης ενός περιφερειακού σχολείου και αυτού που διερευνά τις προοπτικές αποπληρωµής των «κόκκινων» δανείων σε µια τράπεζα. Για το περιφερειακό σχολείο, η επίπτωση µεταφράζεται σε πολιτικό κέρδος και δίνει την αίσθηση ότι τα προβλήµατα λύθηκαν.
Αλλά για τις επιχειρήσεις αφορά την τυπική παράµετρο: το χρήµα. Για πολλές από αυτές που χρησιµοποιούν αυτούς τους «απατεώνες» αλγορίθµους, τα χρήµατα που εισρέουν στα ταµεία τους φαίνεται να αποδεικνύουν ότι τα µοντέλα τους λειτουργούν σωστά. Με το δικό τους µάτι, αυτό έχει µια λογική. Οταν αναπτύσσουν στατιστικά συστήµατα, για να βρουν νέους πελάτες ή να πιέσουν απεγνωσµένους οφειλέτες, τα αυξανόµενα έσοδα δίνουν την απατηλή εντύπωση ότι βρίσκονται στον σωστό δρόµο. Το λογισµικό κάνει καλά τη δουλειά του.
Το πρόβληµα είναι ότι τα κέρδη κρύβουν την αλήθεια της κατάστασης. Η επικίνδυνη αυτή σύγχυση, µάλιστα, ανακύπτει συνέχεια. Αυτό συµβαίνει επειδή όλοι οι επιστήµονες δεδοµένων χάνουν πολύ συχνά την αίσθηση των ανθρώπων που βρίσκονται από την άλλη µεριά της συναλλαγής.
Σίγουρα αντιλαµβάνονται ότι ένα πρόγραµµα που επεξεργάζεται µεγάλη ποσότητα δεδοµένων αναγκαστικά καταλήγει σε λανθασµένη αξιολόγηση για ένα ποσοστό από τα άτοµα που εξετάζει, κατατάσσοντάς τα σε λάθος οµάδες και αποκλείοντάς τα από µια δουλειά ή από την αγορά ενός σπιτιού. Αλλά, κατά κανόνα, αυτοί που χειρίζονται τα Οπλα Μαθηµατικής Καταστροφής δεν πτοούνται µε αυτά τα λάθη, τα οποία τους φέρνουν χρήµατα, που είναι και το βασικό τους κίνητρο. Τα συστήµατά τους έχουν κατασκευαστεί για να καταβροχθίζουν όλο και περισσότερα δεδοµένα και να διορθώνουν τον τρόπο ανάλυσής τους έτσι ώστε να εισρέει όλο και περισσότερο χρήµα. Οι επενδυτές, φυσικά, πανηγυρίζουν µε αυτή την εισροή χρηµάτων και ραίνουν µε περισσότερα χρήµατα τις εταιρείες Οπλων Μαθηµατικής Καταστροφής.
Τι γίνεται, όµως, µε τα θύµατα; Τα θύµατα αυτά είναι οι παράπλευρες απώλειες; Τέσσερα χρόνια πριν, το Facebook κατοχύρωσε ένα σύστηµα αξιολόγησης το οποίο λάµβανε υπ’ όψιν του το ιστορικό των οικονοµικών των φίλων κάθε χρήστη του. Αδιαφανείς καινοτοµίες, όπως τα e-scores, χρησιµοποιούνται από όλο και περισσότερες εταιρείες για να στοχεύσουν στο πού θα κάνουν µάρκετινγκ, ενώ «σαΐνια», όπως αυτά της περιβόητης Cambridge Analytica, «ψαρεύουν» τις online δραστηριότητες των ανθρώπων, έτσι ώστε να προσδιορίσουν το πού θα προωθήσουν τα πολιτικά τους µηνύµατα. Η τυραννία των αλγορίθµων είναι πλέον στοιχείο ενσωµατωµένο στις ζωές µας. Τα συστήµατα αυτά απλώνονται παντού, συχνά µέσω τυχαίας διασύνδεσης µε άλλα, και είναι πέραν κάθε λογικής. Αν ιδωθούν, όµως, από άλλη οπτική γωνία, αποτελούν πλέον συστατικά µέρη των εκτεταµένων συστηµάτων κοινωνικής αξιολόγησης, τα οποία περιµένουν τη στιγµή που θα συνδεθούν όλα µαζί σε ένα. Η στιγµή αυτή ίσως δεν είναι µακρινή, δεδοµένης της συνεχούς επέκτασης του Ίντερνετ.
Αν τα «έξυπνα» κινητά τηλέφωνα και οι τραπεζικές µας κάρτες αφήνουν πίσω τους ένα τεράστιο ίχνος από προσωπικά µας δεδοµένα, τότε το λεγόµενο Ιντερνετ των Πραγµάτων (ΙοΤ) θα γιγαντώσει ταχύτατα το πληροφοριακό µας «αποτύπωµα». Στο άµεσο µέλλον, οι µεγαλύτερες συνέπειες θα φανούν στον τοµέα της ασφάλισης, όπου οι απρόσωπες «δεξαµενές» συγκέντρωσης των παραγόντων κινδύνου θα αντικατασταθούν από µοντέλα που θα επικεντρώνονται σε κάθε άτοµο προσωπικά.
Χωρίς ανατροφοδότηση, όµως, µια στατιστική µηχανή µπορεί να συνεχίσει να διεξάγει λανθασµένη και καταστροφική ανάλυση, αφού δεν θα µπορεί ποτέ να µάθει από τα λάθη της. Ενας αλγόριθµος επεξεργάζεται µια σειρά στατιστικών στοιχείων και καταλήγει σε µια πιθανότητα, ότι ένα συγκεκριµένο άτοµο µπορεί να είναι αναξιόπιστος µισθωτής, ασυνεπής οφειλέτης, τροµοκράτης ή άθλιος καθηγητής. Η πιθανότητα αυτή διαµορφώνεται σε βαθµολογηµένο δείκτη, o οποίος µπορεί να ανατρέψει τη ζωή ενός ατόµου. Ακόµα κι αν το άτοµο αντιδράσει, οι αντιρρήσεις που θα προβάλει δεν θα ανατρέψουν την απόφαση των αλγορίθµων, αφού αυτή θεωρείται ακλόνητη.
Τελικά ο τεχνολογικός κίνδυνος που απειλεί το µέλλον της δηµοκρατίας είναι o συνδυασµός και η ανάµειξη τεχνολογίας των πληροφοριών και βιοτεχνολογίας, κάτι που αναπόφευκτα οδηγεί στην ανάπτυξη αλγορίθµων, οι οποίοι θα γνωρίζουν τους ανθρώπους καλύτερα απ’ ό,τι οι ίδιοι τον εαυτό τους. Όταν ένα εξωτερικό σύστηµα, όπως η κυβέρνηση, αποκτά πρόσβαση σε τέτοιους αλγορίθµους, τότε αποκτά τη δυνατότητα όχι µόνο να προβλέπει τις αποφάσεις και τις συµπεριφορές των ανθρώπων, αλλά και να χειραγωγεί τα αισθήµατα και τις αντιδράσεις τους. Οι αδιαφανείς Αρχές µπορούν να «χακάρουν» τα ανθρώπινα αισθήµατα (τον φόβο, το µίσος, την έχθρα, τον ναρκισσισµό, τον τρόµο και τη µαταιοδοξία) και να τα χρησιµοποιούν για να πολώνουν και να καταστρέφουν εκ των έσω τη δηµοκρατία. Αν µπορούν να χειραγωγήσουν αποτελεσµατικά τα συναισθήµατα των ανθρώπων, τότε η δηµοκρατία µετατρέπεται σε συγκινησιακό κουκλοθέατρο.
Τα αισθήµατά µας είναι τα αποτελέσµατα βιοχηµικών διεργασιών στο σώµα µας: ορισµένες ορµόνες ρυθµίζουν το πόσο ευτυχισµένοι ή θλιµµένοι αισθανόµαστε. Συνεπώς, για να «χακάρουν» τους ανθρώπους είναι απαραίτητη η σηµαντική γνώση των βιολογικών διεργασιών και µια πραγµατική µεγάλη υπολογιστική δύναµη, κάτι που µέχρι τώρα δεν υπήρχε.
Όταν συνειδητοποιήσουµε ότι µπορούν να µας χειραγωγούν µε άµεσο τρόπο, τότε θα αντιληφθούµε τελικά ότι επάνω µας εφαρµόζεται ένα νέο είδος επιστηµονικού φασισµού. Αυτό είναι ένα από τα θεµελιώδη ζητήµατα της εποχής µας, που άπτεται άµεσα της σχέσης µεταξύ ατόµου και εξουσίας, είτε αυτή ασκείται από το κράτος είτε από ιδιωτικούς οργανισµούς. Τώρα, όλα αυτά µπορεί να φαίνονται ακόµη παράλογα. Είναι πιθανόν, όµως, σύντοµα να υλοποιηθούν τόσο στην Ανατολή όσο και στη ∆ύση και η αξιολόγησή µας από τους «αδιάφθορους» αλγορίθµους να προκαλέσει την καθηµερινή µας κόλαση, που κάποιοι πάντα λάτρευαν να επιβάλλουν (στους άλλους)...
Δημοσιεύτηκε στα Παραπολιτικά