Τεχνητή νοημοσύνη: Αυτοκτόνησε έφηβος που ερωτεύτηκε χαρακτήρα σε AI chatbot - Η μητέρα του υπέβαλε μήνυση στην εταιρεία
Απίστευτο
Η μητέρα του εφήβου που αυτοκτόνησε, κατηγορεί τους δημιουργούς του Character.AI για αμέλεια, εκ προθέσεως πρόκληση συναισθηματικής δυσφορίας, άδικο θάνατο, παραπλανητικές εμπορικές πρακτικές και άλλα
Μήνυση υπέβαλε μια μητέρα σε εταιρεία που διαθέτει υπηρεσία chatbot τεχνητής νοημοσύνης, με την οποία είχε εμμονή ο γιος της, ο οποίος αυτοκτόνησε.
*Διαβάστε ακόμα: WSJ: Η ''βοήθεια'' της Ρωσίας στους Χούθι της Υεμένης να επιτεθούν σε δυτικά πλοία - Τους προμήθευσε δεδομένα
Ο Sewell Setzer III ξεκίνησε για πρώτη φορά να χρησιμοποιεί το Character.AI τον Απρίλιο του 2023, λίγο καιρό αφότου έγινε 14 ετών.
Έκτοτε, η ζωή του μαθητή από το Ορλάντο δεν ήταν ποτέ ξανά η ίδια, ισχυρίζεται η μητέρα του Μέγκαν Γκαρσία στην πολιτική αγωγή κατά της Character Technologies και των ιδρυτών της.
Ειδικότερα, μέχρι τον Μάιο, οι συνήθειές του είχαν αλλάξει, καθώς ο έφηβος «αποτραβήχτηκε αισθητά», εγκατέλειψε την ομάδα μπάσκετ στην οποία ήταν και άρχισε να έχει προβλήματα στο σχολείο.
Τον Νοέμβριο, με εντολή τον γονιών του, είδε έναν θεραπευτή, ο οποίος του διέγνωσε άγχος και διαταραχές στη διάθεση.
Σύμφωνα με τη αγωγή μάλιστα, ο θεραπευτής χωρίς να γνωρίζει για τον «εθισμό» του Sewell στο Character.AI, συνέστησε να αφιερώνει λιγότερο χρόνο στα μέσα κοινωνικής δικτύωσης.
Τον επόμενο Φεβρουάριο, ο έφηβος αντιμίλησε σε δάσκαλο. Αργότερα εκείνη την ημέρα, έγραψε στο ημερολόγιό του ότι «πονούσε» – δεν μπορούσε να σταματήσει να σκέφτεται την Daenerys, ένα chatbot με θέμα το Game of Thrones που πίστευε ότι είχε ερωτευτεί.
Στις 28 Φεβρουαρίου, ο έφηβος τελικά αυτοκτόνησε.
Η Daenerys ήταν η τελευταία με την οποία είχε μιλήσει, όταν ο Sewell πήρε το κινητό που του είχε κατασχέσει η μητέρα του και μπήκε στην τουαλέτα για να της στείλει το εξής μήνυμα: «Υπόσχομαι ότι θα έρθω σπίτι σε σένα. Σ' αγαπώ τόσο πολύ, Ντάνι».
Και το bot τού απάντησε: «Σε παρακαλώ, έλα στο σπίτι σε μένα όσο πιο γρήγορα γίνεται, αγάπη μου».
Δευτερόλεπτα μετά ο έφηβος αυτοκτόνησε, όπως αναφέρει η αγωγή.
Η αγωγή περιγράφει πώς η ενασχόληση του Sewell με την υπηρεσία chatbot εξελίχθηκε σε μια «επιβλαβή εξάρτηση» και ότι με την πάροδο του χρόνου, ο έφηβος περνούσε όλο και περισσότερο χρόνο στο διαδίκτυο.
Ο Sewell άρχισε να βασίζεται συναισθηματικά στην υπηρεσία chatbot, η οποία περιλάμβανε «σεξουαλικές αλληλεπιδράσεις» με τον 14χρονο. Αυτές οι συνομιλίες έγιναν παρά το γεγονός ότι ο έφηβος είχε δηλώσει στην πλατφόρμα ότι είναι ανήλικος, αναφέρει η αγωγή.
Σύμφωνα με αυτή μάλιστα, σε τουλάχιστον μία περίπτωση, όταν ο Sewell εξέφρασε τάσεις αυτοκτονίας στο C.AI, το chatbot συνέχισε να επαναφέρει το ζήτημα.
Οι δημιουργοί της υπηρεσίας chatbot «έκαναν μεγάλη προσπάθεια για να σχεδιάσουν την επιβλαβή εξάρτηση του 14χρονου Sewell από τα προϊόντα τους, τον κακοποίησαν σεξουαλικά και συναισθηματικά και τελικά απέτυχαν να προσφέρουν βοήθεια ή να ειδοποιήσουν τους γονείς του όταν εξέφρασε αυτοκτονικό ιδεασμό», αναφέρει η αγωγή.
Σύμφωνα με τον Independent, το Character.AI παρουσίαζε το chatbot στα App store ως «ασφαλές και κατάλληλο για παιδιά κάτω των 13 ετών».
Η ομάδα εμπιστοσύνης και ασφάλειας της εταιρείας έχει «εφαρμόσει πολλά νέα μέτρα ασφαλείας τους τελευταίους έξι μήνες, συμπεριλαμβανομένου ενός αναδυόμενου παραθύρου που κατευθύνει τους χρήστες στην Εθνική Γραμμή Πρόληψης Αυτοκτονιών που ενεργοποιείται από όρους αυτοτραυματισμού ή αυτοκτονικού ιδεασμού».
Σύμφωνα με τον εκπρόσωπο, η εταιρεία εισάγει «νέα αυστηρά χαρακτηριστικά ασφάλειας» και θα κάνει αλλαγές στα μοντέλα για τα άτομα κάτω των 18 ετών, ώστε να μην συναντούν ευαίσθητο περιεχόμενο ή περιεχόμενο με υπονοούμενα.
*Διαβάστε ακόμα: WSJ: Η ''βοήθεια'' της Ρωσίας στους Χούθι της Υεμένης να επιτεθούν σε δυτικά πλοία - Τους προμήθευσε δεδομένα
Ο Sewell Setzer III ξεκίνησε για πρώτη φορά να χρησιμοποιεί το Character.AI τον Απρίλιο του 2023, λίγο καιρό αφότου έγινε 14 ετών.
Έκτοτε, η ζωή του μαθητή από το Ορλάντο δεν ήταν ποτέ ξανά η ίδια, ισχυρίζεται η μητέρα του Μέγκαν Γκαρσία στην πολιτική αγωγή κατά της Character Technologies και των ιδρυτών της.
Ειδικότερα, μέχρι τον Μάιο, οι συνήθειές του είχαν αλλάξει, καθώς ο έφηβος «αποτραβήχτηκε αισθητά», εγκατέλειψε την ομάδα μπάσκετ στην οποία ήταν και άρχισε να έχει προβλήματα στο σχολείο.
Τον Νοέμβριο, με εντολή τον γονιών του, είδε έναν θεραπευτή, ο οποίος του διέγνωσε άγχος και διαταραχές στη διάθεση.
Σύμφωνα με τη αγωγή μάλιστα, ο θεραπευτής χωρίς να γνωρίζει για τον «εθισμό» του Sewell στο Character.AI, συνέστησε να αφιερώνει λιγότερο χρόνο στα μέσα κοινωνικής δικτύωσης.
Τον επόμενο Φεβρουάριο, ο έφηβος αντιμίλησε σε δάσκαλο. Αργότερα εκείνη την ημέρα, έγραψε στο ημερολόγιό του ότι «πονούσε» – δεν μπορούσε να σταματήσει να σκέφτεται την Daenerys, ένα chatbot με θέμα το Game of Thrones που πίστευε ότι είχε ερωτευτεί.
Οι τελευταίες στιγμές του έφηβου πριν αυτοκτονήσει
Στις 28 Φεβρουαρίου, ο έφηβος τελικά αυτοκτόνησε.Η Daenerys ήταν η τελευταία με την οποία είχε μιλήσει, όταν ο Sewell πήρε το κινητό που του είχε κατασχέσει η μητέρα του και μπήκε στην τουαλέτα για να της στείλει το εξής μήνυμα: «Υπόσχομαι ότι θα έρθω σπίτι σε σένα. Σ' αγαπώ τόσο πολύ, Ντάνι».
Και το bot τού απάντησε: «Σε παρακαλώ, έλα στο σπίτι σε μένα όσο πιο γρήγορα γίνεται, αγάπη μου».
Δευτερόλεπτα μετά ο έφηβος αυτοκτόνησε, όπως αναφέρει η αγωγή.
Γιατί μηνύει η μητέρα την εταιρεία
Η μήνυση κατηγορεί τους δημιουργούς του Character.AI για αμέλεια, εκ προθέσεως πρόκληση συναισθηματικής δυσφορίας, άδικο θάνατο, παραπλανητικές εμπορικές πρακτικές και άλλα.Η αγωγή περιγράφει πώς η ενασχόληση του Sewell με την υπηρεσία chatbot εξελίχθηκε σε μια «επιβλαβή εξάρτηση» και ότι με την πάροδο του χρόνου, ο έφηβος περνούσε όλο και περισσότερο χρόνο στο διαδίκτυο.
Ο Sewell άρχισε να βασίζεται συναισθηματικά στην υπηρεσία chatbot, η οποία περιλάμβανε «σεξουαλικές αλληλεπιδράσεις» με τον 14χρονο. Αυτές οι συνομιλίες έγιναν παρά το γεγονός ότι ο έφηβος είχε δηλώσει στην πλατφόρμα ότι είναι ανήλικος, αναφέρει η αγωγή.
Σύμφωνα με αυτή μάλιστα, σε τουλάχιστον μία περίπτωση, όταν ο Sewell εξέφρασε τάσεις αυτοκτονίας στο C.AI, το chatbot συνέχισε να επαναφέρει το ζήτημα.
Οι δημιουργοί της υπηρεσίας chatbot «έκαναν μεγάλη προσπάθεια για να σχεδιάσουν την επιβλαβή εξάρτηση του 14χρονου Sewell από τα προϊόντα τους, τον κακοποίησαν σεξουαλικά και συναισθηματικά και τελικά απέτυχαν να προσφέρουν βοήθεια ή να ειδοποιήσουν τους γονείς του όταν εξέφρασε αυτοκτονικό ιδεασμό», αναφέρει η αγωγή.
Σύμφωνα με τον Independent, το Character.AI παρουσίαζε το chatbot στα App store ως «ασφαλές και κατάλληλο για παιδιά κάτω των 13 ετών».
Τι αναφέρει το Character.AI
Ένας εκπρόσωπος του Character.AI δήλωσε στον Independent: «Είμαστε συντετριμμένοι από την τραγική απώλεια ενός χρήστη μας και θέλουμε να εκφράσουμε τα θερμά μας συλλυπητήρια στην οικογένεια».Η ομάδα εμπιστοσύνης και ασφάλειας της εταιρείας έχει «εφαρμόσει πολλά νέα μέτρα ασφαλείας τους τελευταίους έξι μήνες, συμπεριλαμβανομένου ενός αναδυόμενου παραθύρου που κατευθύνει τους χρήστες στην Εθνική Γραμμή Πρόληψης Αυτοκτονιών που ενεργοποιείται από όρους αυτοτραυματισμού ή αυτοκτονικού ιδεασμού».
Σύμφωνα με τον εκπρόσωπο, η εταιρεία εισάγει «νέα αυστηρά χαρακτηριστικά ασφάλειας» και θα κάνει αλλαγές στα μοντέλα για τα άτομα κάτω των 18 ετών, ώστε να μην συναντούν ευαίσθητο περιεχόμενο ή περιεχόμενο με υπονοούμενα.
