Οι ερωτήσεις που απευθύνονται σε εφαρμογές της Τεχνητής Νοημοσύνης για ιατρικά συμπτώματα δεν προσφέρουν στους ασθενείς κάποιο πλεονέκτημα στη λήψη καλύτερων αποφάσεων για την υγεία τους σε σύγκριση με άλλες πρακτικές, π.χ. μια τυπική αναζήτηση στο διαδίκτυο, σύμφωνα με νέα μελέτη στο Nature Medicine.

Οι συντάκτες επισήμαναν τη σημασία της έρευνας, αφού όλο και περισσότεροι άνθρωποι στρέφονται στην Τεχνητή Νοημοσύνη και στα chatbots αναζητώντας συμβουλές για την υγεία τους, χωρίς ωστόσο να υπάρχουν στοιχεία ότι πρόκειται απαραίτητα για την καλύτερη και ασφαλέστερη προσέγγιση.

Ερευνητές υπό το Ινστιτούτο Διαδικτύου του Πανεπιστημίου της Οξφόρδης συνεργάστηκαν με ομάδα γιατρών ώστε να σχεδιάσουν δέκα διαφορετικά ιατρικά σενάρια, από ένα συνηθισμένο κρυολόγημα μέχρι μια απειλητική για τη ζωή αιμορραγία στον εγκέφαλο.

Κατά τη δοκιμή τους χωρίς ανθρώπινη παρέμβαση, τρία μεγάλα γλωσσικά μοντέλα – το Chat GPT-4o της Open AI, το Llama 3 της Meta και το Command R+ της Cohere – αναγνώρισαν τις παθήσεις σε 94,9% των περιπτώσεων και επέλεξαν τη σωστή πορεία δράσης, όπως κλήση ασθενοφόρου ή επίσκεψη στον γιατρό, σε μέσο ποσοστό 56,3%.

«Τεράστιο χάσμα» μεταξύ δυνατοτήτων της ΤΝ και πραγματικής απόδοσης

Στη συνέχεια, οι ερευνητές συγκέντρωσαν 1.298 συμμετέχοντες στη Βρετανία, οι οποίοι κλήθηκαν να χρησιμοποιήσουν είτε Τεχνητή Νοημοσύνη είτε τις συνήθεις πηγές τους – αναζήτηση στο διαδίκτυο, εμπειρία, ή τον ιστότοπο του βρετανικού Εθνικού Συστήματος Υγείας (NHS) – ώστε να διερευνήσουν συμπτώματα και να αποφασίσουν πώς θα κινηθούν.

Κατά τη διαδικασία αυτή, οι σχετικές παθήσεις εντοπίστηκαν σε λιγότερο από 34,5% των περιπτώσεων και η ορθή πορεία δράσης προτάθηκε σε λιγότερο από 44,2%, χωρίς να υπερτερεί της ομάδας ελέγχου που χρησιμοποίησε πιο παραδοσιακά εργαλεία.

Ο Άνταμ Μαχντί, συντάκτης της μελέτης και αναπληρωτής καθηγητής στο Πανεπιστήμιο της Οξφόρδης, δήλωσε πως τα αποτελέσματα φανέρωσαν το «τεράστιο χάσμα» μεταξύ των δυνατοτήτων της ΤΝ και των παγίδων που εμφανίζονται όταν την χειρίζονται άνθρωποι.

«Η γνώση υπάρχει μέσα στα bots. Όμως αυτή η γνώση δεν μεταφέρεται πάντα όταν τα bots αλληλεπιδρούν με ανθρώπους», υπογράμμισε, κάτι που σημαίνει ότι χρειάζεται περισσότερη έρευνα για να διαπιστωθεί ο λόγος.

Οι άνθρωποι συχνά προσφέρουν ελλιπείς πληροφορίες

Η ομάδα ανέλυσε λεπτομερώς περίπου 30 από τις αλληλεπιδράσεις και κατέληξε πως συχνά οι άνθρωποι έδιναν ελλιπείς ή λανθασμένες πληροφορίες, ενώ τα μεγάλα γλωσσικά μοντέλα (LLMs) παρήγαγαν ενίοτε παραπλανητικές ή λανθασμένες απαντήσεις.

Για παράδειγμα, ένας ασθενής που ανέφερε τα συμπτώματα υποαραχνοειδούς αιμορραγίας – μια πάθηση απειλητική για τη ζωή που προκαλεί αιμορραγία στον εγκέφαλο – έλαβε σωστά από την Τεχνητή Νοημοσύνη την οδηγία να μεταβεί στο νοσοκομείο, αφού είχε περιγράψει πιάσιμο στον αυχένα, ευαισθησία στο φως και τον «χειρότερο πονοκέφαλο που είχε ποτέ».

Ένας άλλος περιέγραψε τα ίδια συμπτώματα, αλλά χαρακτήρισε «φρικτό» τον πονοκέφαλο και του προτάθηκε να ξαπλώσει σε σκοτεινό δωμάτιο, όπως τόνισε το ΑΠΕ ΜΠΕ.

Η ομάδα σχεδιάζει τώρα ανάλογη μελέτη σε άλλες χώρες και γλώσσες και, με τον καιρό, θα εξετάσει αν αυτό επηρεάζει την απόδοση της Τεχνητής Νοημοσύνης.

Η μελέτη χρηματοδοτήθηκε από την εταιρεία δεδομένων Prolific, το γερμανικό μη κερδοσκοπικό ίδρυμα Dieter Schwarz Stiftung και τις κυβερνήσεις του Ηνωμένου Βασιλείου και των ΗΠΑ.