מדעני המוח מלמדים מחשבים לקרוא מילים היישר ממוחם של אנשים.
קלי סריק, כתבה למדע, דיווחה השבוע על שלושה מאמרים שפורסמו בשרת ההדפסה המקדימה bioRxiv בו הוכיחו שלושה צוותים שונים של חוקרים שהם יכולים לפענח דיבור מהקלטות של ירי עצבים. בכל מחקר, אלקטרודות שהונחו ישירות על המוח רשמו פעילות עצבית בזמן שחולים בניתוח המוח האזינו לדיבור או קראו מילים בקול רם. ואז החוקרים ניסו להבין מה המטופלים שומעים או אומרים. בשני המקרים החוקרים הצליחו להמיר את הפעילות החשמלית של המוח לקבצי קול לפחות מעט מובנים.
העיתון הראשון, שפורסם ב- BioRxiv ב- 10 באוקטובר 2018, מתאר ניסוי בו החוקרים שיחקו הקלטות דיבור לחולים עם אפילפסיה שהיו באמצע ניתוח מוח. (ההקלטות העצביות שצולמו בניסוי היו צריכות להיות מפורטות מאוד לפרשנות. ורמת פירוט זו זמינה רק בנסיבות הנדירות בהן מוח נחשף לאוויר ואלקטרודות מונחות עליו ישירות, למשל בניתוח מוח. .)
כאשר המטופלים האזינו לתיקי הקול, החוקרים תיעדו נוירונים שיורים בחלקים במוחם של המטופלים המעבדים צלילים. המדענים ניסו מספר שיטות שונות להפיכת נתונים אלה של עצבים עצביים לדיבור ומצאו ש"לימוד עמוק "- בו מחשב מנסה לפתור בעיה פחות או יותר ללא פיקוח - עבד בצורה הטובה ביותר. כאשר הם שיחקו את התוצאות באמצעות ווקודר, המסנתז קולות אנושיים, עבור קבוצה של 11 מאזינים, אותם אנשים הצליחו לפרש נכון את המילים 75 אחוז מהזמן.
תוכלו להאזין לשמע מהניסוי הזה כאן.
העיתון השני, שפורסם ב- 27 בנובמבר 2018, הסתמך על הקלטות עצביות של אנשים שעברו ניתוח להסרת גידולי מוח. כאשר המטופלים קראו מילים בעלות הברה יחידה בקול רם, החוקרים הקליטו הן את הצלילים שיצאו מפיהם של המשתתפים והן את הנוירונים היורים באזורי הפקת הדיבור במוחם. במקום לאמן מחשבים לעומק כל חולה, חוקרים אלה לימדו רשת עצבית מלאכותית להמיר את ההקלטות העצביות לאודיו, והראו כי התוצאות היו לפחות מובנות במידה סבירה ודומות להקלטות שנעשו על ידי המיקרופונים. (האודיו מהניסוי הזה נמצא כאן אך יש להוריד אותו כקובץ zip).
העיתון השלישי, שפורסם ב- 9 באוגוסט 2018, הסתמך על הקלטת החלק במוח שממיר מילים ספציפיות שאדם מחליט לדבר בתנועות שרירים. אף כי אין הקלטה מהניסוי הזה זמינה ברשת, החוקרים דיווחו כי הם הצליחו לשחזר משפטים שלמים (שהוקלטו גם במהלך ניתוחי מוח על חולים עם אפילפסיה) וכי אנשים שהאזינו למשפטים הצליחו לפרש אותם נכון בבחירה מרובה. מבחן (מתוך 10 אפשרויות) 83 אחוז מהזמן. שיטת הניסוי הסתמכה על זיהוי הדפוסים הכרוכים בייצור הברות בודדות, ולא במילים שלמות.
המטרה בכל הניסויים הללו היא ליום אחד לאפשר לאנשים שאיבדו את יכולת הדיבור (בגלל טרשת עורקים אמוטרופית או תנאים דומים) לדבר באמצעות ממשק מחשב למוח. עם זאת, המדע ליישום זה אינו קיים עדיין.
פירוש הדפוסים העצביים של אדם שרק מדמיין דיבור מסובך יותר מאשר לפרש את הדפוסים של מישהו שמאזין או מפיק דיבור, מדווח Science. (עם זאת, מחברי העיתון השני אמרו כי יתכן וניתן לפרש את הפעילות המוחית של מישהו המדמה דיבור.)
חשוב גם לזכור שמדובר במחקרים קטנים. העיתון הראשון הסתמך על נתונים שנלקחו מחמישה חולים בלבד, ואילו השני הסתכל על שישה חולים והשלישי רק שלושה. ואף אחת מההקלטות העצביות לא נמשכה יותר משעה.
ובכל זאת, המדע מתקדם, ומכשירי דיבור מלאכותיים המחוברים ישירות למוח נראים כמו אפשרות ממשית בשלב מסוים בהמשך הדרך.
