החוקרים בדקו: איזה מודל AI מפענח מידע רפואי בצורה הטובה ביותר?
01.12.24 / 16:25
שימוש בבינה מלאכותית וספציפית במודלי שפה גדולים כדוגמת ChatGPT הולך וגובר. יתרה מכך, יש רצון להשתמש במודלי AI כאלו גם בפיענוח מידע רפואי ככלי לקבלת החלטות רפואיות הרות גורל. קבוצת מחקר מאוניברסיטת בן-גוריון בנגב החליטה לבדוק את יכולותיהם של מודלי שפה גדולים שהתמחו במידע רפואי ולהשוות ביניהם. ממצאי המחקר המפתיעים פורסמו בכתב העת Computers In Biology and Medicine.
בינה מלאכותית העוסקת במידע רפואי הפכה לכלי נפוץ באמצעותו ניתן מענה על שאלות מטופלים באמצעות צ'אטבוט רפואי, חיזוי מחלות, יצירת נתונים סינתטיים לשמירה על פרטיות המטופל או הפקת שאלות ותשובות רפואיות עבור סטודנטים לרפואה.
מודלים של בינה מלאכותית העוסקים בפענוח טקסט מילולי הוכחו כיעילים בסיווג מידע. אולם כאשר הנתונים הופכים להיות מידע רפואי קליני מציל חיים, יש הכרח בהבנת המשמעות העמוקה של קודים רפואיים וההבדלים ביניהם.
הדוקטורנט אופיר בן שוהם וד"ר נדב רפופורט מהמחלקה להנדסת מערכות תוכנה ומידע באוניברסיטת בן-גוריון בנגב החליטו לבחון עד כמה מודלי שפה גדולים מבינים את העולם הרפואי ויכולים לענות על שאלות בנושא זה. לשם כך הם ערכו השוואה בין מודלים כלליים למודלים שעברו אימון על מידע רפואי.
לשם כך בנו החוקרים שיטת הערכה ייעודית ((MedConceptsQA עבור תשובות לשאלות על מושגים רפואיים. החוקרים כללו למעלה מ-800,000 שאלות ותשובות המכסות מושגים רפואיים בינלאומיים בשלוש רמות קושי, במטרה להעריך כיצד אנשים העוסקים במודלי שפה מפרשים מונחים רפואיים ומבחינים בין מושגים רפואיים, כגון היכולות שלהם לפרש מושגים רפואיים כדוגמת אבחנות, פרוצדורות ותרופות. החוקרים יצרו את שאלות המבקשות לבחור את התיאור הנכון של קוד רפואי נתון בצורה אוטומטית, ע"י אלגוריתם שפיתחו. בעוד שהשאלות הקלות דורשות ידע בסיסי, השאלות הקשות דורשות הבנה מפורטת ויכולת לזהות הבדלים קטנים בין מושגים רפואיים קרובים. שאלות בינוניות דורשות מעט יותר מיֵדע בסיסי. החוקרים נעזרו באמות מידה קליניות קיימות הזמינות להערכת קודים קליניים המאפשרות להבחין בין מושגים רפואיים למשימות כגון תרגול קידוד רפואי, סיכום, חיוב אוטומטי ועוד.
ממצאי המחקר הצביעו על כך שרוב המודלים הראו ביצועים גרועים ששקולים לניחוש אקראי, כולל מודלים שאומנו על נתונים רפואיים. זאת, להוציא את ChatGPT-4 שהראה ביצועים טובים מהשאר עם דיוק של כ- 60% בממוצע, אם כי אף הוא רחוק מלהשביע רצון. "נראה לרוב שמודלים שעברו אימון מיוחד לצרכים רפואיים, השיגו רמות דיוק קרובות לניחוש אקראי במדד זה, למרות שהוכשרו מראש על נתונים רפואיים", ציין ד"ר רפופורט.
יש לציין שמודלים שנוצרו למטרות כלליות (כמו Llama3-70B ו-ChatGPT-4) השיגו ביצועים טובים יותר. ChatGPT-4 הציג את הביצועים הטובים ביותר, למרות שהדיוק שלו נותר לא מספיק עבור חלק מהשאלות של קודים רפואיים מסוימים שבנו החוקרים. ChatGPT-4 השיג שיפור ממוצע של 9-11% בהשוואה לLlama3-OpenBioLLM-70B -, מודל השפה הקליני שהשיג את התוצאות הטובות ביותר.
"המדד שלנו משמש כמשאב רב ערך להערכת היכולות של מודלי שפה גדולים לפרש קודים רפואיים ולהבחין בין מושגים רפואיים. אנו מוכיחים שרוב מודלי שפה קליניים משיגים ביצועי ניחוש אקראיים, ואילו ChatGPT-3.5, ChatGPT-4 ו-Llama3-70B עולים על המודלים הקליניים הללו, למרות שהמיקוד של המודלים האלה הוא בכלל לא בתחום הרפואי", הסביר הדוקטורנט בן שוהם. "בעזרת מאגר השאלות שלנו, נוכל בקלות רבה, על ידי לחיצת כפתור, להעריך מודלים אחרים שיצאו בעתיד, ולהשוות אותם למודלים אחרים".
נתונים קליניים כוללים לרוב גם קודים רפואיים סטנדרטיים וגם טקסטים בשפה טבעית. מחקר זה מדגיש את הצורך בשפה קלינית רחבה יותר במודלים להבנת מידע רפואי ואת הזהירות הנדרשת בשימוש נרחב בהם. "אנו מציגים אמת מידה להערכת איכות המידע של קודים רפואיים ומציפים בפני המשתמשים את ההכרח בשימוש זהיר במידע זה", סיכם ד"ר רפופורט.
אנו מכבדים זכויות יוצרים ועושים מאמץ לאתר את בעלי הזכויות בצילומים המגיעים לידינו. אם זיהיתים בפרסומינו צילום שיש לכם זכויות בו, אתם רשאים לפנות אלינו ולבקש לחדול מהשימוש באמצעות כתובת המייל:[email protected]
