การวัดผล AI ใน Healthcare เรื่องใหม่ที่ต้องใส่ใจก่อนเลือกใช้โซลูชั่น

ai performance_perceptra

การนำเทคโนโลยี AI มาใช้นั้นน่าจะเป็นการลงทุนในการพัฒนาศักยภาพองค์กรที่คุ้มค่า แต่ในขณะเดียวกันก็มีความท้าทายจากหลากหลายปัจจัย ดังนั้นการตัดสินใจเลือกใช้เทคโนโลยี AI ก็ควรจะเลือกระบบที่มีความเหมาะสมกับความต้องการขององค์กรให้มากที่สุด ด้วยเหตุนี้เราจึงควรจะพิจารณาปัจจัยต่างๆ ซึ่งจะทำให้เราสามารถเชื่อมโยงวัตถุประสงค์ขององค์กรกับศักยภาพในการทำงานของ AI ได้ แต่เมื่อ AI เป็นเทคโนโลยีที่ค่อนข้างใหม่ โดยเฉพาะกับอุตสาหกรรม Healthcare ในประเทศไทย เราจึงควรเรียนรู้และทำความเข้าใจกับเกณฑ์ในการวัดประสิทธิภาพของ AI เพื่อนำไปต่อยอดในการตัดสินใจเลือกใช้ระบบที่ตอบโจทย์องค์กรมากที่สุด

เทคโนโลยี AI สร้างความเปลี่ยนแปลงให้กับอุตสาหกรรม Healthcare ได้อย่างไรบ้าง

ด้วยข้อมูลวิเคราะห์เชิงลึกที่สามารถนำไปใช้ประโยชน์ได้จาก AI ในวงการ Healthcare หลายองค์กรจึงเลือกใช้ AI เพื่อเพิ่มประสิทธิภาพและสร้างความได้เปรียบทางการแข่งขันในระยะยาว โดยข้อมูลจากการสำรวจ State of AI สำหรับอุตสาหกรรม Healthcare ที่จัดทำโดย Deloitte ได้อธิบายมุมมองที่น่าสนใจดังต่อไปนี้

  • การลงทุน องค์กรขนาดใหญ่ที่ดำเนินการทำธุรกิจ Healthcare ซึ่งส่วนใหญ่จะเป็นโรงพยาบาลขนาดใหญ่ มักจะมีการลงทุนในเรื่องของ AI เพื่อเสริมประสิทธิภาพในการทำงานราวๆ 75% ในขณะที่หน่วยงานระดับกลางลงทุนสูงถึงเกือบ 95% เลยทีเดียว
  • ผลลัพธ์การใช้งาน พบว่าผู้ใช้งานราวๆ 34% คิดว่า AI สามารถช่วยเพิ่มประสิทธิภาพได้มากขึ้น ผู้ใช้งาน 27% พบว่าช่วยปรับปรุงการให้บริการได้ และอีก 26% พบว่าการใช้ AI สามารถช่วยลดต้นทุนได้
  • ความกังวลของผู้ใช้งาน ผู้ใช้งานราวๆ 36% มีความกังวลในเรื่องของต้นทุนและการลงทุนในเทคโนโลยี 30% มีความเป็นห่วงในเรื่องปัญหาของการใช้งานและการผสาน AI ให้เข้ากับองค์กร และอีก 28% กังวลในเรื่องความเสี่ยงของข้อมูล

ความกังวลเกี่ยวกับการใช้ AI

แม้ว่า AI จะเป็นเครื่องมือที่มีความฉลาดล้ำและสามารถเพิ่มประสิทธิภาพในการทำงานของธุรกิจ Healthcare ได้อย่างมากมาย แต่ก็ยังมีเรื่องที่น่ากังวลอยู่ในบางประการ เช่น เรื่องของอคติ โดย Kadija Ferryman จากสถาบันวิจัย Data & Society ในนิวยอร์กได้ตั้งข้อสังเกตเอาไว้ว่า อคติอาจจะฝังอยู่ในข้อมูลที่ถูกป้อนไปยังอัลกอริทึมได้ เช่น เรื่องสีผิว เพศ เชื้อชาติ นอกจากนี้การใช้ AI ยังต้องเข้าถึงข้อมูลส่วนบุคคล เช่น เวชระเบียน ข้อมูลจากเซ็นเซอร์สุขภาพ อัลกอริธึมทางการแพทย์ และแหล่งข้อมูลใดก็ตามที่สามารถเรียนรู้ได้ ซึ่งแม้ว่าข้อมูลเหล่านั้นจะเป็นนิรนาม แต่ก็พบในหลายกรณีว่า สามารถตรวจสอบกลับไปยังบุคคลที่แท้จริงได้ ซึ่งอาจจะขัดกับหลักการเก็บรักษาข้อมูลและสิทธิส่วนบุคคล

แนวทางในการพิจารณาประสิทธิภาพการทำงานของ AI ที่ใช้ในทางการแพทย์

การรวม AI เข้ากับระบบนิเวศของหน่วยงานที่ให้บริการทางสุขภาพนั้นสามารถสร้างประโยชน์ได้มากมาย เพราะ AI ช่วยในด้านการวิเคราะห์ ซึ่งเพิ่มความคล่องตัวให้กับการทำงาน นอกจากนี้ AI ยังสามารถช่วยลดภาระในการบริหารจัดการได้ดีอีกด้วย โดยข้อมูลจาก Insider Intelligence พบว่าค่าบริหารจัดการต่างๆ ที่มากถึง 30% สามารถใช้ AI ในการช่วยดูแลและลดภาระค่าใช้จ่ายส่วนนี้ลงได้ แต่ทั้งนี้ AI ก็ควรจะมีมาตรฐานและประสิทธิภาพเพียงพอที่จะทำให้ระบบสามารถเดินหน้าได้อย่างเต็มที่ เพื่อจะช่วยสร้างกระบวนการในรักษาพยาบาลให้มีความรวดเร็ว แม่นยำ และประหยัดทรัพยากรได้มากขึ้น ซึ่งจะส่งผลต่อการช่วยลดต้นทุนได้อย่างแท้จริง ทาง FDA ของสหรัฐฯ  Health Canada และ MHRA ของประเทศอังกฤษได้ร่วมกันศึกษาและค้นคว้าถึงแนวทางในการพัฒนาระบบ AI ให้มีความปลอดภัยและมีคุณภาพสำหรับการใช้งานในสถานบริการสุขภาพและธุรกิจ Healthcare ดังต่อไปนี้ 

  • AI ควรมาพร้อมกับชุดข้อมูลแบบสหวิชาชีพ
    เมื่อ AI เปรียบเสมือนสมองที่ช่วยให้การทำคล่องตัว ดังนั้นระบบที่ดีควรมีองค์ความรู้ที่หลากหลาย ซึ่งการรวบรวมชุดความรู้และข้อมูลแบบสหวิชาชีพจากหลากหลายสาขาวิชา (Multi-Disciplinary Expertise) จะทำให้การทำงานมีประสิทธิภาพสูงที่สุดและแม่นยำมากยิ่งขึ้น เนื่องจากความเข้าใจในเชิงลึกในหลากหลายสาขาจะช่วยเพิ่มความสามารถในการวิเคราะห์และนำไปใช้ในขั้นตอนการทำงานได้ดีมากขึ้น ซึ่งจะเพิ่มความสำเร็จในการรักษาผู้ป่วยและลดความเสี่ยงที่ไม่พึงประสงค์ได้
  • ปฏิบัติตามแนวทางด้านวิศวกรรมซอฟต์แวร์และมีความปลอดภัยสูง
    หลักสำคัญขั้นพื้นฐานที่ขาดไม่ได้เลยของ AI ก็คือ การวางรากฐานของระบบตามแนวทางด้านวิศวกรรมซอฟต์แวร์ ซึ่งหากแยกย่อยออกมาก็จะมีอยู่หลายส่วน เช่น การประกันคุณภาพข้อมูล (Data Quality Assurance) การจัดการข้อมูล (Data Management) หลักปฏิบัติด้านความปลอดภัยทางไซเบอร์ที่เข้มงวด (Cybersecurity Practices) นอกจากนี้แนวทางปฏิบัติที่ดียังควรเน้นในเรื่องของการรับรองความถูกต้องของข้อมูลและความสมบูรณ์ของข้อมูล เพื่อความแม่นยำมากที่สุด ในส่วนของทางผู้ให้บริการเองก็ควรมีแนวทางในการจัดการและบริหารความเสี่ยง (Risk Management) ที่สามารถนำไปใช้ในหน้างานจริงได้อย่างเหมาะสม
  • อัดแน่นด้วยการศึกษาทางคลินิกและ Data Set ของประชากรผู้ป่วย
    ความน่าเชื่อถือและความแม่นยำของ AI ส่วนหนึ่งจะขึ้นอยู่กับการรวบรวมข้อมูล (Data Collection Protocol) ดังนั้นเราควรตรวจสอบให้แน่ใจว่าข้อมูลที่เกี่ยวข้องกับประชากรผู้ป่วยที่จะถูกนำมาใช้งานในการวิเคราะห์ เช่น อายุ เพศ เชื้อชาติ จะมีตัวอย่างข้อมูลเพียงพอและเหมาะสม เพื่อช่วยให้การสรุปผลมีความน่าเชื่อถือและได้คำตอบที่ตรงตามเป้าหมายได้ และสิ่งที่สำคัญอีกอย่างคือ เรื่องการจัดการกับอคติต่างๆ ซึ่งถือเป็นอีกหนึ่งสิ่งสำคัญที่จะช่วยส่งเสริมการวิเคราะห์ข้อมูลให้มีความถูกต้องแม่นยำที่สุด
  • ข้อมูลควรแยกเป็นอิสระ
    ข้อมูลทั้งสองส่วนควรถูกแยกออกจากกันอย่างเป็นอิสระ ไม่ว่าจะเป็นข้อมูล Test Set หรือ Training Data Set โดยเฉพาะอย่างยิ่งสำหรับ Independent Test Set ควรเป็นข้อมูลที่มาจากหลากหลายแหล่ง เช่น โรงพยาบาลต่างๆ ทั่วประเทศ หรือทั่วภูมิภาคเป็นต้น ซึ่งวิธีการนี้เหมาะกับการประเมินการเรียนรู้ในส่วนที่จำเพาะเจาะจง ส่วนในกรณีที่มีข้อมูลจำนวนมากนั้น การเลือกใช้วิธีการ Cross Validation ก็จะเหมาะสมกว่า
  • ใช้วิธีการที่ดีและได้มาตรฐานในการเลือกชุดข้อมูลอ้างอิง
    การจัดสรรและเลือกชุดข้อมูลอ้างอิงนั้นควรได้รับการศึกษาและรับรองว่าเป็นข้อมูลที่เกี่ยวข้องและมีความเหมาะสมกับบริบททางการแพทย์ที่จะนำมาใช้งาน นอกจากนี้ควรเข้าใจข้อจำกัดต่างๆ ของชุดข้อมูลอ้างอิง ซึ่งสามารถนำไปในช่วงการจำลองโมเดลและการทดลอง
  • การออกแบบโมเดล
    ควรปรับให้เหมาะกับวัตถุประสงค์ของการทำงาน เพราะการพัฒนาโมเดลถือเป็นสิ่งสำคัญที่จะเติมเต็มประสิทธิภาพของการใช้งาน ดังนั้นการออกแบบโมเดลจึงต้องเหมาะสมกับชุดข้อมูล รวมถึงปัจจัยต่างๆ เช่น ปัญหาการลดลงของประสิทธิภาพ (Performance Degradation) ความเสี่ยงด้านความปลอดภัย (Security Risks) เพื่อช่วยให้การวิเคราะห์ข้อมูลเป็นไปตามเป้าหมายที่ต้องการ
  • เน้นประสิทธิภาพของการทำงานด้วย Human-AI
    การนำ AI มาใช้งานนั้นมีความเกี่ยวเนื่องและมีผลต่อมนุษย์โดยตรง ดังนั้นการจำลองโมเดลในการทำงาน และการพิจารณาปัจจัยต่างๆ จึงจำเป็นต้องใช้คน รวมไปถึงมุมมองและความคิดของมนุษย์ในการร่วมทำงานด้วย เพื่อช่วยให้การตีความต่างๆ เสมือนจริงและเข้าใจมนุษย์ได้มากที่สุด ดังนั้นระบบจึงควรเน้นที่ประสิทธิภาพของทีม Human-AI ซึ่งใช้คนในการร่วมทีมทำงานไปพร้อมกับ AI ด้วย ไม่ใช่การใช้เพียงแค่โมเดลจำลองเพียงอย่างเดียว
  • สามารถวิเคราะห์ผลลัพธ์ได้จากการทดสอบ
    ในการทดสอบได้จำลองและดำเนินการเสมือนจริงเพื่อที่จะตรวจสอบคุณภาพของระบบแม้ว่าจะใช้ข้อมูลชุด Training Data Set ซึ่งปัจจัยหลักๆ ที่ขาดไม่ได้ก็คือ ข้อมูลประชากรผู้ป่วยที่ต้องการใช้ในการทำงาน ข้อมูลกลุ่มย่อย (Subgroup) สภาพแวดล้อมทางคลินิก (Clinical Environment) และการใช้งานจากทีม Human-AI และข้อมูลการวัดผล รวมไปถึงข้อมูลอื่นๆ ที่สำคัญที่เกี่ยวข้องในการวิเคราะห์ผล
  • ความต้องการที่ชัดเจนจากทางผู้ใช้งานจริง
    ความร่วมมือของผู้ใช้งานนั้นมีผลต่อการทำงานของระบบอย่างมากทีเดียว ดังนั้นทางผู้ใช้งานควรอธิบายความต้องการและให้ข้อมูลที่ชัดเจน รวมถึงข้อจำกัดและเรื่องที่กังวลต่างๆ เพราะทั้งหมดนี้จะถูกนำไปต่อยอดในการทำงานของ AI
  • ควรตรวจสอบประสิทธิภาพของโมเดลที่เลือกใช้
    แน่นอนว่าโมเดลจำลองจะถูกใช้งานในหน้างานจริง ซึ่งนอกจากผลลัพธ์ในการวิเคราะห์ที่มีคุณภาพแล้ว เราควรจะใส่ใจในเรื่องของความปลอดภัย และหลังจากใช้ไปสักระยะหนึ่งแล้ว ควรมีวิธีการดูแลที่เหมาะสมเพื่อจัดการความเสี่ยงในเรื่องต่างๆ เช่น ปัญหา Overfitting  ความอคติที่ไม่ได้ตั้งใจ (Unintended Bias) ซึ่งทั้งหมดนี้อาจส่งผลต่อประสิทธิภาพของโมเดลที่จะนำไปใช้งานได้

แม้ว่าเราจะมีผู้ช่วยที่ชาญฉลาดอย่าง AI เข้ามาแล้ว แต่อย่าลืมว่าบุคลากรผู้ใช้งานขององค์กรก็ยังถือเป็นบุคคลหน้างานอย่างแท้จริง ที่จะต้องทำงานร่วมกับ AI ซึ่งปัจจัยแห่งความสำเร็จจากงานวิจัยใน Frontiers in Digital Health ได้นำเสนอไว้ว่า เนื่องจาก AI เป็นเทคโนโลยีใหม่และคนส่วนใหญ่ไม่คุ้นเคย ดังนั้นเราควรสร้างความไว้วางใจให้เกิดขึ้นกับผู้ใช้งาน  นอกจากนี้ควรเพิ่มคล่องตัวในการทำงานของทุกๆ ฝ่าย ด้วยการจัดหมวดหมู่ของข้อมูล การฝึกอบรม การทำความเข้าใจของวัตถุประสงค์การใช้งาน และการประเมินความเสี่ยง  เพราะเมื่อปัจจัยต่างๆ เชื่อมโยงถึงกันได้แล้ว เราถึงจะสามารถดึงศักยภาพของ AI ออกมาใช้งานได้อย่างเต็มที่มากที่สุด


Sources
  1. Good Machine Learning Practice for Medical Device Development: Guiding Principles 
  2. How medical AI devices are evaluated: limitations and recommendations from an analysis of FDA approvals
  3. Smart Use of Artificial Intelligence in Health Care