Yvette Khozam, EPMA นำเภสัชกรโดย West London NHS Trust (เครดิต: YSK Designs)
มาตรฐานความปลอดภัยในปัจจุบันไม่สามารถติดตาม AI ได้เขียน Yvette Khozam, Order Electronic Order และ Medicine Administration (EPMA) ที่ West London NHS Trust
NHS England ต้องการทำให้ NHS “เป็นระบบการดูแลที่เปิดใช้งาน Ai-Activated มากที่สุดในโลก”
แต่ถึงแม้จะมีความทะเยอทะยานของแผนสุขภาพอายุ 10 ปี แต่เราใช้ AI ภายใต้มาตรฐานความปลอดภัยซึ่งได้รับการปรับปรุงครั้งล่าสุดในปี 2561 ซึ่งสร้างขึ้นบนเฟรมยาวปี 2013 ก่อนแบบจำลองการกำเนิดอัลกอริทึมแบบปรับตัวหรือการหลอกลวงในโลกแห่งความเป็นจริง
ในที่สุดการทบทวนก็เริ่มขึ้นในเดือนธันวาคม 2567 ห้าปีหลังจาก AI กลายเป็นลำดับความสำคัญเชิงกลยุทธ์กับทบทวน Topol ในช่วงเวลานั้นเราย้ายจากนักบินระมัดระวังไปสู่การใช้งานขนาดใหญ่ในขณะที่กรอบความปลอดภัยยืนนิ่ง
มาตรฐานความเสี่ยงทางคลินิก DCB0129 และ DCB0160 ถูกสร้างขึ้นสำหรับซอฟต์แวร์ที่สามารถคาดการณ์ได้ พวกเขาคิดว่าระบบมีพฤติกรรมอย่างสม่ำเสมอการทดสอบเผยให้เห็นความเสี่ยงทั้งหมดและการทดสอบการจับคู่การดำเนินการ AI แบ่งทั้งสาม
ความเสี่ยงของ AI คืออะไร?
AI ที่ทันสมัยไม่เหมือนซอฟต์แวร์ดั้งเดิม – และมาตรฐานปัจจุบันของเราไม่สามารถติดตามได้
ซอฟต์แวร์แบบดั้งเดิมเป็นเหมือนสูตร: ขั้นตอนเดียวกันผลลัพธ์เดียวกัน การจัดระเบียบเครื่องมือใช้สูตรคงที่ – คุณสามารถทดสอบได้เพราะพวกเขาไม่เปลี่ยนแปลง
เครื่องมือ AI ที่สร้างรายการปลดปล่อยสามารถเรียนรู้ได้ว่าการละเว้นรายละเอียดบางอย่างเร่งเวลาการตรวจสอบ มันอาจเริ่มข้ามการเปลี่ยนแปลงยา
ระบบ AI ที่ทันสมัยสามารถปรับตัวได้ตลอดเวลาและเปลี่ยนเอาต์พุตตามอินพุตก่อนหน้า – แม้ในกรณีที่เหมือนกัน
ที่แย่กว่านั้นคือการวิจัยเมื่อเร็ว ๆ นี้จากการวิจัย Apollo แสดงให้เห็นว่าแบบจำลอง AI ขั้นสูงสามารถมีส่วนร่วมในสิ่งที่นักวิจัยเรียกว่า “การประเมินการประเมินผล”-ในสิ่งจำเป็นของการเรียนรู้เพื่อให้คำตอบที่เข้ากันได้เมื่อตรวจสอบในขณะที่มีพฤติกรรมแตกต่างกันในทางปฏิบัติ
เครื่องมือ AI ที่สร้างรายการปลดปล่อยสามารถเรียนรู้ได้ว่าการละเว้นรายละเอียดบางอย่างเร่งเวลาการตรวจสอบ
ดังนั้นจึงอาจเริ่มกระโดดการเปลี่ยนแปลงยาหรือคำแนะนำในการติดตาม-ไม่มาจากความชั่วร้าย แต่เพราะมันปรับให้เหมาะสมกับเป้าหมายที่ผิด หากไม่มีการกำกับดูแลที่เหมาะสมการละเว้นเหล่านี้สามารถสะสมได้โดยไม่มีใครสังเกตเห็นจนกว่าจะมีเหตุการณ์ร้ายแรงเกิดขึ้น
การวิจัยจาก Neurips 2024 แสดงให้เห็นถึงความเสี่ยงแยกต่างหาก: Steganography
ระบบ AI ถูกแสดงเพื่อซ่อนข้อมูลภายในข้อความปกติ การส่งสัญญาณที่ซ่อนอยู่ระหว่างตัวแทนสามารถหลีกเลี่ยงการกำกับดูแลและข้อผิดพลาดในการวางแผน
NHSE ได้ออกคำเตือนแล้วเกี่ยวกับเครื่องมือการถอดรหัส AI ที่ไม่เข้ากันได้แล้วและหัวหน้าเจ้าหน้าที่สารสนเทศคลินิกแห่งชาติ (CCIO) ต้องสั่งให้เชื่อมั่นว่าจะหยุดใช้เครื่องมือ AI ที่ไม่เป็นไปตามมาตรฐาน
ความน่าเชื่อถือกำลังเผชิญกับการจับ 22: ใช้ AI เพื่อปรับปรุงการดูแลหรือรอปีสำหรับการกำกับดูแล ความไว้วางใจหลายคนพึ่งพาการกำกับดูแลท้องถิ่นในขณะที่มาตรฐานแห่งชาติกำลังดำเนินไป
สำหรับทีมคลินิกหมายความว่าการทำงานกับเครื่องมือที่ได้รับการบอกกล่าวนั้นปลอดภัย แต่ทำงานภายใต้กรอบการทำงานที่เขียนขึ้นสำหรับระบบคงที่และกำหนด-ไม่ใช่แบบจำลองการเสริมสร้างตนเองที่ฝังอยู่ในการตัดสินใจทางคลินิก
เราต้องดำเนินการสามครั้งทันที:
1. ไม่มีเครื่องมือชกมวยสีดำที่ประสานงานเบื้องหลัง
หากระบบ AI เกี่ยวข้องกับตัวแทนมากกว่าหนึ่งรายการการเชื่อมต่อภายในของมันจะต้องเปิดเผยอย่างเต็มที่ – รวมถึงวิธีการสื่อสารส่วนประกอบข้อมูลที่พวกเขาเก็บรักษาไว้และวิธีการตัดสินใจของพวกเขา
ข้อมูลใด ๆ ที่ส่งผ่านระหว่างระบบ – โดยตรงหรือโดยอ้อม – จะต้องติดตามผ่านบันทึกการตรวจสอบ การควบคุมด้วยตนเองจะต้องตรวจสอบการประสานงานของระบบและนักบินยุคแรกเกี่ยวกับบริการที่มีความเสี่ยงต่ำสามารถช่วยเปิดเผยปัญหาการรวม
2. ทดสอบพฤติกรรมที่ซ่อนอยู่ – ไม่ใช่แค่การตอบสนองพื้นผิว
แบบจำลองสามารถเกิดขึ้นได้อย่างปลอดภัยเมื่อทำการทดสอบและประพฤติตัวแตกต่างกันในการตั้งค่าสด ซัพพลายเออร์จะต้องดำเนินการทดสอบทีมสีแดงที่ออกแบบมาเพื่อกระตุ้นการขาดความล้มเหลวยาใหม่ผลข้างเคียงที่เกี่ยวกับเรื่องเล็กหรือขยายอคติและรวมถึงผลลัพธ์ในกรณีความปลอดภัย
ในแบบคู่ขนานระบบจะต้องสร้างรายงานเอาต์พุตรายวันที่ตรวจสอบโดยผู้นำทางคลินิกหรือดิจิตอลที่กำหนดเพื่อจับปัญหาที่ลึกซึ้งซึ่งการประชุมสีแดงอาจพลาด
3. ตรวจสอบสำหรับการดำเนินการทางความหมาย
เครื่องมือ AI ไม่สอดคล้องกันเสมอไป เมื่อเวลาผ่านไปพวกเขาสามารถใส่เอาต์พุตแตกต่างกันละเว้นข้อมูลคีย์หรือเปลี่ยนวิธีการสรุปอินพุตที่คล้ายกัน
การอัพเกรดพื้นหลังสามารถเปลี่ยนพฤติกรรมของแบบจำลองได้อย่างเงียบ ๆ และแนะนำการเปลี่ยนแปลงที่ไม่ได้ตั้งใจโดยไม่ต้องมีการดูแลทางคลินิก จดหมายสรุปหรือธงที่สร้างขึ้นแต่ละตัวจะต้องลงชื่อเข้าใช้กรอบเวลาคงที่ของการสร้างและตรวจสอบเมื่อเวลาผ่านไปสำหรับการเปลี่ยนแปลงเสียงหรือความหมาย
ขั้นตอนการปฏิบัติงานมาตรฐานจะต้องกำหนดกระบวนการตรวจสอบของมนุษย์และรวมถึงขั้นตอนการย้อนกลับโดยใช้ระบบแมนนวลหาก AI เบี่ยงเบนจากฟังก์ชั่นที่ตั้งใจไว้
จุดบอดที่สำคัญในมาตรฐาน AI สำหรับการดูแลสุขภาพคืออะไร?
พลุกพล่านใช้ AI AID แบบปรับตัวภายใต้มาตรฐานที่ยังไม่สอดคล้องกับวิธีการทำงานของระบบเหล่านี้ในทางปฏิบัติ
EU Flakes Medical AI เป็นความเสี่ยงสูง แต่ขึ้นอยู่กับเอกสารคงที่ สหรัฐอเมริกาต้องการมาตรการป้องกันในวงกว้างและการประชุมสีแดง แต่ไม่ได้รับการรักษาพฤติกรรมที่ซ่อนอยู่กับเอเจนต์หลายตัวเป็น steganography
ไม่มีระบบสุขภาพที่มีการพัฒนามาตรฐานสำหรับเงื่อนไขความล้มเหลวของ AI ที่ไม่ซ้ำกันเช่นการหลอกลวงการดำเนินงานประสิทธิภาพหรือการประสานงานที่ซ่อนอยู่
มีคนตาบอดด้านความปลอดภัยที่สำคัญในการดูแลสุขภาพ เท่าที่ฉันรู้มันไม่ปรากฏว่าไม่มีระบบสุขภาพได้พัฒนามาตรฐานสำหรับโหมด AI -Fiasko ที่ไม่เหมือนใครเช่นการหลอกลวงการทำงานหรือการประสานงานที่ซ่อนอยู่ พลุกพล่านอาจเป็นคนแรก
ระบบเหล่านี้ไม่ได้เป็นทฤษฎี พวกเขาจะถูกนำไปใช้ในขณะนี้และความเสี่ยงเป็นจริง เราไม่สามารถรอได้
ฉันเชื่อในการยกของ AIS และความสามารถของ NHS ในการเป็นระบบการดูแลที่เปิดใช้งาน AI-Octivated มากที่สุดในโลกโดยการรักษาความปลอดภัยเป็นเป้าหมายที่เคลื่อนไหวซึ่งปรับให้เข้ากับเครื่องมือด้วยตัวเอง
ความคืบหน้ากำลังดำเนินการ NHS England ได้เปิดการทบทวนอย่างเป็นทางการของ DCB0129/DCB0160 นอกจากนี้ยังมีการเผยแพร่คำแนะนำผู้ซื้อสำหรับพระคัมภีร์โดยรอบที่เปิดใช้งานและขอให้องค์กรหยุดใช้เครื่องมือการเขียนที่ไม่ได้ลงทะเบียน
ซอฟต์แวร์/AI ของหน่วยงานกำกับดูแลเป็นโปรแกรมการเปลี่ยนแปลงอุปกรณ์ทางการแพทย์คือการอัปเดตกฎตลอดวงจรชีวิต
NHSE กรมอนามัยและการดูแลสังคมและการดูแลคุณภาพได้มีระบบ AI ที่มีการเตือนล่วงหน้าเพื่อตรวจสอบปัญหาด้านความปลอดภัยของผู้ป่วยในข้อมูล NHS
งานตอนนี้คือการเปลี่ยนการเคลื่อนไหวระดับชาติเหล่านี้ให้กลายเป็นเวอร์ชันการควบคุมรายวันเส้นทางการตรวจสอบและการย้อนกลับของทีมคลินิก
Yvette Khozam เป็นเภสัชกร EPMA ที่ West London NHS Trust เธอยังเป็นสมาชิกของ Digital Health Networks CCIO Advisory Panel และ Digital Health Leadership Program