ระดับเนื้อหา: Overview / Implementation considerations
หลักการและการเลือกใช้
การประเมินโมเดลเป็น protocol ที่ผูกคำถาม ชุดทดสอบ และเกณฑ์ยอมรับเข้าด้วยกัน ไม่ใช่การเลือก metric หลังเห็นผล ต้องแยกการเลือกโมเดลบน validation จากการสรุปผลด้วย holdout อิสระ
Protocol คือกติกาที่ตกลงก่อนเริ่มว่าทดสอบอะไร ใช้ข้อมูลใด และผลแบบไหนยอมรับได้ ต้องเริ่มจากการตัดสินของผู้ใช้ เช่น ต้องอ่านทุกเรือนหรืออนุญาตส่งคนตรวจบางกรณี Tolerance คือขอบเขตความคลาดที่ยอมรับตามงาน ไม่ใช่คะแนนที่เลือกให้ตรงผลของโมเดล การกำหนดก่อนช่วยให้ผลต่ำก็ยังมีประโยชน์ชี้ว่าต้องแก้ส่วนใดหรือขอบเขตใดยังใช้ไม่ได้
วิศวกรกำหนดหน่วยตัวอย่างตามอุปกรณ์ วัน หรือสถานที่ที่ต้องนำไปใช้ใหม่ แล้วกันข้อมูลไม่ให้บริบทเดิมรั่วไปทั้งสองฝั่ง พร้อมล็อกตัวอ่าน การปรับภาพ เกณฑ์ และคำตอบอ้างอิง การประเมินเป็นระบบทั้งกระบวนการจึงต้องรวม no-read และข้อมูลขาด ไม่เฉพาะภาพที่ตอบได้ ความเป็นอิสระของคำตอบและความไม่แน่นอนของเครื่องมืออ้างอิงต้องระบุเพื่อไม่โยนความผิดทุกส่วนให้โมเดล
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
ตัวอย่างในบริบทอุตสาหกรรม
ตัวอย่างเชิงออกแบบ: ทดสอบตัวอ่านเกจบนอุปกรณ์และวันใหม่ เทียบกับค่าอ้างอิง พร้อมระบุ tolerance ตามช่วงการใช้งานและขั้นตอนเมื่ออ่านไม่ได้
สมมติผลเฉลี่ยดีแต่เกจชนิดหนึ่งพลาดหลายครั้ง การรวมทุกชนิดอาจทำให้ผ่านกติกาที่อ่อนเกินไป ควรมีผลรายกลุ่มและกรณีที่ต้องไม่ส่งค่า เช่น หน่วยไม่ชัดหรือเข็มถูกบัง ผู้ตรวจควรเห็นภาพและที่มาคำตอบเพื่อแยกว่าค่าอ่านผิดหรือการเทียบเกิดคนละเวลา ไม่ตัดภาพกลุ่มนั้นทิ้งแล้วขยายผลว่าพร้อมใช้กับเกจทุกชนิดบนแผง
วิศวกรจัดรายการทดสอบพร้อมเวอร์ชันระบบและขั้นตอนอ่านอ้างอิง ใช้ข้อมูลจำลองตรวจสูตรและสถานะ ก่อนวัดภาพจริงที่เก็บอย่างเหมาะสม หากพบข้อผิดแล้วแก้รุ่น ต้องบันทึกว่าชุดที่เปิดดูนั้นใช้พัฒนาต่อแล้ว และเลือกข้อมูลอิสระสำหรับสรุปใหม่ การมีขั้นตอนเมื่ออ่านไม่ได้ช่วยให้การทดสอบเห็นภาระคนตรวจและความสามารถของระบบ ไม่ทำให้ผลผ่านด้วยการนิยามใหม่หลังเห็นคำตอบ
ขั้นตอนศึกษาและทดลอง
- 1 ตกลง acceptance ตามผลเสียของอ่านผิด พลาด และ no-read
- 2 กัน test ตาม site/device/time ให้ตรงการนำไปใช้
- 3 ล็อกโมเดล threshold และ protocol แล้วทดสอบพร้อมวิเคราะห์ failure slice
วิธีประเมินและนิยามผล
รายงานขนาดตัวอย่าง ความคลาดเคลื่อนพร้อมช่วงความไม่แน่นอน อัตราใน tolerance และ coverage หากเฟรมสัมพันธ์กันให้สุ่มหรือประมาณช่วงตามกลุ่ม ไม่ถือทุกเฟรมเป็นตัวอย่างอิสระ
Coverage คือสัดส่วนข้อมูลในขอบเขตที่ระบบให้ผลใช้ได้ ซึ่งต้องบอกตัวหารชัดเจน การอ่านเฉพาะภาพง่ายอาจมีความคลาดต่ำแต่ coverage ต่ำ ควรรายงานร่วมกันและแยกเหตุปฏิเสธ ช่วงความไม่แน่นอนของผลสรุปขึ้นกับวิธีและการสัมพันธ์ของข้อมูล ไม่ใช่การรับรองว่าความผิดในอนาคตอยู่ในช่วงนั้นทั้งหมด ต้องอธิบายความหมายและข้อจำกัดด้วยภาษาที่ผู้ใช้เข้าใจ
วิศวกรตรวจผลรายอุปกรณ์ สภาพแสง และช่วงสเกล พร้อมภาพผิดที่มีผลต่อการตัดสิน หากเฟรมติดกันมีเข็มเกือบเหมือนกัน ให้ใช้กลุ่มตามวิธีที่เหมาะสมในการประมาณผล ไม่เพิ่มความมั่นใจจากจำนวนเฟรมซ้ำ ตรวจการทำซ้ำด้วย manifest และค่าเกณฑ์เดิม และระบุว่าผ่านข้อใดไม่ผ่านข้อใด ไม่สรุปผ่านทั้งหมดจากคะแนนหนึ่งที่ดีหรือจากการไม่มีความผิดในกลุ่มเล็ก
ข้อจำกัดและกรณีผิดพลาด
ชุดทดสอบเล็กอาจไม่พบความผิดพลาดหายาก การผ่านหนึ่งโรงงานไม่ยืนยันความเหมาะสมทุกสถานที่ และการดู test ซ้ำเพื่อปรับโมเดลทำให้ผลเอนเอียง
สิ่งที่ไม่พบในการทดสอบไม่ได้แปลว่าไม่มีโอกาสเกิด ต้องรายงานขอบเขตและจำนวนกลุ่มที่ตรวจจริง โดยเฉพาะกรณีหายากซึ่งมีผลรุนแรง การเพิ่มข้อมูลจากฉากเดิมช่วยบางส่วนแต่ไม่แทนข้อมูลสถานที่ใหม่ที่มีวัสดุ มุม และการตั้งค่าต่างกัน หากหลักฐานยังไม่พอ ควรระบุว่ายังประเมินไม่ได้และออกแบบการติดตามหรือการส่งคนตรวจแทนการขยายคำรับรอง
การประเมินที่เข้มงวดเพิ่มต้นทุนแต่ช่วยไม่ให้เลือกวิธีที่ชนะเฉพาะชุดพัฒนา ต้องรักษาเส้นแบ่งระหว่างการปรับกับการสรุปผล และมีเกณฑ์ทบทวนเมื่อระบบหรือข้อมูลเปลี่ยน แนวทางตรวจจากเอกสารเป็นกติกาสำหรับออกแบบ ไม่ใช่หลักฐานรับรองผลิตภัณฑ์หรือความเหมาะสมกับวงจรควบคุมอันตราย การตัดสินนำไปใช้ต้องพิจารณากระบวนการงานและผู้รับผิดชอบร่วมกับผลโมเดล
รายการตรวจสอบก่อนนำไปใช้
- มี protocol ก่อนเริ่มหรือไม่
- reference และผู้ตรวจเป็นอิสระพอหรือไม่
- มีเกณฑ์ทดสอบซ้ำเมื่อเปลี่ยนระบบหรือไม่