ระดับเนื้อหา: Overview / Implementation considerations
หลักการและการเลือกใช้
Precision = TP/(TP+FP) วัดความน่าเชื่อถือของผลบวก ส่วน recall = TP/(TP+FN) วัดการพบเป้าหมาย F1 เป็นค่าเฉลี่ยฮาร์มอนิกของสองค่านี้ IoU คือพื้นที่ตัดกันหารพื้นที่รวม และ mAP สรุปกราฟ precision-recall ภายใต้เกณฑ์จับคู่ที่ระบุ
อ่านอย่างง่าย precision ถามว่าในสิ่งที่ระบบแจ้งว่าพบนั้นถูกกี่ส่วน ส่วน recall ถามว่าในสิ่งที่มีอยู่จริงระบบพบกี่ส่วน TP คือพบถูก FP คือแจ้งผิด และ FN คือพลาดเป้าหมาย การเลือกตัวชี้วัดจึงเริ่มจากสิ่งที่ผู้ใช้ต้องตัดสิน เพราะการแจ้งเกจที่ไม่มีจริงกับการพลาดเกจจริงสร้างภาระต่างกัน แม้คะแนนรวมบางแบบจะเท่ากัน
สำหรับวิศวกรต้องนิยามการจับคู่ก่อนนับผล เช่น กรอบต้องซ้อนกับคำตอบมากเพียงใดและอนุญาตให้จับคู่ได้ครั้งเดียวอย่างไร AP สรุปความสัมพันธ์ระหว่าง precision กับ recall เมื่อเปลี่ยนเกณฑ์คะแนน ส่วน mAP เฉลี่ยตามกลุ่มหรือเงื่อนไขที่กำหนด จึงต้องบอกวิธีเฉลี่ยและเกณฑ์ ไม่เทียบตัวเลขจากคนละกติกาเหมือนเป็นผลชนิดเดียวกัน
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
ตัวอย่างในบริบทอุตสาหกรรม
ตัวอย่างสมมติ: พบเกจถูก 8 กรอบ กรอบผิด 2 และพลาด 2 จะได้ precision และ recall เท่ากับ 0.8 แต่ยังไม่บอกว่าค่าแรงดันที่อ่านถูกหรือไม่ ตัวเลขนี้เป็นตัวอย่างคำนวณ ไม่ใช่ผลผลิตภัณฑ์
ในตัวอย่างนี้มีเกจจริงสิบเป้าหมายและมีกรอบที่ระบบเสนอสิบกรอบ ตัวหารของ precision มาจากกรอบเสนอ ส่วนตัวหารของ recall มาจากเป้าหมายจริง แม้มีค่าเท่ากันก็ไม่ใช่ความหมายเดียวกัน หากเปลี่ยนเกณฑ์แล้วเสนอกรอบเพิ่ม ต้องนับใหม่ว่ากรอบเพิ่มถูกหรือผิด ไม่กล่าวว่าการพบมากขึ้นทำให้คุณภาพดีขึ้นโดยไม่ดูภาระตรวจกรอบผิด
สมมติตัวอ่านให้ค่าคลาดจากคำตอบหนึ่งหน่วยและสามหน่วยในสองภาพ MAE เท่ากับสองหน่วย โดยต้องระบุหน่วยเดียวกันทั้งสองภาพ ถ้าหนึ่งภาพอ่านไม่ได้ จะไม่มีค่าคลาดให้เฉลี่ย แต่ยังเป็นผลของระบบที่ต้องรายงานต่างหาก วิศวกรจึงเก็บจำนวนภาพเริ่มต้น จำนวนพบกรอบ จำนวนอ่านได้ และจำนวนผ่านเกณฑ์ความคลาดเพื่อเห็นการสูญเสียในแต่ละขั้น
ขั้นตอนศึกษาและทดลอง
- 1 กำหนดหน่วยทดสอบเป็นกรอบ ภาพ หรือเกจและวิธีจับคู่ก่อนวัด
- 2 เลือก confidence และ IoU threshold จาก validation
- 3 รายงาน detector metrics แยก MAE หน่วยจริง สัดส่วนใน tolerance และ no-read
วิธีประเมินและนิยามผล
แจกแจงตัวหาร จำนวนตัวอย่าง และผลรายกลุ่ม เมื่อไม่มีผลบวกหรือไม่มีเป้าหมายต้องระบุ metric ที่คำนวณไม่ได้ ไม่แทนด้วยคะแนนสมบูรณ์
แสดงจำนวนจริงควบคู่สัดส่วนเพื่อให้ผู้อ่านเห็นว่าผลมาจากข้อมูลมากน้อยเพียงใด กลุ่มเกจที่มีตัวอย่างน้อยไม่ควรถูกรวมแล้วหายไปในค่าเฉลี่ย ควรตรวจแยกตามชนิด ขนาด และสภาพแสง พร้อมภาพผิดตัวอย่างที่อธิบายความหมายได้ การรายงานภาพที่ปฏิเสธด้วยช่วยไม่ให้การปรับเกณฑ์เข้มขึ้นทำให้คะแนนดูดีโดยไม่ช่วยการใช้งาน
วิศวกรตรวจโปรแกรมนับผลด้วยกรณีเล็กที่คำนวณมือได้ รวมถึงกรอบซ้ำ เป้าหมายไม่มี และกลุ่มที่ไม่มีผลเสนอ ล็อกเกณฑ์จากชุดพัฒนาก่อนประเมินชุดทดสอบ ไม่ปรับจนได้คะแนนที่ต้องการแล้วเรียกว่าผลอิสระ ควรบันทึกเวอร์ชันคำตอบและขั้นหลังโมเดลด้วย เพราะการเปลี่ยนกติกาจับคู่หรือการกรองกรอบเปลี่ยนตัวชี้วัดได้โดยโมเดลไม่เปลี่ยน
ข้อจำกัดและกรณีผิดพลาด
mAP สูงไม่รับรองการอ่านเลขทศนิยมถูก และค่าเฉลี่ยรวมอาจซ่อนการพลาดเกจชนิดที่พบไม่บ่อย
ตัวชี้วัดสรุปข้อมูลจึงมีสิ่งที่ถูกซ่อนไว้เสมอ เช่น F1 ไม่แยกต้นทุนของกรอบผิดกับกรอบที่พลาด ส่วน MAE อาจซ่อนความผิดมากในบางภาพ การเลือกคะแนนเดียวเป็นเป้าหมายอาจทำให้ทีมปรับระบบเพื่อชนะคะแนนแทนแก้ปัญหาผู้ใช้ ต้องดูการกระจายความผิดและกรณีที่กระทบการตัดสินใจ ไม่ใช้ลำดับคะแนนแทนการอธิบายข้อจำกัดของงาน
เกณฑ์ยอมรับความคลาดต้องมาจากบริบทงานและความไม่แน่นอนของคำตอบ ไม่กำหนดจากผลที่โมเดลทำได้แล้วอ้างว่าเพียงพอ การประเมินตามเอกสารวิธีวัดเป็นเพียงการใช้กติกาอ้างอิง ไม่ใช่หลักฐานการรับรองผลิตภัณฑ์ หากชุดข้อมูลไม่ครอบคลุมสภาพใช้งานจริง ควรระบุขอบเขตตรงไปตรงมาและไม่ขยายผลทดสอบไปเป็นความแม่นยำทั่วไปทุกสถานการณ์
รายการตรวจสอบก่อนนำไปใช้
- นิยาม TP และ tolerance ชัดหรือไม่
- ภาพที่อ่านไม่ได้อยู่ในรายงานหรือไม่
- ผล detection และผล reading แยกกันหรือไม่