ระดับเนื้อหา: Overview / Implementation considerations
หลักการและการเลือกใช้
คุณภาพข้อมูลครอบคลุมความครบ ความถูกต้อง ความสอดคล้อง ความทันเวลา และความเป็นตัวแทน ข้อมูลภาพที่คมชัดทั้งหมดอาจยังไม่ครอบคลุมสภาพใช้งาน คุณภาพ label และคุณภาพแหล่งอ้างอิงต้องตรวจแยกกัน
ข้อมูลดีหมายถึงเหมาะกับคำถามของงาน ไม่ใช่เพียงเปิดแฟ้มได้ ภาพอาจคมแต่ไม่มีหน่วย หรือคำตอบอาจครบแต่ใช้เวลาคนละช่วงกับภาพ ความเป็นตัวแทนหมายถึงมีสภาพสำคัญที่ระบบจะพบจริง เช่น มุมและแสงต่างกัน การเก็บภาพเดิมเพิ่มจำนวนมากไม่ช่วยเติมช่องว่างเหล่านี้ จึงควรรู้ว่าส่วนใดขาดก่อนวางแผนเก็บหรือแก้ข้อมูล
วิศวกรแยกคุณภาพภาพ คำตอบ และข้อมูลประกอบออกจากกัน พร้อมเกณฑ์ที่ตรวจซ้ำได้ Slice คือกลุ่มข้อมูลตามเงื่อนไข เช่น กล้องหนึ่งในช่วงแสงหนึ่ง ใช้ดูว่าความผิดกระจุกที่ใด ต้องตรวจทั้งจำนวนและความผิดรายกลุ่ม ไม่ให้อัตรารวมซ่อนกลุ่มที่มีน้อย การตั้งเกณฑ์คุณภาพต้องผูกกับสิ่งที่งานต้องอ่านจริง ไม่ใช้คะแนนความคมเพียงค่าเดียวตัดสินทุกภาพ
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
ตัวอย่างในบริบทอุตสาหกรรม
ตัวอย่างเชิงออกแบบ: dashboard ชุดภาพเกจแสดงภาพอ่านไม่ได้ตามกล้อง ช่วงแสง หน่วย และรุ่นหน้าปัด เพื่อชี้ว่าควรเก็บข้อมูลเพิ่มที่ใดแทนการเพิ่มภาพซ้ำจากกล้องเดิม
สมมติผลผิดมากในกล้องหนึ่งช่วงกลางคืน แต่ภาพของกล้องนั้นมีอยู่น้อย การเพิ่มภาพกลางวันจากกล้องอื่นอาจไม่ช่วย ต้องตรวจว่าปัญหาเป็นแสงเบลอ มุม หรือคำตอบกำกับไม่ครบก่อนเลือกแก้ Dashboard คือหน้าสรุปข้อมูลเพื่อชี้จุดตรวจ ไม่ใช่ระบบที่บอกสาเหตุถูกโดยอัตโนมัติ ควรเปิดย้อนดูภาพและประวัติการเก็บได้เพื่อให้ผู้ตรวจตัดสินจากหลักฐาน
วิศวกรตรวจข้อมูลซ้ำด้วยทั้งตัวระบุและเนื้อหาภาพ แล้วตรวจหน่วยกับเวลาที่ผูกกับคำตอบ หากพบภาพเดียวมีคำตอบต่างกัน ต้องแยกว่าเป็นการแก้เวอร์ชันหรือข้อผิดจริง ไม่เลือกคำตอบที่โมเดลชอบมากกว่า แก้ข้อมูลส่วนที่ยืนยันได้แล้วทดสอบบนชุดอิสระเดิม พร้อมบันทึกเหตุผล เพื่อให้เห็นว่าผลเปลี่ยนจากคุณภาพข้อมูล ไม่ใช่การนำภาพยากออกจากรายงาน
ขั้นตอนศึกษาและทดลอง
- 1 ทำรายการมิติคุณภาพและเกณฑ์ตรวจต่อแหล่งข้อมูล
- 2 ตรวจภาพเสีย ซ้ำ label ขัดแย้ง timestamp และหน่วย
- 3 จัดอันดับ error slice แล้วเก็บหรือแก้ข้อมูลเฉพาะจุดก่อนฝึกใหม่
วิธีประเมินและนิยามผล
รายงานทั้งอัตราข้อมูลไม่ผ่านและ task error ราย slice เปรียบเทียบก่อนหลังการแก้ข้อมูลบน holdout เดิม โดยไม่ย้ายภาพยากออกเพื่อทำให้คะแนนดีขึ้น
Holdout คือชุดกันไว้ไม่ใช้พัฒนาซึ่งช่วยตรวจผลกับข้อมูลใหม่ ควรรายงานจำนวนภาพก่อนตรวจคุณภาพ จำนวนผ่าน และจำนวนอ่านได้ พร้อมเหตุผลคัดออก หากความผิดลดเพราะปฏิเสธภาพเพิ่ม ต้องให้ผู้ใช้เห็นภาระตรวจซ้ำด้วย การประเมินต้องรวมกลุ่มที่ไม่ผ่านในขอบเขตงาน ไม่ให้เกณฑ์คุณภาพใหม่เปลี่ยนประชากรทดสอบจนดูเหมือนโมเดลดีขึ้นทั้งหมด
วิศวกรเทียบคุณลักษณะของชุดพัฒนากับข้อมูลใช้งาน และตรวจคำตอบในกลุ่มผิดด้วยผู้รู้เกณฑ์ หากแหล่งอ้างอิงมีความไม่แน่นอน ต้องระบุแยกจากความผิดของตัวอ่าน ตรวจหลังแก้ข้อมูลว่ากลุ่มอื่นไม่เสียผลไป และไม่ใช้ภาพทดสอบเลือกแก้จนผลตรงตามที่หวัง การติดตามคุณภาพต่อเนื่องช่วยชี้ความเปลี่ยนแปลง แต่ยังต้องมีผู้รับผิดชอบยืนยันการตีความ
ข้อจำกัดและกรณีผิดพลาด
ไม่มีคะแนนคุณภาพเดียวที่แทนความเหมาะสมทุกงาน ข้อมูลสมดุลเทียมอาจทำให้ประเมิน false alarm ในการใช้งานจริงผิด
การทำให้จำนวนกลุ่มเท่ากันช่วยบางช่วงฝึก แต่ผลทดสอบต้องอธิบายความถี่ตามขอบเขตใช้งานจริงด้วย กลุ่มผิดปกติที่พบไม่บ่อยอาจทำให้การแจ้งผิดมีสัดส่วนสำคัญ แม้ผลบนชุดสมดุลดูดี จึงต้องแยกบทบาทการจัดข้อมูลเพื่อเรียนรู้กับการจัดข้อมูลเพื่อประเมิน และไม่อ้างผลจากความถี่ที่สร้างขึ้นว่าเป็นภาระงานจริงโดยไม่มีข้อมูลรองรับ
การแก้ข้อมูลเพิ่มต้นทุนตรวจและความเสี่ยงลบสิ่งหายากที่สำคัญ หากภาพไม่สวยแต่เป็นสภาพที่ต้องใช้จริง ควรเก็บพร้อมสถานะ ไม่คัดออกเพียงเพื่อให้ชุดดูสะอาด ต้องกำหนดเจ้าของข้อมูลและประวัติการเปลี่ยนเพื่อทบทวนได้ แนวทางคุณภาพช่วยวางกระบวนการ ไม่ใช่คำรับรองว่าข้อมูลครบทุกกรณีหรือผลิตภัณฑ์มีหน้าสรุปและกลไกตรวจอัตโนมัติดังตัวอย่างแล้ว
รายการตรวจสอบก่อนนำไปใช้
- ระบุเจ้าของแต่ละแหล่งข้อมูลหรือไม่
- แยก missing จากค่าอ่านศูนย์หรือไม่
- ติดตามกลุ่มที่ตัวอย่างน้อยหรือไม่