Few-Shot Learning

หลักการและการเลือกใช้

Few-shot learning เรียนงานใหม่จากตัวอย่างกำกับจำนวนน้อยโดยอาศัยตัวแทนหรือประสบการณ์จากงานอื่น เช่น prototype ใน embedding space ต่างจากการรับรองว่ารูปไม่กี่ภาพพอใช้งานจริงทุกสภาพ

การเรียนจากตัวอย่างน้อยไม่ได้เริ่มจากไม่มีความรู้เลย มักอาศัยตัวแทนภาพที่เรียนมาก่อน Support set คือภาพตัวอย่างที่ให้รู้จักงานใหม่ ส่วน query set คือภาพที่ต้องตอบโดยอาศัยตัวอย่างเหล่านั้น Prototype เป็นตัวแทนของกลุ่มในพื้นที่ตัวเลข ความคล้ายของตัวแทนช่วยจำแนก แต่ภาพตัวอย่างน้อยอาจไม่แสดงแสง มุม หรือรูปแบบเสียที่ระบบจะพบจริง

วิศวกรระบุ N-way คือจำนวนกลุ่มที่ต้องแยก และ K-shot คือจำนวนตัวอย่างต่อกลุ่ม พร้อมแหล่ง pretraining และวิธีสร้างตัวแทน ต้องนับภาพสัมพันธ์กันอย่างระวัง เพราะภาพติดกันหรือ crop จากต้นฉบับเดียวไม่เพิ่มหลักฐานอิสระเท่าภาพต่างเรือน การออกแบบ episode หรือชุดทดลองจำลองงานใหม่ต้องแยก support กับ query ตามอุปกรณ์และช่วงเก็บให้ตรงข้อสรุปที่ต้องการ

เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน

ตัวอย่างในบริบทอุตสาหกรรม

ตัวอย่างเชิงออกแบบ: ทดลองเพิ่มชนิดหน้าปัดใหม่ในระบบจำแนก โดย support set เป็นภาพจากบางเรือน และ query set เป็นเรือนอื่น ไม่ใช้ crop จากภาพเดียวกันทั้งสองชุด

สมมติภาพตัวอย่างหน้าปัดใหม่มาจากกล้องเดียวในแสงดีทั้งหมด Query ที่มาจากกล้องเดิมอาจง่าย แต่กล้องใหม่มีสีและมุมต่างจนตัวแทนเปลี่ยน ต้องตรวจทั้งงานใหม่ที่ใกล้ข้อมูลต้นทางและงานที่ต่างจริง ไม่กล่าวว่าจำแนกได้ด้วยตัวอย่างน้อยแปลว่าอ่านค่าหน้าปัดได้ด้วย เพราะการจำแนกชนิดกับการหาปลายเข็มและหน่วยใช้คำตอบต่างกัน

วิศวกรสุ่มหลาย support set ที่ไม่ใช้ข้อมูล query เลือกตัวอย่าง แล้วเทียบ fine-tuning ปกติกับ metric learning ซึ่งเรียนวิธีเปรียบระยะตัวแทนในเงื่อนไขข้อมูลเท่ากัน ตรวจภาพไม่รู้จักด้วยเงื่อนไขปฏิเสธ หากวิธีเลือกตัวแทนต้องมีคนช่วย ต้องบันทึกขั้นนั้น ไม่เทียบกับวิธีอัตโนมัติราวกับรับข้อมูลเดียวกัน และไม่เลือกชุดตัวอย่างที่ทำคะแนนดีที่สุดเพียงชุดเดียวมาสรุปผล

ขั้นตอนศึกษาและทดลอง

วิธีประเมินและนิยามผล

รายงานค่าเฉลี่ยและช่วงความแปรปรวนข้าม episode รวม unknown class และ domain ใหม่ จำนวน shot ต้องระบุหลังนับภาพซ้ำและภาพสัมพันธ์กันแล้ว

Unknown class คือชนิดที่อยู่นอกตัวอย่างให้รู้จักซึ่งไม่ควรถูกบังคับเป็นชนิดใกล้ที่สุดโดยไม่มีเกณฑ์ ต้องดูทั้งความถูกของกลุ่มที่รู้จักและจำนวนปฏิเสธภาพที่จริงตอบได้ ช่วงความแปรปรวนข้าม episode ช่วยเห็นความไวต่อภาพตัวอย่าง แต่ยังต้องบอกจำนวนกลุ่มและขอบเขตข้อมูล ไม่ใช้ผลเฉลี่ยจากชนิดคล้ายต้นทางรับรองกับหน้าปัดทุกชนิดที่ไม่เคยเห็น

วิศวกรกัน test class ที่ไม่ใช้เลือกวิธีหรือแหล่ง pretraining ตาม protocol แล้วตรวจ query จากเรือนและกล้องต่างกันอย่างที่ประกาศ ตรวจค่าตัวแทนและการปรับภาพว่าตรงกันก่อนเทียบระยะ หากคะแนนต่ำให้ดูว่าภาพตัวอย่างไม่มีรายละเอียดหรือการแยกกลุ่มคลุมเครือ ไม่เพิ่มชื่อเทคนิคแทนแก้ข้อมูล การอ้าง Prototypical Networks เป็นแนวทดลอง ไม่ยืนยันความสามารถเพิ่มชนิดใหม่ของผลิตภัณฑ์แล้ว

ข้อจำกัดและกรณีผิดพลาด

ตัวอย่างน้อยไม่ครอบคลุมแสงและความชำรุด ความสำเร็จบน class ที่คล้าย pretraining อาจไม่ถ่ายโอนไปเกจลักษณะใหม่

ตัวแทนที่เรียนจากภาพทั่วไปอาจเน้นสีหรือพื้นผิวมากกว่ารูปแบบสเกล ทำให้ชนิดที่ดูใกล้กันแยกยาก การเพิ่มตัวอย่างที่หลากหลายอาจช่วยมากกว่าการเปลี่ยนวิธีระยะ แต่ยังต้องตรวจสิทธิ์และคำตอบกำกับ ไม่ถือว่าจำนวน shot ต่ำเป็นเป้าหมายสูงสุด หากงานต้องการความเชื่อถือในหลายสภาพ ต้องเก็บหลักฐานพอและแสดงขอบเขตที่ยังไม่ยืนยันแทนกล่าวว่ารูปไม่กี่ใบเพียงพอเสมอ

วิธีตัวอย่างน้อยลดงานทำป้ายตั้งต้นบางส่วนแต่เพิ่มความไวต่อการเลือกภาพและภาระประเมินข้ามชุด ควรมีวิธีปฏิเสธและคนทบทวนเมื่อกลุ่มไม่ชัด ตัวอย่างนี้เป็นการวิจัยการจำแนก ไม่ยืนยันการฝึกอัตโนมัติหรือการอ่านอุปกรณ์ใหม่โดยผลิตภัณฑ์ปัจจุบัน และการใช้เอกสารประเมินเป็นกติกาออกแบบ ไม่ใช่การรับรองจำนวนภาพขั้นต่ำหรือผลใช้งานที่ยังไม่ได้ตรวจจริง

รายการตรวจสอบก่อนนำไปใช้

• support และ query เป็นอิสระหรือไม่
• มี test class ที่ไม่ใช้เลือกวิธีหรือไม่
• กำหนด reject เมื่อไม่รู้จักหรือไม่

เอกสารอ้างอิงและอ่านต่อ

• Snell et al. — Prototypical Networks
• scikit-learn — Cross-validation