เวกเตอร์แทนความหมายและการค้นหา: ความคล้ายช่วยเรียกค้น ไม่ใช่หลักฐาน

1. ตัดสินใจก่อนว่าเวกเตอร์แต่ละตัวแทนอะไร

เวกเตอร์แทนความหมายหรือ embedding คือชุดตัวเลขที่เรียนรู้ให้การเปรียบเทียบบางชนิดมีประโยชน์ พิกัดเหล่านั้นไม่ใช่รายการวัตถุที่อ่านออกได้โดยตรง และไม่ใช่คำรับรองเหตุการณ์ งาน CLIP เรียนรู้ตัวแทนภาพกับข้อความที่สัมพันธ์กันจากคู่ข้อมูล เพื่อให้คำบรรยายเรียกค้นภาพที่ใกล้เคียงได้ สำหรับคำถามเดิม “หาผู้หญิง เสื้อแดง ถือกล่อง เวลาประมาณ 13:00” ความใกล้ของเวกเตอร์เสนอผู้สมัครได้ แต่ยังพิสูจน์ไม่ได้ว่าเสื้อ บุคคล และความสัมพันธ์ถือกล่องเป็นองค์ประกอบเดียวกัน

ต้องเลือกหน่วยที่เวกเตอร์เป็นตัวแทนอย่างตั้งใจ ภาพตัดบริเวณบุคคลช่วยเน้นเสื้อผ้า แต่อาจตัดมือหรือกล่องออก ภาพทั้งเฟรมเก็บบริบทรอบข้างไว้ แต่บุคคลขนาดเล็กอาจมีอิทธิพลต่อเวกเตอร์น้อย คลิปวิดีโอแทนการเปลี่ยนแปลงตามเวลาได้เท่าที่ตัวเข้ารหัส การฝึก และการสุ่มเฟรมรองรับเท่านั้น การเฉลี่ยเวกเตอร์จากหลายเฟรมไม่ได้ทำให้รู้จักการหิ้วหรือพากล่องไปโดยอัตโนมัติ จึงควรเก็บพิกัดภาพตัด รหัสเฟรม หรือช่วงคลิป เพื่อกลับไปตรวจหลักฐานจริง ไม่ถือว่าเวกเตอร์ทุกชนิดเล่าฉากได้เหมือนกัน

2. ระบุเรขาคณิตและทิศทางคะแนนให้ชัด

เมื่อเวกเตอร์ x และ y ไม่เป็นศูนย์ ความคล้ายแบบโคไซน์เท่ากับผลคูณจุด dot(x,y) หารด้วยผลคูณความยาวของเวกเตอร์ทั้งสอง ผลคูณจุดหรือ inner product อาจได้รับอิทธิพลจากขนาดของเวกเตอร์ที่เก็บไว้ ไม่ใช่เพียงทิศทาง ระยะยูคลิด L2 วัดความห่าง จึงต้องการค่าน้อยสำหรับเพื่อนบ้านใกล้ ส่วนโคไซน์และผลคูณจุดต้องการค่ามาก FAISS รายงานระยะ L2 ยกกำลังสองเพื่อหลีกเลี่ยงการถอดราก โดยยังเรียงลำดับเหมือนระยะเดิม ห้ามนำจุดตัดเชิงตัวเลขของตัววัดหนึ่งไปใช้กับอีกตัววัดโดยไม่แปลงความหมาย

ถ้าใช้ผลคูณจุดเพื่อค้นหาแบบโคไซน์ ต้องปรับทั้งเวกเตอร์คำถามและเวกเตอร์ในดัชนีให้มีความยาวหนึ่ง ภายใต้เงื่อนไขนี้ cosine เท่ากับ dot และ squaredL2 เท่ากับ 2 ลบ 2 คูณ dot ดังนั้น dot=0.8 ให้ squaredL2=0.4 แต่ L2 ประมาณ 0.632 ไม่ใช่ 0.4 สมการต้องอาศัยเวกเตอร์หน่วยเหมือนกัน และเวกเตอร์ศูนย์ไม่สามารถปรับความยาวอย่างมีความหมายได้ ต้องตรวจพิกัดที่เป็นจำนวนจำกัด มิติที่คาดไว้ และวิธีปรับความยาวให้ตรงกัน การลดความละเอียดตัวเลขและการปัดเศษอาจเปลี่ยนคะแนนที่วัดได้ และคะแนนเรขาคณิตเหล่านี้ไม่ใช่ความน่าจะเป็นว่าการกระทำเกิดขึ้นจริง

3. กำหนดรุ่นของตัวแทน ไม่ใช่เพียงชื่อแฟ้มดัชนี

เวกเตอร์มีมิติเท่ากันไม่ได้แปลว่าอยู่ในปริภูมิที่เข้ากันได้ การเปลี่ยนน้ำหนักโมเดล ตัวเข้ารหัสภาพ ตัวเข้ารหัสข้อความที่จับคู่ หรือเป้าหมายการฝึก อาจเปลี่ยนความหมายของพิกัด ต้องเปรียบเทียบเวกเตอร์ภาพกับคำถามภายในตระกูลโมเดลและกระบวนการเตรียมข้อมูลที่ระบุว่าเข้ากันได้ เก็บวิธีย่อภาพ นโยบายภาพตัด ตัวแยกหน่วยข้อความ ภาษาที่รองรับ วิธีเลือกเฟรมคลิป การปรับความยาว และรุ่นหลักฐานต้นทาง การค้นหาด้วยภาษาไทยเดิมหรือคำแปลต้องวัดกับโมเดลที่เลือกจริง ความสามารถในภาษาหนึ่งไม่ใช่หลักฐานความสามารถในอีกภาษา

การย้ายรุ่นโมเดลควรสร้างชุดเวกเตอร์ที่มีรหัสแยก หรือสร้างตัวแทนที่เกี่ยวข้องใหม่ให้สอดคล้องกัน พร้อมกติกาชัดเจนว่ารุ่นใดใช้งานอยู่ ห้ามนำเวกเตอร์คำถามใหม่ไปเทียบกับภาพรุ่นเก่าโดยเงียบ เพียงเพราะระบบเก็บข้อมูลยอมรับขนาดเดียวกัน ตัวอย่างด้านล่างแสดงที่มาของหลักฐานและสมมติฐานเรขาคณิต จำนวนผู้สมัครเป็นค่าประกอบคำอธิบาย ไม่ใช่คำแนะนำที่ปรับแต่งแล้ว วันที่ เขตเวลา และหน้าต่างเวลาที่เป็น null หมายถึงยังต้องให้ผู้ใช้ยืนยัน ป้ายรุ่นช่วยจัดระเบียบหลักฐาน แต่ไม่ได้รับรองความเหมาะสมหรือความแม่นยำของโมเดล

{
  "representation": "person_crop",
  "source": {"event_id": "evt-0042", "frame_id": "frame-0081", "region_id": "region-person-1", "revision": "r1"},
  "embedding_space": "paired-image-text-example-v1",
  "normalization": "l2_unit_nonzero",
  "metric": "inner_product",
  "unit_vector_example": {"dot": 0.8, "cosine": 0.8, "squared_l2": 0.4},
  "time": {"clock": "13:00", "date": null, "timezone": null, "window_minutes": null},
  "authorized_only": true,
  "candidate_depth": 100,
  "final_event_depth": 10,
  "execution_state": "needs_user_confirmation"
}

4. แยกการกู้คืนเพื่อนบ้านออกจากความเกี่ยวข้องของเหตุการณ์

การค้นหาแบบตรงเปรียบเทียบเวกเตอร์ทุกตัวที่อยู่ในขอบเขตมีสิทธิ์ด้วยตัววัดที่เลือก ดัชนีแบบ flat สำหรับ L2 และผลคูณจุดของ FAISS ใช้เป็นฐานเปรียบเทียบลักษณะนี้ได้ การค้นหาเพื่อนบ้านใกล้สุดแบบประมาณหรือ ANN แลกความพยายามค้นหา หน่วยความจำ หรือความละเอียดตัวแทน กับการกู้คืนลำดับที่อาจไม่ครบ ดัชนีแบบแฟ้มกลับค้นบางกลุ่ม ส่วนดัชนีกราฟสำรวจบางเส้นเชื่อม การบีบอัดเวกเตอร์อาจเพิ่มความคลาดเคลื่อนอีกชั้น การเปรียบเทียบต้องใช้ชุดข้อมูลที่มีสิทธิ์ รุ่นเวกเตอร์ ตัววัด และคำถามเดียวกัน ไม่กล่าวโทษดัชนีจากความต่างที่เกิดเพราะเปลี่ยนข้อมูลเข้า

ค่า ANN neighbor recall@k วัดว่ารหัสเวกเตอร์จากเพื่อนบ้าน k ตัวแรกของการค้นหาแบบตรง ปรากฏใน k ตัวแรกของแบบประมาณกี่ตัว แล้วหารด้วย k เมื่อชุดที่มีสิทธิ์มีอย่างน้อย k เวกเตอร์ ต้องระบุกติกาคะแนนเสมอและกรณีชุดเล็กกว่านี้ ถ้ากู้คืนได้แปดจากสิบ ค่าเท่ากับ 0.8 ไม่ว่าเพื่อนบ้านเหล่านั้นตอบคำถามหรือไม่ ส่วน recall ของเหตุการณ์ที่เกี่ยวข้องใช้เหตุการณ์ที่ผู้ตรวจตัดสินว่าเกี่ยวข้องเป็นตัวหาร การกู้คืนเพื่อนบ้านครบอาจยังได้ฉากผิดเมื่อเวกเตอร์ไม่แทนความสัมพันธ์ถือ การค้นหาแบบตรงจึงตรงตามเรขาคณิต ไม่ใช่เข้าใจเหตุการณ์สมบูรณ์

5. รักษาข้อจำกัดเมื่อขยายรายการผู้สมัคร

ความลึกของรายการผู้สมัครคือจำนวนที่เก็บไว้ให้ขั้นต่อไปตรวจ ไม่จำเป็นต้องเท่ากับจำนวนเหตุการณ์ไม่ซ้ำที่แสดง หลายเฟรมหรือหลายภาพตัดใกล้กันอาจเป็นเหตุการณ์เดียวและใช้งบรายการหมด การจัดอันดับใหม่ช่วยคัดความสัมพันธ์ผิดในผู้สมัครที่ได้รับ แต่กู้คืนเหตุการณ์ที่ไม่เคยเข้ารายการไม่ได้ ต้องประเมินจำนวนผู้สมัครพร้อมการรวมเหตุการณ์ซ้ำและความพยายามของ ANN เช่น จำนวนกลุ่มที่ค้นหรือความกว้างการสำรวจกราฟ การเปลี่ยนค่าอาจเพิ่มความครอบคลุมแต่ใช้หน่วยความจำหรือเวลารอทั้งกระบวนการมากขึ้น จึงต้องวัดผลแลกเปลี่ยน ไม่สัญญาค่าที่ดีที่สุดสำหรับทุกงาน

ใช้ข้อจำกัดสิทธิ์บังคับก่อนเรียกค้นและจัดอันดับ ผ่านชุดข้อมูลที่ได้รับอนุญาตหรือวิธีค้นที่จำกัดขอบเขตได้ และรักษากล้อง วันที่ เขตเวลา หน้าต่างเวลาที่ยืนยัน และความถูกต้องของค่าตลอดทาง การกรองภายหลังจากรายการอันดับสูงสุดทั่วชุดอาจทิ้งผลทั้งหมด ทั้งที่เพื่อนบ้านมีสิทธิ์ไม่เคยถูกเลือก การเพิ่มจำนวนผู้สมัครไม่ใช่ขอบเขตสิทธิ์หรือหลักประกันค้นครบ ต้องยืนยันบริบทเวลาที่คำถามเดิมขาดก่อนทำงาน ไม่เลือกวันนี้โดยเงียบ ตรวจสิทธิ์ใหม่ก่อนเปิดหลักฐาน และแยกฟิลด์หายหรือค่าไม่ถูกต้องจากศูนย์ที่ถูกต้องและหลักฐานปฏิเสธ

6. ทดสอบความผิดพลาดที่ความคล้ายอาจปิดบัง

ใช้ชุดทดสอบที่มีสิทธิ์และคงที่ มีฐานการค้นเวกเตอร์แบบตรงและคำตัดสินเหตุการณ์แยกกัน ใส่บุคคลขนาดเล็ก มือถูกบัง กล่องแดงข้างคนอื่น เฟรมซ้ำ และเสื้อที่ตรงแต่ไม่ได้ถือกล่อง แบ่งชุดพัฒนาและทดสอบตามกล้องกับวันเพื่อไม่ให้ภาพติดกันรั่วข้ามชุด เปรียบเทียบหน่วยตัวแทนและรายงานว่าเหตุการณ์หายก่อนจัดอันดับใหม่ที่ขั้นใด บริเวณที่ตรวจไม่ได้ทำให้ความสัมพันธ์ไม่ทราบ ไม่ใช่เป็นเท็จ การค้นเพื่อนบ้านมีผลส่งกลับเสมอไม่ได้แปลว่ามีเหตุการณ์ตรงคำถาม

ประเภทบุคคลในคำถามเป็นคำบรรยายการแสดงออกที่ปรากฏตามผู้ใช้ ไม่ใช่ข้อพิสูจน์อัตลักษณ์ทางเพศหรือเพศ ห้ามใช้เวกเตอร์อนุมานลักษณะที่ได้รับการคุ้มครองหรือระบุตัวตน การหมดอายุและลบต้องทำให้สื่อ รุ่นเหตุการณ์ เวกเตอร์ และผู้สมัครในแคชใช้อ้างอิงไม่ได้อย่างสอดคล้อง เพื่อนบ้านเก่ารองรับคำตอบไม่ได้ รายการตรวจช่วยทบทวนให้ทำซ้ำได้ ไม่ใช่ข้ออ้างผลิตภัณฑ์ AIFacon Detection ยังอยู่ในแผน แนวคิดนี้ไม่ยืนยันว่ามีระบบเวกเตอร์ใช้งานแล้ว และไม่กำหนดสมรรถนะ ระดับบริการ นโยบายเก็บข้อมูล หรือการรับรองใด

• ทดสอบเวกเตอร์ศูนย์ พิกัดไม่เป็นจำนวนจำกัด มิติผิด การไม่ปรับความยาว และทิศทางคะแนนกลับด้านก่อนตัดสินคุณภาพเรียกค้น
• ปฏิเสธรุ่นโมเดลคำถามและภาพที่ไม่เข้ากัน แม้จำนวนมิติของเวกเตอร์เท่ากัน
• วัดการกู้คืนเพื่อนบ้านของ ANN เทียบกับการค้นแบบตรง แยกจาก recall เหตุการณ์เกี่ยวข้องหลังรวมผลซ้ำและตรวจหลักฐาน
• ทดสอบขอบเขตที่มีสิทธิ์แคบ งบผู้สมัครน้อย และเฟรมซ้ำ โดยไม่ลดข้อจำกัดสิทธิ์บังคับ
• ทดสอบรุ่นต้นทางที่ถูกลบ ความสัมพันธ์ถูกบัง และคำถามที่ไม่มีผลตรงจริง รักษาสถานะไม่ทราบและตรวจสิทธิ์เปิดหลักฐานใหม่