การผูกความหมายกับช่วงเวลา: ให้ข้ออ้างตรงกับขณะที่มีหลักฐาน

1. นิยามความสัมพันธ์ก่อนหาช่วงเวลาของมัน

การผูกความหมายกับช่วงเวลาหรือ temporal grounding เชื่อมเหตุการณ์ที่บรรยายด้วยภาษาเข้ากับช่วงวิดีโอที่มีหลักฐานรองรับ การปรากฏร่วมกันหมายถึงวัตถุอยู่ในฉากเดียวกัน ไม่ได้แปลว่าบุคคลถือวัตถุนั้น การถือต้องมีหลักฐานการรองรับหรือควบคุมกล่องเดียวกัน ซึ่งอาจเกิดขณะอยู่นิ่ง ส่วนการหิ้วหรือพากล่องไปเพิ่มเงื่อนไขเคลื่อนที่พร้อมวัตถุตามเวลา การเคลื่อนไหวใกล้กันอย่างเดียวไม่บอกว่าใครพากล่องไป ต้องระบุความหมายที่ใช้จริงและมุมมองที่ตรวจได้ งาน TALL ศึกษาการระบุตำแหน่งกิจกรรมตามคำถามภาษา แต่คะแนนจับคู่และขอบเขตที่ทำนายยังเป็นสมมติฐานให้ประเมิน ไม่ใช่หลักประกันทุกความสัมพันธ์

ใช้คำถามเดิม “หาผู้หญิง เสื้อแดง ถือกล่อง เวลาประมาณ 13:00” โดยไม่เปลี่ยนการถือเป็นการพากล่องไปอย่างเงียบ ต้องยืนยันวันที่ เขตเวลา และหน้าต่างโดยประมาณก่อนจำกัดการค้นตามเวลาต้นทาง ประเภทบุคคลเป็นคำบรรยายการแสดงออกที่ปรากฏตามผู้ใช้ ไม่ใช่หลักฐานอัตลักษณ์ทางเพศหรือเพศ ห้ามอนุมานลักษณะที่ได้รับการคุ้มครองหรือระบุตัวตน หลักฐานเสื้อต้องเป็นของบุคคลนั้น และหลักฐานถือต้องผูกบุคคลนั้นกับกล่องเดียวกัน คะแนนภาษาและวิดีโอสูงไม่ยืนยันองค์ประกอบเหล่านี้และไม่ให้สิทธิ์ดูสื่อ

2. คำนวณการทับซ้อนโดยไม่สับสนกับข้อพิสูจน์

กำหนดข้อตกลงช่วงเวลาให้ชัด เช่น ช่วงปิดต้นเปิดท้าย [start,end) หน่วยวินาทีจากต้นชิ้นวิดีโอที่มีชื่อ ระยะส่วนตัดเท่ากับ max(0,min(endA,endB)-max(startA,startB)) ส่วนระยะยูเนียนเท่ากับระยะ A บวกระยะ B ลบระยะส่วนตัด ค่า temporal intersection over union หรือ tIoU คือระยะส่วนตัดหารระยะยูเนียนเมื่อยูเนียนเป็นบวก ช่วงที่แตะกันเฉพาะปลายมีส่วนทับซ้อนเป็นศูนย์ตามข้อตกลงนี้ ป้ายช่วงที่ยาวศูนย์ต้องมีกติกาแยก ไม่ซ่อนการหารที่นิยามไม่ได้ไว้ในผลสำเร็จ

ถ้าช่วงทำนายเป็น [10,18) และช่วงอ้างอิงเป็น [15,23) ทั้งสองยาวแปดวินาที ส่วนตัดคือ [15,18) ยาวสามวินาที และยูเนียนยาวสิบสามวินาที จึงได้ tIoU เท่ากับ 3/13 หรือประมาณ 0.231 JSON แสดงเลขตัวอย่าง ไม่ใช่ผลวัดโมเดลจริง สำหรับหลักฐานประกอบ ต้องตรวจว่าบุคคลและกล่องเข้ากันก่อนตัดช่วงสนับสนุนเสื้อกับช่วงสนับสนุนการถือ เวลาทับซ้อนที่เกี่ยวกับคนต่างกันไม่พิสูจน์ความสัมพันธ์ที่ถาม ช่วงกว้างอาจครอบการกระทำแต่ระบุตำแหน่งไม่ดี จึงต้องตัดสินคุณภาพการทับซ้อนแยกจากความหมายที่หลักฐานรองรับ

{
  "event_id": "evt-0042",
  "source_segment": "cam-03/segment-017",
  "interval_convention": "half_open_seconds_from_segment_start",
  "predicted_interval": [10, 18],
  "reference_interval": [15, 23],
  "intersection_interval": [15, 18],
  "intersection_seconds": 3,
  "union_seconds": 13,
  "temporal_iou": 0.230769,
  "time": {"clock": "13:00", "date": null, "timezone": null, "window_minutes": null},
  "relation_state": "unknown",
  "execution_state": "needs_user_confirmation"
}

3. ถือเวลาที่ไม่ได้สุ่มเป็นส่วนที่ไม่มีข้อสังเกต

การสุ่มเฟรมจำกัดสิ่งที่กระบวนการวิเคราะห์สังเกตได้ ถ้าเก็บภาพที่วินาทีศูนย์กับสอง การส่งกล่องให้กันระหว่างวินาที 0.6 ถึง 0.9 อาจไม่มีภาพการกระทำในชุดที่สุ่มเลย นี่เป็นตัวอย่างกลไกการสูญเสีย ไม่ใช่ข้ออ้างสมรรถนะ การสุ่มถี่ขึ้นอาจลดช่องว่าง แต่ไม่กำจัดการบัง ภาพเบลอ หรือภาพที่ต้นทางส่งหาย การเฉลี่ยตัวแทนคลิปอาจลดอิทธิพลการกระทำสั้นอีกชั้น การจับคู่ฉากก่อนหรือหลังส่งกล่องจึงไม่ยืนยันระยะเวลาของการกระทำ

เก็บเวลาถ่ายจริงและรายการเฟรมที่ใช้ ไม่อาศัยเพียงอัตราเฟรมตามชื่อหรือเลขเฟรมเรียงกัน การเลือกภาพรอบผู้สมัครที่มีสิทธิ์เพิ่มอาจตรวจสื่อต้นทางได้หากยังมีอยู่ แต่สร้างภาพที่ไม่เคยบันทึกหรือถูกลบแล้วกลับมาไม่ได้ ระบุช่วงขาดและอธิบายกติกาประมาณค่าระหว่างภาพ ห้ามเชื่อมช่องว่างยาวแล้วกล่าวว่าถือต่อเนื่องเพียงเพราะภาพแรกกับสุดท้ายคล้ายกัน ประเมินเหตุการณ์สั้นและความผิดพลาดที่ขอบเขตแยกจากกิจกรรมยาวที่เห็นง่าย เพื่อไม่ให้คะแนนรวมปิดบังการพลาดเหตุการณ์สั้นอย่างเป็นระบบ

4. แยกความไม่แน่นอนนาฬิกาจากความไม่แน่นอนการกระทำ

เวลาต้นทางในท้องถิ่น เวลารับข้อมูล และเวลาที่ผู้ใช้ตั้งใจหมายถึงเป็นคนละปริมาณ เก็บค่าเยื้องหรือเขตเวลาของนาฬิกาต้นทาง สถานะการซิงก์ และที่มาของการแก้เวลาเมื่อทราบ การแปลงทั้งหมดเป็น UTC ไม่แก้นาฬิกากล้องที่เดินคลาด และไม่ตอบว่าผู้ใช้หมายถึงวันใด ตำแหน่งเปิดเล่นต้องเชื่อมกับเส้นเวลาต้นทางจริงรวมจุดไม่ต่อเนื่อง การกระทำอาจเห็นชัด แต่ยังไม่แน่ว่าอยู่ในเวลาแบบสัมบูรณ์ที่ถาม ต้องรายงานความไม่แน่นอนสองชนิดนี้แยกกัน

ตัวอย่างเช่น ขอบเขตที่บันทึกซึ่งประเมินความไม่แน่นอนไว้บวกลบหนึ่งวินาที ไม่ควรแสดงราวกับแม่นยำถึงมิลลิวินาที บอกขอบเขตความคลาดที่สมมติ และหากมีประโยชน์ให้พิจารณาขอบเขตเร็วสุดกับช้าสุดที่เป็นไปได้ โดยไม่อ้างการแจกแจงข้อผิดพลาดที่ไม่ทราบ ถ้าความคลาดอาจเลื่อนเหตุการณ์ออกนอกหน้าต่างที่ยืนยัน ให้ระบุว่ายังตัดสินความเข้าเงื่อนไขเวลาไม่ได้ ไม่ขยายหน้าต่างเอง การเทียบข้ามกล้องต้องตรวจนาฬิกาและต้นทางแต่ละแห่ง เวลาบันทึกทับซ้อนอย่างเดียวไม่พิสูจน์เกิดพร้อมกัน และลำดับรับข้อมูลไม่ใช่หลักฐานลำดับการกระทำ

5. จำกัดขอบเขตการเชื่อมบุคคลและเปิดให้ทบทวนได้

แทร็กเชื่อมข้อสังเกตตามสมมติฐานการจับคู่ภายในกล้องหรือช่วงลำดับที่มีขอบเขต หมายเลขแทร็กไม่ใช่อัตลักษณ์บุคคลและห้ามกลายเป็นรหัสข้ามกล้องโดยเงียบ การบัง การเดินตัดกัน การเริ่มระบบใหม่ และเสื้อคล้ายกันอาจทำให้แทร็กแตกหรือสลับการเชื่อม เก็บขอบเขต บริเวณที่สังเกต และความไม่แน่นอนของการจับคู่ การมีป้ายแทร็กเดียวกันบนสองเฟรมไม่ได้พิสูจน์อย่างอิสระว่าบุคคลจริงไม่เปลี่ยน จึงต้องตรวจลำดับเมื่อต้องประกอบคุณลักษณะกับความสัมพันธ์

สร้างหลักฐานจากข้อสังเกตที่เข้ากัน ได้แก่ บริเวณเสื้อที่สัมพันธ์กับบุคคล ภาพมือและกล่องที่รองรับการถือ และช่วงที่การเชื่อมยังมีหลักฐาน ถ้าคนอื่นถือกล่องหลังส่งต่อ ห้ามยืมความสัมพันธ์ช่วงหลังมาทำให้คำบรรยายคนก่อนครบ แยกคุณลักษณะที่คงอยู่จากการกระทำ และระบุกติกาถ่ายทอดสถานะข้ามเฟรมที่อนุญาต การถ่ายทอดเป็นการอนุมานที่ต้องมีกติกาความใช้ได้ ไม่ใช่ข้อสังเกตช่วงที่หาย แสดงบริเวณเกี่ยวข้องและภาพก่อนหลัง เพื่อให้ผู้ตรวจโต้แย้งการเชื่อมที่เสนอได้

6. งดข้อสรุปเมื่อช่วงหลักฐานไม่รองรับคำกล่าว

ใช้สถานะมีหลักฐาน ขัดแย้ง และไม่ทราบสำหรับแต่ละเงื่อนไขและข้ออ้างรวม มือถูกบังทำให้การถือไม่ทราบ กล่องที่เห็นบนโต๊ะอาจขัดแย้งกับนิยามการถือที่แคบได้ เฉพาะเมื่อบุคคลและมุมมองเกี่ยวข้องเอื้อให้ตัดสินเช่นนั้น การไม่มีป้ายจากตัวตรวจจับไม่ใช่หลักฐานปฏิเสธ ถ้ายืนยันคำถามทั้งหมดไม่ได้ ให้งดอ้างว่าเป็นผลตรงครบ หรือระบุชัดว่าเป็นผลบางส่วน อธิบายความครอบคลุมหลักฐานโดยไม่เปิดเผยว่ามีเหตุการณ์หรือต้นทางที่ไม่มีสิทธิ์อยู่หรือไม่

ประเมินตำแหน่งช่วงเทียบข้อมูลอ้างอิงที่ตรวจแล้ว และประเมินความถูกต้องความสัมพันธ์แยกกัน กำหนดค่าคลาดขอบเขตและจุดตัด tIoU ก่อนเห็นผล ไม่เลือกย้อนหลังให้คะแนนดี ทดสอบการทำซ้ำ ช่วงแตะกัน กิจกรรมสั้น นาฬิกาคลาด และการสลับคน สิทธิ์ต้องจำกัดการเรียกค้นก่อนจัดอันดับและตรวจใหม่ก่อนเปิดเล่น หลักฐานหมดอายุหรือเหตุการณ์เปลี่ยนรุ่นต้องไม่ยังรองรับคำตอบผ่านคลิปหรือแคชเก่า AIFacon Detection อยู่ในแผน บทความนี้ให้หลักการเหตุผลตามเวลา ไม่อ้างตัวรู้จำการกระทำที่ใช้งานแล้ว ความแม่นยำเวลาที่รับประกัน ระดับบริการ หรือนโยบายเก็บข้อมูลผลิตภัณฑ์

• แยกการถืออยู่นิ่ง การพากล่องไปขณะเคลื่อนที่ การปรากฏร่วม และการส่งให้บุคคลอื่นในคำตัดสินอ้างอิง
• ตรวจเลขช่วงปิดต้นเปิดท้าย ส่วนทับซ้อนศูนย์ กรณีระยะศูนย์ และค่า tIoU ตัวอย่างที่เท่ากับ 3/13
• ทดสอบกิจกรรมที่อยู่ระหว่างเฟรมที่สุ่มทั้งหมด ช่วงต้นทางหาย และความผิดพลาดขอบเขต โดยไม่ถือว่าไม่ทราบเป็นเท็จ
• ทดสอบวันที่ เขตเวลา และหน้าต่างที่ยังไม่ยืนยัน นาฬิกาคลาด และเส้นเวลาต้นทางไม่ต่อเนื่อง ก่อนตัดสินเงื่อนไขเวลา
• ตรวจการสลับแทร็กที่มีขอบเขต หลักฐานคนกับเวลาไม่เข้ากัน สิทธิ์เปิดเล่นถูกถอน และหลักฐานถูกลบหรือแก้รุ่น ต้องงดข้อสรุปเมื่อการรองรับไม่พอ