台灣世曦發表工地影像摘要系統 整合多模態與法規檢索輔助工安巡檢

營建工地每日產生龐大巡檢影像，傳統人工分析耗時且常面臨標準不一及缺乏法規連結等限制。台灣世曦工程顧問聯合淡江大學與雲林科技大學研究團隊，發表「營建工地影像生成文字摘要系統」。該架構整合負責視覺處理的多模態模型、負責推理與摘要的大語言模型，以及結合工安法規資料庫的檢索技術，旨在自動生成場景描述、指出安全缺失成因並對應法規條款。實測驗證顯示，系統在具體物件識別上表現精確，但在非特定物件的環境衛生判斷上仍有待改善。

值得帶走的重點

• 系統架構採用「多模態模型＋大語言模型＋圖像檢索」模式，能提取影像特徵、推論工安缺失成因，並主動檢索結構化法規資料庫以降低法規錯置風險。
• 經專家依四大構面評估，系統在多數工安類別平均得分介於 4.00 至 4.60 間；其中「大型機具」與「機具不當使用」取得最高 4.60 分。
• 系統在「環境衛生」類別的缺失內容符合性得分較低（2.40 分），主因為訓練樣本較少且積水、垃圾等非特定物件特徵難以量化髒亂程度。
• 後續研發重點包括擴充工安案例與新法規知識庫、強化視覺模型、優化檢索準確度，並規劃介接工程專案管理系統（PMIS）與相片管理系統。