OpenAI發布LifeVal基準測試，揭露AI助理檢索歷史對話個人化資訊仍面臨瓶頸

OpenAI公布日常生活任務基準測試LifeVal，涵蓋照護、教育、購物、個人財務及政府服務等169項任務。評測結合去識別化的ChatGPT對話、記憶、參考檔案與額外背景資訊，檢驗AI以瀏覽器及電腦操作完成任務的能力。研究分析模型運用個人化資訊的成效，結果顯示，在需自歷史對話提取資訊的評分條件中，平均達標率僅33.33%；需使用ChatGPT記憶的條件達標率為47.8%，直接提供背景資訊的達標率則為55.8%。當研究團隊將直接提供的背景資訊移至歷史對話時，相關條件達標率從55.8%下降至41.5%，反映模型從對話紀錄中檢索關鍵資訊的難度較高。在整體LifeVal任務評測中，GPT-6 Astra平均得分80.6%，GPT-5.6為80.0%，GPT-5.2為49.3%。OpenAI已公開該研究論文與結果，但未釋出完整資料集及評測程式，且個人化分析段落未指明所測試的具體模型。

值得帶走的重點

• OpenAI推出LifeVal基準測試，涵蓋169項任務以評估AI助理在照護與財務等情境下的操作表現。
• 在需自歷史對話檢索個人資訊的評分條件中，模型平均達標率僅33.33%，顯示歷史對話利用能力仍受限。
• 當背景資訊改置於歷史對話時，評分條件達標率從55.8%降至41.5%，反映資訊存放位置顯著影響檢索成效。
• 整體評測中GPT-6 Astra平均得分80.6%、GPT-5.6為80.0%、GPT-5.2為49.3%，目前未公開完整資料集與評測程式。