亞馬遜商城結合視覺語言模型與 OCR 於 SageMaker AI 評估商品頁面內容品質

Amazon Marketplace 發表了一套利用 Amazon SageMaker AI 評估 A+ Content 品質的自動化架構。由於單獨檢查各別圖片或文字難以察覺整體編排的協調性，該團隊將完整商品頁面渲染為單一畫面，並整合視覺語言模型（VLM）與光學字元辨識（OCR）技術進行全面性分析。 該架構透過評分提示詞讓凍結的 VLM 評估四大維度：視覺敘事、特色呈現、A+ 版面配置及轉換優化；同時藉由 OCR 模型擷取文字位置，量化文字密度、字元密度、間距與整體可讀性等四項排版指標。這八項特徵隨後輸入至 CatBoost 分類器，該分類器由專家標註涵蓋 10 個商品品類共 5,478 個商品詳情頁的數據集訓練而成。 在約 1,100 頁的 20% 保留測試集中，結合 OCR 與 VLM 的 CatBoost 融合模型達到 0.94 準確率與 0.95 的 F1 分數，優於單獨使用 VLM（準確率 0.89）或單獨使用 OCR（準確率 0.82）的表現。此外，系統導入 SHAP 特徵歸因與大型語言模型，將拉低品質評分的關鍵項目轉化為賣家可執行的具體修改建議。

值得帶走的重點

• 評估流程將完整商品頁面渲染為單一影像，以審視整體排版與內容敘事，避免逐項單獨審查造成的落差。
• CatBoost 分類器融合 4 項 VLM 評分與 4 項 OCR 可讀性指標，在測試集中取得 0.94 準確率與 0.95 的 F1 分數。
• 系統利用 SHAP 解釋模型決策，並由大型語言模型針對負向特徵產生具優先順序的修改建議。