使用 Crawl4AI 預先處理網頁內容以匯入 Amazon Bedrock 知識庫

在構建檢索增強生成（RAG）應用時，回答品質取決於擷取資料的整潔度。AWS 發表了一套利用開源 Python 工具 Crawl4AI 預先處理公開網頁資料並匯入 Amazon Bedrock 知識庫的架構方案。雖然 Bedrock 內建 Web Crawler 連接器，但面對需要過濾導覽列等樣板、特定 CSS 範圍選取或附加自訂後設資料的網站，自訂前處理更具彈性。此架構由 Amazon EventBridge 定時觸發運行於 AWS Fargate 上的 ECS 任務，透過 Crawl4AI 抓取目標頁面、生成結構化 Markdown，並產生符合 Bedrock 10 KB 上限的後設資料檔案。處理完成後檔案會上傳至 Amazon S3，再透過 API 啟動 Bedrock 匯入作業，由受管系統自動執行檔案解析、分塊、向量嵌入與索引。AWS 已將完整程式碼發布於範例程式庫中。

值得帶走的重點

• AWS 展示透過開源 Crawl4AI 預先處理網頁內容，將結構化 Markdown 與 JSON 後設資料寫入 S3 以供 Bedrock 知識庫使用。
• 該架構由 Amazon EventBridge 定時啟動 AWS Fargate 任務，利用 CSS 選擇器與修剪過濾器實現受控的網頁擷取。
• 上傳至 S3 後，任務會觸發 Bedrock 匯入 API，自動執行解析、分塊、向量嵌入及儲存至受管向量資料庫。
• 後設資料檔案需依照檔名規則對應並受限於 10 KB，可用於依來源網址、抓取時間戳記等屬性進行檢索過濾。