Midscene.js 是一款由人工智能驅(qū)動的自動化 SDK，旨在簡化 UI 自動化測試流程，提升測試效率和質(zhì)量。它通過自然語言交互、多模態(tài)大語言模型（LLM）和可視化工具等核心功能，為開發(fā)者提供了一種高效、直觀的自動化測試解決方案。

Midscene.js官網(wǎng)入口網(wǎng)址：https://midscenejs.com/zh/index.html

Midscene.js開源項(xiàng)目地址：https://github.com/web-infra-dev/midscene

核心功能與特點(diǎn)

• 自然語言交互：用戶可以通過自然語言描述操作步驟，Midscene.js 將自動規(guī)劃并控制用戶界面。例如，用戶可以輸入“點(diǎn)擊登錄按鈕”，Midscene.js 會根據(jù)頁面內(nèi)容自動執(zhí)行點(diǎn)擊操作。支持對數(shù)據(jù)格式的提示，用戶可以要求以 JSON 格式返回預(yù)期結(jié)果，從而實(shí)現(xiàn)更精確的數(shù)據(jù)提取和斷言。
• 多模態(tài)大語言模型支持：Midscene.js 支持使用公共多模態(tài) LLM（如 GPT-4）和開源模型（如 UI-TARS），無需自定義訓(xùn)練即可快速上手。這種設(shè)計(jì)降低了使用門檻，使得非技術(shù)背景人員也能輕松參與測試工作。
• 直觀斷言：用戶可以用自然語言表達(dá)斷言，Midscene.js 基于 AI 理解并執(zhí)行這些斷言，減少了編寫復(fù)雜斷言邏輯的需求，提高了測試的準(zhǔn)確性和可靠性。
• 可視化報(bào)告與調(diào)試工具：Midscene.js 提供詳細(xì)的可視化報(bào)告，幫助用戶輕松理解和調(diào)試整個(gè)測試過程。報(bào)告中包含每個(gè)步驟的執(zhí)行情況和結(jié)果，便于快速定位問題。內(nèi)置 Playground 功能允許用戶在不重新加載頁面的情況下調(diào)整測試腳本，進(jìn)一步提升了調(diào)試效率。
• 高集成性與靈活性：Midscene.js 支持與多種工具集成，包括 Puppeteer、Playwright 和 YAML 腳本等，適用于多種自動化測試場景。用戶可以選擇公共或私有部署模式，確保數(shù)據(jù)安全性和隱私保護(hù)。
• 開源與社區(qū)支持：Midscene.js 是一個(gè)開源項(xiàng)目，用戶可以在 GitHub 上獲取源碼并參與貢獻(xiàn)。官方網(wǎng)站提供了快速體驗(yàn)指南、API 參考文檔和可視化工具，幫助用戶快速上手。

應(yīng)用場景

Midscene.js 適用于多種自動化測試場景，包括但不限于：

• 自動化測試：通過自然語言描述測試步驟，Midscene.js 自動執(zhí)行操作并生成測試報(bào)告。
• 數(shù)據(jù)抓取：從網(wǎng)頁中提取關(guān)鍵信息并以結(jié)構(gòu)化格式輸出。
• 性能監(jiān)控：實(shí)時(shí)監(jiān)控網(wǎng)頁性能指標(biāo)，及時(shí)發(fā)現(xiàn)潛在問題。
• 界面一致性檢查：確保網(wǎng)頁界面在不同設(shè)備和瀏覽器上的表現(xiàn)一致。

技術(shù)原理

Midscene.js 的技術(shù)原理基于自然語言處理（NLP）、界面理解技術(shù)和多模態(tài)大語言模型（LLM）。通過解析用戶的自然語言指令，Midscene.js 能夠理解用戶意圖并生成相應(yīng)的操作步驟。這一過程涉及以下幾個(gè)關(guān)鍵步驟：

• 自然語言解析：將用戶的自然語言描述轉(zhuǎn)換為具體的操作指令。
• 界面理解：通過 AI 技術(shù)分析網(wǎng)頁內(nèi)容，確定操作目標(biāo)。
• 數(shù)據(jù)提取與斷言：根據(jù)用戶需求提取數(shù)據(jù)，并生成斷言以驗(yàn)證測試結(jié)果。

使用方法

1. 安裝 Chrome 插件：用戶可以通過訪問 Midscene.js 官網(wǎng)下載并安裝 Chrome 插件。
2. 編寫測試腳本：在插件中輸入自然語言描述的操作步驟，Midscene.js 將自動執(zhí)行并生成測試報(bào)告。
3. 調(diào)試與優(yōu)化：利用可視化報(bào)告和 Playground 功能，用戶可以輕松調(diào)試和優(yōu)化測試腳本。

Midscene.js 是一款革命性的 UI 自動化測試工具，通過 AI 技術(shù)簡化了測試流程，降低了學(xué)習(xí)曲線。它不僅提升了測試效率和準(zhǔn)確性，還為非技術(shù)背景人員提供了參與測試的可能性。無論是自動化測試、數(shù)據(jù)抓取還是性能監(jiān)控，Midscene.js 都能提供強(qiáng)大的支持。通過開源社區(qū)的支持和豐富的集成選項(xiàng)，Midscene.js 成為了開發(fā)者和測試工程師的理想選擇。