自動(dòng)化技術(shù)的演進(jìn)與現(xiàn)狀

在數(shù)字化轉(zhuǎn)型的浪潮中，自動(dòng)化技術(shù)已經(jīng)從簡(jiǎn)單的腳本執(zhí)行發(fā)展為具備智能決策能力的復(fù)雜系統(tǒng)。根據(jù)Gartner最新報(bào)告，到2025年，超過70%的企業(yè)將在其業(yè)務(wù)流程中采用某種形式的AI驅(qū)動(dòng)自動(dòng)化。這種轉(zhuǎn)變不僅提高了效率，更重要的是賦予了自動(dòng)化系統(tǒng)前所未有的適應(yīng)性和創(chuàng)造力。

傳統(tǒng)自動(dòng)化工具雖然能夠完成重復(fù)性任務(wù)，但面對(duì)動(dòng)態(tài)變化的網(wǎng)頁(yè)元素、復(fù)雜的用戶交互場(chǎng)景時(shí)往往力不從心。這正是AI技術(shù)可以大顯身手的地方——通過機(jī)器學(xué)習(xí)算法理解上下文，做出智能決策，并實(shí)時(shí)調(diào)整執(zhí)行策略。

傳統(tǒng)自動(dòng)化VS智能自動(dòng)化

流程圖

傳統(tǒng)自動(dòng)化

智能自動(dòng)化

各自特點(diǎn)

代碼對(duì)比

傳統(tǒng)自動(dòng)化

async function testLogin(page) {
  await page.fill('#username', 'testuser');
  await page.fill('#password', 'Pass123!');
  await page.click('#login-btn');
  await expect(page).toHaveURL(/dashboard/);
}

痛點(diǎn)：元素ID變更即導(dǎo)致腳本失敗

智能自動(dòng)化

async function smartLogin(page, ai) {
  const context = {
    pageHTML: await page.content(),
    task: "完成登錄操作",
    constraints: "使用有效測(cè)試憑證"
  };
  
  const plan = await ai.generateActionPlan(context);
  
  for (const action of plan.actions) {
    if (action.type === 'fill') {
      const element = await ai.locateElement({
        page: page,
        description: action.field
      });
      await element.fill(await ai.generateTestData(action.field));
    }
    // 其他動(dòng)作類型處理...
  }
  
  const result = await ai.verifyOutcome({
    page: page,
    expected: "成功登錄"
  });
}

優(yōu)勢(shì)：自動(dòng)適應(yīng)登錄表單結(jié)構(gòu)調(diào)整

使用技術(shù)

Playwright是什么？

Playwright 是由 Microsoft 開發(fā)的一款 跨瀏覽器、跨平臺(tái) 的 Web 自動(dòng)化與測(cè)試工具，支持 Chromium（Chrome/Edge）、Firefox 和 WebKit（Safari）。它提供了一套統(tǒng)一的 API，用于自動(dòng)化瀏覽器操作，適用于：

端到端（E2E）測(cè)試

UI 自動(dòng)化

網(wǎng)頁(yè)截圖 & PDF 生成

爬取動(dòng)態(tài)渲染的網(wǎng)頁(yè)

性能監(jiān)控

詳細(xì)介紹可參考此篇文章：點(diǎn)我跳轉(zhuǎn)

MidScene.js是什么？

MidScene.js 是一款面向智能自動(dòng)化的 AI 場(chǎng)景化編程框架，通過自然語(yǔ)言交互和機(jī)器學(xué)習(xí)能力，賦予傳統(tǒng)自動(dòng)化工具（如 Playwright）認(rèn)知決策能力。它的核心定位是：

AI 增強(qiáng)型自動(dòng)化：將大語(yǔ)言模型（LLM）與自動(dòng)化腳本結(jié)合

低代碼/無(wú)代碼友好：支持自然語(yǔ)言描述任務(wù)場(chǎng)景

多模態(tài)交互：處理文本、圖像、結(jié)構(gòu)化數(shù)據(jù)等多種輸入

企業(yè)級(jí)擴(kuò)展：支持私有化部署和垂直領(lǐng)域微調(diào)

技術(shù)架構(gòu)

網(wǎng)頁(yè)或移動(dòng)應(yīng)用

網(wǎng)頁(yè)自動(dòng)化

與 Puppeteer集成
Puppeteer 是一個(gè) Node.js 庫(kù)，它通過 DevTools 協(xié)議或 WebDriver BiDi 提供控制 Chrome 或 Firefox 的高級(jí) API。Puppeteer 默認(rèn)在無(wú)界面模式（headless）下運(yùn)行，但可以配置為在可見的瀏覽器模式（headed）中運(yùn)行。

安裝依賴

npm install @midscene/web puppeteer tsx --save-dev

demo腳本

import puppeteer from "puppeteer";
import { PuppeteerAgent } from "@midscene/web/puppeteer";

const sleep = (ms: number) => new Promise((r) => setTimeout(r, ms));
Promise.resolve(
  (async () => {
    const browser = await puppeteer.launch({
      headless: false, // here we use headed mode to help debug
    });

    const page = await browser.newPage();
    await page.setViewport({
      width: 1280,
      height: 800,
      deviceScaleFactor: 1,
    });

    await page.goto("https://www.ebay.com");
    await sleep(5000);

    // 

審核編輯 黃宇