Healing Agent ガイド

最終更新日時 2025年11月24日

回復戦略

Healing Agent は、さまざまなシナリオに合わせたいくつかの回復戦略を採用しています。これらの回復戦略は AI ドリブンであると同時に決定論的です。

Healing Agent は、AI ベースで決定論的な回復戦略を採用して、可能性がある一致を新たに生成します。すべての回復戦略の結果を比較して高い精度を確保し、誤検知を最小限に抑えることによって、最終的なターゲット要素を特定します。

注:

Healing Agent AI による回復方法を無効にすると、Healing Agent では、フォールバックとしてレーベンシュタイン距離を使用してテキストを照合します。

ターゲットの定義を変更する回復戦略

ターゲットセレクターまたはアンカーセレクターの属性を 1 つ以上変更すると、Healing Agent によって新しいセレクターが生成され、変更前のセレクターと比較されます。新しいセレクターが同じ要素と一致すると、それに対して Healing Agent によってアクティビティが実行されます。

次の例は、tag 属性と aaname 属性の両方を変更したターゲット UI 要素を示しています。

最初のセレクター	Healing Agent によって生成されたセレクター
`<webctrl id='Country' tag='H2' type='' class='' aaname='Country' />`	`<webctrl id='Country' tag='LABEL' type='' class='' />`

次の例は、セレクターの aaname 属性、class 属性、text 属性を変更したターゲット UI 要素を示しています。

最初のセレクター	Healing Agent によって生成されたセレクター
`<webctrl visibleinnertext='Sign in with another account' tag='P' type='' class='MuiTypography-root MuiTypography-body1 jss32 css-9grhbv' check:text='Sign in with another account' />`	`<webctrl aaname=' Log in with another account' tag='AP-TYPOGRAPHY' type='' class='jss32 light m block inherit hydrated' check:text='Log in with another account' />`

動的にタイミングを調整する回復戦略

アクティビティでは、アクションを実行できるようになるまでに長時間を要することがあります。このような状況で、Healing Agent はどのくらい待つべきかを認識しているほか、必要に応じて修正を提案します。

アンカーとターゲットの位置を変更する回復戦略

レスポンシブデザインでは、解像度や画面サイズを変更すると、デザイン時と実行時でアンカーの位置が変わることがあります。Healing Agent は、ターゲットに対してアンカーを柔軟に配置できるようにすることで、このような状況に適応します。

AppCard のタイトル回復戦略

ブラウザーの AppCard のタイトルが変更された場合、Healing Agent は以下のいずれかの方法で回復を実行できます。

ストラテジ	回復前後の AppCard のタイトル例
大文字と小文字を区別しない	回復前: `google` 回復後: `Google`
次で始まる	回復前: `google` 回復後: `goog`
次の値を含む	回復前: `google company` 回復後: `google`

セマンティックセレクター

セマンティックセレクターは、設計時に定義された UI ターゲット要素の自然言語での記述です。セマンティックセレクターは通常の実行中は使用されませんが、セレクターの失敗を回復するために Healing Agent が動作しているときにのみアクティブ化されるフォールバックメカニズムとして機能します。

「セマンティックセレクター」の画像

AI ベースの回復戦略

Healing Agent では、AI ベースの回復戦略を活用できます。

ターゲット要素を遮るオーバーレイ/ポップアップ

ポップアップ、オーバーレイ、モーダルウィンドウでターゲット要素が隠されると、Healing Agent によって適切なアクションが実行されます。

自動化されたアプリケーションに属するポップアップは、Healing Agent によって閉じられます。
アプリケーションに関係のない外部のウィンドウによって遮られている場合は、Healing Agent はウィンドウを最小化してアクティビティを再試行します。

セマンティックターゲット

入力フィールド、チェックボックス、ドロップダウンに関連付けられているラベルは、意味的に同じ別の文言に書き換えられることがあります。

たとえば、自動化されたアプリケーションに、入力フィールドとして [名] と [姓] があるとします。アプリケーションの更新で、これら 2 つのフィールド名を [ファーストネーム] と [ラストネーム] に変更します。Healing Agent は、セマンティックターゲットの回復戦略を適用して、このオートメーションを修復します。