UI Automation のアクティビティ

最終更新日時 2025年10月20日

出力メソッドまたは画面スクレイピングメソッド

出力メソッドまたは画面スクレイピングメソッドとは、指定した UI 要素や .pdf ファイルなどのドキュメントからデータを抽出することができるアクティビティのことです。

どのメソッドが業務プロセスの自動化に適しているのかを理解するため、各メソッドの違いを見てみましょう。

機能メソッド	速度	精度	バックグラウンドでの実行	テキスト位置の抽出	隠されたテキストの抽出	Citrix サポート
フルテキスト	10/10	100%	○	×	○	×
ネイティブ	8/10	100%	×	○	×	×
OCR	3/10	98%	×	○	×	○

[フルテキスト] は既定のメソッドです。高速で正確ですが、[ネイティブ] メソッドと違ってテキストの画面座標を抽出することはできません。

どちらのメソッドもデスクトップアプリケーションでのみ機能しますが、[ネイティブ] メソッドは、グラフィックスデバイスインターフェイス (GDI) でテキストをレンダリングするように設計されたアプリケーションでのみ機能します。

OCR は 100％正確というわけではありませんが、他の 2 つのメソッドでは抽出できないテキストを抽出するのに便利な場合があり、Citrix を含むすべてのアプリケーションで機能します。Studio は既定で、Tesseract と Microsoft Modi の 2 つの OCR エンジンを使用します。

OCR エンジンの言語は変更することができます。こちらの「OCR 言語のインストール」をご覧ください。

機能メソッド	多言語のサポート	望ましい領域サイズ	色反転のサポート	予想されるテキスト書式の設定	許可された文字の絞り込み	Microsoft のフォントに最適であるか
Google Tesseract	追加可能	小	○	○	○	×
Microsoft MODI	既定でサポート	大	×	×	×	○

さまざまなソースからテキストを抽出する作業を始めるには、[デザイン] リボンタブの [ウィザード] グループにある [画面スクレイピング] ボタンをクリックします。

画面スクレイピングウィザードでは、前述の 3 つのうちいずれかの出力メソッドを使用し、UI 要素を指定してそこからテキストを抽出することができます。Studio では画面スクレイピングメソッドが自動的に選択され、[画面スクレイピングウィザード] ウィンドウの上部に表示されます。

画面スクレイピングのメソッドを変更するには、[オプション] パネルから別のメソッドを選択し、[更新] をクリックします。

満足のいくスクレイピングの結果が得られた場合、[クリップボードにコピー] をクリックし、[完了] をクリックします。後者のオプションでは、抽出されたテキストがクリップボードにコピーされます。これは、デザイナーパネルの [データテーブルを生成] アクティビティに追加できます。デスクトップレコーディングと同様に、画面スクレイピングでは、(トップレベルウィンドウのセレクターを持つ) コンテナーが生成されます。このコンテナーには、各種アクティビティおよび各アクティビティの部分セレクターが含まれます。

画面クレイピングは、種類ごとに異なる機能を 画面スクレイピングウィザードの [オプション] パネルに備えています。

フルテキスト
- [非表示のテキストを無視] – このチェックボックスをオンにすると、非表示のテキストが選択した UI 要素からコピーされません。
ネイティブ
- [フォーマットなし] – このチェックボックスをオンにすると、コピーされるテキストに、テキストからの書式情報が抽出されません。オフにした場合は、抽出されるテキストの相対位置が保持されます。
- 文字情報を取得 – このチェックボックスをオンにすると、Studio は各単語の画面座標も取得します。さらに、[カスタム区切り文字] フィールドが表示されます。区切り文字として使用する文字を指定できます。このフィールドが空の場合は、既知のテキスト区切り文字がすべて使用されます。
Google OCR
- 言語 – 既定では英語のみが使用できます。
- 文字の種類 – どの種類の文字を抽出するかを選択できます。次のオプションを使用できます。[任意の文字]、[数字のみ]、[文字]、[大文字]、[小文字]、[電話番号]、[通貨]、[日付]、[カスタム] です。[カスタム] を選択した場合は、さらに [許可] と [拒否] の 2 つのフィールドが表示され、どの種類の文字をスクレイピングし、どの種類の文字をスクレイピングしないのかを決める独自のルールを作成できます。
- 白黒反転 – このチェックボックスをオンにすると、スクレイピングの前に UI 要素の色が反転します。これは、背景色がテキストの色より暗い場合に便利です。
- 拡大縮小 – 選択した UI 要素または画像の倍率です。数字が大きいほど画像が拡大されます。これにより OCR の読み取り性能を高めることができるため、画像が小さい場合に利用することが推奨されます。
- 文字情報を取得 – スクレイピングした各単語の画面上の位置を取得します。
  
  注: Studio の一部のインスタンスでは、Google Tesseract エンジンにおいて英語以外の特定の言語で機能しないトレーニングファイル (トレーニングファイルについては Wikipedia の『GitHub』を参照) が使用される場合があります。こうした機能しないトレーニングファイルを使用してプロジェクトを実行すると、エラーが発生する場合があります。この問題を修正するには、使用する言語に対応したトレーニングファイルをこちらからダウンロードして、UiPath のインストールディレクトリの tessdata フォルダーにコピーしてください。ダウンロードしたトレーニングファイルが機能するかどうかを確かめるには、こちらのテストプロジェクトをダウンロードできます。
UiPath Screen OCR
- エンドポイント - OCR モデルが公的に、または AI Center の ML Skill を通じてホストされているエンドポイントです。
- API キー - エンドポイントの API キーです。
- 文字情報を取得 – スクレイピングした各単語の画面上の位置を取得します。
- ローカルサーバーを使用 – OCR をローカルで実行する場合は、このオプションを選択します (UiPath.ComputerVision.LocalServer パッケージが必要です)。
Microsoft OCR

重要: Microsoft OCR スクレイピングエンジンは、.NET 5 ワークフローをサポートしていません。

言語 – スクレイピングするテキストの言語を変更できます。既定では英語が選択されています。
拡大縮小 – 選択した UI 要素または画像の倍率です。数字が大きいほど画像が拡大されます。これにより OCR の読み取り性能を高めることができるため、画像が小さい場合に利用することが推奨されます。
文字情報を取得 – スクレイピングした各単語の画面上の位置を取得します。

指定した UI 要素からのテキストの取得に加えて、複数種類の属性の値、UI 要素の画面上の正確な位置、UI 要素の親要素を抽出することもできます。

こうした情報は、[アクティビティ] パネルの [UI Automation] > [要素] > [検出] および [UI Automation] > [要素] > [属性] にある専用のアクティビティを通じて抽出できます。

これらのアクティビティを次に示します。

親要素を取得 – 指定した UI 要素から親要素を取得できます。UI 階層のどのレベルで親要素を検索するのかを指定でき、結果を UiElement 変数に格納できます。
属性を取得 – 指定した UI 要素の属性の値を取得します。画面上で UI 要素を指定すると、使用可能なすべての属性を含むドロップダウンリストが表示されます。
位置を取得 – 指定した UI 要素を囲む境界四角形を取得します。Rectangle 変数のみがサポートされています。