AUTORO desktopでマウスのクリック操作を行なう
この記事では、AUTORO desktopを使用したマウスのクリック操作について紹介します。
この機能は、クラウド版では使用できません。
MouseClickアクション
AUTOROでは、ローカルPC上のマウス操作を実行するためのアクションとして、MouseClickアクションが用意されています。
Clickアクションとの違いは、以下となります。
| 項目 | Clickアクション | MouseClickアクション |
|---|---|---|
| クリック可能な対象 | Webページ上の要素のみ | ローカルPC上に表示された目に見える要素全て |
| クリック可能な種類 | 左シングルクリックのみ ※1 | 左シングルクリック 右シングルクリック 左ダブルクリック 右ダブルクリック |
| キーを押しながらクリック | そのままでは不可 ※ショートカットキーを使用することで代替可能 | 対応可能 |
※１について……
右クリックした際に、システム上の右クリックメニューではなく、専用のポップアップメニューが表示されるWebサイトがあります。
この場合は、SendKeysアクションのショートカットキー操作やJavaScript操作によって、専用ポップアップメニューを出せる場合があります。左ダブルクリックについても同様です。
モード：画像認識
画面上の要素を画像として記録し、クリックの対象とします。
- 「モード（mode）」を「画像認識」に設定します。
- 「ここをクリック（target）」をクリックします。
- 画面が暗くなるので、クリックしたい要素を対角でドラッグ・アンド・ドロップします。
- 要素が画像として記録されます。
実際のクリック位置は、画像の中心です。
モード：ウィンドウ検出 ※Windowsのみ
この機能はWindows環境のdesktop版でのみ利用可能です。
画面上の要素のウィンドウ名やXPathを記録し、クリックの対象とします。
- 「モード（mode）」を「ウィンドウ検出」に設定します。
- 「ここをクリック（windowDetectionTarget）」をクリックします。
- 画面上の要素にマウスカーソルを合わせ、要素が認識されると黄色い枠が表示されます。
その状態でCtrlキーを押しながら左クリックします。
（Escキーでキャンセルできます。） - 要素のウィンドウ名とXPathが取得されます。
画像が変化しても、ウィンドウ名とXPathに変化がなければ、安定してクリックできます。
ウィンドウ名が変化する要素の場合は、画像認識をご利用ください。
ワークフロー設定例
以下に、主要なマウスクリック操作の設定方法と設定例を紹介します。
ウィンドウ検出での要素の指定は、画像変化に強いためおすすめです。
要素が認識できなかったり、ウィンドウ名が変化したりする場合は、画像認識をご利用ください。
クリックしたい対象を画像として記録して、クリック操作します。
ドラッグ・アンド・ドロップで画像を記録する際、以下にご注意ください。
- 画面上に表示されている他の対象と、見た目が被っていないこと
→複数同じ画像がある場合、周りの画像も取り込んで、場所を特定できるようにします - 記録した際と、画像の変化がないこと
→ファイル一覧など、変化する可能性のある箇所は画像に含まないようにします
詳細設定で、画像の信頼度を設定することも可能です。
100に近づくほど、記録した画像と、実際に表示されている画像が似ている必要があります。
画像は、ピンポイントの指定よりも、より広範囲で静的な画像を指定していただいたほうが、場所の特定が安定します。
例えば、
の指定よりも、
の指定のほうが安定度が増します。
「画面内に全く同じ(よく似た)アイコンが2つ存在していて、そのどちらか片方をクリックしたい」
上記の要件の場合、アイコン画像だけを記録すると、どちらのアイコンをクリックしてよいかわからずにエラーとなってしまいます。
ここでは、左側の対象(Chromeのアイコン)をクリックする例を紹介します。
- 左側のChromeアイコンと、
その周辺範囲(左側のExcelアイコンを含む)を記録します。
これによって、右側のChromeアイコンとは被らない画像が記録できます。
このままでは画像の中心をクリックしてしまいChromeのアイコンをクリックできないため、クリック位置をずらします。 - アクションの詳細設定を開きます
- 「右方向へずらす」に、任意のピクセル数を指定します（ここでは75）
- 「下方向へずらす」に、任意のピクセル数を指定します（ここでは10）
- この状態でテスト実行し、クリックできるかを確認します。
※右側のChromeアイコンをクリックする場合
以下のような画像を撮影し、「右方向へずらす」のpxを調整する方法が考えられます。
Shiftキーなど、任意のキーを押しながらクリックしたいときに使用します。
- MouseClickアクションの「クリックして、ホットキーを押下してください」をクリックします。
- 任意のホットキーを実際に押します。
同時に複数キーを押すことも可能です。 - OKをクリックします。