BizRobo!のDesktop Automationでの選択方法を知ろう

皆さんこんにちは!開発エンジニアのYOです。

最近は暖かくなったかと思いきや、急に冷え込んだりと、なかなか落ち着かない季節ですね。
体調の変化に気をつけつつ、今日も頑張っていきましょう!

さて、本日はBizRobo!による対象の選択、そのなかでもDesktop Automation(以下DA)での
選択方法を学んでいきたいと思います。

■ゴール

DAでの複数の選択方法を知る
・オブジェクトで選択
・画像で選択
・座標で選択


■BizRobo!で行うこと

今回はブラウザに表示された血液型をボタンで選択する画面から「AB型」を選択する、
ということを以下3つの方法で行います。

1.オブジェクト認識でボタンを選択する

2.画像認識でボタンを選択する

3.座標でボタンを選択する

 

1.オブジェクト認識でボタンを選択する

まずは下準備としてエディターを開き、今回作業対象となる血液型の選択画面を選択しました。
また、自動実行をONにしておきましょう。

それでは、レコーダービューから「AB型」ボタンを左クリックします。
AB型が緑色の枠で囲われたことがわかりますでしょうか。

今度は緑色の枠内を右クリックしましょう。
メニューが表示されたら「クリック」、「Left」の順に選択します。

AB型のボタンがクリックされ、メッセージが表示されました。
このようにオブジェクト選択は対象を指定して動作させることができます。

 

2.画像認識でボタンを選択する

では、もしボタンを選択しても緑枠が表示されない、つまり選択できない場合はどうしたらいいでしょう。
ここでは2つ方法があり、その一つが「画像を認識させる方法」です。

では、今回選択したい「AB」型ボタンの少し左上にカーソルを移動、左クリックしたままボタンの右下までドラッグしましょう。
するとドラッグした範囲が紫色の枠で囲われます。

では、その紫の枠の中をクリックして「クリック」、「Left」を選択します。

すると、オブジェクト選択同様に「Left Click」がオートメーションワークフローに表示されます。
ただ今回はその中、「Location Found」の下の「Component」をクリックして中を確認します。

 

いかがでしょうか。先程紫で囲んだ画像が表示されていますね。

これは先ほどのオブジェクトによる選択のように「AB型ボタン」をクリックするステップではなく、
「ABと表示されている画像」をクリックするステップとなっています。
作成できた方は実行してみましょう。全く同じ動作結果が得られるはずです。

 

3.座標でボタンを選択する

それでは最後の方法です。ここでも2と同様にボタンをクリックしても選択できない場合に使用します。
2では画像を認識してクリックを行いましたが、今度は場所を指定してクリックする方法です。

ではやってみましょう。まずは「A」型のボタンを選択し、緑枠で囲われたら枠内を右クリック、「クリック」、「Left」の順に選択します。

ご覧の通り、「A」型のボタンをクリックするステップが登場しました。

ではこれを修正します。Left Clickの中にある「Move Mouse」を開きます。

さらに一番下にある「Offset」を開き、「None」から「Use」に変更します。

すると「X」「Y」の2つが登場しました。

ではここで「A」ボタンの左上あたりにマウスカーソルを近づけましょう。
すると下にある色のついた四角の数字が変わります。ここではオレンジの四角を確認しましょう。
きれいに左上にカーソルが移動できると「0.0」と表示されます。

これは、「A」ボタンを選択したことで、その左上部分が座標「0.0」になったことを表しています。
この座標「0.0」は先程の「X.Y」を表します。

 

では今回選択したい「AB」ボタンの座標を確認しましょう。カーソルを「AB」ボタンの今度は真ん中あたりに移動します。
するとオレンジの四角の表示が変わったのがわかりますでしょうか。画面では「217.20」となっていますね。
これが「A」ボタンから見た「AB」ボタンの位置、つまり「座標」を表しています。

では、先程のXを選択しましょう。入力枠が登場します。

ここには先程しらべた座標「217」を入力します。

何もないところをクリックして確定します。

同様に「Y」には「20」を入力し確定します。これで完成です。
実行すると同じ結果が得られるはずです。

 

ちょっとおさらいをしましょう

・最初に「A」ボタンをクリックするステップを作成
・Offsetを「Use」に変更、これで座標による設定が可能となります。
・「AB」ボタンの真ん中あたりにカーソルを移動して「X.Y」の座標を確認
・「X.Y」に確認した数値を入力して完成

このように、ステップの中の「Offset」を「Use」にすることで、
「A」ボタンがある座標(場所)を基準に「AB」ボタンがどれだけ離れているかを登録し、
そこをクリックする、ということができました。

いかがでしょうか。3つの選択方法のどれを使ったら良いかについては、

1.オブジェクトによる選択(画像や位置が変わっても動作する)
2.画像による選択(位置が変わっても動作するが、画像が大きく変わると動作しない)
3.座標による選択(画像が変わっても動作するが、位置が変わると動作しない)

とおぼえていただければ大丈夫です。

 

■最後に

いかがでしたでしょうか?
今回はBizRobo!での対象物の選択方法を案内させていただきました。

実際にロボットを作ってみると、思うように対象が選択できないこともよくあります。
その場合はこのブログの内容を思い出していただければ幸いです。

KYOSOPRAS+ではRPAの導入支援、運用保守だけでなく、
将来的な社内のRPA定着化に向けた教育や研修までトータルにサポートさせていただいておりますので、
もしご不安やご相談がございましたら、お気軽にお問い合わせください。