BizRobo!のDesktop Automationでの選択方法を知ろう

2022.05.19

皆さんこんにちは！開発エンジニアのYOです。

最近は暖かくなったかと思いきや、急に冷え込んだりと、なかなか落ち着かない季節ですね。
体調の変化に気をつけつつ、今日も頑張っていきましょう！

さて、本日はBizRobo!による対象の選択、そのなかでもDesktop Automation（以下DA）での
選択方法を学んでいきたいと思います。

■ゴール

DAでの複数の選択方法を知る
・オブジェクトで選択
・画像で選択
・座標で選択

■BizRobo!で行うこと

今回はブラウザに表示された血液型をボタンで選択する画面から「AB型」を選択する、
ということを以下３つの方法で行います。

1.オブジェクト認識でボタンを選択する

2.画像認識でボタンを選択する

3.座標でボタンを選択する

1.オブジェクト認識でボタンを選択する

まずは下準備としてエディターを開き、今回作業対象となる血液型の選択画面を選択しました。
また、自動実行をONにしておきましょう。

それでは、レコーダービューから「AB型」ボタンを左クリックします。
AB型が緑色の枠で囲われたことがわかりますでしょうか。

今度は緑色の枠内を右クリックしましょう。
メニューが表示されたら「クリック」、「Left」の順に選択します。

AB型のボタンがクリックされ、メッセージが表示されました。
このようにオブジェクト選択は対象を指定して動作させることができます。

2.画像認識でボタンを選択する

では、もしボタンを選択しても緑枠が表示されない、つまり選択できない場合はどうしたらいいでしょう。
ここでは２つ方法があり、その一つが「画像を認識させる方法」です。

では、今回選択したい「AB」型ボタンの少し左上にカーソルを移動、左クリックしたままボタンの右下までドラッグしましょう。
するとドラッグした範囲が紫色の枠で囲われます。

では、その紫の枠の中をクリックして「クリック」、「Left」を選択します。

すると、オブジェクト選択同様に「Left Click」がオートメーションワークフローに表示されます。
ただ今回はその中、「Location Found」の下の「Component」をクリックして中を確認します。

いかがでしょうか。先程紫で囲んだ画像が表示されていますね。

これは先ほどのオブジェクトによる選択のように「AB型ボタン」をクリックするステップではなく、
「ABと表示されている画像」をクリックするステップとなっています。
作成できた方は実行してみましょう。全く同じ動作結果が得られるはずです。

3.座標でボタンを選択する

それでは最後の方法です。ここでも２と同様にボタンをクリックしても選択できない場合に使用します。
２では画像を認識してクリックを行いましたが、今度は場所を指定してクリックする方法です。

ではやってみましょう。まずは「A」型のボタンを選択し、緑枠で囲われたら枠内を右クリック、「クリック」、「Left」の順に選択します。

ご覧の通り、「A」型のボタンをクリックするステップが登場しました。

ではこれを修正します。Left Clickの中にある「Move Mouse」を開きます。

さらに一番下にある「Offset」を開き、「None」から「Use」に変更します。

すると「X」「Y」の2つが登場しました。

ではここで「A」ボタンの左上あたりにマウスカーソルを近づけましょう。
すると下にある色のついた四角の数字が変わります。ここではオレンジの四角を確認しましょう。
きれいに左上にカーソルが移動できると「0.0」と表示されます。

これは、「A」ボタンを選択したことで、その左上部分が座標「0.0」になったことを表しています。
この座標「0.0」は先程の「X.Y」を表します。

では今回選択したい「AB」ボタンの座標を確認しましょう。カーソルを「AB」ボタンの今度は真ん中あたりに移動します。
するとオレンジの四角の表示が変わったのがわかりますでしょうか。画面では「217.20」となっていますね。
これが「A」ボタンから見た「AB」ボタンの位置、つまり「座標」を表しています。