前回に引き続き、Power Automate Desktopについて検証をしていきます。

＞＞前回記事はこちら
Power Automate Desktopを使ってみた：前編（インストール～画面構成について）

Yahoo！路線情報の検索（アクション追加編（断念））

動作検証とは言え何か課題が無ければ、感覚が掴みにくいので、
Yahoo!路線情報のサイトから料金を取得するサンプルを構築してみたいと思います。

ちなみに、失敗例です。WebページのUI要素の取得がうまく動きませんでした。

今回は動作検証なので下記の手順を自動化して行いたいと思います。
1. Yahoo！路線情報 に ブラウザでアクセスする。
2. 出発に「大阪」を入力する。
3. 到着に「東京」を入力する。
4. 検索ボタンを押す。
5. 料金一覧画面を表示する。

1.Yahoo！路線情報 に ブラウザでアクセスする。

Webオートメーション　＞　新しいChromeを起動する　をドラッグ＆ドロップします。

初期URLに Yahoo！路線情報のURLを指定して、「保存」をおします。

なお、詳細を開くと、ページが読み込まれるまで待機しますが既定値で有効になっている点や、
起動したChromeが Browser という変数が自動的に割り当てられている点は分かりやすく好印象です。

「保存」すると1つのアクションがMainというフローに表示されます。
この調子でフローを追加していけば、問題なく完成しそうですね。

 

2.出発に「大阪」を入力する。

Webオートメーション　＞　Webフォーム入力　＞　Webページ内のテキストフィールドに入力する　
をドラッグ＆ドロップします。

 

先ほど作成したアクションで生成された変数 Browser がWebブラウザーインスタンスに指定されていますね。

今回の想定では、1つしかブラウザを利用しないのであまり意識する必要がありませんが、
どのブラウザかを意識しなければいけないような仕組みであれば、指定内容が正しいか確認しなければなりませんね。

出発の入力欄を指定する必要があるため、以下のUI要素を選択する必要がありそうです。
「新しいUI要素」の追加をクリックします。

このようなウインドウが表示されるため、実際にYahoo！路線情報をブラウザで開いて、要素を取得してみましょう。

「UI要素の上にマウスカーソルを合わせて、その周りにフレームが表示されるまでキャプチャし、
　Ctrl ＋ 左矢印を押してからクリックしてここに追加します。」
とありますが、なかなか、この指示に従って要素をクリックしても上手く動きません。

結論としては、「Ctrlキーを押しながら、左クリックする」ことで要素を取得できました。日本語版の翻訳ミスか何かでしょうか？
ここまで、特に詰まることなく、分かりやすく操作出来ていましたが、ここで長い時間詰まりましたね。

要素が取得できたので、「完了」ボタンを押下します。

しかし、ここで問題発生です。

先ほどの画面で、必死に取得できたはずの要素が、ここで選択できません。

表示するUI要素はありませんとなりました。システムのバグなのでしょうか？
使い方が間違っている可能性もありますが、今のところ、使い方が分かっておりません。

画像認識で、出発にフォーカスする、キー送信で入力するといった手順であれば、出来なくはなさそうですが、
WebサイトのDOM要素の取得はかなり使い勝手が悪い印象を受けます。

今後改善されることを期待したいと思います。

 

Yahoo！路線情報の検索（Webレコーダ編）

UI要素の読み取りは上手く活用できなかったのですが、気を取り直して、
Excelのマクロの記録に似た機能である Webレコーダというものを利用してみたいと思います。

利用するブラウザを選択します。Chromeを選択しました。
インストールの時に、拡張機能もインストール済みなので、改めて指定する必要はなさそうです。

記録の開始ボタンを押してから、実際にWebを操作することで、アクションが生成されていく仕組みです。
初めからある程度ここで操作して、アクションのテンプレートを作り、編集画面で修正する方が良いのかもしれませんね。

Webレコーダーの「記録の開始」ボタンを押し、Web画面にて出発に”大阪”　、到着に”東京” を入力して検索ボタンを押しました。
最後にWebレコーダーの「終了」ボタンを押すことで、アクションを記録できました。

前後には、コメントが入るようですね。

今回はこれだけの操作なので、コメントの恩恵は余りないですが、
操作の途中にWebレコーダーを活用してアクションを追加するのであれば、分かりやすいと思います。

あとは、再現できれば完璧です。再生ボタンを押してみましょう。

検索結果の画面はスクロールしましたが、無事、検索結果の画面に遷移することが出来ました。

 

まとめ

インストールについては特に迷うことはありませんでした。
準備としてはMicrosoft Accountが必要なことくらいですね。

簡単な動作検証として「Yahoo！路線情報から料金を調べる操作の自動化」を行いましたが、
WebのUI要素の取得が、上手くいかず他のRPAツールと比べ貧弱に感じました。

Webレコーダーを利用したアクションの追加であれば、問題なく操作を再現出来たので、指定の方法が悪かっただけかもしれません。

Windows10 ユーザであれば、無償で利用できるようになったということは大きく、
アクションの種類も豊富であるため、自動化の手段として十分に選択肢になり得るという所感です。

以上、「Power Automate Desktop」の検証でした。