【mabl】Unified Runnerでどれくらいテスト実行が早くなるのか測定してみた

こんにちは、品質ソリューション特集部です。

今回は、先日一般提供が開始されたmablの新機能「Unified Runner」の効果の測定結果をご紹介していきたいと思います。

・Unified Runnerの概要が知りたい
・Unified Runnerを使うとどんな効果があるのか知りたい

という方は、ぜひ参考にしてみてください。

Unified Runnerの概要

メインの内容に入る前に、まずは簡単に「Unified Runnerとは何なのか?」を説明します。

Unified Runnerは、より高速なテスト実行を実現するために構築されたmablの次世代テストサービスです。

公式からの情報によると、Legacy Runner(以前までのランナー)と比べてテストの実行速度が平均25%ほど早くなり、さらにクラウドでの実行だけでなく、ローカルでの実行にもこのUnified Runnerが適用されるとのことです。

Unified Runnerは作成したテスト、またはプランごとに設定が可能です。

また、2022年3月21日からの一般提供開始後は、デフォルトでUnified Runnerが適用される設定になっています。

その他、Unified Runnerの詳細については、以下の公式ガイド・ブログをご参照ください。

詳細はこちら

Unified Runnerの効果を測定してみた

それでは、いよいよ本題の効果測定の話に入っていきたいと思います。

今回は、以下の2種類の自動テストを用意し、シンプルな条件で効果の測定を行いました。

測定条件

テスト対象システムにはmabl公式の「mabl sandbox」を使用

・以下の2種類の自動テストで測定
 ・sandboxでのログインテスト
  ・ステップ数:~20
  ・アサーション数:2
  ・sandboxにアクセスし、ログインを行うシンプルなテスト

 ・sandboxでの色々な機能のテスト
  ・ステップ数:~100
  ・アサーション数:10
  ・ログイン後、ファイルのアップロードやドラッグ&ドロップなど、様々な機能の確認を行うテスト

・上記2種類のテストを「Unified Runnerで実行するプラン」「Legacy Runnerで実行するプラン」に設定し、それぞれのプランを3回ずつクラウド実行して結果を集計

このような条件のもと、Legacy RunnerとUnified Runnerとでテストの実行速度にどれくらいの違いが出るかを測定してみました。

その結果がこちら。

3回目の実行の結果

概要でも記載した通り、想定では実行時間が平均で25%速くなるとのことでしたが、ステップ数が少なめなログインテストでは大体同じような結果となりました。

さらに、ステップ数が~100と長めなテストであれば、1つ1つのステップに対しての実行速度が速くなるので効果も実感しやすいみたいです。

今回は、シンプルな条件下での測定でしたが、「条件分岐やループ文などの複雑な処理が入ったテスト」など、今回とはまた違った条件での測定をしてみるのも面白そうですね。

当ブログでも、機会があればまた別の条件下での測定を行ってみたいと思います。

まとめ

以上、「Unified Runnerの効果の測定結果」のご紹介でした。

上記でも記載した通り、Unified Runnerを使えばテストの実行速度の向上が見込めますので、テストの実行速度が遅くてお困りの方はぜひ活用してみてください!

それでは、また次回の記事でお会いしましょう!


現在、mablでは2週間の無料トライアルを実施しており、2週間ほぼすべての機能が無料でお試しできます!

無料トライアル、および製品やサービスにご興味のある方は、以下のリンクからお気軽にお問い合わせください。

また、テクバンの品質ソリューション事業部 特設サイトでは、「ソフトウェアテスト」や「テスト自動化」に関するお役立ち資料を掲載しておりますので、ぜひこちらも合わせてご利用ください!