mabl

mablはカバレッジデータなどをグラフィカルに表示し、人間に「インサイト」を与えます。 mablの「Experience Japan 2021」というイベントのキーノートで、mabl創業者兼開発トップのDanと、アトラシアン者のPOが「データとインサイト」について話しているのを聞いて、テスト自動化というものを次の段階に進めるとそうなっていくんだろうな...

たとえば、ユーザ登録の場合、メールが送信されて、そのメールにあるURLをクリックしてアカウントをアクティベートする・・・なんてことがありますが、前にも書いたように、この一連の流れをエンドツーエンドテストとしてmablは実行できます。さらに、mablは添付されたPDFのバリデーションも可能です。

mabl CLIについては前に書いたのですが、これを使えばCircleCI上で簡単テスト実行できることに気が付きました。これは「CI Runner」という機能でまだベータ版なのですが、CircleCIのようなCIサービス上でテストを高速実行できるので、極端に言うとコミットごとにE2Eテスト実行もできちゃいます。

mablはテスト対象を登録すると、それを開こうとするだけのテストや、開いたページのリンクをクローリングしまくるテストを自動実行します。詳しくはmablが自動作成するなにかと便利なテスト「ログインテスト」と「リンク切れチェックテスト」を解説にまとめたので参考までにですが、このテストがなかなかおもしろい使われ方されるようになりました。 コーポレー...

mablの中の人に誘われて、オンラインカンファレンスに参加してきました。テスト界隈のトレンド紹介や、mablの機能ロードマップの紹介からはじまり、各社の事例も聞けてとてもおもしろかったです。

どうやるのが効率的なのかがわかってきたのでメモ。

今後のこういったサービスの発展をお祈りしましてまとめてみました。

細かいところでどうするかメモ。ただ、最終的にJSでがりがり書くのはmablのようなサービスのメリットである「簡単にテストできる」に反するので、サービス側で実装されるのを期待（FBもしておこう）。

まるで関数のようにテスト部品を再利用できるmablのFlowですが、今回のアップデートで引数設定できるようになりました。

データ駆動テスト（Data-driven testing）は Parameterized testingやTable-driven testingとも呼ばれる方法です。mablではテストデータを活用したテストをデータ駆動テストと呼んでいます。今回はDatatableを使ったテストの紹介です。

テスト自動化の肝とも言えるのがCI/CDへの統合です。これによってテストが開発全体の流れに組み込まれ、開発関係者全員が意識せざるを得ません。ある意味で制約となるわけですが、この制約を乗り越えなければ、CI/CDを健康的に運用するのは難しいでしょう。

この記事ではQA自動化ツールmablの運用方法をまとめます。とりあえずmablの基本的な使い方は mablが公開しているドキュメント や よく使う機能を日本語訳したこちらを参考にしてください。

mablでテストに失敗したときに、簡単にデバッグするためのTIPSをCXマネージャのReedさんに教えてもらったのでご紹介。

Selenium IDE exportに「not worry about vendor lock-in when using mabl.」とあるように、mablは基本的にいろんなものをダウンロード/エクスポートできます。それぞれどういうものかをみてみましょう。基本CSV形式です。

自動テストにおいて、失敗したテストケースのデバッグコストはばかになりません。よって、いかにこの運用コストを下げるかが大切になってきます。mablはデバッグに必要なさまざまな情報を提供しています。

E2Eのテストカバレッジ計測はなかなか難しい。ですが、mablの考え方はとてもシンプルです。mablはデフォルトで作成するリンククローラーの2週間分のデータを使って全画面を網羅し、その画面数をベースにカバレッジを出します。

mablのAuto-healing Testsはテストを自動修復する機能です。これによって、たとえばボタンの配置が変わったり、要素のIDが違うけど同じ要素に見えるときに、mablは「よしなに」自動修復してくれます。

mablの活用事例を見たり聞いたりしていると、mablはmablでmablをテストする 〜 QA自動化プラットフォームが実現するDevTestOpsにも書いたのですが、テストとCI/CDとの統合はテスト自動化の重要な成功ファクターのようです。mablだとAPI経由で簡単に統合できます。

mablは自動でテストケースを2つ作成します。ひとつは対象アプリケーションを開いてログインまでをテストする機能。もうひとつはリンクをクローリングする機能です。これらのテストは週次で自動実行されます。