mabl

mablの中の人に誘われて、オンラインカンファレンスに参加してきました。テスト界隈のトレンド紹介や、mablの機能ロードマップの紹介からはじまり、各社の事例も聞けてとてもおもしろかったです。

どうやるのが効率的なのかがわかってきたのでメモ。

今後のこういったサービスの発展をお祈りしましてまとめてみました。

細かいところでどうするかメモ。ただ、最終的にJSでがりがり書くのはmablのようなサービスのメリットである「簡単にテストできる」に反するので、サービス側で実装されるのを期待（FBもしておこう）。

まるで関数のようにテスト部品を再利用できるmablのFlowですが、今回のアップデートで引数設定できるようになりました。

データ駆動テスト（Data-driven testing）は Parameterized testingやTable-driven testingとも呼ばれる方法です。mablではテストデータを活用したテストをデータ駆動テストと呼んでいます。今回はDatatableを使ったテストの紹介です。

テスト自動化の肝とも言えるのがCI/CDへの統合です。これによってテストが開発全体の流れに組み込まれ、開発関係者全員が意識せざるを得ません。ある意味で制約となるわけですが、この制約を乗り越えなければ、CI/CDを健康的に運用するのは難しいでしょう。

この記事ではQA自動化ツールmablの運用方法をまとめます。とりあえずmablの基本的な使い方は mablが公開しているドキュメント や よく使う機能を日本語訳したこちらを参考にしてください。

mablでテストに失敗したときに、簡単にデバッグするためのTIPSをCXマネージャのReedさんに教えてもらったのでご紹介。

Selenium IDE exportに「not worry about vendor lock-in when using mabl.」とあるように、mablは基本的にいろんなものをダウンロード/エクスポートできます。それぞれどういうものかをみてみましょう。基本CSV形式です。

自動テストにおいて、失敗したテストケースのデバッグコストはばかになりません。よって、いかにこの運用コストを下げるかが大切になってきます。mablはデバッグに必要なさまざまな情報を提供しています。

E2Eのテストカバレッジ計測はなかなか難しい。ですが、mablの考え方はとてもシンプルです。mablはデフォルトで作成するリンククローラーの2週間分のデータを使って全画面を網羅し、その画面数をベースにカバレッジを出します。

mablのAuto-healing Testsはテストを自動修復する機能です。これによって、たとえばボタンの配置が変わったり、要素のIDが違うけど同じ要素に見えるときに、mablは「よしなに」自動修復してくれます。

mablの活用事例を見たり聞いたりしていると、mablはmablでmablをテストする 〜 QA自動化プラットフォームが実現するDevTestOpsにも書いたのですが、テストとCI/CDとの統合はテスト自動化の重要な成功ファクターのようです。mablだとAPI経由で簡単に統合できます。

mablは自動でテストケースを2つ作成します。ひとつは対象アプリケーションを開いてログインまでをテストする機能。もうひとつはリンクをクローリングする機能です。これらのテストは週次で自動実行されます。

前回書いたmabl CLI解説の続き。今回はめっちゃ期待できそうなエクスポートの仕組みを調べてみます。mablは「ベンダーロックしない！」と高らかに宣言するオープンを目指したサービス。テストケースもSelenium IDE形式でエクスポートできます。

最近リリースされた「mabl CLI」はmablを簡単操作できるコマンドラインツールです。Node.jpのパッケージとして配布されているため導入も簡単です。

mablや最近のテストサービスでは変数の設定や利用を簡単にできます。これによって、テスト内で使い回したい値や、テストごとに異なってほしい値などを変数として定義し、テストケースの独立性や再利用性を高められます。

先週、QA自動化プラットフォーム「mabl」のイベントに参加・発表させていただきました。後円があって3日間いろいろお話を伺うことができ、自分自身発見が多かったので、ここにまとめておこうとおもいます。テーマは「QA自動化プラットフォームが実現するDevTestOps」です。