echoとAnnotationを使ってmablでのデバッグを簡単にしよう #mabljapan

mablでテストに失敗したときに、簡単にデバッグするためのTIPSをCXマネージャのReedさんに教えてもらったのでご紹介。

echo

echoはログとして文字を出力するためのステップです。よって、ソースコードのコメントのように使えば、そのステップあたりで何が行われているか説明を記述できます。変数なども出力できるので、プログラミング的なデバッグも可能です。

mablは賢いので、変数が削除されていたり、名前が変わっていてもechoステップで失敗しない作りになっています。

echoステップでは見出しのマークダウンだけ対応しているようです。「#HEADER1」「##HEADER2」「###HEADER3」と記述すれば、上記のように表示されます。

残念ながら日本語だとうまくいきません。ただし、「 #HEADER ヘッダー」とアルファベットが先に来れば動作しました。

Annotate action

各ステップにはAnnotation(アノテーション)も追加できます。通常、記録していったステップには「Set viewport size to width 1389」のように自動で文字が入りますが、Annotationを使えば好きな文字列を設定できます。

日本語も対応。

Step descriptionはトレーナー上に表示され、Step noteは結果画面などに表示されます。

echoやAnnotationの出力

テストの詳細画面にはこのように表示されます。

結果画面の出力はこうなります。元のテキストも残っていますね。

失敗したテストにもアノテーションを追加する

失敗がまだ簡単な機能しかありませんが、失敗したテストにもアノテーションをつけられます。これによって失敗が分類でき、傾向や対策へとつなげていきます。

The failure category chart
Annotate failed tests

設定していくとダッシュボードに表示されます。すぐには反映されなかったので、おそらく日に1回反映されるのかも。

Ad hoc run(Planを使わず個別実行の場合)だと「Top failure reasons」と「Test run history」からは除外されるのでご注意を。