未分類

第2回 スマホUXラボ「ユーザーテストLive! 見学会～異文化コミュニケーション系Androidアプリ～」に参加しました

by belltail
0
東京湾はあまりお魚，というイメージはないですが（特に僕のような地方出身者にとっては），「江戸前」と言って，寿司ネタとかで人気なんだそうです．そんな江戸前の中ではいまはアナゴが旬だそうですね．

さて，2014年7月4日に，株式会社InnoBetaさんの主催で，『第2回 スマホUXラボ「ユーザーテストLive! 見学会～異文化コミュニケーション系Androidアプリ～」』が開催されましたので，参加してきました．
スマフォアプリ開発をしているわけではないのですが，一般論的なユーザーテストに関しての勉強にもなると思ったので行ってみた次第です．

  1. イベント概要

    1. 当日の流れ
    2. 題材アプリ：Taptripについて
    3. 実験条件
  2. イベント中の記録

    1. オープニングセッションでのGREEさんの事例
    2. 被験者1
    3. 被験者1の振り返り中
    4. 被験者2
    5. 被験者3
    6. Q&A with 樽本さん

      1. Q:ModeratedとUnmoderatedの使い分けは？
      2. Q:パイロットテストの知見は使わないというのはなぜ？
    7. クロージング
  3. 所感・雑感

    1. 内容に関して
    2. イベント全体に関して
    3. 自分の業務にどう活かすか？

イベント概要

  • 日時:2014/7/4 19:30〜
  • 会場:GREEの9階セミナールーム
  • 参加費:3000円（2人同時申し込みなら2000円/人）
  • 講師:樽本徹也さん
  • 内容:実際に公開されているAndroidアプリである「Taptrip」（奇兵隊さん）のユーザテストを生で行い観察する
  • 参加者:実際のスマホアプリエンジニアが多かったみたいです．ゼミごと先生が連れてきたらしい学生さんもいらっしゃいました．
当日の流れ
  1. まず，GREEさんでのユーザーテストの取り組みの紹介
  2. ライブの説明from樽本さん
  3. ユーザーテストライブ×3スロット

    1. 被験者1
    2. 被験者2
    3. 被験者3
  4. QA
  5. クロージング
題材アプリ：Taptripについて

海外の写真&世界中の外国人との会話を楽しむならTaptrip

ということで，世界中の人の投稿した写真を見ることができ，またコメントなどは自動翻訳されるというSNSアプリ．

詳細はhttp://kiheitai.co.jp/service/をご覧ください．

実験条件
  • 被験者は実際のユーザ層を想定して，21〜23歳の学生を男女3名
  • GREEのインターン学生に募集をかけてもらったとのことで，関係者でも何でも無い模様
  • 端末は被験者の私物(Android)

    • 機種なりOSバージョンなりは全く無制限の模様
  • アプリのIDとパスワードは用意されたものだそうです
  • セミナールームとは別室で，モデレータさんと被験者の1:1でテストを行う
  • セミナールームへは遠隔で端末を映した映像と被験者の音声のみ流す

イベント中の記録

主にTwitter上でつぶやいてましたので，自分のツイートと，気になった他の人のツイートを貼ります．

オープニングセッションでのGREEさんの事例

usertest_gree

  • 完全に自前でやってます
  • 10営業日(2週間)を単位として回している

    • 序盤に4日ぐらい使って被験者選定
    • パイロットテスト
    • 本番テスト
    • 分析
  • 被験者を常に数百人プールしている状態

    • すげえな・・・
  • 分析は，横軸に被験者，縦軸にタスクをとった大きな表形式で行う

    • 画面遷移がわかるように，付箋？にスクショを印刷している
    • これを壁一面にぶわーっと貼る
    • 樽本さんも感心
    • 画面遷移が多いなら，特に有効でしょうなー
被験者1

ユーザーテストライブ始まりました！しょっぱなから出るわ出るわ

参加者さんからはこういうコメントも

というのも，テストブースはこういう構成になっています．
usertest_booth
PCの向かい側にユーザーさんが座り，端末を操作する形です．
端末の画面とユーザの操作を同時にカメラで撮影する都合上，どうしても端末は固定せざるを得ません．
となると普段と異なる人差し指操作を強いることになってしまうわけです．

この辺り，なにかいい方法論はあるんですかね．
画面は画面キャプチャで，ユーザ自体はちょっと引いたところからカメラで撮影する…とかいう方法も不可能ではないでしょうが，あまり意味がない気もします．
GoProで撮影すれば？という意見も出ていましたけど，無理でしょう．見る側が100%酔いますｗ

あるいは，そもそも気にする必要が実はなかったりするかもしれないですね．
もうちょっと勉強してみます．

そうこうしてるうちに，この被験者さん序盤はあんまりコメントないなと思っていたのですが・・・

被験者1の振り返り中

被験者1は，画像の表示が遅い点が気になる旨をコメントしていました．
開発者によると，ちょうど負荷が高まる時間帯とのことｗ
また，長いリストでのミスタッチが目立ったようでした．

これに対して，樽本さんのコメント．


被験者2

こんどは女性の被験者．

タスクがわからなくて全くどうにもならない状態になって数分，「えっわからないんですけど(;_;)」状態でした．
被験者1さんはいとも簡単にクリアしていたのですが，人がかわれば違う問題が出てくるものですねー．


それにしてもモデレータさんが助け舟出さなさ過ぎて大丈夫なのかなと思っていた．これに対しては気になったのでQAで質問しました．

タスク設計に関しては，このようなコメントも．


開発者がユーザーテストしようとすると，どうしても機能網羅に目がいっちゃって，あんまり現実的でないユーザーストーリー（ユースケース）をテストに落とし込みそうだなーと思いました．


今回のテストに関して個別のユースケース設定がどうなのかは論じれない（アプリを使い込んでないので）ですが，今後自分がやる機会があれば気をつけないといけないなと思った次第です．

被験者3

次の被験者さんはなかなかユニークな方でした．

タスク設定を越えて，結構楽しくアプリを操作していました．
その過程で，ユーザビリティの低い部分に早くも慣れてしまったりと，これもこれで発見になるようなかんじでした．


あるタスクのとき，被験者さんは「あ，これはFacebookのホームみたいなかんじなんですかね」というコメントをされていました．

Q&A with 樽本さん

4人分ぐらいのQAコーナーがありました．
僕は（時間がないのに空気を読まず）2つの質問をしました．

Q:ModeratedとUnmoderatedの使い分けは？
  • Moderated: モデレータがユーザが躓いた場合に助け舟を出す
  • Unmoderated: 出さない

回答は，一言でどっちが，というには難しそうでした．

  • 基本的にはModeratedがいいでしょう
  • パイロットテスト，つまりテストのためのテストという段階では，Unmoderatedがいいです
  • アプリの性質にもよります

    • 例えば○○を買ってください，とか言うようなタスク達成型ならUnmoderatedでもいいかもだけど，
    • 今回みたいなコミュニケーション型だったらModeratedのほうがいいのかも

Q:パイロットテストの知見は使わないというのはなぜ？

質問の趣旨は，

  • 講師さんは，「今回のはパイロットテストという扱いなので，ちゃんとしたユーザーテストは今度5人ぐらいでやります」とおっしゃっていた
  • 個人的には，今回のテストでかなりの問題点が洗い出せたと思っている
  • その知見を使わないのはもったいなくない？

これに対しては，樽本さんは

  • テストそのものが未完成だから

    • タスクや説明文も不十分

      • このようなユーザーストーリーでいいか？を見極める必要がある
      • 今回もタスク説明書の表記ゆれのせいでユーザが混乱していましたしね
    • 被験者も未完成

      • 一般にパイロットテストでは社内の人など，ユーザーテストには不十分な人を使う

とは言え，同時に

  • 本番ユーザーテストで同じ問題が得られたら，結論を補強するための裏付けに使う
  • 特に今回のに関しては，十分使える知見だと思いますよ，とのこと

ともおっしゃっていました．

パイロットテストの3人と本番テストの5人は明らかに実験条件が違うので，
厳密な分析のためには当然別扱いする必要があるでしょうし，
3人のパイロットテストで多くの知見が得られたからと言って，本番テスト2人で5人分！なんてことはありませんし．

あとは，理由としてこれもあるみたいですね．

クロージング

ユーザーテストは自分たちでやる！！

あと，被験者選定も大事なので，こういう配慮も必要ですね．

所感・雑感

内容に関して
  • 全体的に，楽しかったです
  • 技術者は自分の感覚でよかれと思ったものを作ってしまうので，間違いを間違いと認めるにはこうやって現実を見せつけるしかないですね
  • テスト中に聴衆の方が結構笑っていたんですが，そのことを問題視する声を複数耳にしました

    • 人ごとと思ってるんじゃないの，ということかな
    • 単純にユーザの言動がおもしろい（インドはマッチョ，とか），あるいは「うわー

あるあるだわー」っていう苦笑いだったりとかなら，何も態度として問題はない気がします

  • 一方で，「これはアプリのUIがひどいだろｗ」みたいな笑いだったら，ちょっと自戒するようにしたほうがいいですよね
  • ま，態度の問題なんで，どうでもいいかなと思っています．
イベント全体に関して
  • ちょっと時間が短かったのと，知識ベースを共有したうえでライブに移ればなお効果的だったのではと思った

    • 個人的には，1時間ぐらい前座として樽本さんのご講演があると完璧だったかも
    • とは言え，平日の夜に行うという都合上難しい話ですね
自分の業務にどう活かすか？
　　　 _(⌒i_
　　 _/ーｿノ-ヽ
　　(｜＞　＜ |)
　 (O人 (王|￣￣￣￣|
　　　(⌒( ｦ見せられ|
　　　/￣￣|ないよ！|
　　 ∧　○|＿＿＿＿|
　 ／　￣/￣く
`／　／~￣)　ﾉ
(__ノ　　(＿_)

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です