ユーザビリティテストでユーザーの「行動」から課題を探る（調査の背景・観点と浮かび上がった5個の重要課題）

NBDCでは初の試みとして、ユーザビリティテストを実施しました。調査の背景から調査目標、結果までご紹介します。

はじめに

こんにちは、NBDC企画運営室の眞後（しんご）です。

ユーザビリティテストは、ユーザビリティ上の課題を見いだすための調査手法の一つです。 ユーザーがシステムを操作する様子を直接観察します。一つ一つ操作する際に、感じていることを発言してもらうことで、行動と行動に紐付く心理状態の両面を記録し、分析することが特徴です。

NBDCでは、2019年2月から3月にかけて「Integbioデータベースカタログ」、「生命科学データベース横断検索」を対象としてユーザビリティテストを実施し、モニターとして9名の研究者にご協力いただきました。おかげさまで、多くの示唆が得られたと思っています。

本稿では、調査の背景と、「Integbioデータベースカタログ」（以下、「カタログ」と略します）における調査内容やその結果をご紹介します。

なぜユーザビリティテストなのか ―― ユーザーとの協業に向けたNBDCの活動

NBDCでは、生命科学系データベースの統合に向けた研究開発を推進しており、その成果の一端として複数のWebサービスを運営しています（参考：研究開発の成果（サービス））。

各サービスへのご意見・ニーズは次のようなかたちで常時承っています。

上記の他にも個別にインタビューへ伺ったり、アンケート調査を行ったりすることもあります。
しかし、ご意見を多くの方から集めることは容易ではありません。もっと気軽にご意見をいただけないものか、と開発する側としては悩むばかりです。

ただ、このように悩む一方で、一利用者としての私自身、日常生活で利用するwebサイト、アプリの製作者にフィードバックすることはほとんどありません。
多少気になる箇所があったとしても、もしかしたら私の勘違いで使い方が悪いだけかも知れないし、私のような使い方をする利用者は少数かも知れません。第一、せっかく提供していただいているサービスにネガティブな点だけを伝えるのは気が引けるのです。
開発者へフィードバックを行うには相当強いモチベーションが必要です。

また、期間を区切って実施される利用者アンケートには、できるだけ協力するようにしています。
ただ、普段感じていることを細大漏らさず伝えることはできるはずもなく、その場で思い出せる、直近のあるいは印象が強い内容について触れる程度になってしまいます。
アンケートに回答したあと、「あれも伝えたかった」「背景情報含め、こういう風に伝えるべきだった」など反省することも少なくありません。

サービス提供を行うNBDCに配属され、ユーザーの声のありがたさを日々感じている私ですらこんな状態なのですから、多くの利用者にとっては開発者に意見を伝えることなど考えも付かなかったり、直面している問題を言語化するのにもっと苦労したりしているのかもしれません。

これらを踏まえると、多くのユーザーがサービスを使って実際に感じていることと、開発者がユーザーから受け取る「声」から分かることとの間には少なからぬ差異があるのではと思われます。

そこで、ユーザビリティテストです。
ユーザビリティテストは、前述の通り、ユーザーの「行動」を直接観察し、その行動を取った理由を尋ねます。ユーザーの「声」だけからは分からない、新たな気づきを得ることができるかもしれません。

今回、実際に役立つ情報を得られるかを検証するため、試行的にユーザビリティテストを実施する事にしました。

「ユーザビリティ」とは何か？ JIS規格の定義

調査結果をご紹介する前に、そもそも「ユーザビリティ」とはなんでしょうか。

「使いやすさ」？

「利便性」？

「直感性」？

なんだか分かるような、分からないような...。
果たして、そのような漠然としたものを評価できるものでしょうか。

...と、筆者も1年前は思っていたのですが、ユーザビリティにもきちんと定義があるのです。

2019年1月に制定された日本産業規格（JIS）「JIS Z 8530:2019（人間工学－インタラクティブシステムの人間中心設計）」では以下の通り説明がなされています。

つまり、ユーザビリティが「使いやすさ」の事だということには変わりなさそうですが、

を指標とし、

といった条件を定めて、はじめて議論・評価できるものとのことです。

上記JIS規格は、2010年に制定された国際規格「ISO-9241-210:2010」の一致規格でもあります。上記ユーザビリティの定義は、国際的にも受け入れられているもののようです。

ユーザビリティテスト調査の概要

以下、先述の通り、「カタログ」の調査内容と結果をご紹介します。

今回の調査は、専門のユーザビリティテスト調査会社に依頼して実施しました。なお、本調査を通じ、NBDC職員は事前アンケート回答者やモニターについて、個人同定に繋がりうる情報は受けとりませんでした。

1.ユーザビリティテストの調査設計（目標およびモニター属性・調査シナリオなど）

カタログにおける閲覧者の想定行動フローは下図の通りです。

サービス開発者との打合せにより、この行動フローのうち、本調査で明らかにしたい点、調査モニター属性および調査シナリオを次の通り整理しました。

2.モニター希望者の募集

2月18日から3月3日（当初2月28日締切りとしていたところ回答状況を踏まえて延長）にかけ、Webアンケートにてモニター希望者を募りました。
全回答者は61名で、そのうち「調査に協力できる」と回答いただいた方は40名でした。
ご回答いただいた、研究経験の有無、カタログを含む生命科学関連のWebサービスの利用経験有無・頻度、調査協力可能日時を踏まえ、カタログの調査モニターとして5名選定し、うち4名にご協力いただきました。
ご協力いただいた方はいずれも大学もしくは研究所に所属する現役の研究者でした。

3.実調査

モニター1名ずつ、オンライン会議システムを用いて行いました。調査の所要時間はモニター1名当たり60分強でした。
ファシリテーターの指示に基づいて上述の調査シナリオに沿ってカタログを操作していただいたあと、振り返り質問を行いました。
操作して感じたことは全て発話していただくこととし、操作画面および発話内容は丸ごと記録しました。

なお、実調査はNBDCが委託した調査会社が実施、NBDC職員は同席しませんでした。

ユーザビリティテストの結果（概ね好評価だが、31個の課題も見つかった）

以下、調査によって見つかった課題をご紹介します。

振り返り質問に対しては概ね肯定的な回答を受けた

全体として、いずれのモニターからも高評価をいただきました。
例えば、「サービスのコンセプトがトップページからすぐに理解できる」、「検索結果画面や詳細画面には知りたい情報が十分掲載されている」といった評価をいただくことができました。

振り返り回答を踏まえる限り、絞り込み機能には問題ないように思われます。
一方、「期待する検索結果が得られた」という質問に対しては、比較的厳しい回答をいただきました。

行動観察からは31個の課題が見つかった

また、結果から、31個の課題が見つかりました。
これらの課題について、重要度を判断するため、ユーザビリティの3つの要素（有効さ・効率性・満足感）、発生頻度（高・中・低）の2軸で分類したところ、下表の通りとなりました。

特に重要な課題は5個

上表のうち特に重視すべきなのは、複数名のモニターで発生していて、タスクの達成そのもの（有効さ）に影響を与える課題（上表の「高」「中」かつ「有効さ」に分類される課題）と考えました。

該当の5件について、以下に概要を記します。

上記を俯瞰すると、ユーザーは、どんな検索キーワードを入力すればよいか悩み、提供している絞り込み機能を使いこなせておらず、自分に役立つと思える情報にたどり着きにくくなってしまっていることが分かります。
モニターの行動からは絞り込み機能や情報提示に問題があるように思えるのに、振り返り質問ではモニター全員満足していると回答しているのは、興味深い点です。

もちろん、たった5名を対象に1回だけ行った調査ですので、課題の全てが見つかったわけではなく、他にもっと優先度の高い課題が隠れている恐れはあります。このため、これまでにいただいたご意見・ご要望と合わせて判断していく必要があります。

重要課題への対応状況

本調査を踏まえた対応について、一例をご紹介します。

検索機能の改良

今回の調査では、各モニターが、自身の研究テーマに合致する、比較的粒度の細かいキーワードで検索し、検索結果に1件も表示されない場面が見受けられました。

カタログの検索機能では、入力されたキーワードと完全に一致する場合のみヒットします。
収録情報中のテキストに出現しない用語で検索した場合、それが類語であろうがヒットすることはありません。従って、似た意味を持つキーワードが複数ある場合、ユーザーは、全て入力してみる必要があります。
望ましい検索結果が表示されなかったとき、入力キーワードが原因なのか、そもそも適したデータベース情報が収録されていないのかが分からず、ユーザーが戸惑う一因になっていると想像されます。

上記のような問題の緩和策はいくつか考えられますが、そのうち「類義語検索機能」を追加できないかと考えています。
類義語検索とは、ある単語で検索するとき、似た意味を持つ別の単語（例えば「旅館」と「ホテル」など）で同時に検索する機能です。

入力されたキーワードだけではなく、類似する（あるいはより大きな語義の）言葉による検索結果を合わせて提供できれば、目的に適う情報がヒットする場面が増える可能性があります。

類義語検索機能の実装には、類義語の辞書が必要です。
JSTシソーラスを形態素解析エンジンの「MeCab」のユーザー辞書用に整備した「科学技術用語形態素解析辞書」を利用することを検討しています。

また、上記以外にも、「検索キーワードの例を表示する」、「（モニターに充分認識されていなかった）サイドカラムのカテゴリー一覧を目立たせる」などにより、検索に用いるべきキーワードを類推させることなども考えられます。
類義語検索の効果を検証しつつ、こうした解決策についても合わせて実装を検討して行く必要があるかもしれません。

調査を振り返って開発担当者が感じたこと

この調査結果について、カタログの開発担当者は次のようにコメントしています。

調査を終えて

今回、カタログを対象としたユーザビリティテストを実施しました。
調査によって今後の改善に向けた貴重な情報を多数得る事ができました。調査結果の分析をさらに進め、サービスの改善につなげていきたいと思います。

今回、モニターの希望者を募るための事前アンケートには、予想を超える人数にご回答をいただきました。
多くの方々のお申し出をお断りすることとなってしまい、大変申し訳なく思います。ただ、モニター希望者が集まるかどうかは、調査実施前の大きな不安要素の一つでしたので筆者としてはほっと胸を下ろしたのも事実です。
お断りした方々にも、次の機会に改めてお手を挙げていただけますと幸いです。

本調査ではオンライン会議アプリを利用したリモートでの実施としましたが、これは正解だったと思います。
ユーザビリティテストは、モニターに指定の場所に集まっていただくケースも多いようですが、移動を前提とする調査では、こんなに多くの方々にモニター希望の手を挙げていただくことは難しかっただろうと思います。

最後になりますが、事前アンケートにご回答いただいた皆様、また何よりモニターとしてご協力いただいた9名の皆様に感謝申し上げます。

本調査の設計、調査、分析は、株式会社ポップインサイトの白石 啓氏に実施していただきました。深く感謝申し上げます。

データベース情報を随時募集中です

データベース情報の収録は、主に4省連携に基づく各機関の調査や、英国FAIRsharingとの連携（参考：【Integbioデータベースカタログ】FAIRsharing.org由来のレコード617件を追加しました）に基づいて随時行っているものの、もし収録漏れかも？と思われるデータベースがありましたら、ぜひ以下に情報をお寄せください！

お送りいただく情報は、URLだけでも結構です。
担当がデータベースを確認し、収録情報を作成します。

NBDC研究員として研究開発に取り組みませんか

NBDCの研究員として、カタログをはじめとしたwebサービスの運用や研究データ・データベースの統合に向けた研究開発に取り組みませんか？

NBDCでは現在、研究員を募集しています。詳細は採用情報ページをご覧ください。