国立研究開発法人 科学技術振興機構

ユーザビリティテストでユーザーの「行動」から課題を探る(調査の背景・観点と浮かび上がった5個の重要課題)

2019年12月6日
眞後 俊幸(NBDC)

NBDCでは初の試みとして、ユーザビリティテストを実施しました。調査の背景から調査目標、結果までご紹介します。

はじめに

こんにちは、NBDC企画運営室の眞後(しんご)です。

ユーザビリティテストは、ユーザビリティ上の課題を見いだすための調査手法の一つです。 ユーザーがシステムを操作する様子を直接観察します。一つ一つ操作する際に、感じていることを発言してもらうことで、行動と行動に紐付く心理状態の両面を記録し、分析することが特徴です。

NBDCでは、2019年2月から3月にかけて「Integbioデータベースカタログ」、「生命科学データベース横断検索」を対象としてユーザビリティテストを実施し、モニターとして9名の研究者にご協力いただきました。おかげさまで、多くの示唆が得られたと思っています。

本稿では、調査の背景と、「Integbioデータベースカタログ」(以下、「カタログ」と略します)における調査内容やその結果をご紹介します。

なぜユーザビリティテストなのか ―― ユーザーとの協業に向けたNBDCの活動

NBDCでは、生命科学系データベースの統合に向けた研究開発を推進しており、その成果の一端として複数のWebサービスを運営しています(参考:研究開発の成果(サービス))。

各サービスへのご意見・ニーズは次のようなかたちで常時承っています。

  • 学会等でのワークショップ・ポスター発表・出展ブースにおける意見交換
  • 講習会(統合データベース講習会:AJACS)参加者との意見交換
  • ご意見フォームへの投稿
  • 運営委員会における有識者による審議

上記の他にも個別にインタビューへ伺ったり、アンケート調査を行ったりすることもあります。
しかし、ご意見を多くの方から集めることは容易ではありません。もっと気軽にご意見をいただけないものか、と開発する側としては悩むばかりです。

ただ、このように悩む一方で、一利用者としての私自身、日常生活で利用するwebサイト、アプリの製作者にフィードバックすることはほとんどありません。
多少気になる箇所があったとしても、もしかしたら私の勘違いで使い方が悪いだけかも知れないし、私のような使い方をする利用者は少数かも知れません。第一、せっかく提供していただいているサービスにネガティブな点だけを伝えるのは気が引けるのです。
開発者へフィードバックを行うには相当強いモチベーションが必要です。

また、期間を区切って実施される利用者アンケートには、できるだけ協力するようにしています。
ただ、普段感じていることを細大漏らさず伝えることはできるはずもなく、その場で思い出せる、直近のあるいは印象が強い内容について触れる程度になってしまいます。
アンケートに回答したあと、「あれも伝えたかった」「背景情報含め、こういう風に伝えるべきだった」など反省することも少なくありません。

サービス提供を行うNBDCに配属され、ユーザーの声のありがたさを日々感じている私ですらこんな状態なのですから、多くの利用者にとっては開発者に意見を伝えることなど考えも付かなかったり、直面している問題を言語化するのにもっと苦労したりしているのかもしれません。

これらを踏まえると、多くのユーザーがサービスを使って実際に感じていることと、開発者がユーザーから受け取る「声」から分かることとの間には少なからぬ差異があるのではと思われます。

そこで、ユーザビリティテストです。
ユーザビリティテストは、前述の通り、ユーザーの「行動」を直接観察し、その行動を取った理由を尋ねます。ユーザーの「声」だけからは分からない、新たな気づきを得ることができるかもしれません。

今回、実際に役立つ情報を得られるかを検証するため、試行的にユーザビリティテストを実施する事にしました。

余談ですが、欧州バイオインフォマティクス研究所(European Bioinformatics Institute : EBI)でも、Infection and Immunity ImmunophenotypingのリニューアルやOpen Targets Platformの画面設計にあたり、ユーザビリティテストを実施し、ユーザーからのフィードバックを得たと報告しています。

また、EBIは、自身のビジュアル・ガイドライン「EBI Pattern library」において、ユーザビリティテストを含むユーザーリサーチの一般的手法を紹介しています。

「ユーザビリティ」とは何か? JIS規格の定義

調査結果をご紹介する前に、そもそも「ユーザビリティ」とはなんでしょうか。

「使いやすさ」?

「利便性」?

「直感性」?

なんだか分かるような、分からないような...。
果たして、そのような漠然としたものを評価できるものでしょうか。

...と、筆者も1年前は思っていたのですが、ユーザビリティにもきちんと定義があるのです。

2019年1月に制定された日本産業規格(JIS)「JIS Z 8530:2019(人間工学-インタラクティブシステムの人間中心設計)」では以下の通り説明がなされています。

あるシステム、製品又はサービスが、指定されたユーザーによって、指定された利用状況下で、指定された目標を達成するために用いられる場合の有効さ、効率及びユーザーの満足度の度合い。

JIS Z 8530:2019(人間工学-インタラクティブシステムの人間中心設計)

つまり、ユーザビリティが「使いやすさ」の事だということには変わりなさそうですが、

  • 有効さ:目標を達成する正確さ・完全さ
  • 効率:目的を達成するまでにどれだけのコストがかかるか
  • ユーザーの満足度:目標を達成する上での快・不快、サービスへの肯定感

を指標とし、

  • どのような国・年齢・性別・職種の方が使うのか(指定されたユーザー)
  • どのような日時・場所・デバイスで使うのか(指定された利用状況下)
  • 何の目的で使うのか(指定された目標)、

といった条件を定めて、はじめて議論・評価できるものとのことです。

上記JIS規格は、2010年に制定された国際規格「ISO-9241-210:2010」の一致規格でもあります。上記ユーザビリティの定義は、国際的にも受け入れられているもののようです。

余談ですが、ときにユーザビリティと混同されがちな「アクセシビリティ」という言葉があります。この言葉の定義は「JIS X 8341-1:2010「高齢者・障害者等配慮設計指針-情報通信における機器,ソフトウェア及びサービス-第1部:共通指針」において「様々な能力をもつ最も幅広い層の人々に対する製品、サービス、環境又は施設(のインタラクティブシステム)のユーザビリティ」(3.1)と記述されていまました。
つまり、アクセシビリティはユーザビリティの一種とみなされるもので、「ユーザー」を最も広く捉える一方で「状況」や「目標」は特定したうえで考慮するものだといえそうです。

ユーザビリティテスト調査の概要

以下、先述の通り、「カタログ」の調査内容と結果をご紹介します。

今回の調査は、専門のユーザビリティテスト調査会社に依頼して実施しました。なお、本調査を通じ、NBDC職員は事前アンケート回答者やモニターについて、個人同定に繋がりうる情報は受けとりませんでした。

1.ユーザビリティテストの調査設計(目標およびモニター属性・調査シナリオなど)

カタログにおける閲覧者の想定行動フローは下図の通りです。

カタログにおける閲覧者の想定行動フロー。検索エンジン等からカタログのトップ画面もしくはレコード詳細画面にランディングし、ヘルプページ等や検索結果一覧画面を経由しつつ、外部データベースに移動する。

サービス開発者との打合せにより、この行動フローのうち、本調査で明らかにしたい点、調査モニター属性および調査シナリオを次の通り整理しました。

調査を通じて明らかにしたい点

  1. レコード詳細画面にユーザーが見たいのに載っていない情報、不足している情報があるか
  2. トップ画面の絞り込みのカテゴリーが適切な項目立てになっているか
  3. レコード詳細画面からの再検索に課題があるか
  4. その他、カタログにどのような課題があるか-

調査モニター属性

  • 国内のライフサイエンス系の大学、研究機関や民間企業に所属する研究者もしくは学生。
  • カタログの利用経験のない者

調査シナリオ

  • インターネットで生命科学分野の情報を調べるなかでカタログを見つけ、自分に役立つものかを知るためにアクセスした。
  • 「Integbioデータベースカタログ」を開き、ご自身の研究に役立つ情報がないか操作する。
  • 自分の研究に役立つと思える情報を一つ選ぶ。

※出発ページはトップページ。
※普段、研究に関する情報を調べるときと同じように調べる。
※検索・絞り込み・サブメニューの閲覧などサービスサイト内の行動は無制限。
※他のWebサイトにアクセスした場合、カタログに戻って操作を続ける。
※10分程度経過するか、「研究に役立つと思える情報を見つけることができた」と感じたら行動を完了する。

2.モニター希望者の募集

2月18日から3月3日(当初2月28日締切りとしていたところ回答状況を踏まえて延長)にかけ、Webアンケートにてモニター希望者を募りました。
全回答者は61名で、そのうち「調査に協力できる」と回答いただいた方は40名でした。
ご回答いただいた、研究経験の有無、カタログを含む生命科学関連のWebサービスの利用経験有無・頻度、調査協力可能日時を踏まえ、カタログの調査モニターとして5名選定し、うち4名にご協力いただきました。
ご協力いただいた方はいずれも大学もしくは研究所に所属する現役の研究者でした。

3.実調査

モニター1名ずつ、オンライン会議システムを用いて行いました。調査の所要時間はモニター1名当たり60分強でした。
ファシリテーターの指示に基づいて上述の調査シナリオに沿ってカタログを操作していただいたあと、振り返り質問を行いました。
操作して感じたことは全て発話していただくこととし、操作画面および発話内容は丸ごと記録しました。

なお、実調査はNBDCが委託した調査会社が実施、NBDC職員は同席しませんでした。

ユーザビリティテストの結果(概ね好評価だが、31個の課題も見つかった)

以下、調査によって見つかった課題をご紹介します。

振り返り質問に対しては概ね肯定的な回答を受けた

全体として、いずれのモニターからも高評価をいただきました。
例えば、「サービスのコンセプトがトップページからすぐに理解できる」、「検索結果画面や詳細画面には知りたい情報が十分掲載されている」といった評価をいただくことができました。

振り返り回答を踏まえる限り、絞り込み機能には問題ないように思われます。
一方、「期待する検索結果が得られた」という質問に対しては、比較的厳しい回答をいただきました。

表.モニターA~Dへの質問とその回答をまとめた。回答は4段階評価(◎(そう思う)、○(少しそう思う)、△(あまりそう思わない)×(そう思わない))から選択いただいた。また、「総合的な印象」は、7を最高点とした7段階評価で回答いただいた。

モニター A B C D
今後も研究に利用したいか
カタログについてすぐ理解できたか
トップページのわかりやすさ
期待する検索結果が得られたか
検索結果に表示される内容のわかりやすさ
生物種・タグによる絞り込みやすさ
生物種・タグの項目のわかりやすさ
レコード詳細画面で知りたい情報得られるか
レコード詳細画面から再検索するか
総合的な印象 4 6 5 5 か 6

行動観察からは31個の課題が見つかった

また、結果から、31個の課題が見つかりました。
これらの課題について、重要度を判断するため、ユーザビリティの3つの要素(有効さ・効率性・満足感)、発生頻度(高・中・低)の2軸で分類したところ、下表の通りとなりました。

表.本調査によって見つかった課題を、ユーザビリティの3つの要素(有効さ・効率性・満足感)のいずれに影響するかと発生頻度の高低によって分類した。発生頻度は、モニター3名以上で発生した場合を高、2名を中、1名を低とした。「効率性×低」に分類された課題は件数が多いことから、一部省略した。

発生頻度 有効さ 効率性 満足感
  • 英語と日本語どちらで検索すれば良いかがわからない
  • 「生物種」以外による絞り込み方法が伝わっていない
  • 検索精度が低い印象を与えている
  • 知りたい情報に絞り込むための機能が不足している
  • 収録データベースの範囲が伝わっていない
  • 「カタログ」で再検索するメリットが伝わっていない
  • 「カタログ」で再検索できることがわかりにくい
  • 掲載情報にログインの要否情報が含まれていない
  • 「データベース関係マップ」の使い方がわからない
  • 「遺伝的多様性」のタグの意味がわかりにくい
  • 「タグ<対象>」と「タグ<データの種類>」の意味が伝わりにくい
  • 生物種・タグの絞り込みロジックがわからない
  • 「その他の動物」に含まれる動物がわからない
  • 「休止」のデータベースへのリンクが、混乱を与えている
  • 「カタログ」のメリットが伝わっていない
  • データベースの並び順がわかりにくい
  • 知りたい情報を探すための手がかりが不足している
  • 「カタログ」がどんなサービスであるかという情報提供が不足している
  • 大分類によるカテゴリー分けがされていない
  • 「一括ダウンロード可」がクリックできるような誤解を与えている
  • 生物種・タグの絞り込み結果を別タブで開けない
(他8個は省略)
  • データベースではないように見えるものが収録されている
  • FAQが載っていない
  • データベースを推薦する窓口がない

特に重要な課題は5個

上表のうち特に重視すべきなのは、複数名のモニターで発生していて、タスクの達成そのもの(有効さ)に影響を与える課題(上表の「高」「中」かつ「有効さ」に分類される課題)と考えました。

該当の5件について、以下に概要を記します。

  1. 英語と日本語どちらで検索すれば良いかがわからない
    • ユーザーは、英語と日本語どちらで検索しても同様の検索結果が得られることを期待している。
    • 現状は、日本語と英語どちらで検索すれば良いのかを知る手がかりがない。また、検索する言語によって結果が異なるため、ユーザーが知りたい情報にたどりつきにくい(例:「薬剤耐性」と「drug resistance」)。
  2. 「生物種」以外による絞り込み方法が伝わっていない
    • 研究対象の生物種が明確なユーザーが多く、「生物種」による絞り込みが最上部に載っている点については肯定的に捉えられている。
    • 一方で「生物種」以外のタグに気づいていないユーザーがいる。気づいても、タグを指定してさらに絞り込めることに気づきにくい。
  3. 検索精度が低い印象を与えている
    • 自身の研究対象・テーマに合わせた比較的粒度の細かいキーワードで検索している。
    • しかし、知りたいデータベースが思うようにヒットしないため、欲しい情報が得られない印象を与えている。
  4. 知りたい情報に絞り込むための機能・情報が不足している
    • 自身の研究対象・テーマに合致するデータベースを絞り込みたいと考えている。
    • しかし、データベースの数が多すぎる、絞り込むためのタグや機能が一部不足しているなどから、得たい情報に絞り込むことが難しい状況となっている。
  5. 収録データベースの範囲が十分でない印象を与えている
    • ユーザーは国内・海外両方のデータベースを網羅的に検索できることを期待している。
    • 現状ではデータベースの収録範囲が明示されていない。このため、収録範囲が不十分である印象を与えてしまっている。

上記を俯瞰すると、ユーザーは、どんな検索キーワードを入力すればよいか悩み、提供している絞り込み機能を使いこなせておらず、自分に役立つと思える情報にたどり着きにくくなってしまっていることが分かります。
モニターの行動からは絞り込み機能や情報提示に問題があるように思えるのに、振り返り質問ではモニター全員満足していると回答しているのは、興味深い点です。

もちろん、たった5名を対象に1回だけ行った調査ですので、課題の全てが見つかったわけではなく、他にもっと優先度の高い課題が隠れている恐れはあります。このため、これまでにいただいたご意見・ご要望と合わせて判断していく必要があります。

重要課題への対応状況

本調査を踏まえた対応について、一例をご紹介します。

検索機能の改良

今回の調査では、各モニターが、自身の研究テーマに合致する、比較的粒度の細かいキーワードで検索し、検索結果に1件も表示されない場面が見受けられました。

カタログの検索機能では、入力されたキーワードと完全に一致する場合のみヒットします。
収録情報中のテキストに出現しない用語で検索した場合、それが類語であろうがヒットすることはありません。従って、似た意味を持つキーワードが複数ある場合、ユーザーは、全て入力してみる必要があります。
望ましい検索結果が表示されなかったとき、入力キーワードが原因なのか、そもそも適したデータベース情報が収録されていないのかが分からず、ユーザーが戸惑う一因になっていると想像されます。

上記のような問題の緩和策はいくつか考えられますが、そのうち「類義語検索機能」を追加できないかと考えています。
類義語検索とは、ある単語で検索するとき、似た意味を持つ別の単語(例えば「旅館」と「ホテル」など)で同時に検索する機能です。

入力されたキーワードだけではなく、類似する(あるいはより大きな語義の)言葉による検索結果を合わせて提供できれば、目的に適う情報がヒットする場面が増える可能性があります。

類義語検索機能の実装には、類義語の辞書が必要です。
JSTシソーラスを形態素解析エンジンの「MeCab」のユーザー辞書用に整備した「科学技術用語形態素解析辞書」を利用することを検討しています。

また、上記以外にも、「検索キーワードの例を表示する」、「(モニターに充分認識されていなかった)サイドカラムのカテゴリー一覧を目立たせる」などにより、検索に用いるべきキーワードを類推させることなども考えられます。
類義語検索の効果を検証しつつ、こうした解決策についても合わせて実装を検討して行く必要があるかもしれません。

調査を振り返って開発担当者が感じたこと

この調査結果について、カタログの開発担当者は次のようにコメントしています。

それぞれのタスクについて明確な方向性が得られた。全体として既存の調査(ブース出展での意見交換など)では得られなかった結果で、信頼もできる情報が得られた。気にしていながら改修できていなかった点に取り組む動機付けにもなった。
ニーズ調査自体としては、タスクをどれだけ作り込めるかが、満足する調査結果が得られるか否かの分かれ目になると思う。カタログでは以前から調査したいと思っていたことがあったのでよかったが、調査設計には充分な時間を割く必要があるだろう。

調査を終えて

今回、カタログを対象としたユーザビリティテストを実施しました。
調査によって今後の改善に向けた貴重な情報を多数得る事ができました。調査結果の分析をさらに進め、サービスの改善につなげていきたいと思います。

今回、モニターの希望者を募るための事前アンケートには、予想を超える人数にご回答をいただきました。
多くの方々のお申し出をお断りすることとなってしまい、大変申し訳なく思います。ただ、モニター希望者が集まるかどうかは、調査実施前の大きな不安要素の一つでしたので筆者としてはほっと胸を下ろしたのも事実です。
お断りした方々にも、次の機会に改めてお手を挙げていただけますと幸いです。

本調査ではオンライン会議アプリを利用したリモートでの実施としましたが、これは正解だったと思います。
ユーザビリティテストは、モニターに指定の場所に集まっていただくケースも多いようですが、移動を前提とする調査では、こんなに多くの方々にモニター希望の手を挙げていただくことは難しかっただろうと思います。

最後になりますが、事前アンケートにご回答いただいた皆様、また何よりモニターとしてご協力いただいた9名の皆様に感謝申し上げます。

本調査の設計、調査、分析は、株式会社ポップインサイトの白石 啓氏に実施していただきました。深く感謝申し上げます。

データベース情報を随時募集中です

データベース情報の収録は、主に4省連携に基づく各機関の調査や、英国FAIRsharingとの連携(参考:【Integbioデータベースカタログ】FAIRsharing.org由来のレコード617件を追加しました)に基づいて随時行っているものの、もし収録漏れかも?と思われるデータベースがありましたら、ぜひ以下に情報をお寄せください!

お送りいただく情報は、URLだけでも結構です。
担当がデータベースを確認し、収録情報を作成します。

Integbioデータベースカタログ担当
catalog_[at]_integbio.jp

NBDC研究員として研究開発に取り組みませんか

NBDCの研究員として、カタログをはじめとしたwebサービスの運用や研究データ・データベースの統合に向けた研究開発に取り組みませんか?

NBDCでは現在、研究員を募集しています。詳細は採用情報ページをご覧ください。

著者紹介

眞後 俊幸(しんご としゆき)

NBDC企画運営室・主査。2009年JST入職、2015年より現職。納豆嫌いなのですが、3歳の息子は大好き。息子のため、アラフォーにして初めて納豆容器のフタを開け、かき混ぜる経験をしました。

cc by Licensed under a Creative Commons 表示4.0国際 license
©2019 眞後 俊幸(国立研究開発法人科学技術振興機構バイオサイエンスデータベースセンター)

お問い合わせ・ご意見

本ページの内容やNBDCが運営するWebサービスのお問い合わせ、研究データ・データベースなどに関するご相談などお気軽にお寄せください。