質疑応答
質疑応答について
当日の講演やパネルディスカッションへの質問と回答をまとめました。質問はウェブフォームに投稿されたものと現地フロア参加者からのものがあり、回答についても当日口頭で行われたものと後日回答いただいたものがあります。
招待講演「自然言語処理と大規模言語モデルの発展と応用の可能性」(宮尾 祐介)
質問1: LLMが、ある評価関数では良いスコアを出しても、その評価関数が想定していない思いがけない"落とし穴"が存在する可能性は常にあると思われます。そういった"落とし穴"を事前に発見してより良い評価関数へと改善していくことは難しそうですが、このような「評価関数を評価する」研究はどのぐらい進展していますでしょうか。 [ウェブフォーム経由]
宮尾： LLMをどう評価するかはオープンクエスチョンの状態で、たくさんの評価手法、評価データセットが提案されています。
我々はLLMを横断的に評価できるツールを開発していますが、こうしたツールを用いるといろいろなLLMのさまざまなタスクでの評価結果が得られます。そうすると、評価タスク間の関係性 (例えば、「この評価手法で精度が高ければ、こういうタスクではだいたい良い」、「このデータはこのモデルでは評価が高くなるが別のモデルでは評価が低くなる」などの特異性) が見えてきます。こうした評価手法の評価 (「メタ評価」と呼ばれる) はいま盛んに研究されているトピックです。メタ評価の結果、例えば、「今の言語モデルだとうまく回答できない問題」を集めた評価データセットが開発され、「それをうまく解くことができるモデル」が開発され、というループが生まれます。評価手法の開発だけではなく、評価手法の評価、評価結果を踏まえて弱点を克服する手法の開発も進んでいます。[当日口頭回答]
質問2: LLM同士で議論をさせて、より良い回答をさせるという話があったと思います。議論を英語でさせているようなスライドになっていましたが、これは人間が後で確認できるようにするためなのでしょうか。人の言語を介さずに処理していくほうが早いように思えます。 [ウェブフォーム経由]
宮尾： 現在よくある手法は自然言語でLLMどうしにコミュニケーションさせるものです。これには、コミュニケーションが人間にも理解できるため分析・改良しやすい、既存のLLMをそのまま使うだけでよいので開発が容易、といった理由があると思われます。また、LLMへの入力を最適化する手法（プロンプト最適化）では、自然言語以外のプロンプト（ベクトル列を最適化する）も使われます。ただ、複数のLLMにコミュニケーションさせる手法で自然言語以外の入出力を使おうとすると、強化学習などによる最適化が必要になると思われ、開発・実装コストがかなり高くなります。手軽に複雑なタスクを実現する手法としては自然言語によるコミュニケーションをさせるのが現状一番簡単ですが、将来的には別の手法が現れるかもしれません。[後日回答]
質問3: 今後、LLMにおいて創発的能力(emergent abilities)を意図的に起こす(獲得)ことはできるようになるのでしょうか。もし可能になれば大変興味深いと考えています。 [ウェブフォーム経由]
宮尾： 創発的能力といってもいろいろな能力が考えられますが、例えば数学・算数の理解能力はある程度学習が進んだ時に発現する（ある時点までは全く解けないが、ある時を境に回答能力が上がっていく）といった観察があります。現時点ではなぜそのようなことが起きるのかわかっていませんが、そのメカニズムが明らかになれば、意図的にそのような能力を獲得させるような学習手法が開発できるかもしれません。[後日回答]
質問4: LLMでの辞書の重要性について教えてください。以前のテキスト処理ではすぐに辞書（用語セット。別名も含む）を作りたがった印象を持っています。日本語では単語の切れ目をどこにするかも処理として重要ですし。LLMではたとえば文字の連続性の確率から辞書もシステム側で自動で作成する状況でしょうか。[ウェブフォーム経由]
宮尾： 現在の大規模言語モデルでは、サブワードという手法を用いて、自動的に辞書を構築しています。基本的なアイディアは、文字列からスタートして、共起しやすい文字をつなげてサブワードとする、という単純なものです。手作業で辞書を構築していたときは未知語が常に問題になっていたのですが、サブワードによってその問題はほぼ解決されています。一方、初期のころの英語LLMはバイト単位でサブワードを構築していたため、日本語の文字が途中で切れたものがサブワードとされることがあり、精度が低い一つの原因になっていました。サブワードによって一定の解決はされましたが、単語区切りは現在も活発に研究が続けられています。[後日回答]
招待講演「ロボティック・バイオロジーによる生命科学の加速」(高橋 恒一)
質問1: LabCodeは、各実験機器あるいは操作が関数にあたると理解しています。新たな実験機器や、手法が現れた時には、都度関数を実装する必要があるのでしょうか？ それとも、ある程度抽象化された関数クラスのようなものがあるのでしょうか。機器や手法の抽象度の扱いに興味があります。 [ウェブフォーム経由]
高橋：そこに技術的なミソがあります。実験を個別の操作に分解し、それぞれのロボットにできることを各ベンターがAPIで公開します。それに対して、LabCodeのライブラリの開発者がそれぞれに対応したインターフェイスを用意し、物理層と論理層をつなぐというアイデアです。これにより生命科学実験の分散開発が可能になります。[当日口頭回答]
質問2: 自己完結性の要件として挙げられていたブラックボックス化について、どの程度のレベルを想定されているのかお聞きしたいです。 [ウェブフォーム経由]
高橋：ブラックボックス化が重要なのではなく、利用する研究者にとって、対象とする実験操作が明確で、また再現性が期待される粒度でモジュール化がされていること、およびモジュールの入出力が明確であることが重要です。それで中身が隠蔽されることが実用上問題となるのであれば、隠蔽されることそのものではなく実験操作のモジュール化における粒度の設定に問題があると考える順序であろうと考えます。[後日回答]
質問3: 実験過程の隠蔽は非常に重要だと思いますが、同時に、重要な実験過程がブラックボックス化することには懸念もあると思われます。実験プログラムから人間（特に実験初心者、ドライ研究者）に理解しやすいトリセツを自動生成するといったことが必要になると思われますがいかがでしょうか。 [ウェブフォーム経由]
高橋：隠蔽は実験操作のカプセル化(encapsulation)を実現する点で重要です。ただ、自動化システムを利用する研究者から見れば隠蔽ですが、自動化システムの開発者、運用者にとってはそうではない点に留意が必要になります。新しい実験操作や装置の開発には両者の協働が重要で、カプセル化が可能にするモジュール化によってこのような共同作業がより促進されます。[後日回答]
口頭発表「AI駆動型データキュレーションによる中分子相互作用統合データベースの開発」(池田 和由)
質問1: メタゲノムデータには膨大な中分子情報が埋もれていると思われます。ゲノム構造や進化情報、立体構造解析に基づいてPPIや機能を予測することで、将来的にこういった情報もデータベースに取り込んでいけるのではないかと考えたのですが、いかがでしょうか。 [ウェブフォーム経由]
池田：非モデル生物におけるシングルセル解析は当研究室でも共同研究等を通じて進めており、その中で個々の生物種や系統群において多様な状態をオントロジーによってどのように構築するかについては、各ドメインの専門家とのディスカッションを通じて検討を進めていくことが重要であると認識しています。同時に、モデル生物で進めている知識整理の取り組みを非モデル生物へと効率的に横展開するためには、生成AIなども含む種々の情報技術の活用を通じて初めて可能になると考えています。[後日回答]
口頭発表「細胞レベルの機能・表現型と遺伝子発現を関連付ける「Cell IO」データベースの開発」(尾崎 遼)
質問1: 今後は非モデル生物のシングルセル解析がますます一般的になると予想されますが、（現状で想定しているよりもはるかに）多様な生物種、多様な状態を含む表現型オントロジーの構築は可能でしょうか。 [ウェブフォーム経由]
尾崎：非モデル生物におけるシングルセル解析は当研究室でも共同研究等を通じて進めており、その中で個々の生物種や系統群において多様な状態をオントロジーによってどのように構築するかについては、各ドメインの専門家とのディスカッションを通じて検討を進めていくことが重要であると認識しています。同時に、モデル生物で進めている知識整理の取り組みを非モデル生物へと効率的に横展開するためには、生成AIなども含む種々の情報技術の活用を通じて初めて可能になると考えています。[後日回答]
口頭発表「創発的再解析のためのメタボローム統合データベース 」(早川 英介)
質問1: メタボロームプロファイルが局所的に、あるいは大域的に異なる研究ペアも比較する価値があります。それらを何も考えずにリンクを張るとほとんど全結線ネットワークになってしまいますが、例えばcitation networkにプロファイルの差分情報を載せるといったことはできそうですがいかがでしょうか。 [ウェブフォーム経由]
早川：おっしゃるようなメタデータのネットワークと代謝変動ネットワークを密に連携した形での可視化というのも計画しているところです。巨視的にもミクロにも解析可能な柔軟なシステムを開発したいと思います。[後日回答]
パネルディスカッション「生命科学の未来を予想する――データベースはもう要らなくなる...ってコト?!」
当日取り上げられなかった質問への登壇者の方々からのご回答をまとめました。
質問1: これまで歴々のAIブームを見てきたかと思いますが、今回のAIブームについて将来性、実現性をどう感じていますか。 [ウェブフォーム経由]
高木：これまでのAIブームは、ある種の期待と失望を繰り返してきましたが、今回は、汎用性、応用の広さ、実用性などの点においてこれまでとは違っているなという印象を持っています。個人的には現時点でもいくつものタスクで実用に耐えるものになっていると思いますし、将来性は高いと感じています[後日回答]
質問2: メタデータを論文から収集する際にChatGPT APIを用いて加速化させたとのことですが、ジャーナルや執筆者ごとに記載のされ方が異なったりするかと思いますが、それをすべて人手でマニュアルでやることとに対して、どれくらいの精度を担保できるのでしょうか。人手での見直しや修正はどのくらい必要なのでしょうか？ [ウェブフォーム経由]
森：人手でマニュアルでメタデータ収集した場合と比べて約6-7割の感度です。論文のテキストデータを入力として使用しており、その中からの情報抽出なので、よく言われるハルシネーションはほとんど見られず、抽出したメタデータの精度は高いです。一般常識と異なるその分野特化のメタデータ記述（例: ヒト腸内＝ヒト糞便）については間違いやすいです。[後日回答]
質問3: 囲碁ソフトはプロの棋士を超えていますけど、プロ棋士はそれに対応していると思います。 それと同様に科学者のスタンスはどうなるか想像すると面白いと思われます。 [ウェブフォーム経由]
森：長期的には、科学者の役割は大別すると開拓者と解説者という2つの役割になっていくのではと考えています。ただこれは人によって意見が違うのであくまで私見です。[後日回答]
質問4: データがベクトル化すると人間が読めなくなり、検証が難しくなると思います。あるいは検証ということ自体に意味がなくなるのでしょうか？ [ウェブフォーム経由]
森：データを処理し解析するのはコンピュータの方が得意です。我々が日常的に解析に使用している多次元データもそのままでは人間の理解を超えているため、コンピュータで次元圧縮や視覚化等を行った上で人間が解釈をしています。ベクトルデータもそれと同じなので、ベクトルデータか否かで検証の難しさはそれほど変わらないと考えています。[後日回答]
質問5: ニュースや新聞サイト、本や絵の著者らがLLM開発企業を訴えている現状、データが更に価値を持つことになると、データベースはクローズドになるのでしょうか。 [ウェブフォーム経由]
大上：著作権があるデータ／個人情報などが関係するデータと、パブリックなデータ／公共プロジェクトで得られたデータなどは分けて議論が進むと（これまでもこれからも）思います。民間企業の持つデータが使えるようになると嬉しいですが。[後日回答]
質問6: AIの時代になると、遺伝研や理研にあるスーパーコンピュータの位置づけも変わってくるのでしょうか。 [ウェブフォーム経由]
大上：LLMの学習など深層学習にGPUは重要視されていますが、目的とするサイエンスとの相性でアーキテクチャを選んでいくのかと思います。[後日回答]
