関西学院大・神戸三田キャンパス（三田市学園上ケ原）の教授らが、研究の一端を紹介する寄稿連載「関学研究室から 神戸三田キャンパス」。２０１９年から月１回ペースで掲載していますが、今回は工学部情報工学課程の片寄晴弘教授の提案で、研究室に所属する大学院生２人が記す「特別編」としてお届けします。
私たちの研究室では、「人の楽しみ」や「心を動かす」情報学をテーマに、音楽やゲーム、映像、人工知能（ＡＩ）、心理計測などを組み合わせた研究を行っています。
例えば、ＡＩで音楽を分析・生成する技術、ゲームの面白さや難易度を設計する研究、観客が参加して楽しめるインタラクティブ（双方向的）なコンテンツづくりなどです。
エンタメをただ楽しむだけでなく、「なぜ面白いのか」「どうすれば心が動くのか」を科学的に考え、新しい体験として形にすることを大切にしています。研究室では、ゲームや音楽、映像、物語など、それぞれが「つくりたいもの」や「提供したい体験」を思い描き、夢に向かって学びを深めています。（片寄晴弘教授）
■ＡＩ作曲を使いやすく 大学院理工学研究科・川口竜斉さん（２３）
画像も音楽も、言葉ひとつで生成できる時代になりました。ＡＩに「楽しい曲を作って」と頼めば、それなりの曲は返ってきます。しかし、頭の中のイメージを言葉だけで正確に伝えるのは案外難しいものです。既存の作曲・編曲ＡＩには「明るさ」や「激しさ」といった調整つまみが用意されていますが、その種類はあらかじめ決められており、ユーザー自身が新しい軸を作ることはできません。
私が取り組んでいるのは、この「つまみ」を誰でも自分の言葉で自由に作れるようにする仕組みです。たとえば「ジャズ感」や「気まぐれな感じ」といった好きな言葉を軸名として入力し、その強さを数値で指定します。
すると、言葉の文脈を理解し、自然な応答ができる生成ＡＩ「大規模言語モデル（ＬＬＭ）」が言葉の意味を読み取り、調やテンポ、コード進行などの音楽的な要素へ変換して楽曲を編集します。
さらに、音楽は時間とともに展開するため、曲全体に一つの強さを指定するだけでなく、小節ごとに強さの変化を指定できるようにしました。物語の起承転結を描くように、曲の流れを設計できます。
実際に作曲に使ってもらった結果、「明るさ」や「テンポ」のように調や速さへ直結する概念は比較的うまく制御できることが分かりました。一方、「ジャズ感」や「夏らしさ」のように、解釈が分かれる概念では、ＬＬＭが想定する音楽像とユーザーの期待がすれ違う場合もあります。
今後は、専門知識がなくても自分の音楽的な意図をＡＩに伝えられるよう、人の言葉とＡＩの解釈に橋を架ける仕組み作りに取り組みたいと考えています。
■音響のエフェクト推定 大学院理工学研究科・沖田陽一さん（２４）
初心者が思い通りの音を作るのは簡単ではありません。専門的な知識や経験が求められ、音作りに関心があっても、制作の入り口でつまずいてしまうことがあります。
音声や音楽などの音響コンテンツでは、音に残響やひずみなどの音色変化を加える「オーディオエフェクト」と呼ばれる処理が用いられます。実際の制作では複数のエフェクト（効果）を組み合わせることが多く、それが音作りでつまずいてしまう理由の一つです。
こうした課題を解決する技術が「オーディオエフェクト推定」です。加工された音をもとに、どの種類のエフェクトが、どのような設定で、どの順序で使われているのかを自動で推定します。既存の音響コンテンツに含まれるサウンドデザインの技法を理解し、学習や制作に再活用しやすくすることが、この技術の特徴です。
現在は、この技術に「予測」と「探索」を組み合わせた新しい手法を提案しています。まず、人の脳の仕組みを模した機械学習モデルを用いて、加工前の音やエフェクト構成を予測します。次に、その予測をもとにエフェクトをかけ直し、目標の音に近づくよう何度も微調整します。
これは、人が既存の音づくりをまねる際、経験や直感で大まかに見当をつけ、実際に音を聴き比べながら微調整する過程に近いものです。こうした手法により、従来は難しかった複数のエフェクトの組み合わせや順序を含む推定が可能になりつつあります。
今後も、より多くの人が多様な音響コンテンツを鑑賞・制作しやすくなることを目指し、エフェクト推定の性能向上と機能拡張に取り組んでいきます。
