【Vol.14】メンバーからのメッセージ〜 近藤生也・岡村美紀

第14弾は，3Dディープラーニングの研究をしている近藤生也さんとオノマトペの音象徴性をふんだんに使う研究をしている岡村美紀さんのおふたりです！

 

デジタルネイチャー研究室の活動への温かいご声援を賜りましてありがとうございます！

私たちの研究に対する情熱と、その成果を国際的な舞台で共有するための挑戦が、あなたの支援によって実現しています。この素晴らしい旅に、更に多くの人々を巻き込むことで、一緒に新しい歴史を築いていきたいと思っています。

この活動やクラファンの情報を広めるお手伝いをしてくださると幸いです。

 

ラボメンバーからのメッセージを掲載いたします。

 

Naruya Kondo（Ph.D Student）

近藤生也　情報学学位プログラム博士後期課程1年次

はじめまして、落合研の美少女たんとう、まなちゃん(2.6歳)です！

いつまでも美少女のようなピュアな心で世界を見て聞いて感じていたい！そう願ってたらいつの間にかｲﾝﾀｰﾈｯﾄでは美少女になってました。

まなちゃん (リアル世界ではなまくん/近藤生也 (こんどうなるや), X(twitter), google scholar) は、現在落合研の博士課程1年生＆日本学術振興会特別研究員 (DC1) で、3Dディープラーニングの研究をしてて、落合研では ML＆VRチームというサブチームの大臣という仕事もやってますです。

まなちゃんは具体的には、現実世界のモノを映像データから動く3Dモデルとして3DCG世界に再現する！というのをやってます。この写真は、10分の自撮りを使って再現した男の人をゲームエンジンの中に召喚してその表情を操作するというデモで、これも含む研究の成果は SIGGRAPH 2022 Immersive Pavilion というデモ枠で発表してきました！

他にも、まなちゃんは2021年に落合研に来てから、3Dの質感生成や、ダンス生成、3D再構成の高速化、GPTを使ったオブジェクト指向コード生成、弱視者への画像キャプショニングなど、かなり広くディープラーニングを使った研究プロジェクトに関わってきました。日本の中ではあんまり研究してる人が少なそうとか、全くいなそうな研究でもとりあえずやってみてより考えを深めていける！というのは、落合研のすばらしさだと思います！ (一方で採択に至っていない研究もまだ多くて悲しいので、もっと精進していきたい！！泣)。

このクラウドファンディングですが、このような感じで、特に学部生など若いうちはとりあえず研究をやってみてレベルの高い国際学会のポスターとかデモとかに投稿してみよう！というのを大事にしている落合研なせいもあり、旅費が足りなくなっているそうです。後輩くんたちがより気軽に海外学会に挑戦して、採択された暁に世界を経験してくるというのは、本人にとってもまわり回って日本にとっても、とってもとってもいいことだと思うので、ぜひご支援のほどよろしくおねがいいたします！

 

 

 

 

 

 

 

 

 

 

 

主なプロジェクト

DeepBillboards, SIGGRAPH 2022 Immersive Pavilion (demo)

プロジェクトリンク：https://sites.google.com/view/deepbillboards/

 

---

 

Miki Okamura（M.S. Student）

岡村美紀　情報学学位プログラム博士前期課程1年次

デジタルネイチャー研究室M1の岡村美紀と申します。私はオノマトペの「音象徴性」や「感覚間協応」に興味を持って研究に取り組んでいます。「音象徴性」というのは、音がある特定のイメージと結びつく現象のことです。「感覚間協応」とは、音と質感、色と匂いなど異なる感覚モダリティ間に関係がみいだされる現象のことです。

卒研からこれまでには、オノマトペによってダンスモーションを生成する研究をしてきました。オノマトペの音韻の印象とダンスの振る舞いの関係をデータセットとして集め。深層学習で学習・生成しました。「ふわっ」と入力すると腕を上に柔らかく上げるようなモーション、「ガッチョン」と入力すると肩幅以上に足を開いて構え、指揮者のように小さく腕を振るようなモーションが生成されました。これからもオノマトペが多様な感覚モダリティの印象や表現に関わることを生かして研究を進めたいと考えています。

学会ではさまざまな研究者と交流できるため、新しい観点で自分たちの研究を見つめたりそれまでになかったアイデアの種が生まれるといいます。皆様のご協力をいただけると幸いです。

主なプロジェクト

Dance Generation by Sound Symbolic Words

プロジェクトリンク：https://sites.google.com/view/onomatopoeia-dance/home/

 

研究室概要

名称 ： デジタルネイチャー研究室

代表者 ： 准教授　落合 陽一

所在地 ： 茨城県つくば市春日1-2

研究内容 ： 波動工学、デジタルファブリケーション、人工知能技術を用いた空間研究開発

URL：https://digitalnature.slis.tsukuba.ac.jp/

SNS　Twitter / Facebook　ラボの最新情報を配信中！