【手話】で話すVtuberプロジェクト

 

 

はじめまして、「手話を使うVtuber」として今後活動予定の岡野と申します。

 

数あるクラウドファンディングの中から当ページをご覧くださりありがとうございます。

 

構想は数年前からあったのですが、配信の経験や現代技術の知識不足等もあり、情報収集や実績を積むために違う形でアプローチをしておりました。

 

 

現在Youtube内にてゲーム配信・雑談配信など、配信の経験はありますが、新規プロジェクトを企画・実施するにあたり、今までとは違う配信スタイルになるため全く新しい配信者として活動していくこととなりますので、皆さまのご協力を得たくこの企画を立ち上げました。（現在配信のものは、当プロジェクトが決まり次第閉鎖となります）

 

自己紹介で改めて説明させて頂きますが、Youtube上での活動は半年ほどになります。

 

現在は手話を使ってのYoutube上での活動はしておりません。

 

限定的に手話での配信・公開は以前より動画投稿をさせて頂いておりましたが、非公開情報となっているため、こちらでのご紹介はできない事をお許しください。

 

また、今プロジェクトはVtuberという特殊なジャンルに分類されるため、手話の配信が一般の人間ではなく（テレビで見るようなリアルな人間ではなく）、キャラクターになるという事を大前提として見ていただければと思います。

 

 

まず、簡単にですがVtuberとは何か？を説明させていただきます。

 

ご存じかと思いますが　Youtubeで配信をされている方をYoutuberと呼びます。現在多くの方が動画や配信等を行っており、皆さんも1度は見られているのではないでしょうか？

 

では、Vtuberとは何か？
プラットホーム（配信場所）は基本的にYoutubeと同じです。VはVirtual（バーチャル）の略であり、Youtuberとの違いは、アニメーションキャラクターや3Dキャラクターで配信を行っている人たちのことを指します。ですので正しくは『Virtual_Youtuber』略して『Vtuber』ということになります。

 

リアルではない2D・3Dキャラクターを、モーションキャプチャーやカメラなどの機材を通し・動かし・配信しているのがVtuberです。

 

「Vtuber業界の良さは自分の姿を出さず配信ができる。」という点があります。

 

自分好みのキャラクターを製作し、そのキャラクターになりきり配信を行う。

 

上記理由から、個人情報が漏れない利点と、気軽に参入しやすいという事もあり現在、Vtuberとして活動をする方が飛躍的に増えているコンテンツとなっております。

 

 

 

前置きが長くなってしまいましたが私自身、長年手話通訳・手話講師として働いております。

 

現在Youtubeに目を向けてみると、単語や簡単な会話など勉強を主とした配信は多く見られますが、趣味に関する配信（例えばゲーム実況配信、雑談配信、その他レビュー配信等）においての手話での情報提供を見ることはまずないです。

 

特に、現在Youtubeの利用者が多い事に対し、情報提供が充実していない。といった問題が挙げられます。

 

中には字幕を改めて作り　生配信ではなく動画投稿という形で活動されている方もいらっしゃいますが、リアルタイムでのリスナー（見てくださってくれる方）とのコミュニケーションは無く、一方通行の配信になるケースがほとんどです。

 

通訳・講師業務の中で聞こえる方からは、

 

・手話を覚える場所が少ない。

・Youtubeでは動画投稿の為、リアルタイムで質問できる環境が無く覚えにくい。

・聞こえない方からも字幕が無いと何を話しているのかが分からず、字幕を付けて下さってる方の所のみにしか見に行くことができない。

 

といった話をよく聞きます。

今後の活動にもつながるのですが、私個人としては即時性が大事だと考えております。

 

当然内容によっては全ての配信に手話をつける事は出来ないのですが、ご時世的にも学びや交流の場が限られてしまっている事もあり、家にいる時でも交流・学びができる環境を作っていけたらと思っております。

 

Youtubeの機能に字幕表示は確かに存在しますが、話し手の活舌・技術的な問題も含め、変換のミスも多く、（これは日本語を英語に変えるといった行為も同じですが）誤変換も推測として読み解くことは可能な部分もありますが、文字として認識してもらうより手話という一つの言語を使用することで、より正確な情報を伝えられたらと考えています。

 

※誤字の例（字幕使用時）

⬇︎⬇︎⬇︎

 

誤字に関しては専門用語が多い分野（ゲーム等）とても起こりやすいです。

 

また、先述の通りYoutube上では手話単語等の配信動画はたしかに存在しております。

 

ただし、Vtuberの動画となると、ゲーム実況・雑談配信などにおいて手話を使っているという前例はほとんどなく（一部講習会のようなことをしているケースもございますが）新たな分野開拓として、

 

2次元のキャラクターが手話をし、交流を深めながらも、自分の好きな娯楽をより正確に、楽しく見ていただきたいと思っています。
 

※キャラクターが手話を使う事の必要性（需要）の問題につきましては後ほどご説明させて頂きます。

 

 

 

私自身、聞こえない方と接することが多く、Youtubeの話をする機会もあるのですが、何度も申し上げている通り

 

・字幕が分かりにくい（正確性の問題）

・リアルタイムな情報を得ずらい（切り抜き動画にしてくれれば字幕が入るので主にそちらを見ている）

 

 

切り抜き動画とは？
1本の動画投稿の中で一番面白かった部分等を抜粋し動画として取り上げる事を指します。例えば1時間の配信であれば10分程度でしょうか？

 

メリットとしてはすべてを見なくても面白さが伝わる、時間の短縮にもつながる。

 

デメリットとしてはすべてを見ているわけでは無いので、切り抜かれていない部分についての情報は分からない。

 

動画編集をすることで、すべてではないにしろ文字おこしをすることが可能なので、会話の正確性は格段に上がります。

 

情報保証に関しては、Youtubeに限った話ではなく生活の中でも不足している部分は多いです。

 

例えば、電車が急停止した際のアナウンスは音声で伝えられます。電光掲示板にて詳細は上がることは少ないと思いますし、すぐに対応しているかというとそうではありません。

 

建物に関しても、火災が起こった等避難誘導は音声に限られていますし、問題点は多いかと思います。

 

趣味の分野に関しても当然同じ事が言えます。

 

本プロジェクトとは離れてしまいますが、とある場所でトークショー等のイベントがあっても手話通訳はつきません。そういった場に通訳者を付けて見に行く方は少ないのではないでしょうか？

 

チケットの枚数も決まっていますし、主催者側も想定していない部分ですので、参加された方から雰囲気は楽しめたけど、話の内容がもっと分かればな・・という話も聞いたことがあります。

 

 

 

では、問題点も含め実際にYoutube上での話をさせて頂きます。

 

現在Youtuberとして配信をすることは自体は可能です。動画投稿を見てもらえれば多くの投稿がされているのが分かるかと思います。

 

ですが、私が目指している分野に関していうと、動画投稿はほぼ見たことがありません。（知識不足でしっかりとやられている方がいらっしゃいましたらすみません。）

 

なぜ私がここまでVtuberにこだわるかというと、私自身がアニメや・ゲーム好き・Youtubeが好きだからです。

 

当然聞こえない方の中にもたくさんいらっしゃると思います。

 

最初はあまり重要性・必要性に関しては考えていませんでした。

 

しかしある時

 

「実際にキャラクターと話が出来たら面白いだろうな。」

「手話を勉強をするときに楽しく学べる・その場ですぐ聞ける環境が欲しいな」

 

と言われたことがあり、その時初めて確かにそういった環境は無いな・・・あったら絶対に楽しいだろうな。と共感することが多かったため、YoutuberではなくVtuberとして活動しようという決意に至りました。

 

別にキャラクターじゃなくていい。そこまで求めていないという意見もあると思います。そこに必要性があるかと言われると、絶対に必要だ！とは正直言えない所ではあります。

 

ですが、自分の好きな可愛い・かっこいいキャラクターが手話を使って話してくれる、そんな世界を見てみたくはありませんか？

 

VR技術の発展に伴い今では仮想世界で遊ぶ方も増えています。モーションキャプチャーを使用し臨場感あふれたゲームや交流をする現在の情勢も踏まえていくと、今後飛躍的に伸びていく分野だと確信を持って言えます。

 

私自身もそんな世界に憧れもありますし、そういった世界が広まっていく中で今後、同じような考え・価値観を持つ方が参入しやすいよう、まずは私が行動しようと考えています。

 

 

 

では実際にこのプロジェクトを完遂できるかどうかなのですが、クリアしなければならない問題は多くあります。

 

まず、現在のトラッキング技術では手話を正確にキャラクターに表現させるのは困難だという事。

 

 

※手話は手だけで会話をするものではなく、表情・頷き・口型・手型など上半身全てを見ているのですが、今回のプロジェクトに関しては手型のみに絞ってお話をさせて頂きます

 

手型とは
ハンドトラッキングのみで考えた場合でも、稼働部位が多く細部まで自由に表現できません。正直、様々な方と相談・検討したのですが現技術ではほぼ不可能という判断になり、一度はあきらめようとも考えました。

 

しかし、現在の技術をできうる限りを詰め込んで、できる部分・できない部分を明確化し、それを現在開発されている方に認知してもらい、将来につなげていきたいと考えています。

今はまだ難しい側面はありますが、何もしなければ一生変わらないと思いますし、実際に活動しているという事実があれば、きっと今後可能になると信じています。

 

そのために皆さんの協力がどうしても必要です。

 

 

 

手話を使っての大きな枠組みとしては以下の３つになります。

 

・YoutubeにてVtuberが手話で雑談配信をする。

・動画投稿に、テレビの通訳者と同じように　手話通訳を付ける。

・手話に興味を持ってもらえるような　手話の交流会・教室を開く。

 

 

配信の方法についてですが、幸いなことに様々なアドバイスを頂いておりどういう形で表現するのが一番見やすいのか。また、2D or 3Dキャラクターが手話をするという部分をより強調できるかは概ね固まりました。

 

まず、配信として一番見やすい・身近に感じとれるのは基本的な実況配信は2Dで行う方法です。（こちらは一般的なスタイルなので手話有・無、関係なしの配信となります）

 

手話を使う事を前提とした場合、一番良い方法は3Dモデルを使う事です。

 

この使い分けによって内容も見た目も大きく変わると思います。

※2Dと3Dの使い分け理由については後述の「将来に向けて今できること」ご参照

 

 

今回自己資金での実施を行わなかったのには理由があります。

 

１．自己資金のみではすべてを負担できるだけの金額ではない事。
（最初に金額の話をするのは気が引けるのですが、今回のプロジェクトでは必要最低限の金額設定をさせて頂いております。それでも、技術の進歩によっては設定金額をはるかに超える金額になる事も考えられますので現実的に個人で行うのは厳しいためあえて最初にお話しさせていただきました）

 

２．手話に対する認知度を上げたい
（ここが一番の目的です。色々な方の目にとまって頂けなければ個人で情報発信をしたところで認知されずらいと判断しました。関心を持ってもらうのに一番いい方法を模索した中でクラウドファンディングであれば、様々な方に見て貰えると感じたからです。正直手話に対する認知度はまだまだ低いと感じています。興味関心、名前は知ってはいるものの、勉強方法、接点がなく今まで触れてこなかったという話も多く聞きます。）

 

まずは、認知度を高める事を主体とし、今後事業を展開していくためのコミュニティー作りの足がかりとし、また学びや交流の出来る場の提供ができればと考えております。

 

興味を持たれた方、賛同いただける方がいらっしゃいましたら是非、このプロジェクトに協力していただけると幸いです。

 

 

内容と被る部分が多いのですが、現在の技術の限界として手話を使用した配信は以下の方法が考えられます。

 

 

今回は（２）の案を採用させて頂き、かつグローブでのハンドトラッキングで行う予定です。

 

 

 

【2Dと3D両方必要になるのはなぜなのか】

 

・2Dが必要な理由と問題点

基本的な配信は2Dで行う予定です。キャラクターを一番身近に感じられるのは3Dよりやはり2Dの方が見やすいです。

 

他にもフルトラッキング・ハンドトラッキングを常時つけたまま配信するのは、物理的に無理があります。（バッテリーの問題、他の作業をしつつ付けたままで動く事等）

 

また、配信によりますが手話とその他動作を同時に操作する事ができません。（ゲーム配信等）

ただ、始めや終わりには補足的に手を振るような簡単な動きはできるので2Dで表現できるものについては挨拶の時だけかもしれませんが手話を使用する予定です。

 

ご存じかとは思いますが、一般的にVtuberさんはどちらかで配信を行っていますが、両方使う方はあまり多くはありません。（費用的な問題も含め）3Dモデルで配信をしているが、動かし方は2Dと同じなのであまり差異が無い。

 

2Dのみ使用の場合、ハンドトラッキングの問題点は奥行きにあります。つまり2D（平面）なので前後の動きができないという事です。（例）手で机をバンと叩く動作　両手を前後にぐるぐる回す等

 

・3Dが必要な理由と問題点

こちらは当然手話をするために使用します。現在3Dモデルを使用して配信をしている方もいらっしゃいますが、主に2つの操作方法があります。

 

 

 

こちらは何となく動かすことはできるが、手型をあらかじめ登録しておきボタン一つでその部分だけを曲げて操作している。（グーやチョキなどの動作）3Dなので奥行きに関しては問題ありませんが、登録されていない手の動きはできないということ。（当然中間姿勢は取れません）

 

唯一のメリットは安価で多少のうごきなら表すことができる。

 

 

 

こちらはコントローラを必要としないため、より滑らかな動きを再現することが可能です。しかし、指の間隔動き（指同士を広げたり縮めたり）に対応しておらずこちらも前者同様完全に再現することができません。また機材コストがコントローラーよりもはるかに高くなります。

 

本プロジェクトでは安価で済まし、結果ほとんど使えないなどの問題を回避するため、後者（グローブ）を使用する予定です。

 

 

これをすべてクリアし日常会話のように滑らかに動かす方法は、何度も申し上げますが今の技術ではほぼ不可能です。（大企業案件としてなら可能なのかもしれませんが。）ですので、複合的に使っていくことで現段階での技術を最大限に発揮できる方法を駆使し、できるだけリアルに近づけていきたいと思っています。（状況に合わせて2D.3Dモデルの切り替え、不足部分は正確な字幕でサポート等）

 

様々な分野にてハンドトラッキングは研究されているので、そういった課題について、今後開発されていくであろう最新技術を常に追いながら今後の技術の進歩、実際に研究をなさっている方との接点を持ちながら進めていきたいと考えております。

 

 

　最後に　
 

この話を企画した時、一部の方からは「今ある字幕機能で十分じゃないの？」「手話を使う必要性・需要はないんじゃないの？」「そもそも聞こえない人は見ていないのでは？」と否定的な意見が多く、あまり賛同されませんでした。

 

確かにそうなのかもしれません。実際に始めてみても、認知されず必要とされない。そういうリスクが全くないとは思いません。

 

しかし、聞こえない世界というものがどういったものかを説明すると皆さん、「言われてみれば・・あった方がいいかも？」という答えを頂くことが多いです。

 

簡単ではありますが、今皆さんが見ている配信・TVでもいいですが音量０で試しに視聴してみてください。画面の動きは分かっても　それ以外の情報は全く分からないと思います。

 

一つの手段としてこのプロジェクトを提案させて頂きます。

 

聞こえない方、現在手話を学習されている方、手話に興味をお持ちの方、聞こえない人たちと接したことが無い方。

 

様々な方に、この機会を通し心のどこか片隅にでもいいので、こういう考え方の人がいる、こういう事をしようとした人がいた、ということを覚えていただければ幸いです。

 

そして、できる事なら興味関心をもって応援して下さると嬉しいです。