NumberDolls研究日記

とめあさんが思いついたことをつらつら

AIシンガーにならないか その2【とりあえず録ろうか】

昨日うっかり書くのを忘れてたんですが、歌声データベースの作り方

Dropbox - 歌声DB製作チュートリアル.zip - Simplify your life

こちらにあるんですよ↑

歌声データベース製作用の著作権の切れた曲のMIDI配布情報などもあります。

詳しく作り方、法律のことやら書いてあるので是非見てみてね!

------------------------------------------------

歌声データベースの作り方、前回いろいろあるよって話したんですが、

全部のやり方に対応したお話をするのは難しいと。

私の文の書き方が悪くて、法に触れることさせちゃうと悪いし、

作り方を解説するのではなく、作ってるときに思ったこととか

知ったこと(私の場合について)書いていこうと思います。

 

なので、私が今作ってる DiffSinger の作るとき、

私はこうやったよという流れを紹介していきますね。

DiffSingerできれば、それにまたustを追加してENUNUもできるからね!

 

歌を録る

ラベリング

学習

配布できるようにする

 

みたいな流れで行きたいと思います。

今日は録りについて。

----------------------------------------------

選曲・学習内容の幅を広げる工夫について

 

最初歌声データベースについて知った時に、

とりあえず安全な著作権切れた童謡録っておこうと思いました。

上のちていこ様配布のマニュアルに、歌声データベース支援で

配布してくださってるmidiやust配布の紹介があるので

童謡歌う人は参考にするとよいと思います。

キーもテンポも歌詞も好きに変えていいです。

データベースを配布する場合でも著作権きれてるものなら変更はOKです。

 

私はBPM100~180くらいに変えてました。キーもいろいろ。

このとき上手に歌おうと歌いやすいキーだけにすると

学習する音域を狭めちゃうので、これは高音、これは低音、みたいに計画的に決めてみるといいかもしれません。

同じ曲を高低で2回歌うのもいいかも。ラベリングはほぼほぼ一緒なので、使いまわせて楽。

歌詞も1番から3番まで繰り返しのものだと、あんまり使わない「てゅ」とか「ぴゃ」とか変えたりすると良いと思います。♪みゅかしぇ~みゃかしょ~うりゃしみゃひゃ~

「ヴぁ」とかもありだよ。「くぇっ」とか「ふゅ」とかも。

「ぽっぽっぽ~♪」を「ぱっぽっぴ~♪」とか歌うのもあり。

UTAUのリストとか音源みるとどんな音があるのかわかるかも

詳しいことはラベリングのときに話すね。

 

あと、歌詞間違ったものは間違った歌詞でラベリングしてしまえば問題ないです。

(歌唱を配布する場合は聞かれても良いようにね)

 

歌ってからラベリングする(前回の3番のやり方)だとこういうところが自由で良いです。

リズムも歌詞も音程も間違ってても、歌唱に合わせてデータを作っていくので。

 

で、1曲華麗に歌い上げなくてはいけないと意気込んじゃうと思うんですけど、

学習の際に、学習しやすく切り刻まれる(Diffsinger は15秒くらいずつ)ので短くてもOKです。

歌唱前、間の吸い息とかは大事なので短くても吸った方がいい。語尾も学習するしね。

 

わざと高くしたり低くしたり早くしたりして呪文を歌ったり、幅広く学習できるようにしてみてください。オケがあるわけではないので、好きに歌えばいいです。

 

思ったのが、本当に気軽にやるんだったら

UTAU民ご存じのOREMOでとればいいんじゃない?と思いました。

「r」押してる間だけ録音で、ワンフレーズ歌う を繰り返しどんどん録っちゃう。

ファイル名は半角英数字にしてほしいけど、あとでAllRenameで連番にしちゃえばいいかな。 

もちろんどうせ作るなら品質の良い音源を録りたいのよ!って方は

ご自分の知識とお金を存分使って励んでください✨

フリーソフトでも Audacityとか Reaperとかあるしね。

それでクリック音で歌うのも楽だと思います。調べてみてね!!!

------------------------------------------------------

まとめます

著作権切れの童謡のデータ配布あるよ。

著作権切れてたら歌詞テンポキー変えていいよ。

●歌詞テンポキーが広域になるように工夫してね。

●1曲歌い切らなくても細切れでいいよ。

 

あ、録るときは高品質で録ってもらってOKですが

DiffSingerの学習をまわすときは 44.1kHz 16bit Mono 

に変換します。今後高品質のまま学習できるようになるかもしれないので、

高品質で録って損はないです。

 

ねえねえ、著作権切れてないものは?っていうのはそれぞれ調べてね

 

まだまだ今日も知りたいことまで到達してないと思いますが、

お付き合いありがとうございました。

 

AIシンガーにならないか その1【歌声データベースって何】

こんばんは

最近は個人でAIシンガー作れるようになってきましたね!!

作ってみたいと思うころですね!そうですね!きっとそう!

 

今回は大まかな説明です。なんとなくわかってる人には

なんの得もないので飛ばしてください。

 

私はなんも知らん状態でACE StudioのAIシンガーになりまして、

それをきっかけに自分で今DiffSingerとENUNUというものを作っているところです。

DiffSingerがまだ誰も日本語解説書いてなさそうだけど、ENUNUはいろいろあるので調べてみてね!

まだ完成まで至ってないのですが、学習のためのデータ作るのに時間かかるので

先に説明しておこうと思いました!

こちらでは気軽に作れるように無料でダウンロードできるもので解説していこうと思ってます。

きちんとしたものは気軽に書けないのでとりあえずサラッと。

ずっとやってると常識になってきて伝えること抜け落ちそうだなとも思ったので、

自由に書いていきたいと思います。

 

AIシンガーの学習のために準備するものに

「歌声データベース」なるものが必要になります。

私は過去にこちらのENUNU蟲毒企画に参加させていただいたり

海外のお友達経由でこちらの英語マニュアル教えてもらったりして作りました。

詳しい作り方は要望あれば考えます。


そしてなんと!黒猫大福様がチュートリアルを翻訳してくださいました~!

SVS 歌声データベース - チュートリアル - Google ドキュメント

これを見ると大体できるはずなので、私が書くこと無いです。

●歌声【wav】

●それをラベリングしたもの【lab】

●それの音程のわかるもの【midiとかust】←DiffSingerには必要ないです 

 

基本的に1曲につき、この3点セットを準備していきます。

音程(歌唱表現)を学習させずに声と発声癖だけを学習させるものなら、

歌ってラベリングした2点セットでも作れるものもあります。

 

データの量ですがDiffSinger作ってて実験してみてます。

歌唱部分のみで15分くらいからそれなりに作れます(童謡で25曲くらい)

あえて学習も少なめでサンプルを作りました。参考にどうぞ
↓これは音程を学習してないモデルなので、調声で歌唱表現を追加してます。

 

質をあげたいなら1時間以上あるほうが良いです。

こちらも参考のために学習少なめ。学習もっとすれば…の想像のたしにしてください。

↓同じく音程を学習してないモデルなので、調声で歌唱表現を追加してます。

 

謎エラーに悩まされることがあるので、ファイル名は半角英数字のみ、

スペースは使うなとだけ言っておきます。

-----------------------------------------------------

で、歌声を準備するんですが、

まず知っておきたいのが、曲・作詞、配布されている声にも

著作権やら所有権があるということ。

簡単に言うと

●誰かが作った曲を勝手に配布しちゃいけないよ

●誰かの声を勝手に使用しちゃいけないよ

著作権のある歌を歌って学習させ完成したモデルの配布は、

今のところ法律的にはOKのようです。

歌声データベース自体を配布したいときは注意です。

著作権のお勉強をしましょう。

そして、UTAU音源など生声歌声が配布されているものがありますが、

それを勝手に学習させてはダメよ。学習に使ってよいのか確認してからにしましょう。

イラストAI学習の騒動で想像するとわかりやすいかも?

----------------------------------------------------

と、いうことで

あなたはどうしたいのか。

 

●歌声データベースを作成して配布したい

 自作曲、童謡など著作権切れたものなど問題のないものを歌う。

 わからない曲は覚える必要がある。

 配布してたら誰かがAI学習してくれるかもしれない(しないかもしれない)

 

●AIシンガー作るけど、歌声データベース自体は配布しないよ。

 基本的に好きな歌を使用頻度の少ない歌詞に変更して歌って補ったりできる。 

 知ってる曲を歌える。

 学習が自分でできないと依頼しなければならない。

 

と、状況が変わってくるので自分に合ったものを選んでね。

---------------------------------------------------

選曲とともに考えたいこと、それはどれだけ楽ができるか。

ラベリングその先の音程のデータのことも考えて

自分にとって1番何が楽かを考えましょう。いろんなやり方を試してみてもいいね。

 

とりあえず方法を簡単にいくつか(質が向上しやすいとかについてはわかりません)

 

1.自動ラベリング

LabelMakrというものがあるんですよ。

黒猫大福様のチュートリアル参照。わからないよってときは解説書くかも

SVS 歌声データベース - チュートリアル - Google ドキュメント

 

2.ustやmidiがあるものを歌い、ラベルと音程のラフがある状態から進める。

ustでUTAUさんなどにお手本を歌ってもらう。それを参考に歌唱する。

歌詞が入ってるustから、便利ツールが大体のラベルの位置を吐き出してくれます。

音程データ→ 歌 → ラベルの調整 の順(歌唱データによっては音程データと照合し合わせる必要はあります。)

便利なツールがたくさんそろっているので、それを理解すれば楽々になります。

波音リツ先輩ホームページでありがたいツールをたくさん配布してくださってます!

カノンの落ちる城 | 波音リツ公式サイト ←宝石箱やで

 

3.好きに歌って vLabelerでラベリング。からのUTAUプラグイン lab2ust でust吐き出し。

私は既に歌ったものがたくさんあったのでこれ。そしてリズムも音程も関係なく歌えるので、歌詞間違えも気にしない立ち止まらない振り返らないところが魅力です。

歌 → ラベル → 音程データ の順 (吐き出されたustが歌唱と合っているか確認する必要はあります)

こちらも使い方を覚えるまではちょこっと頑張らないといけないです。

イメージしやすい vLabelerチュートリアル動画貼っておきます。ありがとう↓

youtu.be

 

4.今日OpenUtau上で歌唱音源をust化することができるようになったそうな

でもあんまり期待しないでねって感じらしいです。

 

というように、

本当毎日世界でいろんなものが開発されてるので、

どんどん楽する方法が増えてます。

--------------------------------------------------------

あと!!気を付けなければいけないのが…

自分のPCで、そのツールや学習が可能なのかを先に確認しておくことです。

商業製品は記載して当たり前のことですが、有志で作っているものなので、

自身の環境での動作を確認しなくてはならないです。

 

作っても自分で使えないのは悲しいので、少なくともOpenUtauでENUNUやDiffSinger使えるかとか、試してみるといいかもねー。

とりあえず続々いろんなAIものが開発されるけど、人間の声という材料は必要なので、歌っておけと。

 

では長文の割に全然知りたいことが無かったことと思いますが、

お付き合いありがとうございました。

うちの子AIシンガーになるってよ

びっくりしましたね。私もです。とめあです。

 

ここは私個人の感想ブログなので、宣伝にならないように?

あえて名称を使わずに書いてるのでわかる人にもわからない人にも

わかりづらいと思いますが、許せる人だけ読んでね★

 

はじまりは2021年の年末ころ、声かけていただきました。

合成音声は自音源のことしか知らないってくらい疎い私には

この物事へのサイズ感もなく、

「あー、歌唱音源?あるやつで良ければ研究用にどうぞー」

くらいのノリでした。

先方が熱心にロッカとトリンが欲しいんだ!っと伝えてくださったし、

新技術が発展する手助けになるなら私は良いなと気軽に返事しました。

そのせいでトリンくんの中の人、KOPA様を巻き込んでしまい、

ものっすっごいご迷惑おかけするんですけどね!!本当にごめんなさい。

 

で、2022年はじめに歌唱音源を送り「2月末くらいにはサンプル聴けるかも。アナウンスは…」なんていわれたんですけど、延期に次ぐ延期に次ぐ延期に次ぐ延期に次ぐ延期に次ぐ延期に次ぐ…

新しい分野って何が起こるかわからないですからねー????

聴いたサンプルは今年2023年7月末に日本語と中国語1コーラスずつなので、

私もどんな仕上がりになってるかほぼ知らないんですよ怖い。

 

お話をいただいたときは無償で配布ってことだったのが、

有償になるってなったときはちょいと「話し合い」があったし、

このために録ったわけではない古い音源で全然ロッカちゃんに似てないし、

外国語が苦手なので、規約やトラブルなど自分でふたりを守れないなと思ったし、

あと!新しい技術の先で私の手を離れどう成長していくのか、

手続きとか面倒くさいから外から見てみたいというのもありますね!

 

ということで私は声のみ提供で本当何もしてないので、

新しい「ROKKA」と「TRINE」としてお世話してくださいとお願いしました。

あ、使用する方は「留音ロッカ」「鼓破音トリン」として今までどおり

扱ってくださいね!管理上ね。

 

で、いちばん皆さんが気になるのは「なんで有名でもない知らん子が?」ですよね。

最近人気定番UTAUさんらの商業AIぼこぼこありましたしね!

私もわからないよ!!

 

でも有名じゃない分、出回ったイメージがないので扱いやすいとの判断なのかもだし、

誰かが素敵に使ってくれた作品で可能性を見つけてもらえたのかもしれないし、

配布音源聴けばノイズの少ない音源を準備できるか等わかるわけですしね。

一番の理由は「既に歌唱音源が揃ってそうでどことも商業契約してなく、しかも男声女声とも揃っている」というお得パックだったことかなと考察してみるのだった。

 

そしてなんと!有償版になると自動でラベリングしてAIシンガーが気軽に作れるようになるらしいじゃないですか。まずは皆歌録ろうぜ私の時はRockだろうがバラードだろうが歌唱ならなんでもいいよってことでしたが、どうなるのかな?

 

私はふたりが有償になっちゃうのが趣味の範囲を超えた気がして腑に落ちず、

無償のものも提供したいなとENUNU作りはじめましたが、

ヨワヨワPCが悲鳴をあげて壊れました。

歌とラベリング大好きマンなので泣いてないです頑張ります。

 

もっとちゃんと書こうと思ったんだけど、発表された現在これ書いてます。

いや9/29留音ロッカ6周年の準備で時間が忙しく、

9/29留音ロッカ6周年終わったらまた詳しく語ろうかな。

とりあえず9/29留音ロッカ6周年よろしくお願いいたします。

あ~9/29留音ロッカ6周年、9/29留音ロッカ6周年っと。

追記:KOPA様も私も60曲くらいです。

 

No.0 ZEROTTA(ゼロッタ)について

やあ皆さんこんにちは。

花粉症が辛いこの良き日、NumberDolls 新しい子が増えました。

反則の0番、ZEROTTA(ゼロッタ)です。

 

UTAU音源を作っている最中、それ自体の品質は良いがどうも他の音階と

繋がりが悪くて没になったという音源がたくさんあったんですよ。

 

あと、「いつか私の口から出た音源全部統一したいな!」

って思ってたんですけど、UTAUエイリアスカンストしちゃうし、

データ量が半端なくて配布する形は無理だなって。

 

で、どんな流れだったか忘れちゃったんですけど、

ボカロPのU-Rayさんとそれらを使って曲作ろうと!

最初は調声依頼だけだった気がしたんですけど、

歌詞の方にもちょこっとだけ携わらせていただいたりして…

ZEROTTA爆誕です。勢い大事。

 

HPにゼロッタちゃんの設定やら書いたんですけど、

誕生の日、4/4の仕事中に ずばばばと こじつけました。

「未分化の混沌としている精霊らを制御するためのプログラム」

うちの子、太古の昔からいる音の精霊を閉じ込めている

オートマタって設定だったんですよ!

だからロッカちゃんたちに分かれる前の精霊が全部入ってる…

 

つまりゼロッタちゃんは、

ロッカちゃんでもあり

ノインちょでもあり

十鳴子でもあり

千呼乃でもあり

未配布の一喋でも

カロクでもあり…

私とめあでもある。

 

みたいなことにしました。わーい解決。

ゼロッタちゃんから千呼乃さんの声出るのか…

想像つかないけどきっと楽しい。

 

デザインコンセプトやらとかも話したいなと思ったんですけど、

愛が深い長文はだいたい読みづらいので

今日はこのへんにしておきます。

 

未配布UTAU音源となるので、あなたの依頼が必要です。

オリジナル曲でもカバーでもなんでも大歓迎です。

コラボ、歌唱依頼お待ちしております☆

十鳴子1周年おめでとう!

ブログあったんだね。1年以上忘れていたよ。

 

十鳴子はNumberDolls内、一十百千シリーズの

アイドルになりたい!と、石化させちゃう目を

カラコンで隠して頑張るメデューサの女の子。

十鳴子、10回鳴る子とかいて TOMEKO です。

とめあさんの作り声の子なので「とめこ」と

安易に誰か付けてくださったまま採用しました。

 

一応私は歌う人なので、作り声で演じるのはネタだって

思ってたんですよ。でも作ってる途中から

「作り声でも安定してて、音域も広く出せんとあかん」と

ネタだったはずなのにボーカルのプライドというかなんというか

いっぱい出ちゃった///

高音F5がノインちょにとったものと、十鳴子のためにとったもの

交換した方がなめらかに繋がったので、交換しちゃったんですけど、

まあどっちも私の声だからいいんだけど、

どっちも張り切って出したのでスンってなりました。

UTAUって歌わせてみるまでわかんないですねスン

 

新アペンド【赤マムシの蜂蜜漬け】を制作中です。

十鳴子はハードロックやメタルが好きで、

一生懸命歌うんだけど、空回りしている…っていう

コンセプトの強音源です。

ロッカちゃんの補助音源【蜜】シリーズの

強音源補助【Honey】にあやかって蜂蜜で漬けちゃいました。

すなわち補助音源付きの予定。

ちなみに弱音源は出るかわからないけど、

青大将のシロップ漬けか黒蜜かけになるかと…

かわいい蛇たちをよろしくお願いします。

 

トリンぼっちゃんのこと

皆大好きトリンぼっちゃんのことについて書こうかな!!

 

トリンぼっちゃんはロッカちゃんよりナンバーが若い№3なので

先に作られたオートマタなんですけど、

遺跡の中で眠っていたのをロッカちゃんらに掘り起こされたので、

ロッカちゃんにとっては兄であり弟のような関係…と、

とめあ博士は感じております。はい。

 

トリンぼっちゃんはパワフルでロックな高音が特長ですけど、

ずっと眠ってたせいかヒナのような無垢さとか、

ちょっと ぽやーっとしてるギャップありで、

それゆえ一生懸命歌われると…もうね!!!

かわいいを余裕で越えてくるもの凄い何か。

中の人KOPA様がトリンぼっちゃんをヒヨコ扱いなさるので、

妄想が捗って私の中でそういう子になってしまいました。

 

KOPA様のTwitterの投稿画像には必ずヒヨコのトリンぼっちゃんがいるので

ふたりの親子感&ライバル感。皆さんも妄想のたしにどうぞ///↓

twitter.com

 

トリンぼっちゃんの目が黄色いのは実は魔要素設定もありでなんですよ。

なーんで、初出情報を無責任にぶん投げて今日のところはこの辺で。

ロッカちゃんのこと

留音ロッカは私の声から生まれたUTAUなんですけど、

作るの難しそうだから、きっと私には作れないはずだ(確信)

とりあえず録ってみるかぁってノリでとりかかってしまった子です。

自分で歌えばいいから別に私のUTAUなんて無くていいでしょって

最初は思っていたんですよ最初は。

今となってはすっかり親バカなんですけど。

 

なので最初はキャラも名前すらなかったわけで、

ここで改めて、思い付きでちょっとずつ足されていった設定を

まとめてみようと思います。

 

うちの子たちはオーパーツ的なもので、
古代技術で作られたオートマタという設定です。

古代技術は実は未来の技術だったみたいな?今が古代で古代が未来みたいな?

そんな研究をしているのが禅舞寺とめあ先生(私)で

その研究所にいるのがロッカちゃんたちみたいなことになってきてます。

 

ロッカちゃんは№6、禅舞寺先生が初めて見つけたNumberDollです。

※NumberDollの説明はまだ別の機会で。

サーカスで綱渡りして落下し体がバラバラになる(人形なので大丈夫)余興をする

人形として扱われていました。彼女が歌うことは知られていなかったんですけど、

禅舞寺先生と出会って歌を思い出していきます…

 

もっといろいろ設定あった気がするんですけど、

思い出したらぼちぼち書いていこうと思います。

がっつりこの設定使っていただいてもがっつり無視でも

音源の使用には問題ないのでお好きにどうぞです~。

 

では。