Sinsy(しぃんしぃ、Singing Voice Synthesis System)は、名古屋工業大学で開発された歌声合成技術および同技術を応用したボーカルシンセサイザー。メロディーのデータと歌詞を入力することにより、歌声を合成できる。

概要

名古屋工業大学にて開発・メンテナンスが続けられている歌声合成ソフトウェア。オープンソースで公開されているスタンドアロン版と、Webサイトで公開されているオンライン版の2種類がある。

合成技術にHMM(Hidden Markov Model、隠れマルコフモデル)を採用しており、少ないメモリでも動作するのが特徴。2016年12月にはディープニューラルネットワーク(DNN)を用いた日本語ライブラリ「f001j_dnn_beta」がオンライン版でのみ公開され、AI歌唱ソフトとしても使用できるようになった。

メロディーと歌詞の入力データにはMusicXMLというXMLベースの楽譜データを用いる。

現行では3種類の女性の日本語音声(謡子・香鈴・波音リツS)と、1種類の女性(香鈴)と1種類の男性(松尾P)の英語音声、1種類の女性の中国語音声(香鈴)に対応している。

オンライン版

公式サイト上でシステムを公開しており、誰でも無料で利用可能。

サーバーの負荷軽減のため,曲長はHMM版で最大7分、DNN版で5分に制限されている。

オープンソース版

SourceForgeにてLinux版のソースコードが公開されている。利用にはビルドが必要。修正BSDライセンスで公開されている。 ライセンスに従うことでライブラリとして他ソフトウェアに組み込むことも可能。

オンライン版とは異なり、DNNによる歌声合成には対応していない。

関連項目

  • 名古屋工業大学
    • Open JTalk - Sinsyと同じ名古屋工業大学の開発者らによって開発・運営のされる日本語話し声音声合成ソフト。
  • 隠れマルコフモデル
  • ニューラルネットワーク
  • 音声合成
    • ボーカルシンセサイザー
  • CeVIO Creative Studio - スタンドアロンな歌声合成機能を実装した商用姉妹ソフト。開発はSinsyの開発者らが立ち上げた大学ベンチャーであるテクノスピーチ社。
  • NEUTRINO - フレームワークの一つとして使用されているほか、音声データベースの一つに謡子が使用されている。
  • VOCALOID - ヤマハが開発したボーカルシンセサイザー。
  • AquesTone - アクエストが開発したボーカルシンセサイザー。
  • UTAU - シェアウェアのボーカルシンセサイザー。

脚注

外部リンク

  • Sinsy - HMM-based Singing Voice Synthesis System - 公式サイト
  • Sinsy - SourceForge版ページ
  • Pysinsy - PythonからSinsyを使用するラッパーライブラリ

Singing Speech Synthesis YouTube

Sing Sing Synth YouTube

2013 An Attempt To Develop A Singing Synthesizer by Collaborative

Synthesizer Voice YouTube

GitHub hyperzlib/SinsyRemix The HMMBased Singing Voice Syntheis