🎧 PCで流れている音を聞き取る
動画や配信の声を聞き取って、字幕にしたり、翻訳したり、キャラにしゃべらせたりできます。声を聞き分けて、同じ人の発言は同じキャラがしゃべります。
- 見たい動画・配信を、Chromeの別のタブで開いておく(YouTube・Twitch など)
- 下の 🎧 聞き取りスタート → 出てきた窓で 「Chromeタブ」 から動画のタブを選ぶ
- 窓の下の 「タブの音声も共有する」がオン になっているのを確認して 「共有」
💡 Chrome以外のアプリ(ゲームやプレーヤー)の音は、「画面全体」を選んで「システムの音声も共有する」をオンにすると取り込めます(PC全体の音になるので、このアプリの読み上げの声も入ります。下の「読み上げの声を取り除く」がオンのままなら、聞き取った文から取り除きます)。「ウィンドウ」を選ぶと音は取り込めません。
💡 共有を止めると(Chromeの「共有を停止」)、聞き取りも止まります。
マイクのほか、「ステレオミキサー」や VB-CABLE などの仮想ケーブル(「CABLE Output」)を選ぶと、PCの音をここから取り込めます。
🔑 聞き取りエンジン(高度)
Chrome(標準・端末内)で取り込んだ音を聞き取るには、Chrome 135 以降が必要です。Whisper は文の区切りが正確なので、話者の聞き分けも少し安定します。
Whisper(Groq)
無料枠:1分20回・1日2,000回・1日8時間ぶんの音声まで。1分の回数制限に当たった時は少し待って送り直します。
Whisper(OpenAI)
料金はOpenAIの従量課金です。
Whisperは話の切れ目ごとに音声を送るので、字幕が出るまで2〜5秒かかります。「まとめ送り」は、短い発話をこの秒数ぶん貯めてから送る設定です。BGMが大きい動画では「話し始めと判定する音量」を上げてね。キーはこのブラウザにだけ保存されます。
📝 聞き取りログ
🌐 同時通訳(自動翻訳)
翻訳元の言語は、🎧聞き取りタブの「動画・配信の言語」です。原文は「🎧 原文字幕」、訳文は「🌐 訳文字幕」に出ます(🪟字幕タブでどちらか片方だけ出すこともできます)。
内蔵翻訳はPC版Chrome(138以降)の機能です。言語の組み合わせごとに初回だけモデルのダウンロードがあります(ボタンを押して準備してね)。
🔑 翻訳エンジン(高度)
Google翻訳(Cloud Translation API)
DeepL
DeepLは、このアプリと同じサイトに置いた中継(_worker.js)を通して呼び出します。キーは中継には保存されません。
📜 読み上げ履歴
🐱 しゃべるキャラ
名前を変えると字幕の名前も変わります。キャラを選ぶと、その人の発言はいつもそのキャラがしゃべります。📌 声を覚えるにチェックした人は、次に聞き取りを始めた時も同じ人として聞き分けます(同じ動画のシリーズ・同じ配信者さん向け。音の取り込み方が変わると見分けにくくなります)。同じ人が2人に分かれた時は「まとめる…」で1人にできます。
💡 声が「おまかせ」のキャラは、しゃべる文の言語(訳文なら翻訳先の言語)の声を自動で選びます。語尾は日本語の文の時だけ付けます。
🔌 外部の声(高度):VOICEVOX / AivisSpeech
VOICEVOXを起動して「接続を確認」を押すと、各キャラの「声」に VOICEVOX の声が並びます。接続できたら、各キャラの「声」に VOICEVOX の声を選んでね(選ぶまでは、ブラウザの声で読みます)。VOICEVOX は日本語の声なので、日本語に翻訳した文を読ませる時に向いています。
VOICEVOXのキャラクターは、それぞれの利用規約に従ってクレジット表記が必要です(AivisSpeechなどは各モデルの規約を確認してね)。
🔊 棒読みちゃんに送る
オンにすると、全部の発言をキャラ「👄 棒読みちゃん向け」に固定して(オフにすると元の割り当てに戻ります)、このアプリは声を出さず、整えた文章を棒読みちゃんに送ります(キャラごとの棒読みちゃんの声・話速・音高・音量も送ります)。話者ごとに声を変えたい時は、オンにしたあと、キャラタブで「🎧 話者ごとに同じキャラ」に戻して、各キャラの「棒読み」の声を選んでね。
🪟 字幕の表示
💡 同時視聴の配信で、動画の字幕だけを配信画面に出す使い方ができます(OBSに出す字幕を「🌐 訳文」だけにする、など)。字幕ごとの「出し先」で、配信画面(OBS・簡単モード)と自分の画面(小窓・補助exe)を選べます。
🪟 自分の画面に出す(小窓)
使い分け:配信に出すだけなら「📡 OBS」(画面に窓が出ない)/ 手軽に配信に出すなら「🟩 簡単モード」(小窓をOBSで取り込む)/ 自分の画面に枠なしで出すなら「🧩 補助exe」(下)。
🧩 補助exe(自分の画面に、枠なし・透明・最前面で表示)
Windows 用の補助アプリ「Kiki Frost 字幕」を起動しておくと、字幕を自分の画面にそのまま重ねて表示できます(背景は透明、クリックは後ろの窓に通り抜けます)。動画の上に字幕を重ねて見る時に便利です。位置とサイズはタスクトレイのアイコン → 「位置とサイズを調整する」(または Ctrl+Alt+I)で変えられます。Yomi Frost 字幕・Kaki Frost 表示とは別アプリ・別ポートなので、同時に使えます。
補助exeの起動と保存場所について(クリックで開く)
📍 登録されている補助exeの場所:
保存場所の設定について:ブラウザは安全のため、PCの中のファイルを場所(パス)を指定して起動することができません。そのかわり、補助exeを一度ダブルクリックで起動すると、補助exe自身が自分の保存場所をWindowsに登録します(「kikifrost://」というリンクで起動できるようになります)。登録したあとは、このアプリから起動できます。
- ⬇ でダウンロードした exe を、好きなフォルダ(例:ドキュメント\KikiFrost)に置く
- その exe を一度だけダブルクリックで起動(これで保存場所が登録されます)して、上の「🔌 接続する」でつなぐ
- 次からは、アプリを開いて最初にどこかをクリックした時に、補助exeが起動していなければ自動で起動します(「▶ 補助exeを起動」でも起動できます)
- 初回は Chrome が「Kiki Frost 字幕 を開きますか?」と聞くので、「常に許可」にチェックして「開く」
💡 exe を別のフォルダに移した時や、新しい版に入れ替えた時は、新しい exe を一度ダブルクリックで起動してね(登録し直されます)。
💡 自動で起動するのは、一度補助exeとつながったことがある時だけです。
💡 PCを起動した時に補助exeも起動したい時は、補助exeのタスクトレイのメニュー →「Windows の起動時に起動する」をオンにしてね。
補助exeを起動して「🔌 接続する」を押すと、つながります(一度つながれば、次からはアプリを開くだけで自動で接続)。初めて接続する時、Chrome が「このデバイス上のアプリへのアクセス」の許可を求めるので「許可」してね。
💡 ダウンロードした exe は署名がないため、Chrome が「一般的にダウンロードされていないファイル」と出したらダウンロード一覧で「保持」、初回起動で「PC を保護しました」と出たら「詳細情報」→「実行」で使えます。
📺 配信画面への出し方
🟩 簡単モード:OBSの設定なしで配信画面に出す
- 出したい字幕の「出し先」で 🪟 小窓 にチェック(簡単モードを選ぶと表示中の字幕は自動でチェックされます)
- 小窓の背景を緑にする(簡単モードを選ぶと自動で緑になります) → 🪟 小窓を開く
- OBSで ソース追加 → ウィンドウキャプチャ → ウィンドウに小窓を選ぶ。キャプチャ方法は 「Windows 10 (1903以降)」
- ソースを右クリック → フィルタ → エフェクトフィルタの ＋ → クロマキー(色の種類:緑)
- タイトルバーや枠が映る時は、OBSのプレビューで Altキーを押しながらソースの端をドラッグ して切り落とす
⚠ 📌最前面の小窓は開いている限り取り込めます。🪟ふつうの窓は、最小化すると止まり、ほかの窓に完全に隠れると更新が止まることがあります。文字の縁にうっすら緑が残る時は、縁取りを太め・濃いめにするか「📡 OBS」方式を使ってください。
📡 OBS(配信画面)に出す
- OBSの ツール → WebSocketサーバー設定 で「WebSocketサーバーを有効にする」にチェック。「接続情報を表示」でポートとパスワードを確認
- 下にポートとパスワードを入れて 接続
- 出したい字幕の「出し先」で 📡 OBS にチェック(初期値でオン)
- 下の 📥 OBS用の字幕ファイルを保存 を押して、HTMLファイルをPCに保存(最初の1回だけでOK)
- OBSで ソース追加 → ブラウザ →「ローカルファイル」にチェック → 保存したファイルを選ぶ。幅1920×高さ1080(まとめて用)がおすすめ
💡 OBSが同じPCで動いているなら、ホストは 127.0.0.1 がおすすめです。
⚙ OBS用ファイルの接続先(高度)
OBS用の字幕ファイルは、OBSの中で動くので、ふつうは 127.0.0.1(同じPC)のままでOK。変えた時は保存し直してね。
🆕 アプリの更新で字幕の描き方が変わりました。OBS用の字幕ファイルを保存し直して、OBSのブラウザソースで選び直してね。
💡 なぜファイル?:このアプリは HTTPS で公開しているので、OBSのブラウザソースにURLで読み込むと、OBSとの接続(ws://)が止められてしまいます。PCに保存したファイルならこの制限がありません。字幕の見た目や配置はアプリから毎回送られるので、設定を変えても保存し直す必要はありません。
⚠ OBSのパスワードを設定している場合、保存したファイルの中にパスワードが入ります。人に渡さないでね。
📐 字幕の配置
字幕の枠をドラッグで移動、右下の三角でサイズ変更。小窓・OBS・補助exeも同じ配置になります。枠をクリックすると、その字幕の設定に切り替わります。
🎨 字幕ごとの見た目の設定
⚙️ こまかい設定
🔈 読み上げの出力先
📖 読み替え辞書
キャラがしゃべる前に、言葉の読み方を置き換えます(人の名前や固有名詞の読み方を直す時など)。標準辞書は日本語の文をしゃべる時だけ使います。自分で追加した語は、どの言語でも使います。
| ON | 元の文字 | 読み | ジャンル |
|---|
CSVは「元の文字,読み」を1行1語。UTF-8 と Shift_JIS(Excelで保存したCSV)の両方を読めます。Yomi Frost Web で書き出した辞書もそのまま取り込めます。
設定はこのブラウザに自動保存されます。聞き取った音声・声の特徴は、このPCの中だけで処理します(Whisper・Google翻訳・DeepLを選んだ時だけ、その会社に送ります)。
📜 使っている部品とライセンス
- 話者の聞き分けAI:CAM++(3D-Speaker、VoxCeleb で学習)を int8 に変換して使用 — Apache License 2.0(NOTICE)
- AIの実行:ONNX Runtime Web — MIT License(LICENSE)
- フォント:M PLUS Rounded 1c / Noto Sans JP / Kosugi Maru / Dela Gothic One(Google Fonts、SIL Open Font License)